專利名稱：用于集成視頻分析和數據分析/挖掘的系統和方法
技術領域：
本發明主要涉及用于分析視頻的系統和方法，并且更特別地涉及 用于集成視頻分析和數據分析/數據挖掘來充分利用視頻分析和數據 分析兩者的效力的系統和方法。
背景技術：
在零售商店里阻止入店行竊和盜竊中使用視頻監控和分析已變 得平常。然而，在零售和其他環境中，經常存在太多收集自安全和企 業經營的數據和視頻，而使人不能有效地且高效地管理。隨著更緊張 的預算和限制職員總數的壓力，負擔甚至更大了。商店需要過濾和挖 掘數據的工具以便他們能夠確定異常、模式和/或反常行為。此外，存 在更復雜的勾結威脅，其范圍從店員為了他們自己的或消費者的利益 而對交易"顯示慷慨，，(繞開掃描儀)，到經多發性和多個地點一起工 作的有組織的犯罪集團。
一些人已經從企業經營的立場出發、采用基于分析可來自商店系 統(例如銷售點)的數據的解決方案來嘗試解決和管理這些問題，以 鑒別顯示所關注區域的反常行為的模式。對這些解決方案的改進包括， 使這些模式從視頻監控系統觸發視頻片段，所述視頻片段提供狀況的 視覺驗證。其他改進已從安全的立場出發探討了該問題，使用計算機 算法以分析來自視頻監控系統的視頻，以便某些水平的反常行為能夠 在獨立于其他觸發器的情況下被視覺地檢測，到并且用于實現企業經 營中的策略。
這種單獨的商業數據的方法由于若干原因失敗了。因為商店系統 可能被繞開，因此，描述狀況特征的數據可能不可用。此外，數據系 統往往是事后挖掘，這限制了它處理實時的/時間敏感的警報和通知的能力。考慮到上述數據系統的限制和視頻片段重放對數據觸發器的依 賴，該改進也是失敗的。對視頻孤立的分析是有問題的，因為它可能 易于產生假警報或存在不足以使其可靠的準確水平。此外，這些安排 往往需要事件配置/規則定義以檢測反常情況，而這些模式可能不能提 前獲知。
因此，需要用于集成視頻分析和數據分析/數據挖掘的系統和方 法，所述系統和方法充分利用視頻分析和數據分析兩者的效力以彌補 前述解決方案的局限性。還需要的是這樣一種集成軟件，其能夠為設 施入口點/出口點、銷售點和服務點、以及整個內部和外部提供商務智
能和操作智能(operational intelligence )。
發明內容
本發明有利地提供了集成視頻分析技術與數據分析技術的方法 和系統，以更準確地鑒別需要管理人員注意的潛在的可疑行為和事件。 一般而言，本發明4吏用在銷售點記錄器(point of sale register )收集 的數據提供用于監測諸如零售商店或倉庫的設施的方法和系統，以更 準確地識別通過視頻監測系統同時檢測到的目標和事件。
本發明的 一個方面包括用于檢測在被監測設施中的潛在的可疑 行為的方法。收集發生在被監測設施中的活動的視頻內容和涉及在交 易點終端(point of transaction terminal)處理的交易的交易數據。將 視頻內容與交易數據相關聯以產生關聯的數據。將一套用戶定義的規 則應用于關聯的數據。響應于鑒別到所述關聯的數據與所述一套用戶 定義的規則的至少 一個規則之間的匹配，所述交易被確定為潛在地可 疑的。
本發明的另一方面包括自動鑒別發生在被監測設施中的活動的 方法。收集發生在被監測設施中的活動的視頻內容。通過將一套碎見頻 分析規則應用于收集的視頻信息、使用目標識別技術分析視頻內容。 還收集了涉及通過在銷售設施中的至少一個交易點終端處理的一個或 多個交易的交易數據。響應于確定所述視頻內容與所述一套視頻分析
7規則中的至少一個視頻分析規則相一致，所述視頻內容與所述交易數 據相關聯以提供關聯的交易數據。
依照本發明的另 一方面，用于分析發生在被監測設施中的活動的 系統包括視頻分析系統、數據分析系統、和集成服務器。集成服務器
與視頻分析系統和數據分析系統是通訊連接的。^^皮監測^:施包括至少 一個銷售點記錄器。視頻分析系統收集發生在被監測設施中的活動的 視頻內容。數據分析系統收集涉及由至少一個交易點終端處理的一個 或多個交易的交易數據。集成服務器使視頻內容和交易數據相關聯以 產生關聯的數據。集成服務器還將一套用戶定義的規則應用于關聯的 數據并鑒別在關聯的數據與所述一套用戶定義的規則的至少一個規則 之間的匹配。
對本發明及其伴隨的優勢和特性的更全面的認識通過在與附圖 結合考慮時參考以下的詳細描述將更容易理解，其中
圖1是依照本發明的原理構建的示例性的視頻和數據分析系統的
框圖2是依照本發明的原理構建的示例性的視頻和數據監測點的框
圖3是根據本發明的原理進行的示例性的退貨交易(return transaction )過程的流程圖4是根據本發明的原理進行的示例性的現金無效交易過程的流
程圖5是根據本發明的原理進行的示例性的消費者計數過程的流程
圖6是根據本發明的原理進行的自動將交易異常連接到編索引的 視頻的示例性過程的流程圖7是根據本發明的原理進行的示例性的隊列持續時間(line duration)測量過程的流程圖；圖8是根據本發明的原理進行的、示例性的、由視頻分析檢測到 現金抽屜打開(cash drawer opening )而沒有檢測到交易的過程的流 程圖9是根據本發明的原理進行的、設立銷售點("POS")規則并 產生異常的示例性過程的流程圖10是根據本發明的原理進行的、設立用戶可定義的視頻規則 并產生警報的示例性過程的流程圖11是根據本發明的原理進行的、設立用戶可定義的商店數據 規則和視頻規則的結合的示例性過程的流程圖；和
圖12是根據本發明的原理進行的、示例性報告過程的流程圖。
具體實施例方式
在詳細描述依照本發明的示例性實施方案之前，應當注意，實施 方案主要屬于設備組件與處理步驟的組合，所述設備組件和處理步驟 涉及實施用于分析^見頻的系統和方法，以通過集成視頻分析與數據分 析/數據挖掘技術來確定警報條件的存在。因此，通過在適當時以附圖 中的常規符號描述所述的系統和方法組成，僅顯示與理解本發明的實 施方案有關的那些特定的細節，以便不以對于受益于本說明書的本領 域普通技術人員容易明白的細節而使本公開不清楚。
如本文使用的有關的術語，例如"第一"和"第二"、"頂部"和"底 部"、及其類似物，可以僅僅用于區分一個實體或元素與另一實體或元 素，而不必需要或暗示這樣的實體與元素之間的任何物理關系或邏輯 關系或順序。
本發明的一個實施方案使用視頻分析與數據分析/數據挖掘技術 有利地提供了用于分析視頻的方法和系統。在一個實施方案中，本發 明可包括由用戶接口 (例如，客戶機/瀏覽器)、管理和分析組件以及
報告能力(reporting capability)組成的軟件。還可包括在邊緣的具 有嵌入式分析法的視頻系統、在數字錄像機("DVR，，)或其他存儲設 備上的視頻存儲器、和零售交易數據設備。在另一實施方案中，用戶接口允許用戶定義配置和規則、預定義
的事件(pre-event)，并允許在事后進行對數據和視頻的挖掘。#見頻 和數據系統可以一起聯網并經過數據庫傳輸(database transmission ) 和查詢以及應用程序接口來通訊。視頻和數據分析節點可具有這樣的 能力以嵌入式、分布式的方式進行它們的分析并將處理的元數據傳 送至系統數據庫。
本發明的極其通用的實施方案能夠實現添加新的預打包的和消 費者定義的規則，并能夠測量被稱為關鍵性能指標("KPI")的運算 度量(operational metric )。通過了解消費者的問題和機會，該系統 可用于定義是用于產生使能規則(enabling rule)和KPI的基礎的用 例。
本系統可以是可編程的以實時觸發警報，以及在事后挖掘數據和 行為的模式，并結合兩者的信息源以便增強解決更復雜和更廣泛的用 例的能力。本系統還可以是可編程的，來以下面廣泛的組合結合視頻 分析和數據分析的觸發器數據分析觸發器-視頻驗證、視頻分析觸發 器-數據驗證、數據分析觸發器-視頻分析驗證、視頻分析觸發器-數據 分析驗證。
現參考附圖，其中同樣的參考編號是指同樣的元件，在圖1中顯 示用于集成視頻分析和數據分析/數據挖掘的示例性的商業智能系統 10，所述商業智能系統充分利用依照本發明的原理構建的視頻分析和 數據分析兩者的效力。可構建商業智能系統10以支持企業范圍的視頻 解決方案和零售業務中的更寬泛的用途。
商業智能系統10結合了視頻分析子系統12與數據分析子系統14 以分析并檢測可疑活動和商店/倉庫管理事件。視頻分析子系統12可 包括一個或多個攝像機16 (顯示了一個)、錄像機18、視頻引擎20、 視頻控制器22、和視頻系統接口 24。攝像機16捕捉局部視野中的活 動的圖像并將圖像傳送至錄像機18和/或視頻引擎20。錄像機18可以 給捕捉到的圖像標上時間戳并將其儲存，用于以后調出。視頻引擎20 對捕捉到的圖像進行目標識別/檢測功能，以確定由攝像機16捕捉的
10圖像是否符合根據預設規則確定的條件。注意，視頻引擎20的功能可 以是嵌入攝像機16或其他邊緣設備中的，以在允許將視頻儲存于錄像 機18中以外，還允許對現場視頻的處理。此外，標時間戳的操作還^" 以通過攝像機16或某些其他的中間設備來進行。視頻控制器22控制 視頻系統的基本配置，例如哪個攝像機16是活躍的；每個攝像機16 的掃視、俯仰、轉變角度和聚焦設置；被請求的視頻片段的回放，等。 視頻系統接口 24允許用戶設置用于視頻分析服務器20的規則和條件， 以及選擇用于回放的特定視頻片段。
視頻分析子系統12的每個組件可在局部水平(local level)上直 接連接至視頻分析子系統12中的其他組件。可選擇地和/或另外地， 視頻分析子系統12的每個組件可經局域網("LAN")(未顯示)或 廣域網("WAN") 28連接至在視頻分析子系統12、數據分析子系統 14、網絡客戶機26和/或其他位置中的其他組件。此外，視頻分析子 系統12的組件可以共處一地或嵌入系統10的其他組件中。例如，#見 頻系統接口 24可以作為網絡瀏覽器或現有數據分析和/或視頻軟件應 用的插件程序在網絡客戶機26上實現。
數據分析子系統14包括交易點終端30，其用于收集涉及在被監 測設施中的交易的信息。交易點終端30可以是銷售點("POS")記錄 器，其用于收集涉及在結賬時進行的銷售交易的信息。交易點終端30 可包括與數據引擎32傳輸數據的通訊接口 。數據引擎32接收來自一 個或多個POS記錄器30的、涉及完成的、開始的或無效的交易的數 據。數據分析服務器32分析交易數據，以確定任何交易或一組交易是 否符合根據預設的規則以及事件后挖掘所確定的條件。數據分析系統 接口 24允許用戶設置用于數據引擎32的規則和條件，以及產生和觀 察報告。
集成服務器36結合視頻引擎20與數據引擎32的元件，以使發 生在交易點終端30的交易事件與由視頻引擎20檢測到的目標識別相 關聯。集成服務器36可包括視頻引擎20和/或數據引擎32。此外，數 據分析系統接口 24和視頻系統接口 24可結合為位于網絡客戶機26的單一用戶接口 (即，操縱盤)。使用該操縱盤，用戶可將來自視頻
分析系統12的一個或多個規則與來自數據分析系統14的一個或多個規則結合，以創建用于集成服務器36的一套規則，以便精確確定非常特定的事件何時發生。此外，系統10可包括用于每個用戶類型的操縱盤，以允許僅進入對他們的操作需求重要的視圖和報告。
集成服務器36可以是單機的或能夠位于任何應用服務器上。用于實時事件的集成服務器36還能夠位于公司總部級別(centralcorporate level)，處在與數據引擎32相同的硬件服務器上或在專用的應用服務器上。商業智能系統10應當能夠對所有組件間進行時間同步。
商業智能系統10可在經廣域網28連接的本地的商店/區域、在公司總部辦公室、或其組合而實現。廣域網16可包括互聯網、內聯網、或其他通訊網絡。雖然在圖1中通訊網絡描繪為WAN,但本發明的原理還可應用于其他形式的通訊網絡，例如個人區域網("PAN")、局域網("LAN")、校園網("CAN")、城域網("MAN")，等。
雖然系統10整體上可能是很復雜的，但日常使用對于用戶是相當友好和直觀的。系統10有利地提供了易于使用的視頻系統接口 24、數據分析系統接口 34、和報表生成軟件包(importing package)以分析數據和查看支持警報和模式的現場的和存儲的視頻。
現參考圖2，顯示了示例性的局部商業設施38的布局，該布局詳細說明了依照本發明的原理的可能的視頻監測位置和數據收集場所。雖然圖2顯示零售設施，本發明并不限于此。預期任何被監測的設施均能夠由本發明實現和支持，例如倉庫或商品或財產進入或離開的場所。系統10是可編程的，并且能夠對整個被監測設施的內部和外部的操作設施入口/出口點40、諸如結賬隊列(check-out line) 42或消費者服務口44的銷售(即，交易)點、服務點46、和挑選點48提供商務和操作智能。
在圖3中，提供了示例性的操作流程圖，其描述了在確定不存在實際的消費者的情況下發生了退貨交易中所進行的步驟。在一個實施方案中，該過程允許店長或防損("LP")專業人員實時監控何時退貨發生但沒有消費者出現在POS根臺前。至少一個攝像機16應當監測給定的POS記錄器30周圍的區域。當退貨交易在POS記錄器30被處理時(步驟S100)，數據引擎32接收關于退貨交易的POS數據(步驟S102)。該數據可包括，例如，POS記錄器的標識符、交易類型、交易時間、進行交易的雇員的名字或其他標識符、交易量，等。數據引擎32從視頻引擎20請求視覺驗證(步驟S104 )。
視頻引擎20嘗試對出現在POS記錄器前的消費者計數(步驟S106)。如果視頻引擎20不能對消費者計數，則交易被標記為"消費者數量未知，，(步驟S108 )。例如某些環境條件可使視頻引擎20不能夠確定準確的消費者數量，例如突然的照明變化、非常暗的照明、差的視頻質量、圖像中強烈的眩光、攝像機移動。標記為"消費者數量未知，，的所有交易可能構成可疑活動，并且該交易的細節可包括在用于稍后進一步檢查的報告中。
如果視頻引擎20返回不等于零的消費者數量(步驟SllO)，表示至少一個消費者出現在結賬拒臺，則交易被視為正常的(步驟S112 )并且不釆取進一步行動。然而，如果視頻引擎20返回等于零的消費者數量(步驟S110)，表示沒有消費者出現在結賬拒臺，則產生"退貨欺詐，，的警報(步驟S114)并且該退貨交易被標記。警報可顯示在操縱盤上、保存在數據庫中、發送至錄像機18、和/或發送至視頻分析系統12的事件處理器。如果用戶希望重放相應的視頻，他/她只從操縱盤選擇警報指示器則視頻然后回放并標記為"已查看"。所有標記的交易可用于事件后挖掘。
現參考圖4，提供了示例性的操作流程圖，其描述了在確定不存
在實際的消費者的情況下現金交易被無效中所進行的步驟。如以上所述的情況中，至少一個攝像機16應當監測給定的POS記錄器30周圍的區域。當在該POS記錄器30處的現金交易被無效時(步驟S120)，數據引擎32接收關于該現金交易的POS數據(步驟S122)。數據引擎32從視頻引擎20請求視覺驗證(步驟S124)。視頻引擎20嘗試
13對出現在POS記錄器前的消費者計數(步驟S126)。如果視頻引擎 20不能對消費者計數，則該現金無效交易被標記為"消費者數量未知，， (步驟S128)。標記為"消費者數量未知，，的所有交易可能構成可疑活 動并且該交易的細節可包括在用于稍后進一步檢查的報告中。
如果視頻引擎20返回不等于零的消費者數量(步驟S130)，表 示至少一個消費者出現在結賬拒臺，則交易被視為正常的(步驟S132) 并且不釆取進一步行動。然而，如果視頻引擎20返回等于零的消費者 數量(步驟S130)，表示沒有消費者出現在結賬柜臺，則產生"現金 過賬(cash post)無效欺詐"的警報(步驟S134)并且該現金無效交 易被標記。與在退貨欺詐的情況下一樣，警報可顯示在操縱盤上、保 存在數據庫中、發送至錄像機18、和/或發送至視頻分析系統12的事 件處理器。如果用戶希望重放相應的視頻，他/她只從操縱盤選擇警報 指示器則視頻然后回放并標記為"已查看"。所有標記的交易可用于事 件后挖掘。
現參考圖5，提供了示例性的操作流程圖，其描述了在對經過一 段時間進入和離開商店的人計數和檢測大流量進入(high traffic in) 時期或高的凈占有率(high net occupancy )時期中所進行的步驟。在 一個實施方案中，該信息與來自銷售和員工管理系統的數據結合，以 確定進行商店員工和銷售轉化計算的波峰和波谷。至少一個攝像機16 應當監測商店中的每個入口和/或出口位置。
使用操縱盤，用戶請求開始人員計數特性并指定計數的時間段。 集成服務器36接收人員計數的請求(步驟S140 )并通知視頻引擎20 對在預定的時間段期間被拍攝到進入和/或離開商店的人員計數(步驟 S142 )。數據引擎20確定在預定時間段期間發生的交易數和交易總量 (步驟S144)。產生一份結果報告(步驟S146)并且該報告的直觀 表示顯示在操縱盤中。
現參考圖6，提供了示例性的操作流程圖，其描述了在回放關于 交易異常(即，已被標記為可能包含可疑活動的事件)的已錄制的視 頻中所進行的步驟。集成服務器36接收關于交易異常的視頻的請求(步驟S148)。集成服務器36從錄像系統18檢索相應的視頻(步驟 S150 )并在網絡客戶機接口 26使用例如操縱盤播放請求的視頻(步驟 S152)。
圖7提供示例性的操作流程圖，其描述在測定結賬隊列持續時間 中所進行的步驟。在一個實施方案中，本發明允許店長或其他公司管 理人員鑒別這樣的情況，其中結賬等候隊列長于預先確定的界限或等 候時間長于預先確定的界限，并且檢索出相應的POS數據。該特性允 許用戶調查導致延遲的隱含的因素，例如某人在進行大采購、結賬記 錄器開放量不夠，等。
使用目標識別算法，視頻引擎20確定結賬隊列或用在結賬隊列 中的持續時間長于預定的界限(步驟S154)。警報可被發送至網絡客 戶機接口 26和錄像機18 (步驟S156)。該警報可顯示于，例如，網 絡客戶機接口 26的事件處理器或視頻控制器22中的警報列表上。集 成服務器36接收請求發生在警報時的交易數據的警報信息請求(步驟 S158)。警報信息請求可通過，例如，用戶點擊顯示在網絡客戶機接 口 26上的警報而被發起。數據引擎32輸出在警報期間發生的交易的 列表(步驟S160)。該列表可顯示于網絡客戶機接口 26或可被打印 為物理拷貝。
現參考圖8，提供了示例性的操作流程圖，其描述了確定現金記 錄器抽屜是否可能已被不適當地打開而進行的步驟。視頻引擎20檢測 現金抽屜打開(步驟S162)。集成服務器36發送查詢至數據引擎32 和/或交易點終端30以驗證是否發生任何交易(步驟S164 )。如果交 易確實發生(步驟S166)，無需警報(步驟S168)并且該過程結束。 然而，如果沒有交易發生(步驟S168)，則產生警報(步驟S170)， 該警報可能顯示在操縱盤上、保存在數據庫中、和/或發送至錄像機18 和網絡客戶機接口 26。集成服務器36接收請求在警報時錄制的視頻 的警報信息請求(步驟S172)。警報信息請求可通過，例如，用戶點 擊顯示在網絡客戶機接口 26上的警報而被發起。然后相應的視頻被重 放(步驟S174)，例如，使用操縱盤，并且相應的視頻被標記為"已查看"(步驟S176)。
圖9提供示例性的操作流程圖，其描述設立POS規則和產生異 常報告而進行的步驟。在一個實施方案中，零售店店長或其他公司f 理人員能夠使用操縱盤定義POS數據規則和關鍵性能指標("KPI") (步驟S178)。例如，這些規則可以是如同編輯在商店或公司中發生 的全部退貨的列表一樣簡單，或者如同編輯在只是用于特定記錄器和/ 或特定雇員和/或特定產品和/或特定時間的退貨的列表一樣簡單。這 提供了對由該系統捕捉到的任何數據類型進行復雜的數據挖掘的能 力。數據引擎32針對所述規則/KPI查詢交易點終端30的數據庫(步 驟S180)并產生KPI報告(步驟S182)，所述KPI報告列出對于所 述規則/KPI的任何異常。
圖10提供示例性的操作流程圖，其描述設立用戶可定義的視頻 規則并產生標識違反行為的警報而進行的步驟。在與涉及如圖9所詳 述的定義POS數據規則的上述方式類似的方式中，本發明的實施方案 還提供了用于設立視頻分析規則的手段。零售店店長、防損專業人員、 或其他公司管理員人能夠使用操縱盤定義視頻分析規則(步驟S184 )。 視頻分析規則可包括用于當任何特定視覺模式、行為、或內容被檢測 到時告警的規則。視頻分析規則被發送至視頻引擎20和任何嵌入式邊 緣設備(步驟S186 )。每當視頻引擎20確定至少一個視頻分析規則 被違反時就產生視頻分析警報(步驟S188 )。
圖ll提供示例性的操作流程圖，其描述POS數據規則與視頻; 析規則相結合以準確定義特定警報事件而進行的步驟。以這種方式， 數據智能和視頻智能被集成以確定何時發生如根據用戶的需要而定義 的特定事件。使用諸如操縱盤的用戶接口定義POS數據規則(步驟 S190)。視頻分析規則也可以使用操縱盤來定義(步驟S192)。選擇 可適用的POS規則和視頻規則(步驟S194)并使用邏輯運算(例如， 與、或、非、如果假、真，等)將其結合，以產生用戶定義的條件(步 驟S196)。然后運行該用戶定義的條件以產生實時事件或進行事后搜 索(步驟198)。現參考圖12，提供了示例性的操作流程圖，其描述了產生針對所 有規則/KPI、警報和事件的報告而進行的步驟。選擇期望的規則、KPI、 事件、和/或條件(步驟S200 )并規定持續時間和報告格式(步驟202 )。 集成服務器36選擇與所選的規則、KPI、事件和或發生在規定持續時 間內的條件對應的POS數據和視頻記錄以產生規定格式的報告(步驟 S204 )。該報告可用于進一步調查和鑒別可疑活動和/或提高整個商店 的管理能力。
從安全的立場出發，軟件解決方案可支持自動驗證的連接，例如 集成的Windows驗證("IWA")，也稱為NT驗證。安全特性可限制 局部應用特定的用戶ID。應當使用密碼來訪問系統10。雖然可使用 基于LAN ID的許可，但還可以使用另外的安全特性。可使用在一個 或多個活動目錄組中的成員。采用活動目錄支持，用戶在啟動應用程 序時無需提供任何另外的驗證。安全應當基于當前登錄的工作站用戶 的身份，同時在后臺自動進行權限驗證。應用程序自身可具有強大的 數據庫安全標準，其中，多層次安全作為整體應用于數據庫系統、以 及應用于數據庫中的單獨的表格。
軟件將自動運行日志和遠程的程序故障(bug) /缺陷/問題報告提 供給中央服務器。通過軟件自動收集程序故障。終端用戶能夠經網站 或通過應用程序自身提交他們自己的程序故障。所有的數據庫和記錄 均能夠被備份和歸檔。本發明的系統中的任何應用程序的安裝過程可 以是服務器和工作站上的靜默的、自動的安裝。軟件部署可依照標準 的腳本工具(例如SMS )并且無需用戶的交互。還可以使用遠程配置。 更新也可以遠程進行。配置過程對用戶是友好的，包括但不限于，自 動檢測在LAN中的錄像設備、和對所有設備和組件的任何配置提供 圖形用戶接口。集成服務器36可與常用的企業服務器環境兼容，包括 但不限于，企業網絡服務器、企業應用服務器、和企業數據庫服務器。
可體現在本發明的系統的其他特性包括用于以下的商店網關 (store gateway ):收集視頻分析警報和計數數據、將數據傳輸至公 司用于在數據庫中傳送至數據庫和利用文件傳送協議("FTP")的服務器方法、在商店層面上呈現視頻分析警報和確認、經規則管理工具 或集成的接口配置視頻警報、和呈現帶有視頻分析和視頻驗證的異常
報告/數據挖掘/POS數據的趨勢分析。
系統10還可包括人工智能，以區分警報與異常報告通道。說明
視頻分析的不同的實例包括但不限于，移動至未授權的交付區域、受 限的備貨區、隱藏商品、停止或徘徊太長時間表明潛在的可疑活動或
需要幫助、和聚集的人群表明潛在的可疑活動。說明帶有POS中心的
數據和視頻分析的異常報告/趨勢分析的不同的實例包括但不限于，由 于不存在消費者而無效的交易、由于不存在管理者而無效的交易、排 隊、和人員計數。
系統10可以是可編程的，以允許在商店級別的最初的安裝期間 對公司范圍的視頻分析的定義和配置。系統IO還可以包括商店級別的
解決方案，該解決方案是可編程的以用于管理尋址、數據庫修改、傳 輸、和其他商店級別的視頻管理功能。數據輸入可取自視頻監控和視 頻分析，并且與映射信息(例如攝像機與記錄器/過道之間的映射)集
成0
用于所述系統的數據庫的方面可包括使用來自視頻監控和視頻 分析的數據傳送包、和映射數據。某些可能的、預期的數據段包括但
不限于，計數、日期/時間、規則ID、攝像機ID、和規則類型(占有 率，等)。數據映射可包括商店ID、組織ID、參考#、參考類型(記 錄器、過道，等)、和活動類型(消費者占有率、物品掃描，等)。
可使用時間同步機制以將POS數據與視頻信息鏈接，這可類似 于記錄器如何同步POS數據的時間。可構建系統10以允許視頻分析 規則在企業范圍的級別上被管理(變更控制)，而不僅在商店或特定 區域的級別上被管理(變更控制)。可包括規則管理方法，這將會便 于初始配置和將來的更新。 一種方法是在商店級別上設立區域并在公 司/企業級別上應用規則。在傳輸領域，數據可位于定位在商店級別的 文件夾中的平面文件或結構化數據庫，并且通過網絡被收集并傳輸至 具有其他數據的另一位置(例如POS)。然后能夠使數據可用于數據庫傳送。可選擇的方法是使用基于FTP的傳送機制。
本發明有利地提供了關于揭示問題區域的高度敏感性/可檢測 性。用戶能夠通過紀律處分、消費者服務的改善、或者甚至培訓改善 (training improvement)更快地解決與雇員和消費者的問題。通過將 數據源和分析源結合到本發明的可自動化的系統中，輸出將更可靠和 準確，并最小化或消除假警報。假警報會破壞對該解決方案的信心并 限制它的成功。
本發明能夠在硬件、軟件、或硬件與軟件的結合中實現。任何類 所述的功能。^/ , 、，、'、、 、
典型的硬件與軟件的結合可以是專用的或通用的計算機系統和 存儲在存儲介質上的計算機程序，所述計算機系統具有 一個或多個處 理元件，所述計算機程序在被載入并執行時控制計算機系統以便使其 運行本文所述的方法。本發明還可以嵌入計算機程序產品中，該產品 包括是本文所述的方法能夠實現的所有特征，并且在被載入計算系統 時能夠執行這些方法。存儲介質是指任何易失性或非易失性存儲設備。
本文的上下文中的計算機程序或應用程序是指任何語言、代碼或 表示法的一套指令的任何表達，所述一套指令旨在使具有信息處理能 力的系統以直接地或在以下的任一個或兩者之后完成特定功能a)轉 化為另一種語言、代碼或表示法；b)以不同物質形態復制。
此外，除 非以上相反地提及，應當注意，所有的附圖均不是按比 例繪制的。明顯地，本發明能夠體現為其他特定形式而不偏離本發明 的精神或基本屬性，并因此，應當參考以下的權利要求而不是前述的 說明書作為本發明的范圍的說明。
權利要求
1.一種用于在被監測設施中監測潛在的可疑活動的方法，所述方法包括收集發生在被監測設施中的活動的視頻內容；收集涉及在交易點終端處處理的交易的交易數據；將所述視頻內容與所述交易數據相關聯以產生關聯的數據；和將一套用戶定義的規則應用于所述關聯的數據；以及響應于鑒別到所述關聯的數據與所述一套用戶定義的規則中的至少一個規則之間的匹配，確定所述交易為潛在地可疑的。
2. 根據權利要求1所述的方法，其中所述一套用戶定義的規則 包括一個或多個視頻分析規則和一個或多個數據分析規則的結合。
3. 根據權利要求2所述的方法，其進一步包括 給所述視頻內容標上指示所述活動發生的時間的第 一時間戳；和 給所述交易數據標上指示所述交易被處理的時間的第二時間戳， 其中，通過匹配所迷第一時間戳與所述第二時間戳而將所述視頻內容與所述交易數據相關聯。
4. 根據權利要求3所述的方法，其中 所述數據分析規則包括確定退貨交易已發生的規則；以及所述視頻分析規則包括確定在銷售點記錄器處沒有消費者的規則。
5. 根據權利要求3所述的方法，其中 所述數據分析規則包括確定現金交易被無效的規則；以及所述視頻分析規則包括確定在銷售點記錄器處沒有消費者的規則。
6. 根據權利要求3所述的方法，其中 所述數據分析規則包括確定沒有交易發生的規則；以及 所述視頻分析規則包括確定銷售點記錄器的抽屜是打開的規則。
7. —種自動鑒別發生在被監測設施中的活動的方法，所述方法包括收集發生在所述被監測設施中的活動的視頻內容；通過將一套視頻分析規則應用于所收集的視頻內容、使用目標識 別技術分析所述視頻內容；收集涉及由所述銷售設施中的至少一個交易點終端處理的一個 或多個交易的交易數據；和響應于確定所述視頻內容與所述一套視頻分析規則中的至少一 個視頻分析規則相一致，將所述視頻內容與所述交易數據相關聯，以 提供關聯的交易數據。
8. 根據權利要求7所述的方法，其進一步包括 給所述視頻內容標上指示所述活動發生的時間的第 一時間戳；和 給所述交易數據標上指示所述交易被處理的時間的第二時間戳， 其中，通過匹配所述第 一時間戳與所述第二時間戳而將所述視頻內容與所述交易數據相關聯。
9. 根據權利要求8所述的方法，其進一步包括響應于確定所 述視頻內容與所述一套視頻分析規則中的至少一個視頻分析規則相一 致，產生警報。
10. 根據權利要求9所述的方法，其進一步包括使用所述交易 數據來確定為什么所述視頻內容與所述一套視頻分析規則中的至少一 個一見頻分析規則相一致。
11. 根據權利要求9所述的方法，其中所述至少一個視頻分析規 則包括確定站在結賬隊列中的消費者的數量超過預定的界限的規則。
12. 根據權利要求9所述的方法，其中所述至少一個視頻分析規 則包括確定消費者花在站在結賬隊列中的持續時間超過預定的界限的 規則。
13. 根據權利要求8所述的方法，其進一步包括響應于確定所述視頻內容與所述一套視頻分析規則中的至少一 個視頻分析規則相 一致，產生詳細描述在所述4見頻內容與至少 一個視 頻分析規則相一致時發生的交易的報告。
14. 根據權利要求13所述的方法，其中所述至少一個視頻分析 規則包括確定進入和離開所述銷售設施的消費者的數量的規則。
15. —種用于分析發生在被監測設施中的活動的系統，所述#皮， 測設施包括至少一個交易點終端，所述系統包括視頻分析系統，所述視頻分析系統可操作來收集發生在所述^L監 測i殳施中的活動的^L頻內容；數據分析系統，所述數據分析系統可操作來收集涉及由所述至少 一個交易點終端處理的一個或多個交易的交易數據；和集成服務器，其與所述視頻分析系統和所述數據分析系統通訊連 接，所述集成服務器可操作來將所述視頻內容與所述交易數據相關聯以產生關聯的數據；將一套用戶定義的規則應用于所述關聯的數據；和 鑒別在所述關聯的數據與所述一套用戶定義的規則中的至 少一個規則之間的匹配。
16. 根據權利要求15所述的系統，其中所述集成服務器進一步 可操作來確定所述一個或多個交易是潛在地可疑的并產生警報，所述 系統進一步包括與所述集成服務器通訊連接的客戶機接口 ，所述客戶 機接口可操作來指示所述警報。
17. 根據權利要求16所述的系統，其中所述客戶機接口進一步 可操作來接收所述一套用戶定義的規則，所述一套用戶定義的規則包 括一個或多個視頻分析規則與一個或多個數據分析規則的結合。
18. 根據權利要求17所述的系統，其中所述視頻內容包括指示 所述活動發生的時間的第 一時間戳并且所述交易數據包括指示所述交 易被處理的時間的第二時間戳，所述集成服務器進一步可操作來通過 匹配所述第 一時間戳與所述第二時間戳而將所述視頻內容與所述交易 數據相關聯。
19. 根據權利要求18所述的系統，其中 所述數據分析規則包括確定退貨交易已發生的規則；以及所述視頻分析規則包括確定在所述交易點終端處沒有消費者的規則。
20.根據權利要求18所述的系統，其中 所述數據分析規則包括確定現金交易已被無效的規則；以及 所述視頻分析規則包括確定在所述交易點終端處沒有消費者的規則。
全文摘要
一種方法和系統檢測在被監測設施中潛在的可疑活動。被監測設施包括至少一個交易點終端。收集發生在被監測設施中的活動的視頻內容和涉及在交易終端處理的交易的交易數據。將所述視頻內容與所述交易數據相關聯以產生關聯的數據。將一套用戶定義的規則應用于所述關聯的數據。響應于鑒別到所述關聯的數據與所述一套用戶定義的規則中的至少一個規則之間的匹配，所述交易被確定為潛在地可疑的。
文檔編號H04N7/18GK101682750SQ200880019438
公開日2010年3月24日 申請日期2008年6月9日 優先權日2007年6月9日
發明者A·M·赫羅爾德, K·D·羅默, 沈樹海 申請人:傳感電子公司