圖像搜索方法及系統的制作方法
【專利摘要】本申請適用于圖像處理技術領域，提供了一種圖像搜索方法，包括步驟有：獲取圖像和待搜索的原始子圖；在所述圖像中生成與所述原始子圖大小相同的多個子圖搜索窗口，分別計算多個所述子圖搜索窗口與所述原始子圖的差異值；根據所述差異值和預定的圖像相似閾值，分析出與所述原始子圖匹配的所述子圖搜索窗口作為所述原始子圖對應的目標子圖。相應地，本申請還提供一種圖像搜索系統。借此，本申請能夠搜索并識別并非在像素級別完全相同的、但是人眼感官相同的目標子圖，并支持搜索并識別多張目標子圖，從而使得圖像搜結果更符合用戶實際需求。
【專利說明】
圖像搜索方法及系統
技術領域
[0001] 本申請設及圖像處理技術領域，尤其設及一種圖像捜索方法及系統。
【背景技術】
[0002] 圖像捜索是一種非常有價值的應用。尤其時在界面自動化操作領域中，系統需要 在界面圖像上自動捜索出需要操作的目標子圖進行操作，W取代人工操作界面的繁瑣，W 大大提升界面操作的處理效率。具體是在界面圖像上捜索是否存在與待操作的原始子圖相 同的目標子圖，若存在，則對該目標子圖進行操作。所述界面自動化操作包括自動化界面測 試等，所述目標子圖包括按鈕、圖標、菜單、圖形等目標區域。
[0003] 如下給出一個與圖像捜索的實例，如截取一個普通Win7系統的圖像，如圖1所示， 需通過圖像捜索的目標子圖為"本地磁盤值:）"、"temp巧新加卷化W便對其進 行自動化操作，捜索后的目標子圖用方圈標記部分表示，如圖2所示，運應與人通過眼睛查 看得到的感官結果是一樣的。但事實上方圈標記部分的每個點的顏色與用于比較的原始子 圖的每個點的顏色并非完全一致，因為方圈標記部分和子圖在RGB (Red、Green、Blue,紅綠 藍）數值上存在不同。嚴格意義上說是不相同的圖片，或說有細微差異但人眼不能識別。造 成運種問題的原因很多，例如，圖像顯示時的反銀齒處理、噪點干擾等。
[0004] 現有技術之一
[0005] 使用滑動捜索窗口，逐點比較W查找完全相同的子圖。但無法對相似圖進行捜索 和比較，因為只要有一個點不一樣就無法進行下去。
[0006] 現有技術之二
[0007] 采用模板匹配，包括W下步驟：
[0008] 1、使用滑動捜索窗口，當確定一個點時，得到該點對應子圖同樣大小的滑動捜索 窗口；
[0009] 2、計算該滑動捜索窗口與子圖之間的差異值，優選算法是如下的逐點計算色差并 平方求和，即
[0010]
[0011] 其中，R為滑動捜索窗口與子圖之間的差異值，T為子圖的顏色值，I為滑動捜索窗 口的顏色值，X為滑動捜索窗口在目標圖像上的橫坐標，y為滑動捜索窗口的縱坐標，X'為 子圖的橫坐標，y'為子圖的縱坐標。
[001引 3、查找R(x，y)的最小值，該點視為匹配。
[0013] 現有技術之二的缺陷在于，因為需查找R(X，y)的最小值點，所W其只能捜索到一 個目標子圖，無法捜索并比較得到多個目標子圖。
[0014] 可見，現有圖像捜索技術無法在圖像捜索出符合要求的目標子圖，進而影響了界 面自動化操作的準確性。
【發明內容】
[0015] 針對上述的缺陷，本申請的目的在于提供一種圖像捜索方法及系統，其能夠捜索 并識別并非在像素級別完全相同的、但是人眼感官相同的目標子圖，并支持捜索并識別多 張目標子圖，從而使得圖像捜結果更符合用戶實際需求。
[0016] 為了實現上述目的，本申請提供一種圖像捜索方法，包括步驟有：
[0017] 獲取圖像和待捜索的原始子圖；
[0018] 在所述圖像中生成與所述原始子圖大小相同的多個子圖捜索窗口，分別計算多個 所述子圖捜索窗口與所述原始子圖的差異值；
[0019] 根據所述差異值和預定的圖像相似闊值，分析出與所述原始子圖匹配的所述子圖 捜索窗口作為所述原始子圖對應的目標子圖。
[0020] 本申請還提供一種圖像捜索系統，包括有：
[0021] 捜索圖像獲取模塊，用于獲取圖像和待捜索的原始子圖；
[0022] 差異值計算模塊，用于在所述圖像中生成與所述原始子圖大小相同的多個子圖捜 索窗口，分別計算多個所述子圖捜索窗口與所述原始子圖的差異值；
[0023] 圖像匹配模塊，用于根據所述差異值和預定的圖像相似闊值，分析出與所述原始 子圖匹配的所述子圖捜索窗口作為所述原始子圖對應的目標子圖。
[0024] 本申請實施例在圖像中捜索與原始子圖對應的目標子圖時，在圖像中生成與原始 子圖大小相同的多個子圖捜索窗口，分別計算多個子圖捜索窗口與原始子圖的差異值，根 據所述差異值和預定的圖像相似闊值，分析出與所述原始子圖匹配的所述子圖捜索窗口作 為所述原始子圖對應的目標子圖，匹配的所述子圖捜索窗口與原始子圖在人眼感觀上為相 同的圖片，因此，可將之匹配為與原始子圖對應的目標子圖。通過運種方式，本申請實施例 能夠捜索并識別并非在像素級別完全相同的、但是人眼感官相同的目標子圖，并支持捜索 并識別多張目標子圖，從而使得圖像捜索結果更符合用戶實際需求。優選的是，本發明的圖 像捜索技術應用于界面自動化操作，在圖像上捜索出目標子圖后，便可直接對該目標子圖 進行操作，進而提高了界面自動化操作的準確性。
【附圖說明】
[0025] 圖1是現有技術中圖像捜索的操作界面圖之一；
[0026] 圖2是現有技術中圖像捜索的操作界面圖之二；
[0027] 圖3是本申請圖像捜索方法的流程圖；
[002引圖4是本申請圖像相似闊值訓練方法的流程圖；
[0029] 圖5是本申請第一實施例中圖像捜索方法的流程圖；
[0030] 圖6是本申請第二實施例中圖像捜索方法的流程圖。
[0031] 圖7是本申請圖像捜索系統的結構示意圖；
[0032] 圖8是本申請優選的圖像捜索系統的結構示意圖；
【具體實施方式】
[0033] 為了使本申請的目的、技術方案及優點更加清楚明白，W下結合附圖及實施例，對 本申請進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用W解釋本申請，并 不用于限定本申請。
[0034] 在本申請一個典型的配置中，終端、服務網絡的設備和可信方均包括一個或多個 處理器（CPU)、輸入/輸出接口、網絡接口和內存。
[0035] 內存可能包括計算機可讀介質中的非永久性存儲器，隨機存取存儲器（RAM)和/ 或非易失性內存等形式，如只讀存儲器（ROM)或閃存（flash RAM)。內存是計算機可讀介質 的示例。
[0036] 計算機可讀介質包括永久性和非永久性、可移動和非可移動媒體可W由任何方法 或技術來實現信息存儲。信息可W是計算機可讀指令、數據結構、程序的模塊或其他數據。 計算機的存儲介質的例子包括，但不限于相變內存（PRAM)、靜態隨機存取存儲器（SRAM)、 動態隨機存取存儲器值RAM)、其他類型的隨機存取存儲器（RAM)、只讀存儲器（ROM)、電 可擦除可編程只讀存儲器巧EPROM)、快閃記憶體或其他內存技術、只讀光盤只讀存儲器 (CD-ROM)、數字多功能光盤值VD)或其他光學存儲、磁盒式磁帶，磁帶磁盤存儲或其他磁性 存儲設備或任何其他非傳輸介質，可用于存儲可W被計算設備訪問的信息。按照本文中的 界定，計算機可讀介質不包括非暫存電腦可讀媒體（transitory media)，如調制的數據信 號和載波。
[0037] 圖3是本申請圖像捜索方法的流程圖，包括步驟有：
[0038] 步驟S301，獲取圖像和待捜索的原始子圖。
[0039] 所述原始子圖可由系統或用戶輸入，所述圖像由圖像捜索系統100的圖像數據庫 提供或者從網絡中獲取，請求圖像捜索系統100在圖像中捜索與原始子圖相匹配的結果子 圖。
[0040] 步驟S302,在圖像中生成與原始子圖大小相同的多個子圖捜索窗口，分別計算多 個子圖捜索窗口與原始子圖的差異值。
[0041] 優選的是，在圖像中確定多個像素點，并W每個像素點為基點分別生成與原始子 圖大小相同的子圖捜索窗口。所述差異值優選為RGB差異值。
[0042] 步驟S303,根據所述差異值和預定的圖像相似闊值，分析出與所述原始子圖匹配 的所述子圖捜索窗口作為原始子圖對應的目標子圖。
[0043] 所述匹配的子圖捜索窗口與原始子圖在人眼感觀上為相同的圖片。所述目標子圖 可W是一個或多個，如果圖像中匹配的子圖捜索窗口，則表示圖像中沒有與原始子圖對應 的目標子圖，可返回捜索結果為空。若圖像中有與原始子圖對應的至少一個目標子圖，則可 將所述目標子圖在圖像上進行標記。
[0044] 本發明優選應用于界面自動化操作，即系統需要在界面圖像上自動捜索出需要操 作的目標子圖進行操作，W取代人工操作界面的繁瑣。所述界面圖像和原始子圖可由系統 根據實際操作需求進行選擇，圖像捜索系統100自動在界面圖像中捜索與原始子圖相匹配 的目標子圖，W便對該目標子圖進行操作。所述界面自動化操作包括自動化界面測試等，所 述目標子圖包括按鈕、圖標、菜單、圖形等目標區域。
[0045] 優選的是，所述步驟S301之前還包括：
[0046] 接收子圖操作指令，所述子圖操作指令中包括圖像和待捜索的原始子圖的信息；
[0047] 優選的是，步驟S303之后還可包括：
[0048] 在捜索出所述目標子圖后，根據所述子圖操作指令對所述目標子圖進行操作。
[0049] 圖4是本申請圖像相似闊值訓練方法的流程圖，包括步驟有：
[0050] 步驟S401，獲取訓練圖像集合和訓練子圖集合。
[0051] 圖像捜索系統100處理得到一定數量的用于訓練的訓練圖像集合；圖像捜索系統 100處理得到一定數量的針對訓圖像集合的訓子圖集合。
[0052] 步驟S402,根據用戶輸入的標記操作指令，在訓練圖像集合上標記與訓練子圖集 合匹配的標記區域。
[0053] 具體由人工或者半人工的方式，在訓練圖像集合上標記訓練子圖匹配的區域，然 后歸納成計算公式。有兩種方法：第一種是用戶通過標記操作指示圖像捜索系統100,訓 練圖像中訓練子圖匹配的精確區域。另一種方法是半自動的，即人工在訓練圖像上標出 包含訓練子圖的非精確區域，運個非精確區域在尺寸上比訓練子圖大一點，比如大10%~ 20%，然后圖像捜索系統100在運個范圍內進行最匹配的捜索，得到匹配的精確區域。
[0054] 步驟S403,根據訓練圖像集合、訓練子圖集合、標記區域W及預定的圖像相似闊值 算法，計算出圖像相似闊值。
[0055] 所述圖像相似闊值的原理是，計算一般人眼覺得匹配的圖，實際上的平均偏差是 多大。所述圖像相似闊值算法優選為：
[0056]
[0057] 其中，x'，y'是標記區域中橫行和縱行的變量，X是訓練子圖的行數，Y是訓練子圖 的列數，N是參與訓練的圖像匹配點的個數。
[0058] 圖5是本申請第一實施例中圖像捜索方法的流程圖，包括步驟有：
[0059] 步驟S501，采集圖像，并將圖像轉換為預定的格式數據。所述格式數據優選為RGB 數據。
[0060] 步驟S502,輸入待捜索的原始子圖，并將原始子圖轉換為格式數據。所述格式數據 優選為RGB數據。
[0061] 步驟S503,在圖像中生成與原始子圖大小相同的多個子圖捜索窗口。
[0062] 步驟S504,分別計算多個子圖捜索窗口的格式數據與原始子圖的格式數據之間的 差異值。所述差異值優選為RGB差異值。
[006引步驟S505,比較差異值是否小于圖像相似闊值。
[0064] 步驟S506,將差異值小于圖像相似闊值的子圖捜索窗口確定為與原始子圖匹配的 目標子圖。
[0065] 所述差異值小于圖像相似闊值的子圖捜索窗口與原始子圖在人眼感觀上為相同 的圖片。所述目標子圖可W是一個或多個，如果圖像中沒有差異值小于預定的圖像相似闊 值的子圖捜索窗口，則表示圖像中沒有與原始子圖對應的目標子圖，可返回捜索結果為空。
[0066] 步驟S507,在圖像上標記目標子圖。
[0067] 圖6是本申請第二實施例中圖像捜索方法的流程圖，包括步驟有：
[0068] 步驟S601，獲取圖像和待捜索的原始子圖。
[0069] 優選的是，采集圖像，并將圖像轉換為預定的格式數據。輸入待捜索的原始子圖， 并將原始子圖轉換為格式數據。所述格式數據為RGB數據。
[0070] 步驟S602,在圖像中確定多個像素點，并W每個像素點為基點分別生成與原始子 圖大小相同的子圖捜索窗口。
[0071] 步驟S603,根據預定的差異值算法逐點計算子圖捜索窗口與原始子圖的差異值矩 陣，得到相應的差異值矩陣集合。
[0072] 例如，圖像包括1000*1000個像素點，原始子圖包括有20*20個像素點，首先，確定 圖像最左上角的像素點為基點，得到該像素點對應原始子圖同樣大小的子圖捜索窗口；然 后，計算該子圖捜索窗口與原始子圖之間的RGB差異值，每個RGB差異值是一個矩陣。然后 自左向右，自上向下地逐個像素點得到各個子圖捜索窗口，并逐點計算每個子圖捜索窗口 與原始子圖之間的RGB差異值。運些RGB差異值構成差異值矩陣集合。
[0073] 步驟S604,根據圖像相似闊值和預定的子圖應用闊值算法，計算每個子圖捜索窗 口對應的子圖應用闊值。
[0074] 所述子圖應用闊值算法優選為：
[00巧]子圖應用闊值=圖像相似闊值巧巧*A。
[0076] 其中，X是子圖捜索窗口的行數，Y是子圖捜索窗口的列數，A是預定的寬容系數， 該寬容系數的取值范圍優選是2~4。
[0077] 可見，待捜索的原始子圖的面積越大，則對應的子圖應用闊值越大。
[0078] 步驟S605,將差異值矩陣集合中每個差異值矩陣與其對應的子圖應用闊值進行比 較，判斷差異值是否小于所述子圖應用闊值，若是則執行步驟S607,否則執行步驟S606。
[0079] 步驟S606,將所有大于或等于子圖應用闊值的差異值矩陣刪除。因為即使對于人 眼感觀而言，大于或等于子圖應用闊值的差異值矩陣對應的子圖捜索窗口與原始子圖都是 不同的圖片。
[0080] 步驟S607,將所有小于子圖應用闊值的差異值矩陣保留，并將保留的差異值矩陣 對應的子圖捜索窗口確定為與原始子圖匹配的目標子圖。因為對于人眼感觀而言，小于子 圖應用闊值的差異值矩陣對應的子圖捜索窗口與原始子圖是相同的圖片。
[0081] 步驟S608，在圖像上標記目標子圖，例如用圓框或方框標記出目標子圖，W便于用 戶查看。
[0082] 圖7是本申請圖像捜索系統的結構示意圖，所述圖像捜索系統100至少包括有捜 索圖像獲取模塊10、差異值計算模塊20 W及圖像匹配模塊30,其中：
[0083] 所述捜索圖像獲取模塊10,用于獲取圖像和待捜索的原始子圖。所述原始子圖可 由用戶輸入，所述圖像由圖像捜索系統100的圖像數據庫提供或者從網絡中獲取，用戶請 求圖像捜索系統100在圖像中捜索與原始子圖相匹配的目標子圖。
[0084] 所述差異值計算模塊20,用于在圖像中生成與原始子圖大小相同的多個子圖捜索 窗口，分別計算多個子圖捜索窗口與原始子圖的差異值。優選的是，在圖像中確定多個像素 點，并W每個像素點為基點分別生成與原始子圖大小相同的子圖捜索窗口。所述差異值優 選為RGB差異值，差異值的優選算法是如下的逐點計算色差并平方求和：
[0085]
[0086] 所述圖像匹配模塊30,用于根據所述差異值和預定的圖像相似闊值，分析出與所 述原始子圖匹配的所述子圖捜索窗口作為原始子圖對應的目標子圖。所述匹配的子圖捜索 窗口與原始子圖在人眼感觀上為相同的圖片。所述目標子圖可W是一個或多個，如果圖像 中匹配的子圖捜索窗口，則表示圖像中沒有與原始子圖對應的目標子圖，可返回捜索結果 為空。若圖像中有與原始子圖對應的至少一個目標子圖，則可將所述目標子圖在圖像上進 行標記。
[0087] 本申請能夠捜索并識別并非在像素級別完全相同的、但是人眼感官相同的子圖， 并且支持捜索并識別多張子圖。
[008引圖8是本申請優選的圖像捜索系統的結構示意圖，所述圖像捜索系統100可包括 有捜索圖像獲取模塊10、差異值計算模塊20、圖像匹配模塊30、訓練圖像獲取模塊40、訓練 標記模塊50、圖像相似闊值計算模塊60和/或結果標記模塊70,其中：
[0089] 所述訓練圖像獲取模塊40,用于獲取訓練圖像集合和訓練子圖集合。圖像捜索系 統100處理得到一定數量的用于訓練的訓練圖像集合；圖像捜索系統100處理得到一定數 量的針對訓圖像集合的訓子圖集合。
[0090] 所述訓練標記模塊50,根據用戶輸入的標記操作指令，在訓練圖像集合上標記與 訓練子圖集合匹配的標記區域。具體由人工或者半人工的方式，在訓練圖像集合上標記訓 練子圖匹配的區域，然后歸納成計算公式。具體可W有兩種方法：第一種是用戶通過標記操 作指示圖像捜索系統100,訓練圖像中訓練子圖匹配的精確區域。另一種方法是半自動的， 即人工在訓練圖像上標出包含訓練子圖的非精確區域，運個非精確區域在尺寸上比訓練子 圖大一點，比如大10%~20%，然后圖像捜索系統100在運個范圍內進行最匹配的捜索，得 到匹配的精確區域。
[00川所述圖像相似闊值計算模塊60,用于根據訓練圖像集合、訓練子圖集合、標記區域 W及預定的圖像相似闊值算法，計算出圖像相似闊值。所述圖像相似闊值的原理是，計算一 般人眼覺得匹配的圖，實際上的平均偏差是多大。
[0092] 所述圖像相似闊值算法優選為：
[0093]
[0094] 其中，x'，y'是標記區域中橫行和縱行的變量，X是訓練子圖的行數，Y是訓練子圖 的列數，N是參與訓練的圖像匹配點的個數。
[0095] 所述捜索圖像獲取模塊10,用于獲取圖像和待捜索的原始子圖。優選的是，捜索圖 像獲取模塊10包括：
[0096] 圖像采集子模塊11，用于采集圖像，并將所述圖像轉換為預定的格式數據。所述格 式數據優選為可處理的RGB數據。
[0097] 子圖輸入子模塊12,用于輸入待捜索的原始子圖，并將原始子圖轉換為格式數據。 所述格式數據優選為可處理的RGB數據。
[0098] 所述差異值計算模塊20,用于在圖像中生成與原始子圖大小相同的多個子圖捜索 窗口，分別計算多個子圖捜索窗口與原始子圖的差異值。優選的是，差異值計算模塊20用 于分別計算多個子圖捜索窗口的格式數據與原始子圖的格式數據之間的差異值。所述差異 值優選為RGB差異值。所述差異值計算模塊20優選包括：
[0099] 窗口生成子模塊21，用于在圖像中確定多個像素點，并W每個像素點為基點分別 生成與原始子圖大小相同的子圖捜索窗口。
[0100] 差異值計算子模塊22,用于根據預定的差異值算法逐點計算子圖捜索窗口與原始 子圖的差異值矩陣，得到相應的差異值矩陣集合。
[0101] 例如，圖像包括1000*1000個像素點，原始子圖包括有20*20個像素點，首先，確定 圖像最左上角的像素點為基點，得到該像素點對應原始子圖同樣大小的子圖捜索窗口；然 后，計算該子圖捜索窗口與原始子圖之間的RGB差異值，每個RGB差異值是一個矩陣。然后 自左向右，自上向下地逐個像素點得到各個子圖捜索窗口，并逐點計算每個子圖捜索窗口 與原始子圖之間的RGB差異值。運些RGB差異值構成差異值矩陣集合。
[0102] 優選的是，所述圖像匹配模塊30包括有：
[0103] 第一比較子模塊31，用于比較差異值是否小于圖像相似闊值。
[0104] 第一匹配子模塊32,用于將差異值小于圖像相似闊值的子圖捜索窗口確定為與原 始子圖匹配的目標子圖。
[0105] 所述差異值小于圖像相似闊值的子圖捜索窗口與原始子圖在人眼感觀上為相同 的圖片。所述目標子圖可W是一個或多個，如果圖像中沒有差異值小于預定的圖像相似闊 值的子圖捜索窗口，則表示圖像中沒有與原始子圖對應的目標子圖，可返回捜索結果為空。
[0106] 優選地，所述圖像匹配模塊30還可包括有：
[0107] 子圖應用闊值計算子模塊33,用于在計算出子圖捜索窗口與原始子圖的差異值 后，根據圖像相似闊值和預定的子圖應用闊值算法，計算每個子圖捜索窗口對應的子圖應 用闊值。
[0108] 所述子圖應用闊值算法優選為：
[0109] 子圖應用闊值=圖像相似闊值巧巧*A ;
[0110] 其中，X是子圖捜索窗口的行數，Y是子圖捜索窗口的列數，A是預定的寬容系數， 該寬容系數的取值范圍優選是2~4。
[0111] 可見，待捜索的原始子圖的面積越大，則對應的子圖應用闊值越大。
[0112] 第二比較子模塊34,用于比較差異值是否小于子圖應用闊值。優選的是，將差異值 矩陣集合中每個差異值矩陣與其對應的子圖應用闊值進行比較。
[0113] 第二匹配子模塊35,用于將差異值小于子圖應用闊值的子圖捜索窗口確定為與原 始子圖匹配的目標子圖。優選的是，將所有大于或等于子圖應用闊值的差異值矩陣刪除，并 將所有小于子圖應用闊值的差異值矩陣保留，并將保留的差異值矩陣對應的子圖捜索窗口 確定為與原始子圖匹配的目標子圖。
[0114] 所述結果標記模塊70，用于在匹配出原始子圖對應的目標子圖之后，在圖像上標 記目標子圖，例如用圓框或方框標記出目標子圖，W便于用戶查看。
[0115] 本發明優選應用于界面自動化操作，即系統需要在界面圖像上自動捜索出需要操 作的目標子圖進行操作，W取代人工操作界面的繁瑣。所述界面圖像和原始子圖可由系統 根據實際操作需求進行選擇，圖像捜索系統100自動在界面圖像中捜索與原始子圖相匹配 的目標子圖，W便對該目標子圖進行操作。所述界面自動化操作包括自動化界面測試等，所 述目標子圖包括按鈕、圖標、菜單、圖形等目標區域。
[0116] 優選的是，所述圖像捜索系統100還包括：
[0117] 指令接收模塊80,用于在獲取圖像和原始子圖之前，接收子圖操作指令，所述子圖 操作指令中包括圖像和待捜索的原始子圖的信息；
[0118] 子圖操作模塊90,用于在捜索出所述目標子圖后，根據所述子圖操作指令對所述 目標子圖進行操作。
[0119] 綜上所述，本申請實施例在圖像中捜索與原始子圖對應的目標子圖時，在圖像中 生成與原始子圖大小相同的多個子圖捜索窗口，分別計算多個子圖捜索窗口與原始子圖的 差異值，根據所述差異值和預定的圖像相似闊值，分析出與所述原始子圖匹配的所述子圖 捜索窗口作為所述原始子圖對應的目標子圖，匹配的所述子圖捜索窗口與原始子圖在人眼 感觀上為相同的圖片，因此，可將之匹配為與原始子圖對應的目標子圖。通過運種方式，本 申請實施例能夠捜索并識別并非在像素級別完全相同的、但是人眼感官相同的目標子圖， 并支持捜索并識別多張目標子圖，從而使得圖像捜索結果更符合用戶實際需求。優選的是， 本發明的圖像捜索技術應用于界面自動化操作，在圖像上捜索出目標子圖后，便可直接對 該目標子圖進行操作，進而提高了界面自動化操作的準確性。
[0120] 當然，本申請還可有其它多種實施例，在不背離本申請精神及其實質的情況下，熟 悉本領域的技術人員當可根據本申請作出各種相應的改變和變形，但運些相應的改變和變 形都應屬于本申請所附的權利要求的保護范圍。
【主權項】
1. 一種圖像捜索方法，其特征在于，包括： 獲取圖像和待捜索的原始子圖； 在所述圖像中生成與所述原始子圖大小相同的多個子圖捜索窗口，分別計算多個所述 子圖捜索窗口與所述原始子圖的差異值； 根據所述差異值和預定的圖像相似闊值，分析出與所述原始子圖匹配的所述子圖捜索 窗口作為所述原始子圖對應的目標子圖。2. 根據權利要求1所述的圖像捜索方法，其特征在于，所述根據差異值和預定的圖像 相似闊值，分析出與所述原始子圖匹配的所述子圖捜索窗口作為所述原始子圖對應的目標 子圖的步驟包括： 比較所述差異值是否小于所述圖像相似闊值； 將所述差異值小于所述圖像相似闊值的所述子圖捜索窗口確定為與所述原始子圖匹 配的所述目標子圖。3. 根據權利要求1所述的圖像捜索方法，其特征在于，所述根據差異值和預定的圖像 相似闊值，分析出與所述原始子圖匹配的所述子圖捜索窗口作為所述原始子圖對應的目標 子圖的步驟包括： 根據所述圖像相似闊值和預定的子圖應用闊值算法，計算每個所述子圖捜索窗口對應 的子圖應用闊值； 比較所述差異值是否小于所述子圖應用闊值； 將所述差異值小于所述子圖應用闊值的所述子圖捜索窗口確定為與所述原始子圖匹 配的所述目標子圖。4. 根據權利要求3所述的圖像捜索方法，其特征在于，所述子圖應用闊值算法為： 子圖應用闊值=圖像相似闊值巧巧*A ; 其中，X是子圖捜索窗口的行數，Y是子圖捜索窗口的列數，A是預定的寬容系數。5. 根據權利要求1所述的圖像捜索方法，其特征在于，所述在圖像中生成與所述原始 子圖大小相同的多個子圖捜索窗口，分別計算多個所述子圖捜索窗口與所述原始子圖的差 異值的步驟包括： 在所述圖像中確定多個像素點，并W每個所述像素點為基點分別生成與所述原始子圖 大小相同的所述子圖捜索窗口； 根據預定的差異值算法逐點計算所述子圖捜索窗口與所述原始子圖的所述差異值矩 陣，得到相應的差異值矩陣集合。6. 根據權利要求5所述的圖像捜索方法，其特征在于，所述比較差異值是否小于所述 子圖應用闊值的步驟包括： 將所述差異值矩陣集合中每個差異值矩陣與其對應的所述子圖應用闊值進行比較； 所述將差異值小于所述子圖應用闊值的所述子圖捜索窗口確定為與所述原始子圖匹 配的所述目標子圖的步驟包括： 將所有大于或等于所述子圖應用闊值的所述差異值矩陣刪除，并將所有小于所述子圖 應用闊值的所述差異值矩陣保留，并將保留的所述差異值矩陣對應的所述子圖捜索窗口確 定為與所述原始子圖匹配的所述目標子圖。7. 根據權利要求1所述的圖像捜索方法，其特征在于，所述分析出與所述原始子圖匹 配的所述子圖捜索窗口作為所述原始子圖對應的目標子圖的步驟之后還包括： 在所述圖像上標記所述目標子圖。8. 根據權利要求1所述的圖像捜索方法，其特征在于，所述獲取圖像和待捜索的原始 子圖的步驟之前還包括： 獲取訓練圖像集合和訓練子圖集合； 根據用戶輸入的標記操作指令，在所述訓練圖像集合上標記與所述訓練子圖集合匹配 的標記區域； 根據所述訓練圖像集合、所述訓練子圖集合、所述標記區域W及預定的圖像相似闊值 算法，計算出所述圖像相似闊值。9. 根據權利要求8所述的圖像捜索方法，其特征在于，所述圖像相似闊值算法為：其中，x'，y'是標記區域中橫行和縱行的變量，X是訓練子圖的行數，Y是訓練子圖的列 數，N是參與訓練的圖像匹配點的個數。10. 根據權利要求1~9任一項所述的圖像捜索方法，其特征在于，所述獲取圖像和待 捜索的原始子圖的步驟前還包括： 接收子圖操作指令，所述子圖操作指令中包括圖像和待捜索的原始子圖的信息； 所述分析出與所述原始子圖匹配的所述子圖捜索窗口作為所述原始子圖對應的目標 子圖的步驟之后還包括： 在捜索出所述目標子圖后，根據所述子圖操作指令對所述目標子圖進行操作。11. 一種圖像捜索系統，其特征在于，包括有： 捜索圖像獲取模塊，用于獲取圖像和待捜索的原始子圖； 差異值計算模塊，用于在所述圖像中生成與所述原始子圖大小相同的多個子圖捜索窗 口，分別計算多個所述子圖捜索窗口與所述原始子圖的差異值； 圖像匹配模塊，用于根據所述差異值和預定的圖像相似闊值，分析出與所述原始子圖 匹配的所述子圖捜索窗口作為所述原始子圖對應的目標子圖。12. 根據權利要求11所述的圖像捜索系統，其特征在于，所述圖像匹配模塊包括： 第一比較子模塊，用于比較所述差異值是否小于所述圖像相似闊值； 第一匹配子模塊，用于將所述差異值小于所述圖像相似闊值的所述子圖捜索窗口確定 為與所述原始子圖匹配的所述目標子圖。13. 根據權利要求11所述的圖像捜索系統，其特征在于，所述圖像匹配模塊包括： 子圖應用闊值計算子模塊，用于在計算出所述子圖捜索窗口與所述原始子圖的所述差 異值后，根據所述圖像相似闊值和預定的子圖應用闊值算法，計算每個所述子圖捜索窗口 對應的子圖應用闊值； 第二比較子模塊，用于比較所述差異值是否小于所述子圖應用闊值； 第二匹配子模塊，用于將所述差異值小于所述子圖應用闊值的所述子圖捜索窗口確定 為與所述原始子圖匹配的所述目標子圖。14. 根據權利要求13所述的圖像捜索系統，其特征在于，所述子圖應用闊值算法為： 子圖應用闊值=圖像相似闊值巧巧*A ; 其中，X是子圖捜索窗口的行數，Y是子圖捜索窗口的列數，A是預定的寬容系數。15. 根據權利要求11所述的圖像捜索系統，其特征在于，所述差異值計算模塊包括： 窗口生成子模塊，用于在所述圖像中確定多個像素點，并W每個所述像素點為基點分 別生成與所述原始子圖大小相同的所述子圖捜索窗口； 差異值計算子模塊，用于根據預定的差異值算法逐點計算所述子圖捜索窗口與所述原 始子圖的所述差異值矩陣，得到相應的差異值矩陣集合。16. 根據權利要求15所述的圖像捜索系統，其特征在于，所述圖像匹配模塊的所述第 二比較子模塊用于將所述差異值矩陣集合中每個差異值矩陣與其對應的所述子圖應用闊 值進行比較； 所述圖像匹配模塊的所述第二匹配子模塊用于將所有大于或等于所述子圖應用闊值 的所述差異值矩陣刪除，并將所有小于所述子圖應用闊值的所述差異值矩陣保留，并將保 留的所述差異值矩陣對應的所述子圖捜索窗口確定為與所述原始子圖匹配的所述目標子 圖。17. 根據權利要求11所述的圖像捜索系統，其特征在于，還包括： 結果標記模塊，用于在匹配出所述原始子圖對應的所述目標子圖之后，在所述圖像上 標記所述目標子圖。18. 根據權利要求11所述的圖像捜索系統，其特征在于，還包括： 訓練圖像獲取模塊，用于獲取訓練圖像集合和訓練子圖集合； 訓練標記模塊，根據用戶輸入的標記操作指令，在所述訓練圖像集合上標記與所述訓 練子圖集合匹配的標記區域； 圖像相似闊值計算模塊，用于根據所述訓練圖像集合、所述訓練子圖集合、所述標記區 域W及預定的圖像相似闊值算法，計算出所述圖像相似闊值。19. 根據權利要求18所述的圖像搜索系統，其特征在于，所述圖像相似闊值算法為：其中，x'，y'是標記區域中橫行和縱行的變量，X是訓練子圖的行數，Y是訓練子圖的列 數，N是參與訓練的圖像匹配點的個數。20. 根據權利要求11~19任一項所述的圖像捜索系統，其特征在于，還包括： 指令接收模塊，用于在獲取圖像和原始子圖之前，接收子圖操作指令，所述子圖操作指 令中包括圖像和待捜索的原始子圖的信息； 子圖操作模塊，用于在捜索出所述目標子圖后，根據所述子圖操作指令對所述目標子 圖進行操作。
【文檔編號】G06K9/66GK105989029SQ201510053712
【公開日】2016年10月5日
【申請日】2015年2月2日
【發明人】王立
【申請人】阿里巴巴集團控股有限公司