用于從給定圖像中識別目標銘板圖像的內容的裝置和方法
【技術領域】
[0001] 本發明涉及一種用于從給定圖像中識別目標銘板圖像的內容的裝置和方法。
【背景技術】
[0002] 自動檢測與識別數字圖像中的銘板內容是光學字符領域的重要技術，他能幫助用 戶查詢維護相關銘板信息。圖1給出了一個基于銘板圖像檢測與識別來對電線柱進行維護 的示例。用戶首先在手持設備的預覽窗口獲取圖像，然后檢測并識別圖像中的銘板內容，最 后用戶可以檢索歷史維護信息、將維護過程上傳到服務器，等等。但是，由于銘板位置、銘板 內容多變性及低質量圖像的影響，快速、正確的檢測并識別出銘板中的內容是非常具有挑 戰的任務。大部分傳統的方法把車牌的檢測與識別作為重點，而并不關注具有各種各樣的 布局和內容的一般意義上的銘板的檢測與識別。
[0003] 例如，專利文獻No. US8447112中揭示的技術試圖從車輛圖像中提取至少一個車 牌位置，然后通過預先設定的置信度閾值來確定車牌和置信度。專利文獻No. US8483440中 揭示的技術根據輸入車牌圖像選擇一個特定的模板圖像來驗證車牌檢測識別結果。專利文 獻公開No. US02110228085中揭示的技術利用攝像機、多通濾波器、發光二級管和光照控制 板來檢測識別車牌圖像。傳統的車牌檢測方法不能用于電線柱上的銘板及其它類型銘板的 檢測與識別，并且也不能用于多語言類型和多布局類型的銘板圖像的檢測與識別。
[0004] 針對現有技術中存在的缺陷，提出本申請。
【發明內容】
[0005] 在下文中給出關于本發明的簡要概述，以便提供關于本發明的某些方面的基本理 解。應當理解，這個概述并不是關于本發明的窮舉性概述。它并不是意圖確定本發明的關 鍵或重要部分，也不是意圖限定本發明的范圍。其目的僅僅是以簡化的形式給出某些概念， 以此作為稍后論述的更詳細描述的前序。
[0006] 本發明的一個主要目的在于提供一種用于從給定圖像中識別目標銘板圖像的內 容的方法，以克服或減輕現有的問題。
[0007] 根據本發明的另一個方面，提供了一種用于從給定圖像中識別目標銘板圖像的內 容的裝置，所述裝置包括：候選銘板圖像獲取模塊，其被配置成從所述給定圖像中獲取所述 目標銘板圖像的一個或多個候選銘板圖像；目標銘板圖像確定模塊，其被配置成利用預先 定義的所述目標銘板圖像的布局，檢測每個候選銘板圖像，從而確定目標銘板圖像以及目 標銘板圖像的內容的位置，所述布局包括：文本行的數量、每個文本行的屬性、文本行之間 的相對位置；及識別模塊，其被配置成識別所述目標銘板圖像的內容。
[0008] 根據本發明的一個方面，提供了一種用于從給定圖像中識別目標銘板圖像的內容 的方法，所述方法包括：從所述給定圖像中獲取所述目標銘板圖像的一個或多個候選銘板 圖像；利用預先定義的所述目標銘板圖像的布局，檢測每個候選銘板圖像，從而確定目標銘 板圖像以及目標銘板圖像的內容的位置，所述布局包括：文本行的數量、每個文本行的屬 性、文本行之間的相對位置；及識別所述目標銘板圖像的內容。
[0009] 另外，本發明的實施例還提供了用于實現上述方法的計算機程序。
[0010] 此外，本發明的實施例還提供了至少計算機可讀介質形式的計算機程序產品，其 上記錄有用于實現上述方法的計算機程序代碼。
[0011] 根據本發明的實施例，能夠更快速、準確地從給定圖像中識別目標銘板圖像的內 容。
[0012] 通過以下結合附圖對本發明的最佳實施例的詳細說明，本發明的這些以及其它優 點將更加明顯。
【附圖說明】
[0013] 參照下面結合附圖對本發明實施例的說明，會更加容易地理解本發明的以上和其 它目的、特點和優點。附圖中的部件只是為了示出本發明的原理。在附圖中，相同的或類似 的技術特征或部件將采用相同或類似的附圖標記來表示。
[0014] 圖1示出了一個基于銘板圖像檢測與識別來對電線柱進行維護的示例；
[0015] 圖2是示意性地示出根據本發明的實施例的用于從給定圖像中識別目標銘板圖 像的內容的方法的流程圖；
[0016] 圖3示出了基于閉合路徑LSD線段的檢測例子；
[0017] 圖4示出了候選連通分量識別與噪聲去除的例子；
[0018] 圖5是示意性地示出根據本發明的實施例的用于從給定圖像中識別目標銘板圖 像的內容的裝置的框圖；
[0019] 圖6是示意性地示出根據本發明的實施例的目標銘板圖像確定模塊的一個實施 例框圖；
[0020] 圖7是示意性地示出根據本發明的實施例的候選連通分量獲取單元的一個實施 例框圖；
[0021] 圖8是示意性地示出根據本發明的實施例的識別模塊的一個實施例框圖；
[0022] 圖9是示意性地示出根據本發明的實施例的候選銘板圖像獲取模塊的一個實施 例框圖；
[0023] 圖10示出了可以用于實施本發明的用于從給定圖像中識別目標銘板圖像的內容 的方法和裝置的計算設備的舉例的結構圖。
【具體實施方式】
[0024] 下面參照附圖來說明本發明的實施例。在本發明的一個附圖或一種實施方式中描 述的元素和特征可以與一個或更多個其它附圖或實施方式中示出的元素和特征相結合。應 當注意，為了清楚的目的，附圖和說明中省略了與本發明無關的、本領域普通技術人員已知 的部件和處理的表示和描述。
[0025] 圖2是示意性地示出根據本發明的實施例的用于從給定圖像中識別目標銘板圖 像的內容的方法的流程圖。以下參照圖2來描述根據本發明的實施例的用于從給定圖像中 識別目標銘板圖像的內容的方法。
[0026] 在步驟S201中，從給定圖像中獲取目標銘板圖像的一個或多個候選銘板圖像。
[0027] 具體地，可以通過直線段檢測算法對給定圖像進行檢測，從而獲取多個直線段，并 且將由構成封閉路徑的直線段集合所限定的部分作為候選銘板圖像。
[0028] 例如，首先使用直線段檢測（LSD)算法提取圖像中存在的水平和垂直線段，為 了提高直線段檢測算法的有效性，LSD大小自適應于原圖像大小，LSD圖像大小范圍為 [s lsd，maxS]，
[0029] 其中：slsd= s img/r，simg是輸入圖像大小，r為縮放比例。
[0030]
[0031] 對于檢測到的線段集合= ，我們定義閉合路徑
!；中_是偏差向量。 ε
[0032] 如果存在一個LSD線段集合五=元『2,..1}使
，那么這個線段集 合五= {/；,/2，…乙丨被聚集成一個閉合路徑，這些閉合路徑線段的外接矩形框被定位為候選銘 板圖像。圖3給出了基于閉合路徑LSD線段的檢測例子。附圖標記1和2指示出被檢測出 來的候選銘板圖像。
[0033] 在步驟S202中，利用預先定義的目標銘板圖像的布局，檢測每個候選銘板圖像， 從而確定目標銘板圖像以及目標銘板圖像的內容的位置。
[0034] 目標銘板圖像的布局可以包括：文本行的數量、每個文本行的屬性、文本行之間的 相對位置。文本行的屬性可以進一步包括：文本行的方向、文本行包括的字符數量及每個字 符的字符類型。字符類型可以是數字、字母、片假名、平假名、符號、漢字等銘板中的各種類 型的字符。用戶可以預定義想要識別的銘板布局P layciut，
[0035] Playout= {Ntl，{tl!，tl2,…，tlN}，rl}公式 2
[0036] 其中：Ntl是文本行數量，{tl d tl2, ···，tlN}是銘板中的文本行，rl表示所有文本行 的相對位置關系。
[0037] 具體地，對于每個候選銘板，可以利用Adaptive Sauvola算法提取連通分量。通 過與每個字符類型對應的每個類型的識別引擎（例如MQDF引擎）對一個候選銘板圖像的 連通分量進行識別，從而獲取候選連通分量。每種類型MQDF引擎可以選擇^/隊個具有較 高置信度的識別結果并按降序排列，其中，T。是總共候選個數，為N t字符類型數。然后，根 據連通分量屬于預定的字符類型的概率，確定關鍵連通分量和非關鍵連通分量。具體地，如 果連通分量屬于預定的字符類型的概率中的最大值大于預定閾值T h，則將該連通分量作為 關鍵連通分量，否則作為非關鍵連通分量。對所有關鍵連通分量計算關鍵連通分量的屬性 的平均值m和偏差σ。關鍵連通分量的屬性包括大小、前景灰度值及筆劃寬度中的至少一 個。然后，基于對所有關鍵連通分量計算出的關鍵連通分量的屬性的平均值和偏差，確定候 選連通分量。具體地，如果非關鍵連通分量的屬性值落在由平均值和偏差（即，m±k 〇)構 成的范圍之外，則該非關鍵連通分量為噪聲連通分量，剩余的連通分量和關鍵連通分量為 候選連通分量。例如，圖4給出了候選連通分量識別與噪聲去除的例子，其字符類型為數字 和片假名。如圖4所示，根據計算結果，由附圖標記3表示的連通分量為關鍵連通分量，由 附圖標記4表示的非關鍵連通分量的屬性值落在由平均值和偏差（即，m±k〇)構成的范 圍之內，所以由附圖標記3表示的關鍵連通分量和由附圖標記4表示的非關鍵連通分量為 候選連通分量。其它的非關鍵連通分量則作為噪聲連通分量。
[0038] 然后，基于目標銘板圖像中的文本行的屬性