基于圖像處理的貼片機喂料器元件位置自動矯正裝置及自動矯正方法與流程

本發明涉及貼片機喂料器元件位置的自動矯正裝置和方法。

背景技術：

在工業自動化的發展趨勢下，依靠傳統的人工操作已經無法滿足產品生產大批量化以及裝配過程復雜化的現代生產模式的要求，然而，在小尺寸產品檢測中對精度的要求越來越高，傳統的人工檢測技術完全無法滿足精度的要求。以數字圖像處理技術為基礎的視覺檢測技術依靠高精度、高效率、低成本等優勢已經逐漸代替傳統的人工檢測技術，廣泛應用于各制造業領域。

由于貼片機喂料器在出廠前以及在使用期間需要對元件初始位置進行矯正至標準位置，傳統的矯正方法依靠人眼讀取圖像位置并計算偏差，并且需要重復上述過程40次甚至更多，而依靠人為矯正的方法存在著矯正誤差大、成本高、低效率以及易出現誤操作等一系列問題。

在貼片機喂料器元件位置的視覺檢測技術中，在攝像機對貼片機喂料器元件進行圖像采集后，通過對采集的圖像進行輪廓檢測后進行定位以及計算元件尺寸，在攝像機精度保證的情況下，矯正精度主要依賴于在圖像處理過程中對元件的輪廓檢測的精度以及元件在圖像中的尺寸與實際尺寸的轉換精度。

技術實現要素：

本發明為了解決現有供料器依靠人工矯正或機械矯正元件初始位置存在精度低的問題。

一種基于圖像處理的貼片機喂料器元件位置自動矯正裝置，包括上位機、矯正固定裝置、工業攝像機和LED光源；上位機與工業攝像機相連；工業攝像機及喂料器固定在矯正固定裝置上，喂料器的出口處對準元件傳輸帶，工業攝像機對準喂料器的出口及出口前方，工業攝像機用于實時采集喂料器出口的元件的位置圖像；LED光源為光強可調節光源，位于工業攝像機攝像頭處，LED光源用于調節光照環境中光的強度；

上位機內置貼片機喂料器元件位置自動矯正控制系統，貼片機喂料器元件位置自動矯正控制系統是利用Qt搭建可視化界面，用于控制工業攝像機采集圖像，并將所采集的圖像實時顯示在圖像顯示窗口，然后通過元件位置圖像的處理、位置信息數據的計算后發送矯正命令控制矯動作。

優選地，上位機內置的貼片機喂料器元件位置自動矯正控制系統包括：

通信模塊，用于與貼片機喂料器之間進行通信；

顯示模塊，用于顯示圖像和提示信息；顯示模塊包括圖像顯示子模塊和信息提示子模塊；其中，

所述圖像顯示子模塊，用于實時在圖像顯示窗口顯示攝像頭采集來的圖像；

所述信息提示子模塊，用于顯示操作和警告提示信息；

操作模塊，用于對攝像頭、采集的圖像以及矯正命令和數據進行控制；操作模塊包括攝像頭控制子模塊、圖像操作子模塊、矯正命令發送子模塊及數據保存子模塊；其中，

所述攝像頭控制子模塊，用于控制攝像頭的開啟和停止；

所述圖像操作子模塊，用于在圖像顯示窗口設定元件標準位置和元件的ROI區域并對ROI區域中的元件進行圖像處理和定位；

所述矯正命令發送子模塊，用于發送矯正命令；

所述數據保存子模塊，用于保存元件矯正過程中的數據，包括圖像操作子模塊得到元件在圖像中的位置信息數據。

優選地，所述信息提示子模塊包括：

操作信息提示單元，用于實時將操作人員每次的操作信息顯示在操作信息提示區；

警告信息提示單元，通過彈出警告信息對話框，用于提示用戶的注意須知及誤操作情況。

優選地，所述圖像操作子模塊包括：

ROI區域設定單元，用于在顯示圖像中設定包含元件圖像的ROI區域；

元件定位單元，通過對ROI區域設定單元設定的ROI區域圖像進行圖像處理，定位得到元件在圖像中的位置信息；

元件標準位置設定單元，用于在顯示圖像中設定待矯正元件需要到達的標準位置，并計算元件需要矯正的距離。

一種基于圖像處理的貼片機喂料器元件位置自動矯正方法，包括以下步驟：

步驟一、上位機控制開啟工業攝像機，貼片機喂料器元件位置自動矯正控制系統的圖像顯示窗口顯示采集到的圖像，工業攝像機的高清攝像頭采集喂料器兩個元件圖像；

步驟二、針對步驟一采集到的兩個元件圖像，在圖像顯示窗口中分別對包含兩個元件的圖像進行ROI區域設定；

步驟三、對步驟二所述的ROI區域內的圖像進行灰度化操作，并進行中值濾波處理，得到處理后的灰度圖像；

步驟四、對步驟三所述的處理后的灰度圖像進行二值化處理，得到ROI區域圖像的二值圖像；并對二值圖像進行輪廓查找，查找出二值圖像的所有輪廓；

步驟五、對步驟四所述的已查找出輪廓的圖像進行輪廓粗篩選，查找出最大輪廓，并在圖像顯示窗口用矩形框圈出其區域，并對應圈出該元件圖像的區域；

步驟六、針對步驟五得到的用矩形框圈出區域，分別記錄兩個元件在圖像顯示窗口中各自的四個頂點坐標值，并分別得到元件各自的中心坐標；

步驟七、根據步驟六所述的中心坐標計算兩個元件圖像中心的水平距離；按元件順序依次對每兩個元件的進行檢測，檢測10組圖像，計算10組圖像中每兩個元件圖像中心的水平距離的算術平均值，記為元件圖像的中心距離；將元件圖像的中心距離與實際元件距離進行坐標映射，得到元件圖像的中心距離與元件實際距離的比例關系；

步驟八、針對已完成檢測的圖像，從當前檢測圖像開始，設定圖像中元件所在的標準位置，并記錄其坐標；

步驟九、針對當前檢測圖像中的兩個元件，確定圖像中待矯正元件，設定待矯正元件的待矯正ROI區域，然后按照步驟二、步驟三、步驟四和步驟五計算待矯正元件圖像的中心坐標；

步驟十、計算步驟九所述的待矯正元件圖像的中心坐標與步驟八所述的元件標準位置之間的水平偏差，并根據步驟七所述的元件圖像的中心距離與元件實際距離的比例關系計算元件需要矯正的實際距離；

步驟十一、根據步驟十所述的元件需要矯正的實際距離，對元件進行矯正。

優選地，步驟四所述查找出二值圖像的所有輪廓的具體步驟包括以下步驟：

步驟四一、對于步驟三得到的灰度圖像進行二值化處理，通過設定恰當的像素閾值得到二值圖像；

步驟四二、對于步驟四一所述的二值圖像進行掃描至連通區域的第一個點，以此點為起點，尋找其輪廓并用白色像素標記所述二值圖像的邊界；

步驟四三、如果掃描區域的輪廓完整且閉合，重復步驟四一，尋找新的連通區域直至確定所有的輪廓。

優選地，所述的步驟五具體步驟包括以下步驟：

步驟五一、對步驟四得到的已查找出輪廓的圖像，通過設定輪廓的長度閾值，保留滿足輪廓長度范圍內的所有輪廓，實現輪廓粗篩選；

步驟五二、對步驟五一已完成粗篩選的輪廓，逐個進行輪廓比較，直至找出最大輪廓，并在圖像中刪除其余輪廓；

步驟五三、對步驟五二得到的最大輪廓的圖像，進行矩形邊界框包圍，用矩形邊界圈定最大輪廓的圖像。

優選地，所述的步驟七具體步驟包括以下步驟：

步驟七一、根據步驟六得到兩個元件圖像中心的水平坐標，計算兩個元件圖像中心的水平距離D₁；

步驟七二、以步驟七一得到的兩個元件圖像中的第二個元件為起始，按元件順序再次取兩個元件的圖像，計算兩個元件圖像中心的水平距離D₂；

步驟七三、按照步驟七二，按元件順序依次對每兩個元件的圖像進行檢測，檢測10組數據，得到水平距離D₃～D₁₀；

步驟七四、對上述步驟得到的水平距離D₁～D₁₀進行算術平均，將算術平均值作為兩個元件圖像中心之間的水平距離，記為元件圖像的中心距離；將圖像距離與實際元件距離進行坐標映射，得到圖像距離和元件實際距離的比例關系。

本發明解決了現有供料器依靠人工矯正元件初始位置和現有的機械矯正元件初始位置存在的精度低較低的問題，同時能夠降低成本、提高生產效率。尤其是針對人工矯正元件初始位置的方法，本發明能夠在很大程度上降低成本，大幅度提高了生產效率。

有如下幾方面的優點：

1)本發明所述矯正裝置的硬件結構簡單，僅包括一個上位機、矯正固定裝置、工業攝像機及LED可調光源。不但能夠降低成本，而且結構簡單很大程度上降低了故障率。

2)本發明的裝置和方法對檢測環境無特殊要求，對于干擾較大或者背景復雜的元件，同樣能夠成功檢測出元件位置。

3)本發明能根據相鄰元件中心的距離能實現自動識別需要矯正元件的個數，無需人工參與。

4)本發明對于圖像識別以及元件距離的數據計算準確、矯正精度較高；本發明對圖像處理成功率在99％以上，自動矯正功能實現的成功率在95％以上。

5)本發明能夠在3分鐘之內實現喂料器40個元件的自動矯正；即自動矯正一次所需時間在3分鐘內。

6)本發明的識別和處理速度較快，從圖像識別、處理以及數據的計算全部過程的處理時間在500ms之內。

附圖說明

圖1為本發明所述自動矯正裝置示意圖；

圖2為圖像顯示窗口顯示采集到的圖像；

圖3為以一個元件圖像為例的ROI區域內的圖像進行灰度化圖像；

圖4為以一個元件圖像為例的進行中值濾波處理后的灰度圖像；

圖5為以一個元件圖像為例的二值圖像；

圖6為以一個元件圖像為例的查找出二值圖像的所有輪廓；

圖7為以一個元件圖像為例的圖像進行輪廓粗篩選后的圖像；

圖8為以一個元件圖像為例的查找出的最大輪廓；

圖9為以一個元件圖像為例的圈出的最大輪廓的外接矩形框圖像；

圖10為以一個元件圖像為例的最大輪廓外接矩形框圖像對應的原圖像上矩形框圈定的圖像；

圖11為在已完成檢測的圖像中設定圖像中元件所在的標準位置的示意圖；

圖12為元件矯正后的圖像；

圖13為元件矯正后圖像與標準位置比較的圖像。

具體實施方式

具體實施方式一：結合圖1說明本實施方式，

一種基于圖像處理的貼片機喂料器元件位置自動矯正裝置，包括上位機1、矯正固定裝置2、工業攝像機3和LED光源4；上位機1與工業攝像機3相連；工業攝像機3及喂料器固定在矯正固定裝置2上，喂料器的出口處對準元件傳輸帶，工業攝像機3對準喂料器的出口及出口前方，工業攝像機3用于實時采集喂料器出口的元件5的位置圖像；LED光源4為光強可調節光源，位于工業攝像機3攝像頭處，LED光源4用于調節光照環境中光的強度；

上位機1內置貼片機喂料器元件位置自動矯正控制系統，貼片機喂料器元件位置自動矯正控制系統是利用Qt搭建可視化界面，用于控制工業攝像機3采集圖像，并將所采集的圖像實時顯示在圖像顯示窗口，然后通過元件位置圖像的處理、位置信息等數據的計算后發送矯正命令等控制矯正動作。

具體實施方式二：

本實施方式所述的上位機內置的貼片機喂料器元件位置自動矯正控制系統包括：

通信模塊，用于選擇正確的串口與貼片機喂料器之間進行通信；

顯示模塊，用于顯示圖像和提示信息；顯示模塊包括圖像顯示子模塊和信息提示子模塊；其中，

所述圖像顯示子模塊，用于實時在圖像顯示窗口顯示攝像頭采集來的圖像；

所述信息提示子模塊，用于顯示操作和警告提示信息；

操作模塊，用于對攝像頭、采集的圖像以及矯正命令和數據進行控制；操作模塊包括攝像頭控制子模塊、圖像操作子模塊、矯正命令發送子模塊及數據保存子模塊；其中，

所述攝像頭控制子模塊，用于控制攝像頭的開啟和停止；

所述圖像操作子模塊，用于在圖像顯示窗口設定元件標準位置和元件的ROI區域并對ROI區域中的元件進行圖像處理和定位；

所述矯正命令發送子模塊，用于發送矯正命令；

所述數據保存子模塊，用于保存元件矯正過程中的數據，包括圖像操作子模塊(其中的元件定位單元)得到元件在圖像中的位置信息等數據，便于操作人員查看。

其他結構與具體實施方式一相同。

具體實施方式三：

本實施方式所述信息提示子模塊包括：

操作信息提示單元，用于實時將操作人員每次的操作信息顯示在操作信息提示區；

警告信息提示單元，通過彈出警告信息對話框，用于提示用戶的注意須知及誤操作情況。

其他系統模塊和結構與具體實施方式二相同。

具體實施方式四：

本實施方式所述的所述圖像操作子模塊包括：

ROI區域設定單元，用于在顯示圖像中設定包含元件圖像的ROI區域；

元件定位單元，通過對ROI區域設定單元設定的ROI區域圖像進行圖像處理，定位得到元件在圖像中的位置信息；

元件標準位置設定單元，用于在顯示圖像中設定待矯正元件需要到達的標準位置，并計算元件需要矯正的距離。

具體實施方式五：

本發明的元件位置自動矯正裝置和方法的目的是將喂料器供應的元件調整到目的位置。

一種基于圖像處理的貼片機喂料器元件位置自動矯正方法，包括以下步驟：

步驟一、上位機控制開啟工業攝像機，貼片機喂料器元件位置自動矯正控制系統的圖像顯示窗口顯示采集到的圖像，如圖2所示，調節LED光源強度，直至工業攝像機的高清攝像頭采集的喂料器兩個元件圖像足夠清晰，固定LED光源，在之后的圖像采集過程中無需再次調節，保持當前的光照環境；

步驟二、針對步驟一采集到的兩個元件圖像，在圖像顯示窗口中分別對包含兩個元件的圖像進行ROI區域(感興趣區域)設定；

步驟三、對步驟二所述的ROI區域內的圖像進行灰度化操作，以一個元件圖像為例，如圖3所示；并進行中值濾波處理，得到處理后的灰度圖像，以一個元件圖像為例，如圖4所示；

步驟四、對步驟三所述的處理后的灰度圖像進行二值化處理，得到ROI區域圖像的二值圖像，以一個元件圖像為例，如圖5所示；并對二值圖像進行輪廓查找，查找出二值圖像的所有輪廓，即閉合區域，以一個元件圖像為例，如圖6所示；

步驟五、對步驟四所述的已查找出輪廓的圖像進行輪廓粗篩選，以一個元件圖像為例，如圖7所示；查找出最大輪廓，以一個元件圖像為例，如圖8所示；并在圖像顯示窗口用矩形框圈出其區域，以一個元件圖像為例，如圖9所示，并對應圈出該元件圖像的區域如圖10所示；

步驟六、針對步驟五得到的用矩形框圈出區域，分別記錄兩個元件在圖像顯示窗口中各自的四個頂點坐標值，并分別得到元件各自的中心坐標；

步驟七、根據步驟六所述的中心坐標計算兩個元件圖像中心的水平距離；按元件順序依次對每兩個元件的進行檢測，檢測10組圖像(10組圖像對應的元件的實際距離是相同的)，計算10組圖像中每兩個元件圖像中心的水平距離的算術平均值，記為元件圖像的中心距離；將元件圖像的中心距離與實際元件距離進行坐標映射，得到元件圖像的中心距離與元件實際距離的比例關系；

步驟八、針對已完成檢測的圖像，從當前檢測圖像開始，設定圖像中元件所在的標準位置，并記錄其坐標；如圖11所示，圖中十字線上方方框的左側為圖像中元件所在的標準位置(附圖11顯示的不是特別清楚，實際方框的對角線將方框分為兩個直角三角形，與十字線挨著的直角三角形尖部向下，與十字線的豎線挨著的方框中的直角三角形向下的尖部指示的位置為圖像中元件所在的標準位置)；

步驟九、針對當前檢測圖像中的兩個元件，確定圖像中待矯正元件，設定待矯正元件的待矯正ROI區域，然后按照步驟二、步驟三、步驟四和步驟五計算待矯正元件圖像的中心坐標；

步驟十、計算步驟九所述的待矯正元件圖像的中心坐標與步驟八所述的元件標準位置之間的水平偏差，并根據步驟七所述的元件圖像的中心距離與元件實際距離的比例關系計算元件需要矯正的實際距離；

步驟十一、根據步驟十所述的元件需要矯正的實際距離，發送矯正命令對元件進行矯正；如圖12和圖13所示，圖12為矯正后的圖像，圖13為矯正后圖像與標準位置比較的圖像；圖中十字線上方的直角三角形向下的尖部指示的位置為圖像中元件所在的標準位置，待矯正元件圖像的中心坐標與標準位置對應后完成元件的位置矯正。

具體實施方式六：

本實施方式所述的步驟四所述查找出二值圖像的所有輪廓的具體步驟包括以下步驟：

步驟四一、對于步驟三得到的灰度圖像進行二值化處理，通過設定恰當的像素閾值得到二值圖像；

步驟四二、對于步驟四一所述的二值圖像進行掃描至連通區域的第一個點，以此點為起點，尋找其輪廓并用白色像素標記所述二值圖像的邊界；

步驟四三、如果掃描區域的輪廓完整且閉合，重復步驟四一，尋找新的連通區域直至確定所有的輪廓。

其他步驟和參數與具體實施方式五相同。

具體實施方式七：

本實施方式所述的步驟五具體步驟包括以下步驟：

步驟五一、對步驟四得到的已查找出輪廓的圖像，通過設定輪廓的長度閾值，最小輪廓長度A，最大輪廓長度B，保留滿足輪廓長度范圍內的所有輪廓，實現輪廓粗篩選；

步驟五二、對步驟五一已完成粗篩選的輪廓，逐個進行輪廓比較，直至找出最大輪廓，并在圖像中刪除其余輪廓；

步驟五三、對步驟五二得到的最大輪廓的圖像，進行矩形邊界框包圍，用矩形邊界圈定最大輪廓的圖像。

其他步驟和參數與具體實施方式六相同。

具體實施方式八：

本實施方式所述的步驟七具體步驟包括以下步驟：

步驟七一、根據步驟六得到兩個元件圖像中心的水平坐標，計算兩個元件圖像中心的水平距離D₁(D₁>0)；

步驟七二、由于喂料器上同一封裝方式的元件的間距是固定的，但是采集到的不同圖像中的元件距離不一定相同，所以重新采集另外兩個喂料器元件的圖像；

以步驟七一得到的兩個元件圖像中的第二個元件為起始，按元件順序再次取兩個元件的圖像，計算兩個元件圖像中心的水平距離D₂(D₂>0)；

步驟七三、按照步驟七二，按元件順序依次對每兩個元件的圖像進行檢測，檢測10組數據，得到水平距離D₃～D₁₀(均大于0)；

步驟七四、對上述步驟得到的10個水平距離D₁～D₁₀進行算術平均，將算術平均值作為兩個元件圖像中心之間的水平距離，記為元件圖像的中心距離；將圖像距離與實際元件距離進行坐標映射，得到圖像距離和元件實際距離的比例關系。

計算比例關系K的公式如下：

式中，D_n表示每個水平距離，n＝1，2，...，10；為水平距離D₁～D₁₀的算術平均值；d為兩個元件之間的實際距離。

其他步驟和參數與具體實施方式七相同。

利用本發明進行元件位置矯正時，本發明對于圖像識別以及元件距離的數據計算準確、矯正精度較高；本發明對圖像處理成功率在99％以上，自動矯正功能實現的成功率在95％以上，并且能夠在3分鐘之內實現喂料器40個元件的自動矯正；即自動矯正一次所需時間在3分鐘內。本發明的識別和處理速度較快，從圖像識別、處理以及數據的計算全部過程的處理時間在500ms之內。