專利名稱：一種類球形果蔬的識別方法
技術領域：
本發明涉及一種類球形果蔬的識別方法。
背景技術：
水果與蔬菜的采收是一項勞動密集型的工作。果蔬采收的季節性強，工作環境艱苦，勞動強度大。現階段的采收基本依靠人力，采收的效率比較低，人力成本在整個果蔬生產成本中占了相當大的比例。因此，實現果蔬采收的自動化具有實際應用價值。
目前為止，國內還沒有一臺真正投入生產使用的果蔬采摘機器人，主要原因之一是視覺系統技術難題尚未完全解決。通常，采摘機器人視覺系統的工作方式首先獲取果蔬的數字化圖像，然后再通過相關圖像處理算法識別并確定圖像中果蔬的位置。傳感器是機器視覺系統最重要的部件，主要包括圖像傳感器和距離傳感器等。圖像傳感器可以是CCD黑白相機、彩色攝像機或者立體攝像機，一般安裝于機械臂或末端執行器上。距離傳感器有激光測距、超聲、無線和紅外傳感器等。
較早期的果蔬采摘機器人視覺系統大多是基于二維系統，當葉子和果蔬的顏色對比明顯時，這種二維系統可以成功地將果蔬從葉子中檢測出來；然而，若有多個果蔬重疊或者其顏色與背景色近似時，則很難進行識別。這時，一般是根據果蔬表面不同的光譜反射特性來檢測果蔬，檢測到果蔬后，利用三維視覺傳感器再對果蔬進行精確識別，這是最常用的光譜反射率法，但在自然光照情況下，由于圖像中存在噪聲等各種干擾信息，這種方法往往并不理想。有研究人員利用果蔬的形狀來識別和定位果實，采用形狀定位方式，一般要求目標具有完整的邊界條件，若物體被遮擋，就很難做到。又有人提出一種稱為Hough變換的新方法，它的特點是不需要整個輪廓信息，根據目標果蔬形狀的曲率信息來定位果蔬的中心，但是該方法非常耗時。總之，由于環境的高度復雜性，目前的采摘機器人視覺系統在規則環境下，如已知光照背景下效果比較好，但在自然環境條件，如自然光照下則不是很成功。所以，概括起來，當前識別果蔬目標的方法，主要還是通過顏色空間模型的變換，利用顏色特征參數來提取果蔬目標，能夠解決的識別問題非常有限。
發明內容為了克服已有的類球形果蔬識別方法不能有效識別類球形果蔬、計算復雜、識別精度低的不足，本發明提供一種能夠有效識別類球形果蔬、計算簡單、識別精度高的一種類球形果蔬的識別方法。
本發明解決其技術問題所采用的技術方案是一種類球形果蔬的識別方法，該方法包括以下步驟(1)、獲取自然場景下的果蔬圖像；(2)、將獲取的圖像同時變換到2r-g-b顏色模型和LCD顏色模型，對2r-g-b顏色模型建立2r-g二維坐標系，LCD顏色模型建立Y-Cr二維坐標系；(3)、根據分類器原理，對Y-Cr二維坐標系下的特征屬性Y，Cr分別構造判別式F1、F2，設定特征屬性值Y和Cr的果實目標的平均向量mfruit、樹葉的平均向量mleaf、枝干的平均向量mbranch，其算式為(1)、(2)
F1＝[Y，Cr]T(mfruit-mleaf)-1/2[(mfruitTmfruit)-(mleafTmleaf)] (1)F2＝[Y，Cr]T(mfruit-mbranch)-1/2[(mfruitTmfruit)-(mbranchTmlbranch)] (2)對2r-g二維坐標系的特征屬性2r和g分別構造判別式F3、F4，設定特征屬性值2r和g的果實目標的平均向量m′fruit、樹葉的平均向量m′leaf、枝干的平均向量m′branch，其算式為(3)、(4)F3＝[2r，g]T(m′fruit-m′leaf)-1/2[(m′fruitTm′fruit)-(m′leafTm′leaf)] (3)F4＝[2r，g]T(m′fruit-m′branch)-1/2[(m′fruitTm′fruit)-(m′branchTm′lbranchz)] (4)根據判別式得到省去葉子和枝干的分離直線，并把輸入圖像分成大小相等的小塊，每塊大小為L×L，L為奇數；(4)、順序選擇兩個小塊B1和B2，分別計算其4個方向的灰度共生矩陣，設圖像的一個區域大小為Nc×Nr像素，并設灰度級為G＝0，1，……，Nq-1，共生矩陣P(d，q)是一個大小為Nq×Nq的方陣，包括所有間距為d，方向為q，且灰度級為a和b的像素對出現的頻率，P(d，q)中的元素表示為P(a，b|d，q)，在區域內任選兩個像素(k，l)和(m，n)，其中k，m＝1，2，……，Nc；n＝1，2，……，Nr；計算和各個灰度共生矩陣的兩個特征值熵ENT和能量ASM，其算式分別為(5)、(6)ENT=-Σi=0Nq-1Σj=0Nq-1P(a,b)logP(a,b)---(5)]]>ASM=Σi=0Nq-1Σj=0Nq-1(P(a,b))2---(6)]]>其中，a，b分別表示像素的灰度級，p(a，b)表示灰度共生矩陣；并計算平均4個方向的灰度共生矩陣的特征值得到平均特征值ENT和ASM；
(5)、對于相鄰的兩個小塊B1和B2，如判別式F1、F2、F3和F4大于0或者B1和B2的ENT和ASM之差小于設定的閾值T，則保留B1，該小塊確認為果實；如紋理差值大于閾值T且判別式F1、F2、F3和F4小于0，則丟棄整個小塊B1；并將B2中相關參數賦給B1，然后將B2的參數置為空，順序往后取另一個小塊作為B2，重復所述步驟，直到所有小塊處理完畢。
作為優選的一種方案在所述(5)中，對于最后一個小塊，如果判別式F1、F2、F3和F4大于0，可以默認為果實直接保留，否則認為是背景，直接丟棄。
本發明的技術構思為由于果實在顏色空間具有聚類性，本方案借鑒平均距離分類器原理對自然場景下的果蔬圖像進行分類識別。
平均距離分類器通過分析不同的果蔬圖像數字特征，把圖像數據歸類。分類算法包括訓練階段和測試階段。在訓練階段，區分特定圖像的特征屬性，基于這些屬性，產生描述特定類的唯一方法，即產生訓練集，構造判別式。一般根據特征屬性m和n，利用最小距離分類器或者平均距離分類器或者其他分類器可產生判別式F(m，n)＝am+bn+c。a，b，c為任意常數，只要滿足F(m，n)＝0即可。在測試階段，利用這些特征空間，即這些判別式，每個判別式可將圖像分成兩個部分，達到識別圖像的目的。
針對果實目標、葉子和枝干在每個顏色空間設計分類器，為每個顏色空間分別構造3個判別式實現分離F(fruit/leaf)，簡寫為F1，用來分離果實和葉子；F(fruit/branch)，簡寫為F2，用來分離果實和枝干；F(leaf /branch)，簡寫為F3，用來分離葉子和枝干。由于葉子和枝干被視作背景，故只需構造F1和F2兩個判別式。
融合2r-g-b顏色模型和LCD(luminance and color difference)顏色模型的特點，得到一種新的顏色模型LNM(LCD color model combinedwith Normalized-RGB color model)。該模型避免了LCD顏色模型對光的敏感度，同時避免了2r-g-b顏色模型無法識別紅色分量值弱的果實的弊端，LNM與RGB顏色模型的對應關系如下式所示Y=0.299R+0.587G+0.114BCr=R-Y2r=2R/(R+G+B)g=G/(R+G+B)]]>因為融合了兩種顏色空間，在實現識別的過程中，我們共構建4個判別式。
同時，采用灰度共生矩陣提取圖像紋理特征。首先給出共生矩陣的概念設圖像的一個區域大小為Nc×Nr像素，并設灰度級為G＝0，1，……，Nq-1。那么共生矩陣P(d，q)是一個大小為Nq×Nq的方陣，包括了所有間距為d，方向為q，且灰度級為a和b的像素對出現的頻率。P(d，q)中的元素可表示為P(a，b|d，q)。在區域內任選兩個像素(k，l)和(m，n)，其中k，m＝1，2，……，Nc；n＝1，2，……，Nr。則P(a，b|d，q)＝∑[(k，l)，(m，n)]其中，如果|k-m|＝q，|l-n|＝d，g(k，l)＝a，g(m，n)＝b成立，那么[(k，l)，(m，n)]＝1否則[(k，l)，(m，n)]＝0其中函數g(k，l)代表(k，l)處像素的灰度級。另外，方向q可以取值為0°、45°、90°、135°。所以對于一個給定的距離d，可以對應四個灰度共生矩陣p(a，b|d，0°)＝∑[(k，l)，(m，n)]，k-m＝0，|l-n|＝d，(k，l)＝a，(m，n)＝bp(a，b|d，45°)＝∑[(k，l)，(m，n)]，k-m＝d，l-n＝-d，(k，l)＝a，(m，n)＝b或k-m＝-d，l-n＝d，(k，l)＝a，(m，n)＝bp(a，b|d，90°)＝∑[(k，l)，(m，n)]，|k-m|＝d，l-n＝0，(k，l)＝a，(m，n)＝bp(a，b|d，135°)＝∑[(k，l)，(m，n)]，k-m＝d，l-n＝d，(k，l)＝a，(m，n)＝b或k-m＝-d，l-n＝d，(k，l)＝a，(m，n)＝b分別采樣多種果蔬的果實和葉子，采用灰度共生矩陣提取圖像特征，得到可以區分果實和葉子的紋理特征值熵和能量，其表達式分別為(5)、(6)ENT=-Σi=0Nq-1Σj=0Nq-1P(a,b)logP(a,b)---(5)]]>ASM=Σi=0Nq-1Σj=0Nq-1(P(a,b))2---(6)]]>其中，a，b分別表示像素的灰度級，p(a，b)表示灰度共生矩陣。
然后利用基于子塊的區域生長法較好地解決了利用單一顏色參數出現欠分割的缺點。
本發明的有益效果主要表現在能夠有效識別類球形果蔬、計算簡單、識別精度高。
(四)
圖1是本發明一個流程示意圖；圖2是分類器示意圖；圖3是2r-g-b分類器示意圖；圖4是LCD分類器示意圖；圖5是果實和背景的屬性分布圖；圖6是根據判別式得出的分割直線圖。
具體實施方式
下面結合附圖對本發明作進一步描述。
參照圖1～圖6，一種類球形果蔬的識別方法，該方法包括以下步驟(1)、獲取自然場景下的果蔬圖像；(2)、將獲取的圖像同時變換到2r-g-b顏色模型和LCD顏色模型，對2r-g-b顏色模型建立2r-g二維坐標系，LCD顏色模型建立Y-Cr二維坐標系；(3)、根據分類器原理，對Y-Cr二維坐標系下的特征屬性Y，Cr分別構造判別式F1、F2，設定特征屬性值Y和Cr的果實目標的平均向量mfruit、樹葉的平均向量mleaf、枝干的平均向量mbranch，其算式為(1)、(2)F1＝[Y，Cr]T(mfruit-mleaf)-1/2[(mfruitTmfruit)-(mleafTmleaf)] (1)F2＝[Y，Cr]T(mfruit-mbranch)-1/2[(mfruitTmfruit)-(mbranchTmlbranch)] (2)對2r-g二維坐標系的特征屬性2r和g分別構造判別式F3、F4，設定特征屬性值2r和g的果實目標的平均向量m′fruit、樹葉的平均向量m′leaf、枝干的平均向量m′branch，其算式為(3)、(4)F3＝[2r，g]T(m′fruit-m′leaf)-1/2[(m′fruitTm′fruit)-(m′leafTm′leaf)] (3)F4＝[2r，g]T(m′fruit-m′branch)-1/2[(m′fruitTm′fruit)-(m′branchTm′lbranch)] (4)根據判別式得到省去葉子和枝干的分離直線，并把輸入圖像分成大小相等的小塊，每塊大小為L×L，L為奇數；(4)、順序選擇兩個小塊B1和B2，分別計算其4個方向的灰度共生矩陣，設圖像的一個區域大小為Nc×Nr像素，并設灰度級為G＝0，1，……，Nq-1，共生矩陣P(d，q)是一個大小為Nq×Nq的方陣，包括所有間距為d，方向為q，且灰度級為a和b的像素對出現的頻率，P(d，q)中的元素表示為P(a，b|d，q)，在區域內任選兩個像素(k，l)和(m，n)，其中k，m＝1，2，……，Nc；n＝1，2，……，Nr；計算和各個灰度共生矩陣的兩個特征值熵ENT和能量ASM，其算式分別為(5)、(6)ENT=-Σi=0Nq-1Σj=0Nq-1P(a,b)logP(a,b)---(5)]]>ASM=Σi=0Nq-1Σj=0Nq-1(P(a,b))2---(6)]]>其中，a，b分別表示像素的灰度級，p(a，b)表示灰度共生矩陣；并計算平均4個方向的灰度共生矩陣的特征值得到平均特征值ENT和ASM；(5)、對于相鄰的兩個小塊B1和B2，如判別式F1、F2、F3和F4大于0或者B1和B2的ENT和ASM之差小于設定的閾值T，則保留B1，該小塊確認為果實；如紋理差值大于閾值T且判別式F1、F2、F3和F4小于0，則丟棄整個小塊B1；并將B2中相關參數賦給B1，然后將B2的參數置為空，順序往后取另一個小塊作為B2，重復所述步驟，直到所有小塊處理完畢。
在所述(5)中，對于最后一個小塊，如果判別式F1、F2、F3和F4大于0，可以默認為果實直接保留，否則認為是背景，直接丟棄。
本實施例中的具體步驟為
(1)、通過數碼相機或者攝像頭獲取自然場景下的果蔬圖像。
(2)、將獲取的圖像同時變換到2r-g-b顏色模型和LCD顏色模型。
(3)、根據分類器原理，對2r-g-b模型的2r-g二維坐標系下的特征屬性2r，g和LCD的Y-Cr二維坐標系下的特征屬性Y，Cr分別構造判別式，產生4個判別式F1，F2，F3，F4。同時，把輸入圖像分成大小相等的小塊，每塊大小為L×L，L為奇數。
舉例說明假設每個訓練類由一個平均向量表示mj=1/NjΣx∈wjx]]>forj＝1，2，…，M這里Ni是類Wj的訓練模式向量的數量。假設有基于特征屬性值Y和Cr的果實目標、樹葉和枝干，假定將特征屬性描述在二維特征空間中，如圖5所示。并且可以得到平均值為mfruit＝[94.14，114.26]T，mleaf＝[77.02，218.45]T，mbranch＝[52.88，33.67]T，如圖5中用#表示。
基于這一點，可以通過判定最接近mj的原型，分配任意給定的模式x給類。如采用歐幾里德距離作為測量相似性距離，原型距離為Fj(x)＝‖x-mj‖ for j＝1，2，…，M這相當于Fj(x)＝xTmj-1/2(mjTmj) for j＝1，2，…，M在本例中，簡單假設每個得到的fruit的平均值為[a，b]，leaf的平均值為[c，d]，branch的平均值為[e，f]。那么可以得到Ffruit=aY+bCr-1/2(a2+b2)Fleaf=cY+dCr-1/2(c2+d2)Fbranch=eY+fCr-1/2(e2+f2)]]>
根據這個方法，可以計算得到以下決策函數Ffruit=94.14Y+114.26Cr-10958.84Fleaf=77.02Y+218.45Cr-26826.24Fbranch=52.88Y+33.67Cr-1964.98]]>最后，根據這些決策函數，可得分離類wi和wj的判別式滿足Fi(x)-Fj(x)＝0即Ffruit/leaf=(a-c)Y+(b-d)Cr+1/2(a2+b2-c2-d2)=0Ffruit/branch=(a-e)Y+(b-f)Cr+1/2(a2+b2-e2-f2)=0Fleaf/branch=(c-e)Y+(d-f)Cr+1/2(c2+d2-e2-f2)=0]]>在這個例中，得到判別式F1，F2，F3如下Ffruit/leaf=17.12Y-104.19Cr+15867.4=0Ffruit/branch=41.26Y+80.59Cr+8993.86=0Fleaf/branch=24.14Y+184.78Cr+24861.26=0]]>根據這些判別式，可以得出分離直線，省去葉子和枝干的分離直線，如圖6所示。
如果采用的原型距離不一樣得到的判別式也是不一樣的，如可以采用標準化的歐式距離和馬哈朗諾必斯距離等。
(4)、順序選擇兩個小塊B1和B2，分別計算其4個方向的灰度共生矩陣和各個灰度共生矩陣的兩個特征值熵ENT和能量ASM，其算式分別為(5)、(6)ENT=-Σi=0Nq-1Σj=0Nq-1P(a,b)logP(a,b)---(5)]]>ASM=Σi=0Nq-1Σj=0Nq-1(P(a,b))2---(6)]]>其中，a，b分別表示像素的灰度級，p(a，b)表示灰度共生矩陣；(5)、平均4個方向的灰度共生矩陣的特征值得到平均特征值ENT和ASM作為判別的紋理特征。
(6)、對于相鄰的兩個小塊B1和B2，根據顏色模型構造的判別式F1，F2，F3，F4和紋理特征值進行判斷。如果判別式都大于0或者B1和B2的ENT和ASM之差小于設定的閾值T，則保留B1，將其壓入一個堆棧。同時將B2中相關參數賦給B1，然后將B2的參數置為空。順序往后取另一個小塊作為B2，重復上述步驟。如果紋理差值大于閾值T并且判別式F1，F2，F3，F4都小于0，則丟棄整個小塊B1。直到所有的小塊處理完畢。
權利要求
1.一種類球形果蔬的識別方法，該方法包括以下步驟(1)、獲取自然場景下的果蔬圖像；(2)、將獲取的圖像同時變換到2r-g-b顏色模型和LCD顏色模型，對2r-g-b顏色模型建立2r-g二維坐標系，LCD顏色模型建立Y-Cr二維坐標系；(3)、根據分類器原理，對Y-Cr二維坐標系下的特征屬性Y，Cr分別構造判別式F1、F2，設定特征屬性值Y和Cr的果實目標的平均向量mfruit、樹葉的平均向量mleaf、枝干的平均向量mbranch，其算式為(1)、(2)F1＝[Y，Cr]T(mfruit-mleaf)-1/2[(mfruitTmfruit)-(mleafTmleaf)] (1)F2＝[Y，Cr]T(mfruit-mbranch)-1/2[(mfruitTmfruit)-(mbranchTmlbranch)] (2)對2r-g二維坐標系的特征屬性2r和g分別構造判別式F3、F4，設定特征屬性值2r和g的果實目標的平均向量m′fruit、樹葉的平均向量m′leaf、枝干的平均向量m′branch，其算式為(3)、(4)F3＝[2r，g]T(m′fruit-m′leaf)-1/2[(m′fruitTm′fruit)-(m′leafTm′leaf)](3)F4＝[2r，g]T(m′fruit-m′branch)-1/2[(m′fruitTm′fruit)-m′branchTm′lbranch)] (4)根據判別式得到省去葉子和枝干的分離直線，并把輸入圖像分成大小相等的小塊，每塊大小為L×L，L為奇數；(4)、順序選擇兩個小塊B1和B2，分別計算其4個方向的灰度共生矩陣，設圖像的一個區域大小為Nc×Nr像素，并設灰度級為G＝0，1，……，Nq-1，共生矩陣P(d，q)是一個大小為Nq×Nq的方陣，包括所有間距為d，方向為q，且灰度級為a和b的像素對出現的頻率，P(d，q)中的元素表示為P(a，b|d，q)，在區域內任選兩個像素(k，l)和(m，n)，其中k，m＝1，2，……，Nc；n＝1，2，……，Nr；計算和各個灰度共生矩陣的兩個特征值熵ENT和能量ASM，其算式分別為(5)、(6)ENT=-Σi=0Nq-1Σj=0Nq-1P(a,b)logP(a,b)...(5)]]>ASM=Σi=0Nq-1Σj=0Nq-1(P(a,b))2...(6)]]>其中，a，b分別表示像素的灰度級，p(a，b)表示灰度共生矩陣；并計算4個方向的灰度共生矩陣的特征值得到平均特征值ENT和ASM；(5)、對于相鄰的兩個小塊B1和B2，如判別式F1、F2、F3和F4大于0或者B1和B2的ENT和ASM之差小于設定的閾值T，則保留B1，該小塊確認為果實；如紋理差值大于閾值T且判別式F1、F2、F3和F4小于0，則丟棄整個小塊B1；并將B2中相關參數賦給B1，然后將B2的參數置為空，順序往后取另一個小塊作為B2，重復所述步驟，直到所有小塊處理完畢。
2.如權利要求1所述的一種類球形果蔬的識別方法，其特征在于在所述(5)中，對于最后一個小塊，如果判別式F1、F2、F3和F4大于0，可以默認為果實直接保留，否則認為是背景，直接丟棄。
全文摘要
一種類球形果蔬的識別方法，將獲取的圖像變換到2r－g－b顏色模型和LCD顏色模型，根據分類器原理，在兩個坐標系下分別構造判別式F
文檔編號A01D46/00GK101034440SQ20071006669
公開日2007年9月12日 申請日期2007年1月12日 優先權日2007年1月12日
發明者古輝, 蘆亞亞 申請人:浙江工業大學