相關專利申請的交叉引用
本申請要求以下申請文件的權益:于2015年11月13日提交的名稱為“通過視覺系統檢測反光面上缺陷的系統及方法(systemandmethodfordetectingdefectsonaspecularsurfacewithavisionsystem)”、序列號為no.62/255,360的未決美國臨時申請;于2015年12月31日提交的名稱“通過視覺系統檢測反光面上缺陷的系統及方法(systemandmethodfordetectingdefectsonaspecularsurfacewithavisionsystem)”、序列號為no.62/274,094的美國臨時申請;以及于2016年10月5日提交的名稱為“通過視覺系統檢測反光面上缺陷的系統及方法(systemandmethodfordetectingdefectsonaspecularsurfacewithavisionsystem)”、序列號為no.62/404,431的美國臨時申請,上述申請的教示均通過引用方式明確地并入本文。
本發明涉及用于檢查物體的表面的機器視覺系統,以及更具體地,涉及用于檢查反光面的視覺系統。
背景技術:
機器視覺系統,本文也稱之為“視覺系統”,用于在制造環境中執行各種任務。通常,視覺系統由具有圖像傳感器(或者“成像器”)的一個或更多個相機組成,該圖像傳感器采集場景的灰度或彩色圖像,該場景包括待生產的物體。可以對物體的圖像進行分析以向用戶提供數據/信息以及相關聯的生產工藝。圖像所產生的數據通常通過可以專用的一個或更多個視覺系統處理器中的視覺系統,或者通用計算機(例如,pc、膝上計算機、平板電腦或智能手機)內實例化的一個或更多個軟件應用程序中的一部分來進行分析和處理。視覺系統所執行的一些類型的任務可以包括對物體以及靜止或移動表面(運輸工具),諸如傳送機或移動臺上的表面進行檢查。
對于視覺系統而言,對反光面拋光的物體進行表面檢查已經證實具有挑戰性。通常,來自表面的反射會因進入相機的大量反射光使得缺陷和表面瑕疵(例如,小坑/凹谷和/或凸起/凸峰)顯得褪色(washedout),所述缺陷和表面瑕疵這表示小區域相對于周圍的表面在坡度上存在小差異。一種用于試圖發現反光面上的表面缺陷的方法是通過使用暗場光照,其中,在物鏡處沒有收集被投影到物體上的照明光。這用于使散射光線的任意表面缺陷高亮。然而,這種技術對于如下環境中進行安裝和使用存在限制,即,包括物體與相機組件之間的相對移動的環境。
技術實現要素:
本發明克服了現有技術的缺點,提供了一種使用刀緣技術來對反光面上的反光面缺陷進行檢測和成像的系統及方法,其中,相機孔徑或外部裝置被設置成在光路內形成物理刀緣結構,所述物理刀緣結構有利地遮蔽來自具有預定坡度值的被照射的反光面的反射光線,并且使得以不同的斜坡偏轉的光線到達視覺系統相機傳感器。在一個實施例中,照明器被聚光以便于從照明器的比被檢查的表面的區域大的區域出來并且收斂到表面的區域上。光線被(反光面)區域所反射并且繼續收斂于要么相機的入口孔徑附近的斑點,要么相機內側的孔徑光闌(例如,可調整光圈)上的斑點。在任一位置處,從表面的平坦部分所反射的光大多數被刀緣或孔徑光闌阻擋。相反地,從缺陷的斜坡部分所反射的光大多數被反射到入口孔徑中。照射光束相對于相機的光軸成一定角度以提供與被檢查的表面成合適角度的入射角。示意性地,照明器可以包括線性偏振片,該線性偏振片將偏振光傳送到物體的表面。物體可以是多層的,并且可以包括例如偏振層。偏振光線從表面反射并且進入相機傳感器/相機光學器件出的正交偏振片。示意性地,表面可以是靜止的并且可以由2d傳感器陣列所采集,或者表面相對于相機移動,該相機可以限定為具有行掃描傳感器的行掃描相機。
在一個示意性實施例中,提供了一種用于對物體的反光面上的缺陷成像的系統及方法。表面通過視覺系統相機來成像,該視覺系統相機具有圖像傳感器和光學器件并且限定了光軸。照明器組件,其以與所述光軸不平行的預定角將構造的光束投影到所述表面。刀緣元件與光學器件相關聯,該刀緣元件可變地阻擋光學器件的最大視場的一部分。刀緣元件和預定角度均被設置成使得:從光學器件發射到傳感器的光線大體上穿透表面上的缺陷特征的斜坡凸峰和凹谷或波形和波紋,并且斜坡缺陷特征周圍的反射光被刀緣元件所阻擋。示意性地,刀緣元件包括光學元件中的可變孔徑,以及預定角度與從平坦表面的表面變形的斜坡相關聯。在實施例中,傳感器是2d傳感器并且物體相對于相機靜止。可替代地,傳感器限定行掃描相機裝置并且物體相對于相機移動,以及照明組件將照明線。投影到表面上使用行照明線使得通過2d傳感器檢查移動部件和檢查比單個圖像所覆蓋的區域大得多的部件。在實施例中,除了可見光之外,照明器大體上限定了紅外或近紅外波長范圍,并且物體可以限定包括抗反射涂層和/或偏振層的層,在這種情況下,照明器可以被偏振并且光學器件包括偏振濾光片。通過非限制性示例方式,物體可以是amoled顯示屏,并且偏振層是1/4λ延遲器以及偏振濾光片限定為正交偏振濾光片。照明器可以包括用于偏振照明光的偏振片,并且光學器件包括偏振濾光片。照明源可以限定為聚光束,該聚光束朝向刀緣結構附近的一點收斂。刀緣結構可以限定為位于光學器件前面的光路中的外部結構(位于光學器件與物體之間)。示意性地,照明器組件將光線投影穿過位于視覺系統相機的光軸上的分束器,使得:來自于照明器組件的離軸照明被投影到與光軸重合的物體表面。在另一實施例中,照明器組件限定了多個照明源,多個照明源中的每個將光線投影到各個分束器,每個分束器位于視覺系統相機的光軸上,使得:來自于照明器組件的離軸照明被每個分束器投影到與所述光軸重合的物體表面。
示意性地,刀緣元件可以限定為位于光軸上的光學器件內的阻擋結構。該阻擋結構被設置在與光學器件的前面相鄰的掩模構件上。該阻擋結構可以被設置成選擇性地對于特征相關聯的散射光進行增強或抑制。阻擋結構可以限定穿過光學器件沿著伸長方向延伸的線,并且可以具有與光學器件上的聚焦照明斑點的尺寸有關的、沿著橫穿伸長方向的寬度。細長方向可以由特征的方位來限定。掩模構件包括位于線的每個相對側上的周圍不透明區域,在線與不透明區域之間具有線性孔徑。阻擋結構包括圓盤,圓盤的中心大約位于光軸上并且具有與特征中的一個或多個的尺寸有關的直徑。環形結構可以圍繞盤,并且可以限定盤與環形區域的內周之間的環形孔徑。環形區域可以被設置成抑制散射光。示意性地,掩模構件限定了至少下列部件之一:搭扣式或旋擰式透鏡蓋,位于光學器件的前面的上方的貼花,以及位于光學器件上的可變模式光電機構。在實施例中,裝置可以包括被設置成與光學器件結合第一偏振片和被設置成與照明器組件結合的第二偏振片。
附圖說明
結合附圖對本發明做以下說明,其中:
圖1是具有包括2d像素陣列的相機的示例性視覺系統的圖示,該相機用于采集具有缺陷的示例性靜止物體表面的圖像,該示例性視覺系統包括照明器和光圈控制,該光圈控制被設置成對靜止物體表面的反光面上的表面變形缺陷特征進行解析;
圖2是具有包括行掃描(1d)像素陣列的相機的示例性視覺系統的圖示,該相機用于采集具有缺陷的示例性移動物體表面的圖像,該示例性視覺系統包括照明器和光圈控制,該光圈控制被設置成對移動物體表面的反光面上的表面變形缺陷特征進行解析;
圖3是根據圖1或圖2的裝置來解析表面變形缺陷特征的刀緣效應的應用的圖示;
圖4是圖2中的視覺系統布置的圖示,該視覺系統布置對被構造成包括示例性偏振層的多層的、形式為amoled顯示屏的示例性物體進行掃描,其中,物體包括位于上述層的至少一層內的凸峰和凹谷缺陷特征;
圖5是圖4中的視覺系統布置和示例性被掃描物體的側視圖,其示出了照明光的光路和所采集的被反射的關于凸峰缺陷特征的光線;
圖6是圖4中的視覺系統布置和示例性被掃描物體的側視圖,其示出了照明光的光路和所采集的被反射的關于凹谷缺陷特征的光線;
圖7是根據示例性實施例的視覺系統布置的側視圖,其示出了與相機和光學器件相關聯的刀緣結構的使用;
圖8是根據另一實施例的視覺系統布置和示例性被掃描的物體的側視圖,其示出了多個照明源以及相關聯的刀緣組件;
圖9和圖10是根據圖1的描述操作的視覺系統的圖示,該視覺系統包括提供與相機的光軸重合的離軸照射光的分束器,該分束器使用了一個照明器,而相機使用了兩個照明器;
圖11表示具有可見缺陷特征的示例性物體表面的圖像,這些可見缺陷特征均使用根據本文的實施例的視覺系統來以陰影圖的形式顯示在表面的周圍;
圖12是根據實施例的使用離軸照明和刀緣裝置來確定物體的反光面上的波紋的過程的流程圖;
圖13至圖15是分別示出了平滑表面特征與波紋表面特征的組合、波紋表面特征、以及平滑表面特征的響應的圖像強度的示例性直方圖;
圖16是根據實施例的用于照射和掃描表面的行的、照明器和圖像傳感器的示例性光學裝置;
圖17是圖16的圖示的透視圖;
圖18是根據示意性實施例的示例性視覺系統相機和照明器圖示,其中,使用了掩模形式的刀緣元件,該刀緣元件包括位于相機的光學組件前面或之內的固定或可變濾光元件;
圖19是用于結合圖18的示例性相機來限定線性孔徑內的示例性非透明中央線的掩模的前視圖;
圖20是用于限定位于光學組件的中央處的示例性的圓盤元件的掩模的前視圖;
圖21至25分別是示例性非透明盤元件和外部環形元件的前視圖,非透明盤元件和外部環形元件由其間的環形孔徑隔開,并且每個元件限定了預定直徑;
圖26是圖18中的具有掩模的視覺系統相機和照明器裝置所成像的示例性物體(例如,觸摸屏表面)的圖像,其示出了該示例性物體上的波紋表面細節;
圖27是圖18的視覺相機系統和照明器裝置所成像的、圖26中的示例性物體的圖像,其進一步示出了觸摸屏表面上細節(例如,傳感器陣列);以及
圖28是圖18的視覺相機系統和照明器裝置所成像的、圖26中的示例性物體的圖像,其示出了圖27中的傳感器陣列的高度精確的細節。
具體實施方式
圖1是根據示意性實施例的示例性視覺系統布置100的圖示,其中,場景包括相對于靜止視覺系統相機120靜止設置的反光物體110。在該實施例中,視覺系統相機120包括二維(2d)圖像傳感器s,在(例如)矩形布置中,二維圖像傳感器s包括n×m像素陣列。相機包括光學封裝件oc,光學封裝件oc可以包括任意可接受的透鏡組件(例如,具有c型物鏡座、f型物鏡座或m12型基座的透鏡)。在該實施例中,透鏡包括手動或自動孔徑控制——例如,可變光圈,其中,用戶或者其他外部控制者可以將合適的孔徑設置124輸入到手動或自動孔徑控制中(如下文進一步描述的那樣)。傳感器s和光學封裝件oc共同地限定了光軸oa,該光軸通常垂直于物體110的廣義表面平面。布置100包括照明器130,該照明器130將光線的(例如,通過光學器件oi)平行光束132投影到表面110上。在一個實施例中,光束132被調整成很大部分維持在物體上并且避免延伸到剩余的場景。光束132被定位在與物體110的反光面的廣義平面成角a。該角與平面法線n并不垂直(通常為銳角)。法線n通常平行于相機光軸oa。
如所示出的那樣,物體110的表面包括缺陷特征140,該缺陷特征140可以限定向下漸開的凹谷(也稱為“坑”)或向上凸起的凸峰(也稱為“凸起”),其可以使用下文所述的布置和技術進行有效地成像。在一個示例性實施例中,來自于被照亮的場景和物體110的圖像數據140被傳送至視覺系統處理器150。處理器150可以直接地被集成到一個或更多個相機組件中,或者如所描繪的那樣可以位于獨立計算裝置160上,該獨立計算機裝置160具有合適的用戶接口(例如,鼠標162、鍵盤164)和顯示功能(屏幕和/或觸摸屏166)。計算裝置160可以包括服務器、pc、膝上計算機、智能手機或專用處理裝置、具有相關存儲器的其他類型的處理器、網絡裝置、數據存儲器等,這對于本領域的技術人員而言應該是清楚的。
視覺系統處理(器)150可以包括各種功能軟件處理器和模塊。這些過程/模塊可以包括關于控制相機/傳感器以及照明器130(通過照明控制信息170)的各種參數的控制器152。視覺系統處理(器)150還包括各種視覺工具152,諸如,特征檢測器(例如,邊緣檢測器、角落檢測器、模糊工具(blobtools)等)。這些工具用于在下文所描述的照明和光學條件下分析圖像的表面特征并且(例如)定位缺陷特征140。視覺系統處理器還包括缺陷查找器/查找模塊156,該缺陷查找器/查找模塊156采用各種工具154來定位并識別表面上的缺陷。可以對缺陷進行量化并且將適合的信息172發送至處理過程(例如,部分拒絕和警告過程)174。
如下文進一步描述的那樣,在多個實施例中,相機120可以包括(在光路內的)偏振濾光片p。另一濾光片pi可以被設置在照明器上以便于將偏振光束遞送至表面上。
參考圖2,示出了視覺系統布置200,其中,具有反光面的示例性物體200直接沿著移動方向(箭頭m)穿過成像場景。示意性地,通過移動運輸工具212來移動物體,該移動運輸工具212可以包括移動臺或傳送器。在該實施例中,相機220包括傳感器s1和光學器件oc1。示意性地,在該實施例中,傳感器s1被設置為1d像素陣列(或者2d陣列,其中,一行像素被處理),從而限定為行掃描相機。在一個實施例中,相機可操作成能夠讀取2d像素陣列的一行或更多行。在這樣的裝置中,使用了本領域技術人員所清楚的時域技術來將來自行的像素信息結合到單個圖像中。因此,可以機械地對物體進行掃描,同時連續地讀取成像器以形成部件的逐步掃描圖像。因此,相機的維度會比成像系統或探測器的高對比度區域要大得多。在可替代實施例中,應當注意,當部件保持靜止時,成像/照明系統還可以被掃描成一個單元因此,行掃描通常會對與圖1的靜止裝置相對的、具有無線尺寸的區域提供高對比度,其中,高對比度集中在一點或一區域上。然而,在特定應用中,移動物體裝置和靜止物體裝置都有優點。
如上文所描述的那樣,光學器件oc1包含在光圈控制224中。場景被照明器230照亮,照明器230示意性地將光的線232投影到場景和物體210的表面。值得注意的是,線按照如下方式延伸:平行于傳感器像素陣列的延伸方向,并且與移動方向m正交。相機傳感器s1和光學器件oc1的光軸oa1通常垂直于/法向物體的廣義表面平面,以及光線的所投影的“扇形(fan)”被定向成與表面平面法線n1成非垂直(銳角)角a1。相機將圖像數據240以一系列掃描線的形式發送至視覺圖像處理器250。該處理器按照類似于上述處理器150(圖1)的方式工作。在該實施例中,傳輸工具還將移動信息(例如,以編碼器點擊或脈沖形式)242發送至處理器250。該信息被用于(例如,基于沿著移動方向m的、與每個脈沖相關聯的預定物理移動增量)相對于物體的物理坐標空間記錄每個掃描線。這使得處理器250能夠根據一系列1d像素行構造物體的2d圖像。處理器250可以是適當的處理裝置(未示出,但是類似于上文的裝置160)的一部分。處理器250還提供照明控制270并且基于成像器和照明控制252、視覺系統工具254和缺陷查找器256的操作遞送與物體表面有關的適當的缺陷信息。這些操作類似于上述處理器150(圖1)所進行的操作。相機光學器件可以包括偏振片p1,以及照明器230同樣可以包括偏振片,偏振片的功能將在下文進行描述。
在一個實施例中,照明器可以限定成led驅動的、光纖照明器或任意其他可接受的照明器。在任一裝置中,光線可以提供成可見光、紅外光或近紅外光,以及其他波長光。應當注意的是,在各個實施例中,可以通過移動物體、移動相機或者移動物體和相機二者來實現物體與相機之間的相對移動。移動可以是線性的或弧形的。
ii.光學關系
已經描述了兩種示例性裝置100和200,其用于采集具有包含表面瑕疵(諸如,坑和凸峰缺陷)的反光面的物體的圖像,現在將進一步詳細地對系統的與各種示例性表面相關聯的系統的操作進行描述。下面的描述涉及這兩種裝置。如圖3中的示例性(示意性)裝置300所示,通過定向為非直角處的光源照射包含凸峰312和凹谷314的示例性表面310。照明器320限定了通常比區域(由寬度is表示)大表面310上所照亮的光斑(spot)的區域(由寬度ia表示)。所照亮的光斑或表面是待檢查的區域,其可以包括凸峰和凹谷。照亮的光線322基于照明器320中的合適的聚焦光學器件(其可以是傳統的光學器件)收斂在光斑上,以及所反射的光線324仍聚焦在光斑326上,要么在相機的入口孔徑附近要么在相機內側的孔徑光闌上。在任一位置處,從表面發射的光主要被刀緣結構330和/或孔徑光闌(例如,可變透鏡光圈)所遮擋。基于照射光束和相對于彼此的相機光軸342以及表面310之間的相對傾斜,從凸峰和凹谷缺陷的斜坡部分反射的光(光線344)大部分被發射通過刀緣結構330,并且進入光學器件340的入口孔徑以到達傳感器350。每個缺陷的相對斜坡上的光完全地從入口孔徑/光學器件340反射和/或進入刀緣結構330(360)。
表面310上的所產生的圖像370的區域具有陰影圖的形式,其中,所成像的凸峰372是一半明亮(基于來自面向斜坡的入射光線344)而另一半黑暗(基于來自于與斜坡相對的遮擋光線360);而所成像的凹谷一半黑暗(基于遮擋光線360)而另一半明亮(基于來自于面向斜坡的光線344)。系統可以基于哪一半黑暗以及哪一半是明亮來將凸峰與凹谷分辨開,如所示出的那樣,左半部分明亮表示凸峰,而右半部分明亮表示凹谷。凸峰和凹谷周圍的區域相對于所反射的斜坡區域是黑暗或亮度不太強的區域。當斜坡朝向相機光軸時帶來的影響結果會使得所反射的光線能夠聚焦在斜坡上,以及斜坡的偏差(第一偏差)會產生關于缺陷的強度的高對比度變化,而由于刀緣的傾斜和遮擋效應的組合將使得來自于缺陷的周圍區域的光線會有效地衰減。
對于本領域的技術人員而言,應當清楚的是,裝置300的安裝需要適當地將照明光束朝向斜坡并相對于斜坡傾斜,以及使相機朝向表面。刀緣的設置—要么通過設置外部結構或移動可調節光圈進行設置——于是被用于獲得所需要用于增強像場中的缺陷的理想的光遮擋級別。
iii.進一步的應用
上述視覺系統布置可以操作在各種物體和表面上。圖4示出了行掃描視覺裝置400,其中,行掃描視覺系統相機220(圖2所描述的)對移動(移動m)物體420,該移動物體420從上面所描述的行照明器230下方穿過。在一個示例性實施例中,照明器230可以包括線性偏振片pi1以及相機光學器件oc1可以包括正交偏振濾光片p1。例如,物體可以限定為反光面、分層表面,諸如amoled顯示屏。該示例包括玻璃或藍寶石頂層424上的頂部抗反射涂層422。其覆蓋了偏振片和/或其他濾光片以及涂層426,該涂層426位于主動顯示層428。該主動層428包括位于該主動層428上方的示例性凸峰缺陷430以及位于該主動層428下方的凹谷缺陷440。
再參考圖5和圖6,其示出了相對于相機光軸oa1位于傾斜的ap1處的照明器光束510,示例性(主動)amoled層428可以限定傳統的偏振旋轉層,諸如,1/4λ延遲器。因此,通過發送偏振的照明光束510,裝置400可以利用物體的內在屬性。上表面通常通過菲涅耳反射來反射一些照明光510。該光大部分被相機光學器件oc1的入口孔徑的邊緣所遮擋。剩余的能夠進入該孔徑的光被入口孔徑處的正交偏振片p1所遮擋,正交偏振片p1被定向成與照明偏置片pi1成90度。穿透頂層422、424的照明光穿過1/4λ延遲器、反射離開主動層428,隨后第二次穿過1/4λ延遲器,從而從線性偏置轉換成圓偏振,在完成了第一遍之后,于是回到線性偏置,第二遍則旋轉90度。所反射的光束520從表面出來穿過偏振片p1進入相機光學器件oc1的入口孔徑。通過這種方式,只有達到包括缺陷(圖5中的凸峰以及圖6中的凹谷)的層的光才會被圖像傳感器接收,然后所接收(過濾)的光被刀緣分解以識別傾斜的缺陷特征。
由于物體的表面存在不同的薄膜層和涂層(例如,抗反射涂層422),因此,理想的是提供以紅外或近紅外波長范圍/波長段的照明光束510。反光面(例如,amoled顯示屏等)上的大多涂層和薄膜被用于濾除可見光譜的光。因此,使用紅外或近紅外照明器克服了這些涂層或薄膜層由于所發送的照明光具有較長的波長而帶來的濾波效果。應當注意的是,可以結合相機光學期間oc1設置具有任意可接受布置的刀緣結構ke1。在一個實施例中,其可以位于透鏡和偏振片之間。在一些實施例中,如下文所描述的那樣,刀緣可以與偏振片集成。
參考圖7,可以考慮的是,可以一個各種方式將刀緣結構應用于相機和光學器件的光學路徑上。所示出的具有刀片712和托架714的基本刀緣結構710被安裝在視覺系統相機730的透鏡光學器件720的前面。刀緣結構遮蔽了整個孔徑ac的一部分,從而當照明器750的傾斜的照明光束740發射離開表面760時該刀緣結構能夠與照明器750的傾斜的照明光束740交互。
圖8示出了裝置800的另一實施例,其中,一對照明組件810和812分別將光束820和822投影到包含表面830的反光面缺陷上。每個光束820、822相對于光學器件852的光軸和視覺系統相機850的傳感器854沿著不同的方位(分別為角840和842)傾斜。因此,光線會發生不同的反射(凸峰和凹谷的可能相反的斜坡)。一對相應的刀緣結構860、862位于光學入口的前面以分別遮蔽所反射的光束820和822。可替代地,可以通過光學(透鏡)組件852的可調節(雙箭頭870)光圈872來針對兩個光束提供刀緣。應當注意的是,其他(兩個以上)照明器可以按照其他傾斜角度照射表面,以及可以使用合適的刀緣結構。
通常,可以按照各種方式來完成透鏡孔徑的調節。在鏡體上設置有調節環的情況下,用戶可以在觀察示例性物體的顯示的同時旋轉該調節環直到獲得缺陷的合適的高對比度圖像為止。當透鏡和/或相機組件包括機電(或其他)驅動光圈時,該過程可以自動地執行。視覺系統處理器可以通過確定哪種設置能夠使得在所采集的圖像中缺陷提供最高對比度差來優化孔徑設置。
現在參考圖9和圖10,示出了分別具有2d像素陣列的視覺系統相機光學器件910和912的示例性視覺系統900和1000,具有2d像素陣列的視覺系統相機光學器件910和912用于采集具有反光面的示例性靜止物體920的2d圖像,包括一個照明器930(圖9)或多個(兩個)照明器1030和1032(圖10),兩者均提供離軸照明以照亮上面所所述的、物體920的反光面上或下方的凸峰和凹谷缺陷。與光學器件912相關聯的孔徑光圈提供了上述刀緣(通常由元件ke2表示)。照明器930、1030和1032可以均為led照明器(如所示出的示例性離軸led940和光學器件942)、纖維束照明器或者任意其他可接受前燈照明器。常規設計的分束器950、1050和1052被設置成平行于每個光軸960和1060,以及照明器相對于軸960和1060以90度角投影光束,其限定為板、立方體、棱鏡或任意可以將入射光束分割成兩個或兩個以上光束的其他設備,這些光束可以具有或不具有相同的光學功率,并且可以定向為或并不定向為90度角。通過這種方式,離軸變得與成像器的光軸重合。這使得設計更加緊湊,并且潛在地使得照明器能夠與相機光學器件集成在一起。當使用了圖9中的一個照明器930時,使用從相對側提供照明的兩個照明器1030、1032(圖10)會生成表面上的缺陷的更加均勻的圖像。應當注意的是,分束器可以包括多種偏振濾光片和其他光調節部件,包括,透鏡等。例如,相機可以包括與光學器件912結合的偏振器p2。照明器930、1030可以包括在光路上的相應偏振器pi2,以及照明器1032包括沿著器光路的相應的偏振器pi3。按照如上所描述的那樣(參見圖5),對偏振器進行布置和起作用。
iv.結果
圖11示出了根據本文的實施例由視覺系統所產生的顯示圖像1100的圖形表示。該圖像詳細說明了物體的表面,已經識別了物體的表面中多個表面(或者子表面)缺陷1110、1120、1130、1140、1150和1160。這些示例性缺陷均是凹谷(1110、1120、1130和1140)或凸峰(1150和1160),其明亮的一半和黑暗的一半被定向成沿著不同的方向,這取決于是凸峰被照亮還是凹谷被照亮。然而,由于照射發生傾斜的結果,每個凸峰和每個凹谷都示出了具有相同方向的明亮一半和黑暗一半,而與其大小/形狀無關。其他視覺系統處理可以使用與缺陷有關的圖像來確定這些缺陷是否表示可能不可接收的尺寸。
v.波浪狀表面特征的檢測和評估
上述系統和方法可以用于確定反光物體上的具有起伏、波形或波浪狀表面特征形式的瑕疵/缺陷。例如,平板屏幕可以限定(在一定程度上連續的)波形(波浪狀)而不是凸峰或淺凹的區域。盡管一些波浪狀是可接受的,但是應當想到的是,根據波形的區域或大小(幅度)過量的這些特征會超過可接受閾值,從而導致物體看起來是有缺陷的。
圖12詳細地說明了過程1200,其中,對反光面的波浪狀進行了確定和評估。波紋在過程1200的步驟1210中,圖像系統使用如上文中總體上描述的離軸照明和刀緣結構采集可能波浪狀的反光物體表面的圖像。可以使用合適的透鏡對整個物體的圖像進行采集,或者可以按照行掃描方式(下文進一步進行描述的)進行采集。照明和刀緣裝置使得大多數光線投影到表面上以從圖像傳感器光學器件反射離開,或者進入刀緣結構,所反射的光線的一部分基于波浪狀或波形的斜坡進入到圖像傳感器。這使得光波紋(例如,線)被黑暗區域所包圍。在所采集的圖像中限定了看起來像明亮線的一些列這樣的波紋。
在一個示例性實施例中,可以對所采集的圖像數據進行各種圖像處理過程——諸如,高斯平滑過程。
在過程1200的步驟1220,可以對所采集的圖像中的像素的整個圖像強度圖進行統計分析——例如,圖像中的像素(灰度)強度與像素頻率的直方圖。參考圖13,示出了同時具有平滑和波浪狀表面特征的圖像的直方圖。通常,平滑區域顯示了高頻率處的密集強度分布。相反地,波浪狀區域顯示了低頻率處的強度的廣泛傳播(直方圖區域1310和1320)。因此,波浪狀區域可以由圖14中的相對寬的直方圖表示,而平滑區域可以由相對窄的直方圖1500表示。應當注意的是,這是多種統計方法中的一種,—通常涉及某些像素強度值出現的程度——以分析所采集的圖像的平滑區域與所采集的圖像的波浪狀區域。
再次參考圖12中的過程1200,對例如直方圖中的強度值的分布進行了評估(步驟1230)。該評估可以包括直方圖分析,其中,例如對像素值的灰度級分布進行計算,并且生成直方圖尾線(tail)。然后,過程1200通過例如計算直方圖尾線是否位于平均值的可接受范圍內(決策步驟1250)來確定是否存在波形或其他缺陷。如果存在波紋/缺陷(例如,直方圖尾線位于平均值范圍之外),則過程1200分支到步驟1260。例如,對于每一個具有超出范圍的尾線的直方圖的圖像都可以受限于一閾值。該閾值可以由用戶定義或自動地確定。然后,對閾值圖像內的所有缺陷的尺寸和位置進行測量。如果任意缺陷(或者缺陷的聚集體)的測量得到了超過預定指標(其可以由用戶定義或自動地設置)的結果,則過程1200指示物體表面上的特定缺陷和/或這類缺陷的位置。該過程還可以采取其他行為,諸如,部分拒絕或發出警告信號(步驟1270)。相反地,如果直方圖尾部沒有指示波紋和/或缺陷,則物體被認為是可接受的并且通常不具有實質性缺陷。這種情況會被指示出和/或不采取任何行動(步驟1280)。
可以按照行掃描過程來執行用于評估反光物體上的波形表面特征的上述過程(1200)。圖16和17分別示出了裝置1600和裝置1700,其中,具有示例性波浪狀表面特征1720(圖17)的物體1610直接沿著已知(例如,經由編碼器)移動(雙箭頭m)通過圖像傳感器ls的視場(線1630)。注意,根據需要,掃描移動mo沿著相對的方向之一或者沿著相對的方向二者。圖像傳感器ls位于相機lsc內,并且被配置成行掃描傳感器,該行掃描傳感器具有一行像素使得其能夠采集到從物體表面發射的圖像。相機視場1630的區域被殼體lih內的行掃描源li所提供的離軸照明所照亮。該照明源(li)可以是任意可接受的光裝置——例如,一行led。該光線被常規設計和形狀的柱面透鏡1650所聚焦,其提供了具有所期望的寬度w1和無限長度的照明區域(穿過物體表面橫穿移動方向mo)。注意,在一個示例性實施例中,照明線寬度w1可以為幾毫米或更小——但是可以更窄或更寬,這取決于掃描的分辨率。通過光源li和柱面透鏡1650的相應的長度確定所述長度。柱面透鏡被設置成與照明源li間隔了一封閉透鏡架1640,該封閉透鏡架1640在光源li與物體的表面1610之間提供了所期望的焦距。在一個示例性實施例中,柱面透鏡1650可以被限定為半圓柱體,該半圓柱體與透鏡架1649間隔有一定距離并將所述線聚焦在表面上。所示出的光線的離軸投影使得被發射的光線1652的大多數(圖17中所描述的所投影的平面或扇形)被發射(線1654)到圖像傳感器器件(例如,透鏡孔徑)la之外,和/或任意外部刀緣結構。如所示出的那樣,所接收到的由斜坡表面所發射的光線1656被行掃描相機lsc接收。在一個示例性實施例中,位于封閉透鏡架1670的端部處的另一柱面透鏡1660將所接收到的光線聚焦到相機光學器件(刀緣結構la)和行掃描傳感器ls內。本領域技術人員應當清楚除了所描述的柱面透鏡之外的各種相機光學器件裝置。如圖16所示出的那樣,偏振片pi4可以被設置在照明源li(在沿著光路的不同位置處)的光路內。同樣地,偏振片p3可以被設置在所接收的、傳感器ls的光路內。這些元件都被設置,但是為了清楚起見,圖17的裝置1700的描述中并沒有示出這些內容。
應當注意的是,盡管使用了柱面透鏡形狀,但是在可替代裝置中可以使用各種橫截面形狀——例如,拋物面。同樣地,除了透鏡以外,鏡子可以代替透鏡來聚焦照明光。有利地,照明裝置確保整個表面持續高度地照亮并且每個被掃描的線完全表示表面的局部斜坡。該裝置可以有利地使得任意尺寸的表面都能夠被成像并且針對凹坑、凸峰和波紋進行分析。例如,可以通過提供足夠長的行照明組件和穿過物體表面的一個或更多個行掃描相機來對平板電腦或膝上計算機的屏幕,或者更大的平板電視進行分析。每個相機可以對整體物體的一部分成像并且提供表面的單獨或拼合在一起的評估。
還應當注意的是,可以明確考慮到,在可替代實施例中,可以使用例如照明器與菲涅耳透鏡或其他光學裝置結合來對物體的更大的區域成像。
vi.線、盤和圓形光學掩模
圖18示出了廣義視覺系統布置1800的示意性實施例的圖示,該廣義視覺系統布置包括光學組件18030,和具有圖像傳感器1820的視覺系統相機組件1810。傳感器1820以上述大體上所描述的方式互連(如所示出的那樣)至視覺系統處理器,并且對傳感器1820所采集的圖像進行合適的視覺系統任務。光學組件1830可以是任意可接受的可變或固定焦距和/或可變或固定孔徑透鏡單元,或者透鏡單元的組合,例如,傳統的m12型基座,f型物鏡座或c型物鏡座透鏡。
根據一個示意性實施例,所述光學/透鏡組件1830的前面1832可以被固定或可移動掩模組件1840所覆蓋。掩模組件1840可以是旋擰類型或搭扣類型,或者可以經由透鏡組件1830的前面的支架(未示出)被安裝。掩模組件1840還可以應用為膠粘劑貼花或者直接涂覆在透鏡組件的前(或其他)表面。在旋擰附接方式的情況下,掩模組件1840可以類似于其他傳統濾光片的方式操作以結合各種透鏡裝置來使用,以及可以被適配成螺紋穿過傳統透鏡濾光座的端部。
可選地,掩模組件1840可以根據需要手動地或自動地(例如,經由螺旋管、伺服系統、步進機等)從透鏡的光路中出來或進去。掩模組件還可以限定(例如)為光電機構,該光電機構可以經由可選控制電路1850來在具有所期望的尺寸和形狀的完全透明和部分不透明之間變化。通過非限制性方式,掩模組件1840可以包括窗口(通常為圓形),該窗口包括lcd快門或其他形式的可配置窗口。
裝置1800包括上面所描述的照明器1860,所述照明器1860被定向成以相對于表面1870的整個平面成非直角(如所示出的那樣)投影光線。在該實例中,表面1870限定了沿著至少一個方向的波紋,所述波紋包括一系列凸峰1872和介于凸峰之間的槽1874。有角度的光線撞擊這些凸峰和槽,并且被這些凸峰和槽散射,光線的一部分進入相機光學組件1830。掩模組件1840按照其各種形式限定了刀緣元件,該刀緣元件使得多數散射光衰減,并且僅僅將具有特定有限角度范圍的光線指向傳感器1820。在該實施例中,所覆蓋/涂覆的掩模由虛線1880表示,其包括中心覆蓋區域1882和外部覆蓋區域1884,中心覆蓋區域1882與外部覆蓋區域1884之間具有開口孔徑,來自表面1870的發射光線1890穿過該開口孔徑。在各種實施例中,偏振片pi5與照明器1860結合,并且相應的偏振片p4可以設置成與光學/透鏡組件結合。按照如上大體上所描述的那樣(例如,圖5),對偏振器進行布置和起作用。
圖19示出了根據示意性實施例的視覺系統布置1900的更詳細的示例。該實施例包括類似于上述圖9中所示出和描述的分束器和偏振片裝置。具體地,裝置1900包括相機組件1910和透鏡/光學器件1920。根據本文的實施例,透鏡/光學器件1920包括掩模組件1930。在掩模組件1940的前面為按照上述原理工作的偏振片p5,分束器1950被設置,來自被檢查的物體1960的反射光通過該分束器1950被發射至相機1910。照明組件1970被設置。照明組件1970包括照明源1972和聚光透鏡1974。聚光透鏡的前面設置有偏振片pi6。應當注意的是,偏振片p5可以包括位于其表面的掩模圖案,以及該組件可以被設置為附接至透鏡1920的前面的旋擰式或搭扣式附件。
根據一個示意性實施例,提供了另一種視覺系統布置2000。該裝置2000包括相機組件2010和透鏡/光學器件2020。根據本文的實施例,透鏡/光學器件2020包括掩模組件2030。在掩模組件2040的前面為按照上述原理工作的偏振片p6,分束器2050被設置,來自被檢查的物體2060的反射光通過該分束器1950被發射至相機2010。在該實施例中,分束器2050與物體2060之間設置有聚光透鏡2070。該聚光器與照明組件2080結合操作,照明組件2080包括照明源2082、聚焦透鏡2084和偏振片pi7。應當注意的是,可以根據對于本領域技術人員所清楚的公知光學原理來制定聚焦透鏡2084、聚光透鏡2070和其他光學部件的尺寸并且對這些光學部件進行設置。
上述各種掩模組件的中心覆蓋區域和外部覆蓋區域可以限定各種集合形狀、尺寸以及關系。可以通過經驗或者試錯法來選擇合適的掩模,以實現對被檢查的給定表面的最佳圖像。這在圖21至圖27中進行了進一步詳細地描述,這些圖示提供了各種類型/尺寸的掩模圖案。
參考圖21,生成刀緣的一種形式的掩模2100限定了位于透明線性孔徑2120內的中央不透明線2110。剩余的位于透明孔徑2120周圍的掩模的外部區域2130也是不透明的。線2110、2120被定向成大體上平行于表面的特征波紋(如果有的話)的細長方向,并且這種形式的掩模在這類狀況下是最有效的。更通常地,根據需要,細長的方向被(例如,通過旋轉掩模)選擇以增強或抑制表面特征。通過非限制性示例并且為了更好地理解裝置的功能,孔徑的寬度wla是可變的,例如,對于直徑d0為50-55毫米的透鏡而言,wla介于5毫米與10毫米之間,并且中央不透明線wl介于1毫米至5毫米之間。通常,線的寬度wl的尺寸被設置為與來自照明器的聚焦光斑的寬度相匹配。應當注意的是,假定每個如下掩模裝置(圖22至27)具有類似的透鏡直徑d0。對于較大或較小直徑的透鏡,整體維度可以成比例地變化。
圖22示出了包括直徑為dd的中央不透明的、圓形(阻擋)盤2210的掩模2200。該盤為裝置提供了所期望的刀緣元件。通常,盤的尺寸被選擇成與待被增強或抑制的表面特征(例如,缺陷)的尺寸相匹配。應當注意的是,該示例性掩模裝置2200至透鏡的邊緣(虛線圓2230)不具有任何外部不透明區域,并且都是透明的。該基本刀緣元件使得能夠在凸峰和槽的給定角度范圍內接收光線,這些凸峰和槽可以以各種方向定向在表面上。
圖23示出了具有直徑dd1(大約為9毫米)的中央不透明(阻擋)盤2310,和具有內徑da(大約為14毫米)的環形不透明區外部區域2330。盤直徑dd1與外部區域2330之間的不同產生了透明環形窗口2320,從表面反射的光線可以從該透明環形窗口2320穿過。應當注意的是,中央阻擋盤的直徑以刀緣元件的方式限定了光線衰減的程度,而為了增強清晰度,環形外部區域的直徑限定了光學系統的共焦效應。
在相應的圖24、圖25、圖26和圖27中描述了掩模配置2400、2500、2600和2700的一些其他示例,其中央阻擋盤和外部環形區域限定了其間的環形孔徑。通過非限制性示例的方式,掩模2400的盤直徑dd2大約為5至6毫米,以及外部環形區域內徑da1大約為8至9毫米。掩模2500的盤直徑dd3大約為3至4毫米,以及外部環形區域內徑da2大約為5至6毫米。掩模2600的盤直徑dd4大約為3至4毫米,以及外部環形區域內徑da3大約為8至9毫米。掩模2700的盤直徑dd5大約為5至6毫米,以及外部環形區域內徑da4大約為10至12毫米。這些維度僅僅是可能的維度的寬范圍的示例,其可以針對被檢查的表面的各自的如下特征來調整,諸如,視覺系統布置的角度、照明強度和/或波長。
如上面通常所描述的那樣,可以通過使用各種技術(例如,印刷、光刻、應用具有印刷或模制圖案的透明薄膜,等等)將具有合適圖案的涂層施加到類濾光片玻璃表面來構造掩模。本領域技術人員應當清楚的是,可以使用各種技術來將固定的掩模圖案施加至相機光學器件。同樣地,如上文所描述的那樣,掩模可以限定包括例如像素化表面的活性成分。要么與視覺系統處理器分離的要么是視覺系統處理器的一部分的控制器選擇性地處理活性掩模的各個像素以生成具所期望的形狀和尺寸的掩模圖案。應當注意的是,控制器可以被適配成通過各種配置,直到用戶或自動視覺系統過程(例如,基于對比)確定最佳圖案設置。圖案的形狀可以類似于圖21至27所描述的形狀,或者可以具有更復雜的形狀以更好地與唯一的表面特征和/或波紋圖案保持一致。
應當注意的是,在一些實施例中,可以使用與一個或更多個視覺系統處理器互連的多個相機。每個相機可以從相同或不同角度采集具有不同尺寸和/或配置的掩模(例如,不同尺寸的阻擋盤)的物體表面的圖像,以及表面的多個圖像可以被分析以確保具有不同尺寸、形狀和/或方位的波紋特征被合適地成像。類似地,在掩模可變(要么通過在光學器件前面放置不同的掩模,要么通過改變掩模的圖案)的情況下,可以對多個圖像進行采集和分析。
參考圖28的圖像2800,示出了根據上述實施例使用掩模來成像的手持裝置的傳統觸摸屏。在該圖像中,無論是肉眼觀察,還是通過多個具有相對平坦的無特色表面的傳統視覺系統布置,都可以清楚地識別出表面波紋。在圖29中,圖像2900還示出了通常不可見的細節,在該示例中,觸摸屏的傳感器矩陣/陣列2910。通過圖30中的圖像示例性地進一步示出了使用本文所描述的掩模和成像技術所實現的細節級別,其中,在觸摸屏的區域的近距離圖中可以清楚地辨別出圖29中的陣列2910中的各個導線3010。
vii.結論
應當清楚的是,上述系統及方法提供了一種有效技術來用于識別多個分層和未分層反光面上的包括凸峰和凹谷缺陷的斜坡缺陷和波形/波紋缺陷。通過采取合適波長的照明光和濾波片(例如,各種偏振片),系統及方法可以有效地對具有各種涂層和分層的表面成像。理想地是,示意性刀緣裝置可以根據缺陷在哪一側來區分使得從凸峰或凹谷反射的光線相對于背景要么明亮要么黑暗的缺陷的坡度(一階導數)。缺陷的大小可能與缺陷的斜坡成正比。較小的缺陷會具有較小的坡度,其會使得來自背景的較少照明光線偏轉。光源的小空間范圍使得其在從被檢查表面發射之后出現少量聚焦,使得其在沒有阻擋缺陷光線的情況下能夠更容易地阻擋背景。然而,更擴展的光源會減少隨機測試表面傾斜的負面影響,這在生產環境中會遇到,以減小缺陷對比度為代價。因此,刀緣通過減小通過阻擋背景光線的背景來增大對比度。此外,示意性地利用斜率、形狀、和偏振檢測使得大部分背景光被從相機的孔徑反射和濾掉,而來自斜坡缺陷的光線以高對比度被聚焦在相機中。此外,示例性裝置通常通過使用行掃描相機和聚焦照明線使得能夠應用于寬范圍尺寸的反光面。還體現在此提供一個面具,包括一個刀刃元件和其他元件(如共焦元件),提供一個高度精煉
上文已經對本發明的示意性實施例進行了詳細描述。在不偏離本發明的精神和范圍的情況下,可以進行各種修改和添加。根據需要,上述各個實施例中的每個實施例的特征可以與所描述的其他實施例的特征結合,以便于提供與新實施例相關聯的多樣性的特征組合。此外,盡管上文描述了本發明的裝置及方法的多個獨立的實施例,但是所描述的內容僅僅是本發明的原理的應用的示意性描述。例如,本文所使用的術語“過程”和/或“處理器”應采取廣泛的包括各種電子硬件和/或軟件的基礎功能和部件(可替代地,可以被稱為“模塊”或“元件”)。此外,所描述的過程或處理器可以與其他過程和/或處理器結合,或者被劃分為子過程或子處理器。根據本文的實施例,這樣的子過程和/或子處理器可以被不同地組合。同樣地,應當明確考慮的是,本文中的任何函數、過程和/或處理器可以使用電子硬件、由具有程序指令的非易失性計算機可讀介質組成的軟件,或者硬件與軟件的組合來實現。此外,所使用的各種定向和布置術語,如“垂直”、“水平”、“上”、“下”、“底部”、“頂部”,“側邊”,“前面”、“后面”、“左邊”、“右邊”等等,僅用作相對于固定左邊空間,主人,重力的作用方向,相對約定而不是絕對方向/布置。此外,術語“大體上”或“大約”是相對于給定測量值或測量特征來使用的,其指的是為了達到所期待的結果的在正常操作范圍的量,但是,其包括由于系統的所允許的偏差內的固有不準確度和誤差而造成的一些變化。因此,這種描述應當僅作為示例性的,而并非限定本發明的范圍。