一種基于一般成像模型的微小物體測量系統標定方法與流程

本發明涉及一種基于一般成像模型的微小物體測量系統標定方法，屬于機器視覺中三維信息重構的領域。

背景技術：

隨著微納米技術的發展，人們日常生活中的各種產品都在向著輕便的方向發展，這使得產品體積越來越小，微小物體的測量變得愈來愈重要，影響著工業技術的發展。

對于小物體的光柵投影測量，要求視場和景深小，所以傳統的針孔攝像機不能準確獲得三維物體的高度變化。相較于傳統的顯微鏡，遠心鏡頭又具有高分辨率、幾乎零失真、增加自由度和恒定的放大率等無可比擬的優勢。與針孔相機的透視投影不同，帶有遠心鏡頭的相機實現的是仿射投影。所以已有的很多針孔相機的標定方法都不能用來標定仿射相機。

一般成像模型是一種靈活的可以應用于多種相機設備的方法，但是一般成像模型參數多，計算過程繁瑣，有方法對其簡化但是又需要依靠精密位移臺，增加成本的同時也增加了設備帶來的誤差。

技術實現要素：

發明目的：針對利用一般成像模型標定遠心鏡頭計算參數多、過程繁瑣問題，本發明提供一種基于一般成像模型的微小物體測量系統標定方法，該方法利用標定板在某一方向上轉動的不同姿態來簡化標定參數，并通過LM非線性優化來提高標定的參數。同時提出自卷積盲去模糊的方法解決遠心鏡頭景深小帶來的離焦問題。

技術方案：為實現上述目的，本發明采用的技術方案為：

一種基于一般成像模型的微小物體測量系統標定方法，包括以下步驟：

步驟1：根據三角法固定帶有遠心鏡頭的攝像機和投影儀，在它們公共的工作距離內擺放一個圓形陣列的標定板，利用投影儀在標定板表面投射光柵條紋。同時對于攝像機的成像平面，建立以像素點為單位的圖像坐標系u-v，坐標系的原點位于圖像的左下角，橫、縱像素軸分別為u軸和v軸。

步驟2：用攝像機拍攝某一姿態下的標定板圖像及被標定板調制過的光柵圖。記為 第一幅標定板圖像和第一組標定板光柵圖。以標定板的左上角為坐標原點，標定板的水平線為X軸，豎直線為Y軸，垂直于XY平面的直線為Z軸，建立標定板平面坐標系XYZ，該坐標系為第一個標定板坐標系；通過一個簡易的可升降旋轉臺控制標定板繞其平面坐標系Y軸轉動，并在X軸、Y軸、Z軸方向上任意移動，然后用攝像機分別獲取兩幅不同姿態的標定板圖像和對應的光柵圖。分別記為第二、第三幅標定板圖像和第二、第三組標定板光柵圖。同時根據這兩幅不同姿態的標定板和第一標定板坐標系的建立方法分別建立對應姿態的標定板坐標系，分別為第二、第三個標定板坐標系。

步驟3：采用自卷積的算法對步驟2獲取的第一、第二、第三幅標定板圖像進行去模糊處理，并對去模糊處理后的圖像進行橢圓擬合獲取三個姿態下標定板圓心的像素坐標。

步驟4：通過步驟3從攝像機獲取的標定板二維圖片中定位出三個姿態下標定板上圓心坐標。對步驟2中獲取的第一、第二、第三組標定板光柵圖采用八步相移法和格雷碼的方法得到三個姿態下標定板上圓心坐標對應的標定板的相位。根據得到的標定板的相位將三個姿態下標定板上圓心坐標匹配到各個姿態下的投影儀圓心像素坐標。

步驟5：將第一、第二、第三個標定板坐標系中的任一一個坐標系作為世界坐標系。根據步驟3獲取的三個姿態下標定板圓心的像素坐標利用一般成像模型找到相機獲取的標定板圖像上每個像素點在世界坐標系上對應的光線方程，即像素點在相機下的光線方程。根據步驟4獲取的三個姿態下的投影儀圓心像素坐標利用一般成像模型找到投影儀對應的標定板圖像上每個像素點在世界坐標系上對應的光線方程，即像素點在投影儀下的光線方程。

步驟6：根據步驟5得到的像素點在相機下的光線方程和像素點在投影儀下的光線方程求得交點，該交點即為物體的三維坐標。

所述步驟5中像素點在相機下的光線方程的求取方法：

步驟5.1：根據標定板圓心在對應的標定板坐標系下的坐標以及步驟3得到的標定板圓心的像素坐標獲取三幅不同姿態下標定板圖像的單應性矩陣。選取標定板圖像上固定的像素坐標m_c根據單應性矩陣得到同一像素點在三個姿態下相應的標定板坐標系下的坐標，記為Q¹、Q²、Q³，Q¹為像素坐標m_c根據單應性矩陣得到同一像素點在第一個標定板坐標系的坐標，Q²為像素坐標m_c根據單應性矩陣得到同一像素點在第二個標 定板坐標系的坐標，Q³為像素坐標m_c根據單應性矩陣得到同一像素點在第二個標定板坐標系的坐標。

步驟5.2：將第一個標定板坐標系作為世界坐標系，根據同一像素點在世界坐標系下對應坐標的共線性以及旋轉矩陣是單位正交陣的特性求得第二個標定板坐標系到第一個標定板坐標系的旋轉平移矩陣和第三個標定板坐標系到第一個標定板坐標系的旋轉平移矩陣。

步驟5.3：根據步驟5.2求得的第二個標定板坐標系到第一個標定板坐標系的旋轉平移矩陣將Q²轉化到世界坐標系下記為Q_w2。根據步驟5.2求得的第三個標定板坐標系到第一個標定板坐標系的旋轉平移矩陣將Q³轉化到世界坐標系下記為Q_w3。第一標定板坐標系下的坐標Q¹直接記為Q_w1。進而求得世界坐標系上的三點Q_w1，Q_w2，Q_w3。

步驟5.4：根據步驟5.3求得的世界坐標系上的三點Q_w1，Q_w2，Q_w3的坐標通過直線擬合獲取像素點m_c對應的射線l_c，該射線l_c即為像素點在相機下的光線方程。

所述步驟5.1中通過以下公式獲取三幅不同姿態下標定板圖像的單應性矩陣：

其中，(m_u,m_v,1)為圓心的像素坐標的齊次坐標，為像素坐標在第i個平面坐標上對應的齊次坐標。Hⁱ為第i幅標定板圖像的單應性矩陣。

對步驟5.2中求得的第二個標定板坐標系到第一個標定板坐標系的旋轉平移矩陣和第三個標定板坐標系到第一個標定板坐標系的旋轉平移矩陣采用Levenberg-Marquardt算法對其進行優化。

所述步驟5.2中Levenberg-Marquardt算法的優化方法：

步驟5.21，獲取第一幅標定板圖像任意圓心點的像素坐標根據第一幅標定板上任意圓心點的像素坐標對應的直線和Z＝0平面的交點重新求得第一幅標定板圖像上圓心的世界坐標

第一幅標定板圖像上圓心的世界坐標公式：

直線的計算公式：

步驟5.22，根據第二個標定板坐標系到第一個標定板坐標系的旋轉平移矩陣、第三個標定板坐標系到第一個標定板坐標系的旋轉平移矩陣以及第一個姿態下圓心的世界坐標建立如下最小值優化模型：

其中，n為擺放標定板的姿態數，m為標定板上所取的圓心點數，p_i代表第一個姿態下第i個圓心的世界坐標，表示第j個姿態下第i個圓心在相機上的像素坐標，R^j-1、T^j-1分別表示第j個姿態到第一個姿態的旋轉矩陣和平移矩陣。表示第i個圓心像素點對應的擬合的光線和Z軸零平面的交點即反求得的第一個姿態下圓心的世界坐標。

步驟5.23，對步驟5.2中求得的第二個標定板坐標系到第一個標定板坐標系的旋轉平移矩陣和第三個標定板坐標系到第一個標定板坐標系的旋轉平移矩陣作為初始值。結合步驟5.21中第一幅標定板圖像上圓心的世界坐標公式、直線的計算公式和步驟5.22中的最小值優化模型進行優化。

所述步驟6中根據步驟5得到的像素點在相機下的光線方程和像素點在投影儀下的光線方程求得交點的公式：

其中，m_c表示相機上某一像素點；m_p表示根據相位匹配得到的m_c在投影儀上對應的像素點；l_c表示像素點m_c對應的光線；l_p表示m_c在投影儀下像素點m_p對應的光線。

所述步驟4投影儀圓心像素坐標的求解方法：

從攝像機獲取的標定板二維圖片中定位出三個姿態下標定板上圓心坐標對步驟2中獲取的第一、第二、第三組標定板光柵圖采用八步相移法和格雷碼的方法得到圓心坐標的垂直相位和水平相位再根據線性插值法得到投影儀上相應的點的投影儀圓心像素坐標

其中，表示投影儀上相應的點的像素坐標，即投影儀圓心像素坐標， 表示從相機獲取的標定板二維圖片中定位出標定板上圓心坐標，表示圓心坐標在投影儀上相應的圓心坐標，T_v，T_h分別是垂直和水平條紋光柵的周期數。W和H是條紋光柵圖的寬和高。

有益效果：本發明提供的一種基于一般成像模型的微小物體測量系統標定方法，相比現有技術，具有以下有益效果：

本發明利用光柵投影測量進行微小物體的三維重構,基于一般成像模型提出了一種改進的標定方法，利用標定板圍繞固定軸轉動的不同姿態建立模型得到同一像素點在不同標定板上對應的世界坐標并進行優化從而最終獲取每個像素點對應的光線。根據光柵投影得到的相位信息對投影儀進行匹配并用相同的方法標定投影儀的鏡頭。最后通過雙目立體視覺的原理，找到每個像素點對應的世界坐標，獲取最終物體的三維信息。同時，本發明利用自卷積盲去模糊的方法對相機獲取的圖像進行處理解決遠心鏡頭景深小帶來的離焦。因此本發明對一般成像模型進行改進，并且使設備盡量簡單、易于實現，同時又擺脫了依靠位移臺獲取精密位移距離的限制。

附圖說明

圖1是發明的整個過程的流程圖。

圖2是標定板平面坐標系的示意圖。

圖3是標定板旋轉臺示意圖。

圖4是標定板三個擺放姿勢的示意圖。

圖5是本發明所基于的一般成像模型系統示意圖。

圖6是盲去模糊前后效果圖。

圖7是相機獲取的一幅相移圖。

圖8是鑰匙的三維重構圖。

具體實施方式

下面結合附圖和具體實施例，進一步闡明本發明，應理解這些實例僅用于說明本發明而不用于限制本發明的范圍，在閱讀了本發明之后，本領域技術人員對本發明的各種等價形式的修改均落于本申請所附權利要求所限定的范圍。

一種基于一般成像模型的微小物體測量系統標定方法，如圖1所示，遠心鏡頭的標定是微小物體三維測量技術中關鍵的一步，傳統針孔模型的相機標定方法已經不能適用，為了實現對遠心鏡頭的標定采用一般成像模型，但是由于一般成像模型存在參數過多，計算過程繁瑣等問題，本發明提出了一種根據標定板在某一方向上旋轉的三個姿態建立一般成像模型的方法，在windows操作系統下選用VS2015作為編程工具，對相機獲取的圖片進行處理最終得到微小物體的三維點云。從而簡化了一般成像模型，并通過優化過程進一步提高了系統的標定精度。

具體包括以下步驟：

步驟1：對于攝像機的成像平面，建立以像素點為單位的圖像坐標系u-v，坐標系的原點位于圖像的左下角，橫、縱像素軸分別為u軸和v軸。根據三角法固定帶有遠心鏡頭的攝像機和投影儀，在它們公共的工作距離內擺放一個圓形陣列的標定板，利用投影儀在標定板表面投射光柵條紋。

步驟2：如圖2所示，以標定板的左上角為坐標原點，標定板的水平線為X軸，豎直線為Y軸，垂直于XY平面的直線為Z軸，建立標定板平面坐標系XYZ，該坐標系為第一個標定板坐標系。用攝像機拍攝此姿態下的標定板圖像及被標定板調制過的光柵圖。記為第一幅標定板圖像和第一組標定板光柵圖。

如圖3所示，利用簡易裝置控制標定板繞平面坐標系Y軸轉動，并在X軸、Y軸、Z軸方向上任意移動，然后用攝像機分別獲取兩幅不同姿態的標定板圖像和對應的光柵圖。分別記為第二、第三幅標定板圖像和第二、第三組標定板光柵圖。同時根據這兩幅不同姿態的標定板和第一標定板坐標系的建立方法分別建立對應姿態的標定板坐標系， 分別為第二、第三個標定板坐標系。如圖4所示，為標定板三個擺放姿勢的示意圖。

步驟3：采用自卷積的算法對步驟2獲取的第一、第二、第三幅標定板圖像進行去模糊處理，并對去模糊處理后的圖像進行橢圓擬合獲取三個姿態下標定板圓心的像素坐標。如圖6所示是盲去模糊前后效果圖。

步驟4：從攝像機獲取的標定板二維圖片中定位出三個姿態下標定板上圓心坐標。對步驟2中獲取的第一、第二、第三組標定板光柵圖采用八步相移法和格雷碼的方法得到三個姿態下標定板上圓心坐標對應的標定板的相位。根據得到的標定板的相位將三個姿態下標定板上圓心坐標匹配到各個姿態下的投影儀圓心像素坐標。

所述步驟4投影儀圓心像素坐標的求解方法：

從攝像機獲取的標定板二維圖片中定位出三個姿態下標定板上圓心坐標對步驟2中獲取的第一、第二、第三組標定板光柵圖采用八步相移法和格雷碼的方法得到圓心坐標的垂直相位和水平相位再根據線性插值法得到投影儀上相應的點的投影儀圓心像素坐標

其中，表示投影儀上相應的點的像素坐標，即投影儀圓心像素坐標， 表示從相機獲取的標定板二維圖片中定位出標定板上圓心坐標，表示圓心坐標在投影儀上相應的圓心坐標，T_v，T_h分別是垂直和水平條紋光柵的周期數。W和H是條紋光柵圖的寬和高。

如圖7所示，為其中一幅標定板調制過的光柵圖。

步驟5：將第一、第二、第三個標定板坐標系中的任一一個坐標系作為世界坐標系。根據步驟3獲取的三個姿態下標定板圓心的像素坐標利用一般成像模型找到相機獲取的標定板圖像上每個像素點在世界坐標系上對應的光線方程，即像素點在相機下的光線方程。根據步驟4獲取的三個姿態下的投影儀圓心像素坐標利用一般成像模型找到投影儀對應的標定板圖像上每個像素點在世界坐標系上對應的光線方程，即像素點在投影儀下 的光線方程。

所述步驟5中像素點在相機下的光線方程的求取方法：

步驟5.1：根據標定板圓心在對應的標定板坐標系下的坐標以及步驟3得到的標定板圓心的像素坐標根據公式1獲取三幅不同姿態下標定板圖像的單應性矩陣。選取標定板圖像上固定的像素坐標m_c根據單應性矩陣得到同一像素點在三個姿態下相應的標定板坐標系下的坐標，記為Q¹、Q²、Q³，Q¹為像素坐標m_c根據單應性矩陣得到同一像素點在第一個標定板坐標系的坐標，Q²為像素坐標m_c根據單應性矩陣得到同一像素點在第二個標定板坐標系的坐標，Q³為像素坐標m_c根據單應性矩陣得到同一像素點在第二個標定板坐標系的坐標。

其中，(m_u,m_v,1)為圓心的像素坐標的齊次坐標，為像素坐標在第i個平面坐標上對應的齊次坐標。Hⁱ為第i幅標定板圖像的單應性矩陣。

步驟5.2：將第一個標定板坐標系作為世界坐標系，根據同一像素點在世界坐標系下對應坐標的共線性以及旋轉矩陣是單位正交陣的特性求得第二個標定板坐標系到第一個標定板坐標系的旋轉平移矩陣和第三個標定板坐標系到第一個標定板坐標系的旋轉平移矩陣。

旋轉矩陣R包含了三個自由分量，分別是傾斜角γ、偏離角β和旋轉角α，其幾何意義是圍繞X軸、Y軸、Z軸旋轉的角度。旋轉矩陣R的表達式可描述如下：

由于標定板只在Y軸方向上發生了旋轉，所以旋轉矩陣可以表示為：

其中，為所設未知量。

用像素點m_c對應的空間坐標可構成矩陣M：

保留矩陣M第三行，計算其三個子行列式，整理公式后可得到：

其中λ表示構造子矩陣時消除的行，C_i表示位置參數，表示相應的系數。

表1 位置參數及其相應參數

Table1 Pose parameters and corresponding coefficients

用最小二乘法可以求得C_i的最小二乘解。假設估計的最小二乘解為C′_i，則它與表1中的實際C_i存在一個未知的縮放系數k：

kC′_i＝C_i,i＝1,...,11。

于是根據表1的信息，可以得到以下公式：

利用旋轉矩陣R是單位正交陣的特性：

通過上述公式計算出所有的移動參數即旋轉矩陣和平移矩陣。

對步驟5.2中求得的第二個標定板坐標系到第一個標定板坐標系的旋轉平移矩陣和第三個標定板坐標系到第一個標定板坐標系的旋轉平移矩陣采用Levenberg-Marquardt算法對其進行優化。

Levenberg-Marquardt算法(LM)對其進行優化方法如下：

步驟5.21，獲取第一幅標定板圖像任意圓心點的像素坐標根據第一幅標定板上任意圓心點的像素坐標對應的直線和Z＝0平面的交點重新求得第一幅標定板圖 像上圓心的世界坐標

第一幅標定板圖像上圓心的世界坐標公式：

直線的計算公式：

步驟5.22，根據第二個標定板坐標系到第一個標定板坐標系的旋轉平移矩陣、第三個標定板坐標系到第一個標定板坐標系的旋轉平移矩陣以及第一個姿態下圓心的世界坐標建立如下最小值優化模型：

其中，n為擺放標定板的姿態數，m為標定板上所取的圓心點數，pi代表第一個姿態下第i個圓心的世界坐標，表示第j個姿態下第i個圓心在相機上的像素坐標，R^j-1、T^j-1分別表示第j個姿態到第一個姿態的旋轉矩陣和平移矩陣。表示第i個圓心像素點對應的擬合的光線和Z軸零平面的交點即反求得的第一個姿態下圓心的世界坐標。

步驟5.23，對步驟5.2中求得的第二個標定板坐標系到第一個標定板坐標系的旋轉平移矩陣和第三個標定板坐標系到第一個標定板坐標系的旋轉平移矩陣作為初始值。結合步驟5.21中第一幅標定板圖像上圓心的世界坐標公式、直線的計算公式和步驟5.22中的最小值優化模型進行優化。

步驟5.3：對于某一像素點m_c在三個姿態下相應的標定板坐標系下的坐標，記為Q¹、Q²、Q³。根據步驟5.2求得的第二個標定板坐標系到第一個標定板坐標系的旋轉平移矩陣將Q²轉化到世界坐標系下記為Q_w2。根據步驟5.2求得的第三個標定板坐標系到第 一個標定板坐標系的旋轉平移矩陣將Q²轉化到世界坐標系下記為Q_w3。第一標定板坐標系下的Q¹直接記為Q_w1。進而求得世界坐標系上的三點Q_w1，Q_w2，Q_w3。

Q²和Q³通過下式轉化到以第一個姿態建立的世界坐標系下：

R¹、R²分別是第二個平面和第三個平面到第一個平面的旋轉矩陣。T¹、T²分別是第二個平面和第三個平面到第一個平面的平移矩陣。

步驟5.4：根據步驟5.3求得的世界坐標系上的三點Q_w1，Q_w2，Q_w3的坐標通過直線擬合獲取像素點m_c對應的射線l_c，該射線l_c即為像素點在相機下的光線方程。

步驟6：在微小物體三維測量系統中，投影儀在獲得圓心點后標定方法與相機一樣。因此可以根據步驟5得到的像素點在相機下的光線方程和像素點在投影儀下的光線方程通過公式13求得交點，該交點即為物體的三維坐標。

其中，m_c表示相機上某一像素點；m_p表示根據相位匹配得到的m_c在投影儀上對應的像素點；l_c表示像素點m_c對應的光線；l_p表示m_c在投影儀下像素點m_p對應的光線。

在實例中，通過本發明所使用的標定方法可以實現微小物體的三維測量，如圖8所示，本發明成功重建了鑰匙的三維電云，鑰匙上的紋理清晰可見。并且實驗發現，與真實值相比，本方法可以獲得10um的測量精度，而且操作簡便。

以上所述僅是本發明的優選實施方式，應當指出：對于本技術領域的普通技術人員來說，在不脫離本發明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視為本發明的保護范圍。