專利名稱：基于光傳感器的投影自動幾何校正方法
技術領域：
本發明涉及的是一種無縫投影中的自動幾何校正方法，特別涉及一種基于光傳 感器的自動幾何校正方法。
背景技術：
數字投影設備的逐漸普及使得多通道的超高分辨率的數據可視化和視頻娛樂 成為了可能。這類投影需要多臺投影設備共同合作，它們通常情況下被安放在桌面 上，或者固定在支架上，同時將原始圖像投射到同一目標投影幕的不同部分，最終 通過技術手段將投影圖像無縫的拼接在一起，并且觀察者看到的圖像(下文中簡稱 為觀察者圖像)是完整的超大型高分辨率的圖像。圖像拼接的一個技術難點就是經 過投影幕的反射后，原本正常的圖像的投影會發生幾何畸變。解決這個問題的辦法 是通過一定的方法確定從原始圖像到觀察者圖像的像素點的對應關系，并據此對原 始圖像在投射之前進行幾何預變換。這樣，經過預變換的圖像經過投影設備的投射 后再經過投影幕的反射，就可以使觀眾看到的圖像和原始圖像保持一致，從而達到 幾何校正的目的。
要達到這樣的效果，可以由控制計算機生成一個與原始圖像等大的矩形網格， 然后投影設備將它投射到投影幕上就得到一個有幾何畸變的網格。接下來通過一定 的方式，把這個網格的控制點分別移動至預期的位置，使觀眾看到的網格和原始網 格保持一致。此時，網格在投影幕上已經覆蓋了一定的區域。之后，控制計算機由 校正模式切換至顯示模式。這時，投影設備投射原始圖像并在投影幕上形成了一個 投影圖像，它恰好完全與網格所確定的區域相重疊。這樣，觀眾看到的觀察者圖像 就和預期的圖像是一致的了，也就消除了幾何畸變。以往常見的移動網格控制點的 方案有兩種人工校正和基于計算機視覺的自動校正。在人工校正的方案中，經過 訓練的專家級人員通過手動的方式來移動網格的控制點。這個方案成本低廉且施工 簡易，但是整個過程會消耗大量的人力和時間，后期維護的成本很高。特別在投影 設備或者投影幕經常發生相對移動的情況下，比如辦公會議環境，頻繁的費時的人 工幾何校正大大限制了多通道投影系統的應用。在基于計算機視覺的自動校正方案
6中， 一臺或多臺數碼攝像設備會代替觀眾觀察投影幕上的網格的控制點，通過它們 確定從原始圖像到觀察者圖像的像素點的映射關系，從而達到攝像機標定的目的。 再以控制點在投影坐標系中的坐標為樣本，根據回歸計算得到從觀察者圖像到原始 圖像的單應性矩陣。這樣，將投影圖像的像素點坐標乘以單應性矩陣即可知道它在 原始圖像中的對應像素點的坐標，并據此控制計算機對原始圖像進行幾何預變換。 雖然這樣的自動校正理論上可以達到亞像素級的精度，但是因為各種客觀原因，如 光源的移動、光強的變化、投影幕反光能力的強弱和攝像鏡頭的光學畸變等，最終 得到的網格控制點的實際位置和理想位置會有或大或小的出入，致使實際幾何校正 結果達不到理論上的精確度。 .
還有一種技術方案是基于光傳感器的自動幾何校正(例如，參見文獻h美國 專利號7001023)，它首先在投影幕上的預定位置安裝一系列的光傳感器，用他們來 標定網格控制點的投影在投影幕上預期的位置。然后，投影設備向投影幕投射一個 二進制式的光模式序列，光傳感器將其對序列中每個光模式的反饋信號傳輸至控制 計算機，由控制計算機基于這些信號的歷史記錄計算出光傳感器在投影坐標系中的 平面坐標，進而構造參數矩陣。在對這個參數矩陣的奇異值分解過程中得到從投影 圖像到原始圖像的單應性矩陣，再根據它對原始圖像進行幾何預變換。接下來的幾 何校IH歩驟就與前述的人工和基于計算機視覺的兩種方案相同了。因為這種方案中 投射的光模式是二進制式的光模式，因此控制計算機需要將光傳感器反饋的模擬信 號轉換為0和1的數字信號。這個過程中是通過預設閾值常數的方法來對原始光照 信號進行處理的。然而，光傳感器對光照的電氣響應強弱很容易受到環境光照的影 響，如自然光和室內照明等。預先設定的閾值常數量往往會導致光傳感器的坐標解 碼失敗，進而導致幾何校正的失敗。其次，單應性矩陣的計算依賴于對參數矩陣的 奇異值分解。然而，單應性矩陣僅適用于純平面的投影幕，如辦公室的垂直墻面等。 當投影幕為非平面時，例如大型的柱面、球面和橢球面等，由于基于單應性矩陣的 映射計算過程屬于非線性運算，它會導致投影圖像在由多個相鄰的由光傳感器所確 定的網格的邊緣處發生錯位現象，即投影圖像并非在每個方向上處處都是連續的， 觀眾看到的觀察者圖像也是錯位的。解決這個問題的辦法就是在投影幕上安裝大量 的密集的光傳感器，使錯位的程度盡可能的降低。這樣投影設備的生產成本和現場 施工的難度都會大大提升，特別是從光傳感器到控制計算機的電線的布線將變得異 常復雜。
因此， 一種適用于任意曲面的完全自動的自適應環境的幾何校正技術需要被開 發出來。
發明內容
本發明的目的是提供一種成本低廉，可使用各種光傳感器，適應性能好，校正 精度高的基于光傳感器的投影自動幾何校正方法。 本發明是這樣實現的
本發明基于光傳感器的投影自動幾何校正方法，控制計算機101生成一個與原 始圖像等大并且網格線交叉點在垂直和水平方向上均等間距的矩形網格，該矩形網 格以左上角為原點，水平向右為橫軸正向，垂直向下為縱軸正向，建立投影設備102
的投影坐標系，矩形網格寬度為^，高為/f,，投影設備102與控制計算機101相 連接，
在投影幕106上安裝iV個光傳感器構成陣列，陣列的寬度為『,，高度為//,， 其中W = x ，光傳感器位于投影幕106表面上的每個單元平面的頂點和單元平 面內曲度發生突變的位置，如單元曲面的波峰，波谷或者獨立尖角處，每個光傳感 器的輸出端由導線連接至數據采集設備107的輸入端，數據采集設備向控制計算機 '101輸出光傳感器的信號，具體幾何校正方法如下
(1) 控制計算機101切換進入幾何校正模式，生成光模式序列100，投影設備 將光模式序列中的每一個光模式依次投射到投影幕106，
(2) 數據采集設備107收集每個光傳感器對每個光模式的響應信號數值 S,，(f = 1,2,...,#)并反饋到控制計算機101，控制計算機101將響應信號數值S,映射為 二進制數字《e {0,1},(/ = 1,2，…,iV),
(3) 控制計算機101根據每個光傳感器對應的二進制數值i ,的歷史記錄，計 算出每個光傳感器在投影設備的投影坐標系中的平面坐標(1,，10,(/ = 1,2，...,7\0,
(4) 控制計算機101切換入投影模式，對需要投影的原始圖像112進行幾何預
變換，
(5) 投影設備102將進行了幾何預變換所得圖像投射到投影幕106上就得到了 正確的觀察者圖像。
歩驟(1)中所述的光模式序列100包括第一光模式序列500、第二光模式序列 501和第三光模式序列502，第一光模式序列500由滿光照的光模式503和無光照 的光模式504各一個組成，第二光模式序列501由黑白相間的豎條組成的光模式構 成，第三光模式序列502由黑白相間的模條組成的光模式構成，第二光模式序列501 由vV,個光模式組成，AV=「log2W],第三光模式序列502由A^個光模式組成， /^-「log2//,〕，第二光模式序列501的第7'個光模式的黑白垂直豎條的寬度均為
8，0 = l,2，...,iVF)，第三光模式序列502的第A個光模式的水平橫條的高度
步驟(2)中，光傳感器對第一光模式序列500的滿光照光模式503的信號數值 為^，(/ = 1,2,...,)，無光照光模式S04的信號數值為￡>,，(/ = 1,2,...,^)，控制計算機 (101)將從數據采集設備(107)得到的光傳感器的信號數值S, e[A，￡,]^' = l,2,...,A0
映射為二進制數字《e{0,l},(/ = l,2，...,AO，映射計算公式如下-
尺=
i,當s, >7;
其中，光照閾值r, =(1 —C/)xB, +[/><￡>,，中間值"=力-戶2，(0.5<尸<1,/ = 1，2,...,^)°
第/個光傳感器的平面坐標(義,,"),(/ = 1,2,...,^;)的確定方法如下 U)區間綁定投影設備在開始投射第二、三光模式序列前，將第/個光傳感
器的模坐標x,和縱坐標k分別綁定上 一 個閉區間，它們分別為 l丑,o = O,Z", o = 2~ j禾Q & o = O,RZ, o = 2~丄(/ = 1,2,.,., JV)，
(2)迭代解碼在投射第二光模式序列(501)的過程中，每投射一個光模式， 控制計算機(101)按照如下的規則，分別更新第/個光傳感器的橫坐標綁定的區間
1
其中臨時變量a = '一 1 + Z",，H W = 1，2,.." W J = 1,2,.
在投射第三光模序列(502)的過程中，每投射一個光模式，
按照如下規則，分別更新第/個光傳感器的縱坐標綁定的區間
其中臨時變量込—l + ^/,,H)l("l,2,…,A^/ = l，2,.,
"^v)，
控制計算機(101)
a)，
(3)坐標賦值在所有光模式都投射完畢后，第Z個光傳感器的橫坐標X,和縱
坐標"如下:
9- 力-1,2，…,a0。
進行幾何預變換之前，控制計算機101在光投影設備的投影坐標系中，按照插 值算法添加了多個虛擬光傳感器，與原矩形網格線交叉點匹配成對。增加虛擬光傳
感器的方法如下
尺寸為H,x『,的二維矩陣M,，組成二維矩陣的元素為從上到下，從左到右的 第/個元素為一個向量(Z,A),G、1，2,...,^)，虛擬光傳感器的添加是基于二維矩陣 M,，沿投影設備(102)的投影坐標系的橫軸和縱軸兩個方向先后進行，首先沿二 維矩陣i^的行方向，從上到下依次選取第= 1，2,...,//J行的所有元素得行向量 ^，以該行向量^的元素為曲線擬合樣本，按照插值算法添加若干個插值點，并與 行向量F,.的所有元素進行合并形成新的行向量7V^.，把得到的/^個新的行向量按照 先后順序在垂直方向上進行疊加，得尺寸為//2><^2的二維矩陣〃2，其中7^2=/^， ^為在水平方向上插值點的個數，^的數值由人為設定且大于^;，沿二維矩陣^2 的列方向，從左到右依次選取第^(/ = 1，2,...,『2)列的所有元素，得一個由二維點坐
標構成的列向量K，以p;的元素為曲線擬合樣本，按照插值算法添加若干個插值點，
并且和原列向量^的所有元素進行合并形成新的列向量a^^，把得到的^,個新的列 向量按照先后順序在水平方向上進行疊加，得到尺寸為//3><^3的二維矩陣^3，其 中『3=^2， //3為在垂直方向上插值點的個數，//3的數值由人為設定且大于/^， 二維矩陣似3即為添加虛擬光傳感器以后的光傳感器坐標矩陣。 幾何預變換的方法如下
(1) 控制計算機初始化經二維矩陣7/3映射所得的圖像的所有像素點均為暗黑
色，
(2) 取矩陣A^中每個構成矩陣的順時針方向的四個元素^、 _S、 C和D在原 矩形網格線交叉點的顏色數值為C,、 C2、 q和C4，.
(3) 幾何預變換后的結果圖像中的J、 3、 C和"四個矩陣元素以及通過它們
的四條插值曲線確定了一個封閉的小網格，
(4) 過封閉小網格中任意一點Z的水平直線交JZ)邊界于/Z,交SC邊界于F， 過Z的垂直直線交^B邊界于E,交DC邊界于G，
(5) 封閉小網格的面積為&,小網格被過Z點的水平和垂直直線劃成的四個順 時針方向的封閉區域，他們的面積分別為S, ， &， &和&，
(6) 根據以下公式，得到幾何預變換的結果圖像上Z點的顏色數值Cz
10(7)循環式地按照2-6步驟計算矩陣^3的另外四個元素確定的封閉小網格中 的所有點的顏色值。
當所有封閉小網格的任意點的顏色值都計算出來，幾何預變換后的圖像也就生 成完畢。 .
首先，控制計算機生成一個光模式序列，并通過投影設備向投影幕依次投射該 序列中的每個光模式。在投射每個光模式的過程中，安裝在投影幕中的光傳感器分 別采集其受光照強度，并傳輸此模擬信號至數據采集設備。同時，控制計算機通過 數據采集設備的硬件驅動接口，讀取每個光傳感器在每個光模式下受光照強度的數 字信號。然后，在整個光模式序列都投射完畢以后，控制計算機根據采集到的光傳 感器的信號歷史，計算出它們在投影坐標系中的平面坐標，并將其作為幾何校正網 格在投影幕上的控制點的預期坐標。據此將投影幕劃分成若干個彼此相互鄰接的網 格，再根據插值算法增加虛擬的光傳感器，得到進一步細化的小網格。最后，根據 從原始圖像到投影圖像的網格控制點的對應關系，控制計算機對原始圖像進行幾何 預變換，并將結果圖像的對應部分分別投射到目標投影幕上每個小網格所覆蓋的區 域，以此達到幾何校正的目的。整個過程完全由計算機控制自動完成，速度快，安 裝和維護成本低，可以在任意曲面和姿態的投影幕上達到亞像素級的校[H精度。
本發明有如下優點
1. 向投影幕依次投射一個全光照的亮白色和一個無光照的暗黑色的光模式，通 過光傳感器對這兩個光模式的電氣響應，投影系統自動為每個光傳感器單獨自動設 定光照閾值。這樣，不同廠商的光傳感器也可以混用在同一個投影幕上，僅要求每 個光傳感器的輸出信號都有固定的量程。
2. —次幾何校lH需要的時間很短，通常情況下僅為數秒。由于光傳感器對光照 的響應時間很短為毫秒級，幾乎可以忽略，所以幾何校正的時間復雜度與光傳感器
的安裝數量無關，僅為原始圖像尺寸的O(A0級。
3. 在確定了光傳感器在投影坐標系中的坐標以后，按照插值算法添加多個虛擬 的光傳感器。這樣，即使投影幕上僅安裝相對少量的光傳感器，投影系統也可以自 適應復雜的曲面，同時也可以避免了在投影網格間出現的圖像錯位的現象。
圖1為本發明的硬件結構圖。 圖2為光傳感器結構圖。圖3為投影幕與傳感器的安裝結構圖。 圖4為本發明的流程圖。 圖5為光模式序列示意圖。 圖6幾何預變換后的封閉小網格示意圖。
具體實施例方式
硬件部分 ' 如圖l所示，整套投影系統的硬件部分由六大元素組成控制計算機101、投
影設備102、目標投影幕}06、光擴散薄膜108、光傳感器如103、 104和105等、 以及信號采集盒107。在幾何校正過程中，他們按照順時針方向依次發揮作用，組 成了一個完整的閉環控制系統。此時控制計算機101處于幾何校正模式，它向投影 設備102輸出的是光模式序列100。'在幾何校正結束以后，控制計算機切換至投影 模式，此時它對輸入的原始圖像112進行幾何預變換，并將結果圖像輸出至投影設 備102。
投影設備102和投影幕106均處于任意姿態，且投影設備102在投影幕106上 的投影圖像的一部分109完全覆蓋了四個相鄰的光傳感器，意即在以它們為頂點的 多邊形IIO范圍內不再有其他的光傳感器。這里，術語姿態包括了位置和立體方向 兩方面的含義。同樣的道理，其他每四個相鄰的光傳感器也被投影圖像的其他部分 完全覆蓋，所以投影幕106上所有的傳感器都被投影圖像所覆蓋。注意，投影設備 102可以代表一個或者多個投影源，但是每四個相鄰的光傳感器僅對應一個投影源 的投影圖像的一部分。
觀眾111和投影設備102在相對于投影幕106的同一邊(下文中簡稱為正面)。 這樣，圖像經過投影幕106的反射后就可以被觀眾111觀看到。由于投影設備102 和投影幕106的姿態可以是任意的，因此投影圖像109就不會恰好覆蓋期望的投影 區域110。所以，就需要由控制計算機101對輸入的原始圖像IOO進行幾何預變換。 經過了幾何預變換的圖像再經過投影設備106的投影后，就能恰好的覆蓋住期望的 投影區域IIO。
如果期望的投影區域是整個投影幕106的話，就需要在投影幕106上安裝更多 的光傳感器，例如103、 104和105。所有光傳感器在投影幕106上的安裝位置都是 已知的且不依賴于原始圖像100，它們的具體位置根據投影幕106的實際情況而定 如果投影幕106是一個純平面，光傳感器可以安裝在該平面的每個頂點處。如果投 影幕106可以通過二次、三次和更高次的數學公式來描述，甚至不能用簡單的數學 公式來描述的時候，光傳感器可以安裝在投影幕106曲度發生突變等有代表性的位
12置，如曲面的波峰、波谷或者尖角等處。
如圖2所示，光傳感器由兩部分組成光導纖維203和感光器件204。 一根光 導纖維203恰好完全被放置于穿孔202中，且占滿其內部所有的空間，將光線從穿 孔202的正面(圖示的左方)傳導至背面。感光器件204緊貼在穿孔202背面的出 口處，受光面受到光導纖維傳導來的光線的正投照射，并以所受電壓的模擬信號的 形式，通過其正負極引腳200和201對外輸出穿孔202正面所受的光照強度。
如圖3所示，光傳感器，例如104，安裝在投影幕106上的穿孔202中。 一個 光傳感器對應一個穿孔。這里需要注意的是，穿孔202呈圓柱形，且圓口直徑應當 盡可能小，通常在l毫米以下。這樣，穿孔一方面在投影幕106的正面上很難被遠 處的觀眾111發現，另一方面它在投影設備102的投影坐標系中可以被看作是一個 亞像素點，也就可以使光傳感器的坐標數值達到亞像素級的精度。
在圖1和圖2中，覆蓋在投影幕106的正表面的一層透光薄膜108起到了光擴 散的作用，它將投影幕106正面接受到的光線折射入藏于穿孔中的光導纖維之中。 這樣做有兩個方面的好處第一，它可以隱藏投影幕106上用于安裝光傳感器的穿 孔，使觀眾看到的投影幕是一整塊平滑的曲面。第二，它還可以將小角度(小于1 度)入射的光線也反射入穿孔中，這樣即使在投影設備102與投影幕106正面的所 成角度很小的極端情況下，光傳感器也能正常的工作。
如圖1所示，每個感光器件的引腳200和201由導線304連接至數據采集設備 107的輸入端305，每一個輸入端對應一個光傳感器。數據采集設備107不斷刷新 每個光傳感器當前輸出的模擬信號。當控制計算機101需要從數據采集設備107讀 取某個光傳感器的光照信號時，數據采集設備107會將該光傳感器的模擬信號輸出 給控制計算機101。這樣，控制計算機101就可以讀取任意光傳感器在任意時刻的 受光狀態。在這里，數據采集設備107可以是一個或多個各自獨立的設備，如插在 控制計算機101擴展槽中的PCI卡；也可以由多個設備通過某種方式組合而成的設 備，如級聯的外置式的數據采集盒。
軟件部分
如圖4所示，幾何校正需要知道光傳感器在投影設備102的投影坐標系中的平 面坐標，整個過程可以分解為六個大的步驟。首先，控制計算機101進入幾何校正 模式，并生成一個光模式序列100。然后，投影設備102將該序列中的每一個光模 式依次投射到投影幕106。其次，數據采集設備107收集每個光傳感器對每個光模 式的響應信號，并反饋至控制計算機101。在整個光模式序列都投射完畢以后，控 制計算機101根據數據采集設備107反饋的信號歷史，計算出每個光傳感器在投影設備102的投影坐標系中的平面坐標，并將它作為網格控制點的預期坐標。以這些 坐標作為數據樣本，控制計算機101按照三次樣條插值算法添加多個虛擬的光傳感
器，從而進一步細化網格，并將細化后的小網格的控制點與原始圖像ioo中對應的
網格控制點進行匹配成對，完成從原始圖像到投影圖像的映射。最后，控制計算機 101進入投影模式，對每一個需要投影的原始圖像112，按照二次線性插值算法進 行處理，之后就得到經過了預變換的圖像。此時，投影設備102再把這個圖像投射 到投影幕106上就得到了預期正確的投影圖像。下文將對每個步驟分別進行敘述。 為了方便敘述，令光傳感器的數量為iV，每個光傳感器的信號數值在當前光模式下 為5,,(/ = 1，2，...，^)，每個光傳感器對應的光照閾值為7;,(/ = 1，2,...，^)，原始圖像112 的像素寬度均為K ，像素高度均為//,，投影幕上安裝的光傳感器的點數寬度為『s ， 點數高度為/^。
光模式的投射400
如圖5所示，每一個光模式實際上是一張由控制計算機生成的二進制式的平面 圖像，其中像素點的顏色要么是滿光照的亮白色，要么是無光照的暗黑色。所有的 光模式按照從左至右、從上到下的順序依次投射。每個光模式在被投射時，都需要 計算機101控制投影設備102維持當前的投影不變且達到足夠的時長。這樣可以保 證投影幕106表面上的任意一點都受到足夠時長的光照，光傳感器的光強信號采樣 區間也不處于感光器件204的輸出信號的上升沿和下降沿。因此，這個時長是一個 人工設定的常數，并且其數值至少要大于感光器件204的電氣響應時延的2倍。整 個光模式序列分為三個子序列500、 501和502。
子序列500由兩種光模式組成，即滿光照的光模式503和無光照的光模式504 各一個。控制計算機101首先生成一個所有的像素點均為亮白色的光模式504，然 后通過投影設備102以滿功率的燈光將整個投影區域全部照亮。這個過程中，控制 計算機101通過數據采集設備107讀取每個光傳感器的信號數值A力、1,2,...，^)。
在此之后，類似的原理，控制計算機再生成一個所有像素點均為暗黑色的光模式 503，然后通過投影設備102以接近于零功率的燈光照射整個投影區域。這個過程 中，控制計算機101再次通過數據采集設備107讀取每個光傳感器的信號數值 D,，(/ = 1,2，...，A0。這兩個光模式投射完畢以后，就可以得到每一個光傳感器輸出信 號的數值區間[馬，5,1(/ = ],2,...,^;)。從本質上講，光模式504和503被用于測定每 個感光器件204對光照的電氣響應特性。因為每一個感光器件即使是同一廠家同一 批次生產的，它在受光照時輸出信號的數值范圍也可能是不同的，所以必須要分別 進行測定。這樣，出自不同廠商的不同類別的不同型號的感光器件可以混用在同一個投影幕上，比如光敏電阻和光敏二極管就可以混用在一起。 一方面光傳感器的生 產成本可以降低，另一方面感光器件一旦出現了損壞，就可以靈活的使用現有器件 來進行更換。同時，環境光照和投影光線相對于每個光傳感器的入射角度也被隱式 地編碼到了這個輸出信號的數值區間之中。與無環境光照影響的情況相比，當環境 關照的強度較大或者投影光線入射角度較小時，A和A會同步增加同樣的數量，反 之亦然。然而，D,和A的差值僅與該感光器件的量程有關，與環境光照和投影光線 的入射角度無關。因此，幾何校正的計算僅使用了這個差值作為參數，這樣就可以 使投影系統自適應環境關照和投影光線的入射角度。
子序列501和502被用于確定每個光傳感器在投影設備102的投影坐標系中的 平面坐標(義,,〗;)^ = 1,2,...,7^。兩個子序列相同之處在于它們均由黑白相間的長條 組成的光模式構成，不同之處在于子序列501僅包含垂直豎條，而子序列502僅包 含水平橫條，他們按照圖5所示的從左至右、從上到下的順序依次被投影設備102 進行投射。子序列501由7^=「10&(^)1個僅包含垂直豎條的光模式組成，其中第
2/
而較
力(l^j^AV)個光模式中較窄的垂直豎條的寬度匕的計算公式為^ =
寬的垂直豎條的寬度為兩倍的^。同樣的道理，子序列502由& =「1叩2(//,)"|個僅 包含水平橫條的光模式組成，其中第^ A ^ A^)個光模式中較窄的垂直豎條的高
度/^的計算公式為i^
2fc
而較高的水平橫條的寬度為兩倍的/^。
光強讀取401
控制計算機101從數據采集設備107得到的光傳感器的信號數值 & 6[^^^/ = 1,2,...,7\0。為了使控制計算機101讀取的數字信號與感光器件的類別 和型號無關，光傳感器的輸出信號數值需要被映射為二進制的數字 e{0,l}，(l^、AO。數字O代表光傳感器在當前光模式下未受到光線的照射。相應
的，數字1代表光傳感器在當前光模式下受到了光線的照射。映射的計算公式如下
o,當s,
尺
其中7;為光照閾值，"為一個中間變
-,
P為一個人為預設的常量，("1,2,.， 根據現有經驗它的數值通常定為0.7可以達到比較好的投影效果。在這里，這個映 A式有一個前提條件，它假設在整個光模式的投射過程中，除投影設備102以外的光源的位置和發光強度都是穩定不變的，例如自然光和室內照明等。這個假設是 合理且有意義的，因為在通常情況下，整個光模式序列的投射過程僅需要不足5秒 的時間，所以除投射設備102以外的光源的位置和發光強度是不會發生明顯變化的， 并且不足以對光傳感器的正常受光產生影響。 光傳感器的坐標解碼402
光傳感器的坐標解碼分為三步來完成二元數組綁定、迭代解碼和坐標賦值。
1. 二元數組綁定在開始投射子序列501和502之前，為第/個光傳感器的橫
坐標和縱坐標分別綁定上一個二元數組，它們被表示為(xz,，。,^/,。)和(r丄,。，rt/,.,。)，
其中丑,o = IT, 0 = 0 ， X", o = 2W'. ， o = 2W" = 1，2，…，iV)。
2. 迭代解碼在投射子序列501的過程中，每投射一個光模式時，控制計算 機101按照如下的規則，分別更新第/個光傳感器的橫坐標對應的二元數組
同樣的道理，在投射子序列502的過程中，每投射一個光模式，控制計算機101 按照如下的規則，分別更新每個光傳感器的縱坐標對應的二元數組
3. 坐標賦值在所有的光模式都投射完畢以后，令第/個光傳感器的平面坐標 分別為(U)，則他們的具體數值就可以按照以下的規則得到-
義,4(Z",.
因此，解碼完畢以后，第/個光傳感器都對應一個平面坐標(1,，>0力=1,2,,.,^)。 這樣，就可以建立一個/^xf^的二維矩陣M,，它的從上到下從左到右數的第〖個
元素為一個向量(I,A)。 增加虛擬光傳感器403
在上一歩的操作402中，所有光傳感器在投影坐標系中的平面坐標已經解碼， 并且得到了對應的二維矩陣M,，這似乎已經足夠建立從原始圖像到投影圖像的像素 點的映射。然而在實踐中，光傳感器的安裝數量往往是有限的，即安裝在投影幕上 的少量的光傳感器所定義的網格不足以描述復雜的曲面投影幕。在這種情況下，通 過在投影幕上增加一定量的虛擬的光傳感器，從而達到細化現有網格的目的，這是 一種非常有效和廉價的解決方案。
16虛擬光傳感器的添加是基于二維矩陣M,沿投影坐標系的橫軸和縱軸兩個方向 先后進行的。首先，沿二維矩陣M,的行方向，從上到下依次選取第,(1^7^/^)整 行的所有元素，即可得到一個由二維點坐標構成的行向量^。以該行向量的元素為
曲線擬合樣本，按照樣條插值算法添加若干個插值點，并且將得到的插值點和原行 向量F,的所有元素進行合并形成新的行向量iV^。然后，把得到的這/^個新的行
向量按照先后順序在垂直方向上進行疊加，就可以得到一個尺寸為//2><『2二維矩 陣，其中7/2=//5， ^為在水平方向上插值點的個數，『2的數值由人為設定且大于K。
之后，再沿二維矩陣M2的列方向，從左到右依次選取第^(1^7、『2)整列的所 有元素，即可得到一個由二維點坐標構成的列向量^。同樣，以列向量^的元素為 曲線擬合樣本，按照樣條插值算法添加若干個插值點，并且和原列向量^的所有元 素進行合并形成新的列向量AV,。然后，把得到的這^的列向量按照先后順序在水 平方向上進行疊加，就可以得到一個尺寸為/^x^二維矩陣Mr其中『3=『2， //3 為在垂直方向上插值點的個數，//3的數值由人為設定且大于/^.。
二維矩陣^3即為添加虛擬光傳感器以后的光傳感器坐標陣。換句話說，由這 些真實和虛擬的光傳感器所確定的網格比僅由真實的光傳感器所確定的網格更加 細化，同時也并未喪失原網格應有的精度。在這個插值的過程中，插值點的數量越 多，光傳感器的分布就越密集，因而由光傳感器定義的網格就能更好的描述復雜的 投影幕曲面。不過這樣做的代價是樣條插值的時耗會增長，而且控制計算機在切換 到投影模式后，每一張原始圖像的幾何預變換的時耗也會相應增長，這樣就可能影 響到投影顯示系統的實時性，特別是當投影圖像是超高分辨率的視頻的時候。因此， 插值點的數量不宜太多。另一方面，雖然樣條插值屬于非線性插值，但是由于他的 曲線樣本點是分布在整個投影幕表面上的，因此他不會在小網格邊緣出現圖像錯位 的現象。
預變換原始圖像404
在得到了精細化后的光傳感器坐標陣后，幾何校正的大部分工作就已經完成 了，因為已經確定了從原始圖像到投影圖像的像素點的對應關系。接下來，控制計 算機101就由幾何校正模式切換至顯示模式。這時，控制計算機101根據像素點的 對應關系，對每個輸入的原始圖像112進行幾何預變換，同時將結果圖像輸出至投 影設備102。
首先，控制計算機初始化預變換后的圖像(下文簡稱為變換后圖像)的所有像
素點均為暗黑色。然后，針對矩陣7\^中每四個在水平和垂直方向上相鄰的元素進行運算。為了敘述方便，令當前正在處理的四個矩陣元素按照矩陣平面的順時針方 向分別為j、 S、 C和D。他們在原始圖像100中對應的網格控制點處的色彩分別 為C,、 C2、 C〖和C;。從原始圖像112到變換后圖像的像素點映射關系，按照如下
所述的雙線性插值算法來確定，如圖6所示
1. 變換后圖像上的^、萬、C和D四點以及通過他們的四條樣條插值曲線確定
了一個封閉的小網格，這里的插值曲線可能是直線也可以是高次曲線。
2. 掃描這個網格內的所有像素點，令Z點為這個小網格內的任意一點。 一條過 Z的水平直線交^D邊界于/f，同時交SC邊界于F。一條過Z點的垂直直線交^S邊 界于f，同時交Z)C邊界于G。
3. 令由爿、S、 C和Z)四點確定的小網格的面積為S。，由^、 A、 Z和Z/四 點確定的封閉區域的面積為S,，由￡、萬、F和Z四點確定的封閉區域的面積為&， 由Z、尸、C和G四點確定的封閉區域的面積為&，由//、 Z、 G和Z)四點確定的 封閉區域的面積為&，其中51。
4. 根據以下公式，可以得到變換后圖像上點Z的色彩值C^
控制計算機在處理完一個小網格后，則循環式地按照上述算法處理由另外四個 由光傳感器點，以及經過他們的樣條插值曲線，共同決定的小網格。當所有的小網 格都處理完畢以后，變換后圖像也就生成完畢了。
投射經過幾何預變換后的圖像405
在這一歩中，投影設備102將預變換后的圖像直接投射到投影幕106上即可。 不過，這種方法僅適用于靜態的圖像，如辦公會議的幻燈片和外景相片的演示等等， 并不適用于高質量視頻的播放。為了滿足視頻播放的即時性，可以將部分數值計算 (如雙線性插值)轉移到控制計算機IOI的顯示卡中進行，由其內部的硬件單元直 接來完成計算。最終，變換后的圖像經過投影幕106的反射以后，觀眾lll觀看到 的圖像就與原始圖像100完全一致。
權利要求
1、基于光傳感器的投影自動幾何校正方法，控制計算機(101)生成一個與原始圖像等大并且網格線交叉點在垂直和水平方向上均等間距的矩形網格，該矩形網格以左上角為原點，水平向右為橫軸正向，垂直向下為縱軸正向，建立投影設備(102)的投影坐標系，矩形網格寬度為WI，高為HI，投影設備(102)與控制計算機(101)相連接，在投影幕(106)上安裝N個光傳感器構成陣列，陣列的寬度為WS，高度為HS，其中N＝WS×HS，光傳感器位于投影幕(106)表面上的每個單元平面的頂點和單元平面內曲度發生突變的位置，如單元曲面的波峰，波谷或者獨立尖角處，每個光傳感器的輸出端由導線連接至數據采集設備(107)的輸入端，數據采集設備向控制計算機(101)輸出光傳感器的信號，具體幾何校正方法如下(1)控制計算機(101)切換進入幾何校正模式，生成光模式序列(100)，投影設備將光模式序列中的每一個光模式依次投射到投影幕(106)，(2)數據采集設備(107)收集每個光傳感器對每個光模式的響應信號數值Si，(i＝1，2，...，N)并反饋到控制計算機(101)，控制計算機(101)將響應信號數值Si映射為二進制數字Ri∈{0，1}，(i＝1，2，...，N)，(3)控制計算機(101)根據每個光傳感器對應的二進制數值Ri的歷史記錄，計算出每個光傳感器在投影設備的投影坐標系中的平面坐標(Xi，Yi)，(i＝1，2，...，N)，(4)控制計算機(101)切換入投影模式，對需要投影的原始圖像(112)進行幾何預變換，(5)投影設備(102)將進行了幾何預變換所得圖像投射到投影幕(106)上就得到了正確的觀察者圖像。
2、 根據權利要求l所述的方法，其特征在于在歩驟(1)中所述的光模式序列 (100)包括第一光模式序列(500)、第二光模式序列(501)和第三光模式序列(502)，第一光模式序列(500)由滿光照的光模式(503)和無光照的光模式(504)各一 個組成，第二光模式序列(501)由黑白相間的豎條組成的光模式構成，第三光模 式序列(502)由黑白相間的模條組成的光模式構成，第二光模式序列(501)由A^ 個光模式組成，& =「1(^2^1，第三光模式序列(502)由A^個光模式組成， A^=「log2//」，第二光模式序列(501)的第y個光模式的黑白垂直豎條的寬度均為F,2/G' = 1，2,...,A^)，第三光模式序列(502)的第A個光模式的水平橫條的2A;麵l，2,…,7Vw)。
3、根據權利要求l所述的方法，其特征在于步驟(2)中，光傳感器對第一光模式序列(500)的滿光照光模式(503)的信號數值為^,(/ = 1,2，...，^)，無光照光模式(504)的信號數值為Z),力-1,2,…,W)，控制計算機(101)將從數據采集設備(107)得到的光傳感器的信號數值^^[￡),，5,1(/ = 1,2,...,]\0映射為二進制數字i , e{0,l}，G = l，2,...，AO，映射計算公式如下[1,當《> 7;尺其中，光照閾值z; =(i—")xs, +t/xz),，中間值"=71^71，(0.5<尸<1,/ = 1,2,...，^)。
4、根據權利要求1所述的方法，其特征在于第z'個光傳感器的平面坐標(Z,,y)，G = 1,2,...,A0的確定方法如下(1) 區間綁定投影設備在開始投射第二、三光模式序列前，將第/個光傳感器的模坐標z,和縱坐標i;分別綁定上 一 個閉區間，它們分別為1丑,0 = 0,Zf/, o = 2W' j和[ra,0 = O,m, o = 2W"丄(/ = ID)，(2) 迭代解碼在投射第二光模式序列(501)的過程中，每投射一個光模式，控制計算機(101)按照如下的規則，分別更新第/個光傳感器的橫坐標綁定的區間prf/,,《當R,, =1其中臨時變量込='-"^,—= = 1,2"在投射第三光模序列(502)的過程中，每投射一個光模式，按照如下規則，分別更新第/個光傳感器的縱坐標綁定的區間其中臨時變量込=》,,H —l + ^,一U"1,2,…^、1,2，...控制計算機(101),從(3)坐標賦值在所有光模式都投射完畢后，第Z'個光傳感器的橫坐標I,和縱坐標i:如下
5、 根據權利要求1所述的方法，其特征在于進行幾何預變換之前，控制計算機(101)在光投影設備的投影坐標系中，按照插值算法添加了多個虛擬光傳感器，與原矩形網格線交叉點匹配成對。增加虛擬光傳感器的方法如下尺寸為/Z,x『,的二維矩陣M,，組成二維矩陣的元素為從上到下，從左到右的第/個元素為一個向量(x,，;^,G、i，2，…，A0，虛擬光傳感器的添加是基于二維矩陣M,，沿投影設備(102)的投影坐標系的橫軸和縱軸兩個方向先后進行，首先沿二維矩陣M,的行方向，從上到下依次選取第,(/ = 1,2,...，//。行的所有元素得行向量^，以該行向量^的元素為曲線擬合樣本，按照插值算法添加若干個插值點，并與行向量^的所有元素進行合并形成新的行向量A^,，把得到的/^個新的行向量按照先后順序在垂直方向上進行疊加，得尺寸為//2><『2的二維矩陣^2，其中//2=//5,『2為在水平方向上插值點的個數，^的數值由人為設定且大于W,，沿二維矩陣肘2的列方向，從左到右依次選取第^(/ = 1,2,...,『2)列的所有元素，得一個由二維點坐標構成的列向量^，以R的元素為曲線擬合樣本，按照插值算法添加若干個插值點，并且和原列向量^的所有元素進行合并形成新的列向量ATr把得到的f^個新的列向量按照先后順序在水平方向上進行疊加，得到尺寸為//3><%的二維矩陣似3，其中『3=『2， //3為在垂直方向上插值點的個數，//3的數值由人為設定且大于//,,，二維矩陣7^3即為添加虛擬光傳感器以后的光傳感器坐標矩陣。
6、 根據權利要求5所述的方法，其特征在于幾何預變換的方法如下(1) 控制計算機初始化經二維矩陣M:、映射所得的圖像的所有像素點均為暗黑色，(2) 取矩陣A^中每個構成矩陣的順時針方向的四個元素^、 S、 C和Z)在原矩形網格線交叉點的顏色數值為C,、 C2、 C,和C,,(3) 幾何預變換后的結果圖像中的J、 S、 C和D四個矩陣元素以及通過它們的四條插值曲線確定了一個封閉的小網格，(4) 過封閉小網格中任意一點Z的水平直線交JD邊界于//,交SC邊界于F，過Z的垂直直線交A5邊界于五，交Z C邊界于G，(5) 封閉小網格的面積為S。，小網格被過Z點的水平和垂直直線劃成的四個順時針方向的封閉區域，他們的面積分別為S， &， &和&，(6) 根據以下公式，得到幾何預變換的結果圖像上Z點的顏色數值Cz<formula>formula see original document page 5</formula>(7)循環式地按照(2) - (6)步驟計算矩陣肘3的另外四個元素確定的封閉小網格中的所有點的顏色值，當所有封閉小網格的任意點的顏色值都計算出來，幾何預變換后的圖像也就生成完畢。
全文摘要
本發明為基于光傳感器的投影自動幾何校正方法，解決已有的校正方法成本高，精度低的問題。控制計算機生成一個光模式序列，并通過投影設備向投影幕依次投射該序列中的每個光模式。安裝在投影幕中的光傳感器分別采集其受光照強度，并傳輸此模擬信號至數據采集設備。同時，控制計算機讀取每個光傳感器在每個光模式下受光照強度的數字信號。控制計算機根據采集到的光傳感器的信號歷史，計算出它們在投影坐標系中的平面坐標，并將其作為幾何校正網格在投影幕上的控制點的預期坐標。據此將投影幕劃分成若干個彼此相互鄰接的網格，根據從原始圖像到投影圖像的網格控制點的對應關系，控制計算機對原始圖像進行幾何預變換，并將結果圖像的對應部分分別投射到目標投影幕上每個小網格所覆蓋的區域，以此達到幾何校正的目的。
文檔編號H04N17/04GK101500172SQ20091005838
公開日2009年8月5日 申請日期2009年2月20日 優先權日2009年2月20日
發明者茂 葉, 飏 蘇, 平 趙 申請人:四川華控圖形科技有限公司