專利名稱：基于gpu與網絡攝像機的實時拍攝與實時自由立體顯示系統的制作方法
技術領域：
本發明涉及3D (三維)立體顯示技術領域，更具體地說，涉及一種基于GPU (計算機圖形處理器)與網絡攝像機的實時拍攝與實時自由立體顯示系統。
背景技術：
如今，3D顯示技術蓬勃發展，取得了豐碩的成果。在眾多3D顯示中，自由立體顯示是重要的一種，它又稱為多視點光柵3D顯示。用于自由立體顯示所需的片源一般采用立體拍攝的方法獲得。立體拍攝采用立體攝像機對同一場景進行拍攝而獲得兩幅或多幅視差圖像，立體攝像機是由多個具有相同規格的攝像機組成的攝像機陣列，各個攝像機需要設置相同的參數，并且必須同步拍攝。立體攝像機可以方便地拍攝現實中的場景，可以提供豐富的3D片源。然而要實現實時拍攝與顯示，需要對每一臺攝像機拍攝的每一幀圖像進行實時 的圖像處理，需處理的數據量非常大。而且，現有的立體拍攝系統體積都比較龐大，對計算機性能的要求也很高，其廣泛應用較難實現。因此，人們對簡單便攜的高性能拍攝系統提出了急迫需求。網絡攝像機是一種結合傳統攝像機和網絡技術的新一代攝像機，它除了具備傳統攝像機所有的圖像捕捉功能外，機內還內置了數字化壓縮控制器和基于網絡的操作系統，使得視頻數據經壓縮加密后，通過局域網、互聯網或無線網絡送至終端用戶。基于網絡的攝像機越來越普及，但還限于2D (二維)拍攝，或非實時的3D拍攝。網絡攝像機相對于傳統的攝像機具有成本低、攜帶方便、不需要外加電源且和連接電腦方便等優點。計算機顯示卡的核心，即GPU,有數十至上千個Shader (著色器)核心,每一個Shader核心類似于一個CPU核心，都能完成常規的數值計算和簡單的控制功能，GPU在浮點運算、并行計算等方面相對于CPU有很大的優勢，GPU可以提供數十倍乃至于上百倍于CPU的性能。Direct3D是微軟公司用于操作GPU的API (應用程序編程接口)，Direct3D中的Direct Show對網絡攝像機有很好的支持，所以使用網絡攝像機同時可以更好地利用GPU的硬件加速功能實現超大規模圖像數據的處理。
發明內容
本發明提出基于GPU與網絡攝像機的實時拍攝與實時自由立體顯示系統。如附圖
I所示，該系統包括立體網絡攝像機、計算機和自由立體顯示器，立體網絡攝像機由多個網絡攝像機組成。該系統通過立體網絡攝像機實時拍攝真實場景得到多幅視差圖像，然后在計算機中進行實時視差圖像校正、實時視差圖像平移裁剪和實時合成圖像生成，最終將合成圖像實時顯示在自由立體顯示器上，觀看者即可看到立體圖像。針對實時拍攝與實時自由立體顯示系統需要處理超大數據量的難題，本發明的技術解決方案是充分利用GPU的硬件加速功能來實現實時視差圖像校正、實時視差圖像平移裁剪和實時合成圖像生成，其特征在于如附圖2所示，立體網絡攝像機的各個網絡攝像機采用平行式擺放方式，即各個網絡攝像機的光軸互相平行，光心位于同一條直線上；各個網絡攝像機之間的間距相等，網絡攝像機通過PCI卡與計算機連接,采用DirectShow實時采集視頻，設置相同的網絡攝像機參數，并實現各個網絡攝像機的同步拍攝。優選地，本發明采用一種基于GPU的實時視差圖像校正方法，將各個網絡攝像機采集到的視頻實時地通過GPU校正。該方法既解決了多個網絡攝像機之間標定的困難，同時還可對變形的視差圖像進行校正。如附圖3所示，本發明利用重投影的方法將各個網絡攝像機的原成像面投影到ー個理想成像平面，設(X，y)是原成像平面上的一點，U’，y’)是該點重投影變換到理想成像平面上的點，根據重投影變換，這兩點的關系為
權利要求
1.一種基于GPU與網絡攝像機的實時拍攝與實時自由立體顯示系統，其特征在于，該系統包括立體網絡攝像機、計算機和自由立體顯示器，其中立體網絡攝像機由多個網絡攝像機組成，該系統通過立體網絡攝像機實時拍攝真實場景得到多幅視差圖像，然后在計算機中進行實時視差圖像校正、實時視差圖像平移裁剪和實時合成圖像生成，最終將合成圖像實時顯示在自由立體顯示器上，觀看者即可看到立體圖像。
2.根據權利要求I所述的一種基于GPU與網絡攝像機的實時拍攝與實時自由立體顯示系統，其特征是所述的立體網絡攝像機中各個網絡攝像機的光軸互相平行，光心位于同一條直線上，各攝像機之間的間距相等，網絡攝像機通過PCI卡與計算機連接，采用DirectShow實時采集視頻，設置相同的網絡攝像機參數，并實現各個網絡攝像機的同步拍攝。
3.根據權利要求I所述的一種基于GPU與網絡攝像機的實時拍攝與實時自由立體顯示系統，其特征是采用基于GPU的實時視差圖像校正方法，將各個網絡攝像機采集到的視頻實時地通過GPU校正，該方法利用重投影將各個網絡攝像機的原成像面投影到一個理想成像平面，設Cr，_7)是原成像平面上的一點，Cr’，/)是該點重投影變換到理想成像平面上的點， 這兩點的關系由公式決定
4.根據權利要求I所述的一種基于GPU與網絡攝像機的實時拍攝與實時自由立體顯示系統，其特征是利用GPU實現實時視差圖像平移裁剪，裁剪方法為第個網絡攝像機拍攝到的視差圖像在水平方向上左邊裁到掉(#_/ )個像素，右邊裁到掉(/7-1)個像素，其中A"表不網絡攝像機的個數。
5.根據權利要求I所述的一種基于GPU與網絡攝像機的實時拍攝與實時自由立體顯示系統，其特征是利用GPU多次渲染疊加的方法將校正和平移裁剪后的視差圖像實時生成合成圖像，Shader程序只需要負責I幅視差圖像的采樣，然后通過多次渲染結果疊加來得到合成圖像，第《幅視差圖像在自由立體顯示器中第i行的偏移量為可以由計算公式5i=3 Xi X tan a+/7-1得到，其中a表示自由立體顯示器的光柵的傾斜角，I彡/ 彡見#表示自由立體顯示器的視點數，它與網絡攝像機的個數相等。
全文摘要
本發明提出基于GPU與網絡攝像機的實時拍攝與實時自由立體顯示系統。該系統包括立體網絡攝像機、計算機和自由立體顯示器，立體網絡攝像機由多個網絡攝像機組成。該系統通過立體網絡攝像機實時拍攝真實場景得到多幅視差圖像，然后在計算機中進行實時視差圖像校正、實時視差圖像平移裁剪和實時合成圖像生成，最終將合成圖像實時顯示在自由立體顯示器上,觀看者即可看到立體圖像。
文檔編號G03B35/08GK102802003SQ201210289898
公開日2012年11月28日 申請日期2012年8月15日 優先權日2012年8月15日
發明者王瓊華, 張 杰, 李磊 申請人:四川大學