實時高速高清全景視頻的拼接裝置及其方法
【專利摘要】本發明公開了一種實時高速高清全景視頻的拼接裝置及其方法，其中，該方法包括步驟：S10、獲取待拼接的多路實時視頻序列；S20、判斷任意兩路視頻序列中同一時刻的視頻圖像是否滿足圖像拼接條件；S30、計算圖像拼接參數；S40、選取投影面，并根據拼接參數將多路實時視頻序列中的視頻圖像映射至同一投影面上，然后確定全景投影面；S50、建立視頻圖像上的像素點與全景投影面的坐標點的映射表；S60、曝光融合處理全景投影面上所有坐標點的像素值，并根據像素值輸出全景視頻圖像。本發明能夠極大地提升圖像的拼接速率，保證圖像的輸出質量，滿足實時高速高清全景視頻的要求。
【專利說明】實時高速高清全景視頻的拼接裝置及其方法
【技術領域】
[0001]本發明涉及圖像處理【技術領域】，尤其涉及一種實時高速高清全景視頻的拼接裝置及其方法。
【背景技術】
[0002]在監控系統快速發展的今天，高清攝像機的出現讓人們可以看得更清楚，獲得更多的細節，但是，人們又提出了另一方面的要求，即在同一個場景中能看到更多的東西。原來的做法是通過用幾個攝像頭覆蓋一個區域，或用快球來回巡航掃描去解決。但在某些場合，這些方法還不能完全滿足用戶的要求，比如需要在同一個畫面里確定人的移動，或需要用同一個場景中監看到的事物去說明一些問題，這個時候就需要全景攝像機。現有技術中的全景攝像機硬件分五大模塊:視頻采集SENSOR模塊、視頻處理ISP模塊、圖像拼接模塊、編碼傳輸模塊和電源模塊。視頻采集SENSOR模塊用于采集多路視頻圖像、視頻處理ISP模塊用于對圖像進行初步處理，圖像拼接模塊用于對多路視頻圖像進行拼接，編碼傳輸模塊用于對拼接的視頻圖像進行編碼輸出，電源模塊為各部件供電。
[0003]現有技術中的圖像拼接方法，由于高清圖像數據多，處理圖像拼接所需的時間長，拼接效率不高。為此，有人設計了一種圖像拼接方法，如申請日為:2010年06月07日公開的專利申請號為:CN201010199450.X的中國專利公開了一種專利名稱為:生成全景圖像的方法及裝置，其中，該生成全景圖像的方法包括:獲取經手機拍攝得到的多張圖像，并將獲取到的圖像進行柱面投影；根據任意兩個相鄰投影圖像之間的像素相關性，確定所述任意兩個相鄰投影圖像之間的重疊范圍；根據所述任意兩個相鄰投影圖像之間的重疊范圍對所述任意兩個相鄰投影圖像進行無縫拼接，得到全景圖像。該方法通過對經手機拍攝的圖像進行柱面投影，并在確定任意兩個相鄰投影圖像之間的重疊范圍后，進行無縫拼接，從而生成全景圖像。上述的全景圖像的像素低，無法滿足高清的可視要求；相鄰投影圖像的拼接效果不好，致使整個全景圖像的成像質量較差。有鑒于此，有必要對上述的圖像拼接方法進行進一步的改進。
【發明內容】
[0004]本發明提出了一種實時高速高清全景視頻的拼接裝置及其方法，主要解決的是現有技術中的圖像拼接方法的圖像拼接時間長，拼接效率低的問題。
[0005]為解決上述技術問題，本發明采用的一個技術方案是:提供一種實時高速高清全景視頻的拼接方法，包括步驟:
[0006]S10、獲取待拼接的多路實時視頻序列；
[0007]S20、判斷任意兩路視頻序列中同一時刻的視頻圖像是否滿足圖像拼接條件，若否，則調整視頻序列的采集角度，并返回步驟S10，若是，則進入步驟S30 ；
[0008]S30、計算圖像拼接參數；
[0009]S40、選取投影面，并根據拼接參數將多路實時視頻序列中的視頻圖像映射至同一投影面上，然后確定全景投影面；
[0010]S50、建立視頻圖像上的像素點與全景投影面的坐標點的映射表，使視頻圖像的同一行數據的像素點分布于全景投影面的多行坐標點中，以及根據視頻圖像至全景投影面的逆變換及映射表，計算實時全景投影面中所有坐標點的像素值；
[0011]S60、曝光融合處理全景投影面上所有坐標點的像素值，并根據像素值輸出全景視頻圖像。
[0012]其中，所述步驟S20具體包括步驟:
[0013]S21、判斷各路視頻序列中的視頻圖像是否完整，若否，則調整視頻序列的采集角度，并返回步驟SlO ;若是，則執行步驟S22 ；
[0014]S22、判斷任意兩路視頻序列中的視頻圖像是否存在預設的重疊區域，若否，則調整視頻序列的采集角度，并返回步驟SlO ;若是，則進入步驟S30。
[0015]其中，所述步驟S40中根據拼接參數將多路實時視頻序列中的視頻圖像映射至同一投影面上之后，確定全景投影面之前還包括對映射于全景投影面上裁剪圖像步驟，將全景投影面上的圖像裁剪成預設的形狀。
[0016]其中，所述預設的形狀為矩形或者正方形。
[0017]其中，所述投影面為圓柱面或球面。
[0018]其中，所述步驟S60曝光融合處理全景投影面上所有坐標點的像素值的步驟具體為包括如下步驟:
[0019]S61、判斷全景投影面上的像素點是否處于視頻圖像的重疊區域，若是，則曝光處理重疊區域，計算視頻圖像重疊區域的亮度均值，獲取輸出圖像的像素點，若否，則進入步驟 S62 ；
[0020]S62、判斷經視頻圖像至全景投影面的逆變換得出的像素值是否為整數點，若否，則通過插值算法計算出像素值為整數的輸出圖像的像素點；若是，則直接將像素值作為輸出圖像的像素點。
[0021]為解決上述技術問題，本發明采用的另一個技術方案是:提供一種實時高速高清全景視頻的拼接，包括
[0022]視頻采集模塊，用于獲取待拼接的多路實時視頻序列；
[0023]圖像處理模塊，用于判斷任意兩路視頻序列中的視頻圖像是否滿足圖像拼接條件，若否，則調整視頻序列的采集角度，若是，則計算圖像拼接參數；
[0024]圖像拼接模塊，用于將多路實時視頻序列中的視頻圖像映射至同一投影面上后確定全景投影面的大小；以及采集視頻圖像同一行的數據形成映射表并通過映射表使視頻圖像的一行數據分布于全景投影面的多行數據中，以及根據視頻圖像至全景投影面的逆變換及映射表，計算實時全景投影面中所有坐標點的像素值；
[0025]圖像融合模塊，用于曝光融合處理全景投影面上所有坐標點的像素值；
[0026]圖像輸出模塊，用于輸出全景視頻圖像。
[0027]其中，所述圖像處理模塊包括:
[0028]第一判斷單元，用于判斷各路視頻序列中的視頻圖像是否完整，若否，則調整視頻序列的采集角度；
[0029]第二判斷計算單元，用于判斷任意兩路視頻序列中的視頻圖像是否存在預設的重疊區域，若否，則調整視頻序列的采集角度并計算焦距以及旋轉矩陣。
[0030]其中，所述圖像拼接模塊還包括圖像裁剪單元，用于將全景投影面上的圖像裁剪成預設的形狀。
[0031]其中，所述圖像融合模塊包括，
[0032]第三判斷計算單元，判斷全景投影面上的像素點是否處于視頻圖像的重疊區域，若是，則曝光處理重疊區域，計算視頻圖像重疊區域的亮度均值，獲取輸出圖像的像素點；
[0033]第四判斷計算單元，用于判斷經視頻圖像至全景投影面的逆變換得出的像素值是否為整數點，若否，則通過插值算法計算出像素值為整數的輸出圖像的像素點；若是，則直接將像素值作為輸出圖像的像素點。
[0034]本發明的有益技術效果是:區別于現有技術中高清圖像數據復雜，處理圖像拼接所需的時間長，拼接效率不高的問題，本發明提供了一種實時高度高清全景視頻的拼接方法，采用將多路實時視頻序列中的視頻圖像映射至同一投影面上后確定全景投影面的大小，而后采集視頻圖像同一行的數據形成映射表并通過映射表使視頻圖像的一行數據分布于全景投影面的多行數據中，然后根據視頻圖像至全景投影面的逆變換及映射表計算出實時全景投影面中所有坐標點的像素值，該映射表充當全景投影面至視頻圖像的緩存作用，在計算全景投影面中一行的像素值時，不需要遍歷各路視頻圖像的所有數據，只需要通過映射表緩存幾行數據即可，能夠減少圖像數據緩存行數的問題，對于高清圖像數據而言，能夠極大地提升拼接速率。另外，為了更好地消除拼接縫隙，本發明采用融合處理的方式處理視頻圖像的疊加區域，能夠消除拼接接縫，保證輸出全景圖像的成像質量。
[0035]本發明還提供了一種實時高速高清全景視頻的拼接裝置，應用上述的全景視頻的拼接方法，能夠有效的提升拼接速率，增加輸出全景圖像的成像質量，滿足人們對實時高速高清全景視頻的需求。
【專利附圖】
【附圖說明】
[0036]圖1是本發明實時高速高清全景視頻的拼接方法的流程圖；
[0037]圖2是本發明中同一行數據變換示意圖；
[0038]圖3是本發明中視頻圖像重疊的示意圖；
[0039]圖4是本發明中兩個視頻圖像融合的示意圖；
[0040]圖5是本發明中一實施例中的示意圖；
[0041 ] 圖6是本發明一實施例的流程圖；
[0042]圖7是本發明另一實施例的流程圖；
[0043]圖8是本發明實時高速高清全景視頻的拼接裝置的方框圖。
[0044]標號說明:
[0045]11-視頻采集模塊、12-圖像處理模塊、13-圖像拼接模塊、14-圖像融合模塊、15-圖像輸出模塊。
【具體實施方式】
[0046]為詳細說明本發明的技術內容、構造特征、所實現目的及效果，以下結合實施方式并配合附圖詳予說明。[0047]請參閱圖1，本實施例提供了一種實時高速高清全景視頻的拼接方法，包括步驟:
[0048]S10、獲取待拼接的多路實時視頻序列。利用采用若干個固定焦距的鏡頭組成，各鏡頭間夾角固定，采集某一區域的實時視頻序列。
[0049]S20、判斷任意兩路視頻序列中的視頻圖像是否滿足圖像拼接條件，若否，則調整視頻序列的采集角度，并返回步驟SlO ;若是，則進入步驟S30。當采集的視頻圖像不滿足拼接調節時，重新調整鏡頭組采集視頻序列的角度。對拼接條件的判斷具體包括步驟:S21、判斷各路視頻序列中的視頻圖像是否完整，若否，則調整視頻序列的采集角度，并返回步驟SlO ;若是，則執行步驟S22 ;S22、判斷任意兩路視頻序列中的視頻圖像是否存在預設的重疊區域，若否，則調整視頻序列的采集角度，并返回步驟SlO ;若是，執行步驟S30。
[0050]S30、計算拼接參數，該拼接參數為焦距以及旋轉矩陣。對視頻圖像完整度的判斷以及相鄰視頻圖像重疊區域的判斷為保證輸出全景視頻圖像質量的前提。每個畫面對應一個焦距f和一個3 X 3的旋轉矩陣R:
[0051]S40、選取投影面，根據拼接參數將多路實時視頻序列中的視頻圖像映射至同一投影面上，然后確定全景投影面，進而可以確定全景視頻的監控范圍的大小。
[0052]S50、建立視頻圖像上的像素點與全景投影面的坐標點的映射表，使視頻圖像的同一行數據的像素點分布于全景投影面的多行坐標點中，以及根據視頻圖像至全景投影面的逆變換及映射表，計算實時全景投影面中所有坐標點的像素值。由于視頻圖像序列是實體景物在不同坐標系下的二維投影，直接對多路視頻序列進行拼接無法滿足視覺一致性，所以需要將待拼接的圖像分別投影到同一坐標系下，然后再進行圖像拼接。該全景投影面包括:平面型全景投影面、柱面型全景投影面和球面型全景投影面。在曝光融合過程中，需先將多路圖像投影到同一坐標系下，選取適合的投影模型，使全景圖像呈現在投影平面上，能表現出真實場景效果。平面投影在拼接多路視頻時邊緣畸變較嚴重，柱面投影和球面投影在水平拼接時無明顯區別，在有垂直方向的拼接時，考慮使用球面性全景投影面。每個畫面通過柱面或球面公式映射到柱面或球面，此時剪裁邊緣、確定各畫面的重疊接縫位置。上述的映射表主要記錄的是坐標位置，每一個未拼接的原始畫面對應2張映射表，一張保存X坐標，一張保存y坐標。參閱圖2，上述同一數據，左邊矩形圖像中的每一行圖像數據在經過柱面變換后為一條弧形，圖右邊的兩長線為剪裁線，最終2條剪裁線形成的矩形區域才是全景圖像的一部分。全景圖像的每一行數據來自于原始圖像多行數據計算獲取。參閱圖3，全景中的一行數據是由左邊的“+號”計算獲取的，那么在為全景圖像保存相應映射表的時候，我們是可以計算出全景圖像中每行數據在對應序號原始圖像中的X、y坐標。在設備安裝固定好之后，這個只需計算一次，后面的拼接過程中可以直接調用該映射表。
[0053]S60、曝光融合處理全景投影面上所有坐標點的像素值，并根據像素值輸出全景視頻圖像；步驟S60曝光融合處理全景投影面上所有坐標點的像素值的步驟具體包括S61、判斷全景投影面上的像素點是否處于視頻圖像的重疊區域，若是，則曝光處理重疊區域，計算視頻圖像重疊區域的亮度均值，獲取輸出圖像的像素點，若否，則執行步驟S62。其目的在于消除重疊區域的拼接接縫。曝光融合過程可以通過計算相鄰圖像重疊區域的亮度均值獲取亮度補償參數，亮度補償后，可以采用漸入漸出的融合規則，消除拼接接縫。參閱圖3，確定全景圖像大小及各接縫坐標后，對于Al、A2、A3、A4區域，可以通過前面的投影變換的逆變換，計算出全景圖像中每個像素在原始圖像中的位置，然后獲取該位置的像素值；參閱圖4，對于重疊區域B1、B2、B3:在使用同非重疊區域相同的算法后計算出Pixel_L和Pixel_R，
[0054]Src_dst=K*Pixel_L+(l_k)*Pixel_R
[0055]通常情況下0〈k〈l，即在重疊區域中，沿圖像I向圖像2的方向，k由I漸變為0，從而實現重疊區域的平滑拼接。
[0056]S62、判斷經視頻圖像至全景投影面的逆變換得出的像素值是否為整數點，若否，則通過插值算法計算出像素值為整數的輸出圖像的像素點；若是，則直接將像素值作為輸出圖像的像素點。其目的在于，計算出非重疊區域的視頻圖像中像素點的像素值，為輸出全景視頻圖像準備。在圖像融合過程中，通過投影關系計算畫布中每個像素在原始圖像中的位置，對于非重疊區域，可以直接計算獲取，如果計算的位置為非整數點，可以采用插值獲取整數像素值的像素點。常見插值算法有最近鄰算法、雙線性插值等。最近鄰算法:插值像素通過直接使用與之最接近的原有像素的顏色生成，也就是說照搬旁邊最近的像素。
[0057]參閱圖5，雙線性插值算法:p點位映射后非整數點，Ql1、Q12、Q21、Q22為p點四周整數點，利用如左下公式計算:
【權利要求】
1.一種實時高速高清全景視頻的拼接方法，其特征在于，包括步驟: S10、獲取待拼接的多路實時視頻序列； S20、判斷任意兩路視頻序列中同一時刻的視頻圖像是否滿足圖像拼接條件，若否，則調整視頻序列的采集角度，并返回步驟S10，若是，則進入步驟S30 ; S30、計算圖像拼接參數； S40、選取投影面，并根據拼接參數將多路實時視頻序列中的視頻圖像映射至同一投影面上，然后確定全景投影面； S50、建立視頻圖像上的像素點與全景投影面的坐標點的映射表，使視頻圖像的同一行數據的像素點分布于全景投影面的多行坐標點中，以及根據視頻圖像至全景投影面的逆變換及映射表，計算實時全景投影面中所有坐標點的像素值； S60、曝光融合處理全景投影面上所有坐標點的像素值，并根據像素值輸出全景視頻圖像。
2.根據權利要求1所述的實時高速高清全景視頻的拼接方法，其特征在于，所述步驟S20具體包括步驟: S21、判斷各路視頻序列中的視頻圖像是否完整，若否，則調整視頻序列的采集角度，并返回步驟SlO ;若是，則執行步驟S22 ； S22、判斷任意兩路視頻序列中的視頻圖像是否存在預設的重疊區域，若否，則調整視頻序列的采集角度，并返回步驟SlO ;若是，則進入步驟S30。
3.根據權利要求1所述的實時高速高清全景視頻的拼接方法，其特征在于，所述步驟S40中根據拼接參數將多路實時視頻序列中的視頻圖像映射至同一投影面上之后，確定全景投影面之前還包括對映射于全景投影面上裁剪圖像步驟，將全景投影面上的圖像裁剪成預設的形狀。
4.根據權利要求3所述的實時高速高清全景視頻的拼接方法，其特征在于，所述預設的形狀為矩形或者正方形。
5.根據權利要求3所述的實時高速高清全景視頻的拼接方法，其特征在于，所述投影面為圓柱面或球面。
6.根據權利要求1所述的實時高速高清全景視頻的拼接方法，其特征在于，所述步驟S60曝光融合處理全景投影面上所有坐標點的像素值的步驟具體包括如下步驟: S61、判斷全景投影面上的像素點是否處于視頻圖像的重疊區域，若是，則曝光處理重疊區域，計算視頻圖像重疊區域的亮度均值，獲取輸出圖像的像素點，若否，則進入步驟S62 ； S62、判斷經視頻圖像至全景投影面的逆變換得出的像素值是否為整數點，若否，則通過插值算法計算出像素值為整數的輸出圖像的像素點；若是，則直接將像素值作為輸出圖像的像素點。
7.一種實時高速高清全景視頻的拼接裝置，其特征在于，包括視頻采集模塊，用于獲取待拼接的多路實時視頻序列； 圖像處理模塊，與圖像視頻采集模塊連接，用于判斷任意兩路視頻序列中的視頻圖像是否滿足圖像拼接條件，若否，則調整視頻序列的采集角度，若是，則計算圖像拼接參數； 圖像拼接模塊，與圖像處理模塊連接，用于將多路實時視頻序列中的視頻圖像映射至同一投影面上后確定全景投影面的大小；以及采集視頻圖像同一行的數據形成映射表并通過映射表使視頻圖像的一行數據分布于全景投影面的多行數據中，以及根據視頻圖像至全景投影面的逆變換及映射表，計算實時全景投影面中所有像素點的像素值； 圖像融合模塊，與圖像拼接模塊連接，用于曝光融合處理全景投影面上所有像素點的像素值； 圖像輸出模塊，與圖像融合模塊，用于輸出全景視頻圖像。
8.根據權利要求7所述的實時高速高清全景視頻的拼接裝置，其特征在于，所述圖像處理模塊包括: 第一判斷單元，用于判斷各路視頻序列中的視頻圖像是否完整，若否，則調整視頻序列的米集角度； 第二判斷計算單元，與第一判斷單元連接，用于判斷任意兩路視頻序列中的視頻圖像是否存在預設的重疊區域，若否，則調整視頻序列的采集角度并計算焦距以及旋轉矩陣。
9.根據權利要求7所述的實時高速高清全景視頻的拼接裝置，其特征在于，所述圖像拼接模塊還包括圖像裁剪單元，用于將全景投影面上的圖像裁剪成預設的形狀。
10.根據權利要求7所述的實時高速高清全景視頻的拼接裝置，其特征在于，所述圖像融合模 塊包括， 第三判斷計算單元，判斷全景投影面上的像素點是否處于視頻圖像的重疊區域，若是，則曝光處理重疊區域，計算視頻圖像重疊區域的亮度均值，獲取輸出圖像的像素點； 第四判斷計算單元，與第三判斷計算單元連接，用于判斷經視頻圖像至全景投影面的逆變換得出的像素值是否為整數點，若否，則通過插值算法計算出像素值為整數的輸出圖像的像素點；若是，則直接將像素值作為輸出圖像的像素點。
【文檔編號】H04N5/262GK103763479SQ201310753721
【公開日】2014年4月30日 申請日期:2013年12月31日 優先權日:2013年12月31日
【發明者】彭俊, 林小暉, 吳雪梅, 閻妍 申請人:深圳英飛拓科技股份有限公司