基于頭盔顯示器的動態飛機裝配場景實時立體可視化方法
【專利摘要】基于頭盔顯示器的動態飛機裝配場景實時立體可視化方法，它有五大步驟：一、啟動位置跟蹤器、計算機網絡集群中的主控機和受控機、無線路由器以及頭盔顯示器；二、用戶戴上頭盔顯示器坐于主控機前方，打開主控機中的飛機裝配場景實時立體可視化軟件，軟件運行過程中會實時獲取位置跟蹤器的數據，并向受控機發送數據；三、用戶通過鍵盤控制視點的位置，通過頭部的轉動控制視角方向查看動態裝配仿真場景；四、在主控機程序運行過程中，用戶打開受控機上的可視化程序，該程序接收主控機發送過來的視點數據用以驅動視點模型，通過鼠標操作實現第三人稱視角對飛機裝配場景的實時查看；五、仿真過程結束，分別退出主控機和受控機中的可視化程序。
【專利說明】基于頭盔顯示器的動態飛機裝配場景實時立體可視化方法
【技術領域】
[0001]本發明涉及一種基于頭盔顯示器的動態飛機裝配場景實時立體可視化方法，具體涉及一種虛擬現實(Virtual Reality,簡稱VR)領域的動態飛機裝配場景建模方法以及基于頭盔顯示器和位置跟蹤器的實時立體可視化方法，屬于計算機輔助設計制造和計算機圖形學可視化【技術領域】。
【背景技術】
[0002]隨著計算機技術的發展，如硬件技術、軟件技術和多媒體技術的發展，傳統的視聽、感覺和觸覺不再能滿足人們對世界的觀察和認識，而是對此提出了更高的要求，虛擬現實技術應時而生。虛擬現實是由美國VPL公司創建人拉尼爾(Jaron Lanier)于上世紀80年代初提出的，是一種綜合應用各種技術制造逼真的人工模擬環境，并能有效地模擬人在自然環境中的各種感知系統行為的人機交互技術。虛擬現實系統通過為用戶提供視覺、聽覺、觸覺等多種直觀、實時的感知交互的方法與手段，相當大程度的方便了用戶的操作，減輕了用戶的負擔。
[0003]在大型飛機設計制造關鍵技術中，飛機裝配技術是其中最重要的環節之一。飛機裝配過程的所需的工作量大約占整個飛機制造過程的30?40%，而且質量要求較高，技術難度比較大，飛機裝配的準確度直接決定著飛機制造的準確度，裝配的質量、效率也影響著整個飛機的性能指標和生產成本。為了提高裝配的質量和效率以及縮短生產周期，發達國家已普遍采用柔性數字化裝配與數字仿真技術。如波音飛機公司在其波音777飛機的設計中，研制了一個名為“先進計算機圖形交互應用系統”的虛擬環境，用VR技術在此環境中建立飛機的三維模型，戴上頭盔顯示器的人可以在虛擬環境中的飛機中遨游，檢查“飛機”的各項性能，還可以檢查各個設備的安裝情況是否符合要求等，實際制造出來的飛機與設計方案相比，偏差小于千分之一，機翼和機身的結合一次成功，縮短了數千個小時的設計工作量，大大縮短了生產周期，降低了成本。
[0004]已有的相關研究存在一些問題:第一，只有靜態場景模型的可視化，不能很好的模擬真實的裝配場景；第二，系統對硬件要求較高，操作復雜，且不能實現多視角之間的切換。因此有必要開發一套通用、模擬逼真的飛機裝配實時立體可視化系統。本發明所提出的裝配場景模型為可以在普通計算機上實現的動態裝配場景模型，可以逼真的模擬飛機制造過程中的裝配現場環境。
【發明內容】
[0005]本發明的目的在于提供基于頭盔顯示器的動態飛機裝配場景實時立體可視化方法，它是一種模擬飛機裝配動態場景并基于頭盔顯示器實時立體可視化的方法，以解決現有模擬飛機裝配場景系統中無法實現逼真的裝配場景動態建模，對硬件要求高，操作復雜等問題。
[0006]本發明基于頭盔顯示器的動態飛機裝配場景實時立體可視化方法，包括如下步驟:
[0007]步驟一:啟動系統中的所有設備，包括位置跟蹤器、計算機網絡集群中的主控機和受控機、無線路由器以及頭盔顯示器。
[0008]步驟二:用戶戴上頭盔顯示器坐于主控機前方，打開主控機中的飛機裝配場景實時立體可視化軟件，軟件運行過程中會實時獲取位置跟蹤器的數據，并向受控機發送數據。
[0009]步驟三:用戶通過鍵盤控制視點的位置，通過頭部的轉動控制視角方向查看動態裝配仿真場景。
[0010]步驟四:在主控機程序運行過程中，用戶可打開受控機上的可視化程序，該程序接收主控機發送過來的視點數據用以驅動視點模型，通過鼠標操作可以實現第三人稱視角對飛機裝配場景的實時查看。
[0011]步驟五:仿真過程結束，分別退出主控機和受控機中的可視化程序。
[0012]其中，在步驟一中所述的頭盔顯示器為目前主流的軍用或民用的、支持三維立體顯示的頭戴式顯示器。
[0013]其中，在步驟一中所述的位置跟蹤器為至少能夠提供動態實時方位數據的空間跟蹤與定位裝置。
[0014]其中，在步驟一中所述的無線路由器提供至少主控機和受控機數量總和的LAN接口，主控機和受控機通過這些接口進行互聯。
[0015]其中，在步驟二中所述的主控機為與頭盔顯示器相連的主機。
[0016]其中，在步驟二中所述的主控機中的飛機裝配場景實時立體可視化軟件起到模擬動態裝配場景和實時立體可視化的作用，其流程圖如圖3所示，其功能包括加載場景模型、離線加載人體動作數據文件并制作路徑、實時收集位置跟蹤器方位數據并向受控機發送數據、根據鍵盤的輸入改變視點位置、對動態場景進行實時三維立體可視化。
[0017]其中，在步驟三中所述的通過頭部的轉動，主控機中的可視化軟件可根據視點位置和方位信息實時更新需要顯示的場景，并三維立體化顯示。
[0018]其中，在步驟四中所述的受控機上的可視化程序，起到第三人稱視角輔助觀察的作用，功能包括加載場景模型、離線加載人體動作數據文件并制作路徑、接收主控機上發送的數據并驅動視點模型、通過鼠標移動、旋轉和縮放動態模型。
[0019]本發明基于頭盔顯示器的動態飛機裝配場景實時立體可視化方法，其優點和功效在于:通過數據衣(數據衣是為采集人體動作信息而設計的人體動作采集裝置，采集的動作數據至少包括人體23個主要骨骼的位置和方位信息)采集的動作數據驅動人體模型制作動態裝配場景，可以更加逼真的模擬飛機制造過程中的裝配現場環境；通過加載不同的動作數據即可控制場景中的人做出不同的動作，人的動作修改簡單方便；實時三維立體顯示的效果可以使用戶完全沉浸到虛擬飛機裝配場景中去，提供良好的用戶體驗。
【專利附圖】
【附圖說明】
[0020]圖1是本發明所提出的基于頭盔顯示器的動態飛機裝配場景實時立體可視化系統的操作流程圖。
[0021]圖2是本發明所提出的基于頭盔顯示器的動態飛機裝配場景實時立體可視化方法的系統組成示意圖。[0022]圖3是本發明所提出的安裝于主控機的飛機裝配場景實時立體可視化軟件流程圖。
[0023]圖4是本發明所提出的安裝于受控機的飛機裝配場景實時立體可視化軟件流程圖。
[0024]圖1中具體標號如下:
[0025]I計算機集群網絡中的主控機；
[0026]2計算機集群網絡中的受控機(圖中只畫出了一臺，可按需要增加)
[0027]3頭盔顯示器；4普通顯示器；5無線路由器；6位置跟蹤器；
[0028]7主控機和受控機通過網線接入計算機集群網絡；
[0029]8、9、10 連接線。
【具體實施方式】
[0030]本發明基于頭盔顯示器的動態飛機裝配場景實時立體可視化方法，如圖1所示，包括如下步驟:
[0031]步驟一:啟動系統中的所有設備。本發明方法中使用的所有硬件設備如圖2所示，包括:計算機(其中包括計算機集群網絡中的主控機I和受控機2)、頭盔顯示器3、普通顯示器4、無線路由器5、位置跟蹤器6等，計算機(包括主控機I和受控機2)分別通過連接線8、9與頭盔顯示器3和普通顯示器4相連，位置跟蹤器6通過連接線10與主控機I相連。無線路由器5通過LAN接口 7將主控機I和受控機2互聯，滿足它們之間實時快速信息交換的需求。
[0032]步驟二:用戶戴上頭盔顯示器3坐于主控機I前方，打開主控機I中的飛機裝配場景實時立體可視化軟件，如圖3所示，軟件運行過程中會實時獲取位置跟蹤器6的數據，并向受控機2發送數據。
[0033]步驟三:用戶通過鍵盤控制視點的位置，通過頭部的轉動控制視角方向查看動態裝配仿真場景。
[0034]步驟四:在主控機I程序運行過程中，用戶可打開受控機2上的可視化軟件，如圖4所示，該程序接收主控機I發送過來的視點數據用以驅動視點模型，通過鼠標操作可以實現第三人稱視角對飛機裝配場景的實時查看。
[0035]步驟五:仿真過程結束，分別退出主控機I和受控機2中的可視化程序。
[0036]其中，在步驟一中所述的頭盔顯示器3為目前主流的軍用或民用的、支持三維立體顯示的頭戴式顯示器。
[0037]其中，在步驟一中所述的位置跟蹤器6為至少能夠提供動態實時方位數據的空間跟蹤與定位裝置。
[0038]其中，在步驟一中所述的無線路由器5提供至少主控機I和受控機2數量總和的LAN接口，主控機I和受控機2通過這些接口進行互聯。
[0039]其中，在步驟二中所述的主控機I為與頭盔顯示器3相連的主機。
[0040]其中，在步驟二中所述的主控機I中的飛機裝配場景實時立體可視化軟件起到模擬動態裝配場景和實時立體可視化的作用，其流程圖如圖3所示，其功能包括加載場景模型、離線加載人體動作數據文件并制作路徑、實時收集位置跟蹤器6方位數據并向受控機2發送數據、根據鍵盤的輸入改變視點位置、對動態場景進行實時三維立體可視化。
[0041]其中，在步驟三中所述的用戶頭部轉動過程中，主控機I中的可視化軟件可根據視點位置和方位信息實時更新需要顯示的場景，并三維立體化顯示。
[0042]其中，在步驟四中所述的受控機2上的可視化軟件，起到第三人稱視角輔助觀察的作用，功能包括加載場景模型、離線加載人體動作數據文件并制作路徑、接收主控機I上發送的數據并驅動視點模型、通過鼠標移動、旋轉和縮放動態模型。
[0043]發明方法中使用的軟件平臺包括操作系統(Windows或者Linux操作系統)、網卡、顯卡以及對應的驅動程序等已有通用軟件技術平臺和基于OSG自主開發的安裝于每臺計算機上的飛機裝配場景實時立體可視化軟件。
[0044]圖1是本發明所提出的基于頭盔顯示器的動態飛機裝配場景實時立體可視化方法的操作流程圖。首先啟動系統中的所有設備，包括位置跟蹤器6、計算機網絡集群中的主控機1、無線路由器5以及頭盔顯示器3 ;用戶戴上頭盔顯示器3坐于主控機I前方；打開主控機I中的飛機裝配場景實時立體可視化軟件；通過鍵盤的操作和頭部的運動控制視角的位置和方向瀏覽場景，直到仿真結束為止；如需第三人稱視角瀏覽，打開受控機2中的機裝配場景實時立體可視化軟件；通過鼠標操作變換視角瀏覽場景，直到仿真結束；分別關閉主控機I和受控機2中的軟件。
[0045]圖2是本發明中基于頭盔顯示器的動態飛機裝配場景實時立體可視化系統的系統組成示意圖。圖中主控機I和受控機2通過網線連接到無線路由器5，組成一個簡單的計算機集群網絡(受控機數量可按需要添加)。操作者通過連接到主控機I上的位置跟蹤器6和鍵盤控制試點的位置和方位，從而實現視角的改變，在頭盔顯示器3中繪制立體顯示的結果，完成一幀的繪制過程，同時主控機I中的程序將視角的數據傳送到受控機2以驅動受控機2中的視點模型。
[0046]圖3是本發明所提出的安裝于主控機的飛機裝配場景實時立體可視化軟件流程圖。首先啟動系統中的所有設備，包括位置跟蹤器6、計算機網絡集群中的主控機1、無線路由器5以及頭盔顯示器3 ;然后加載飛機裝配場景模型，根據讀取的人體動作控制數據文件創建動態場景；加載視點模型，并根據位置跟蹤器6采集的信息和鍵盤的控制設置視點的位置和方位；然后根據視點的設置繪制立體顯示效果的動態場景并輸出至頭盔顯示器3，直到用戶手動退出程序為止。
[0047]圖4是本發明所提出的安裝于受控機2的飛機裝配場景實時立體可視化軟件流程圖。首先檢查受控機2與主控機I通訊是否正常，保證受控機2能接收主控機I發送的數據，并完成網絡設置初始化；然后加載虛擬飛機裝配場景模型，根據讀取的人體動作控制數據文件創建動態場景；加載視點模型，接收主控機I發送的數據；然后根據接收到的視點數據驅動視點模型運動；根據鼠標的操作設置視角并繪制動態場景輸出到普通顯示器4，直到無法接收到主控機I發送的數據或用戶手動退出程序為止。
[0048]本發明實現了基于頭盔顯示器3的動態飛機裝配場景實時立體可視化，通過數據衣采集的動作數據驅動人體模型制作動態裝配場景，可以更加逼真的模擬飛機制造過程中的裝配現場環境；通過加載不同的動作數據即可控制場景中的人做出不同的動作，人的動作修改簡單方便；實時三維立體顯示的效果可以使用戶完全沉浸到虛擬飛機裝配場景中去，提供良好的用戶體驗。
【權利要求】
1.基于頭盔顯示器的動態飛機裝配場景實時立體可視化方法，其特征在于:包括如下步驟: 步驟一:啟動系統中的所有設備，包括位置跟蹤器、計算機網絡集群中的主控機和受控機、無線路由器以及頭盔顯示器； 步驟二:用戶戴上頭盔顯示器坐于主控機前方，打開主控機中的飛機裝配場景實時立體可視化軟件，軟件運行過程中會實時獲取位置跟蹤器的數據，并向受控機發送數據； 步驟三:用戶通過鍵盤控制視點的位置，通過頭部的轉動控制視角方向查看動態裝配仿真場景； 步驟四:在主控機程序運行過程中，用戶打開受控機上的可視化程序，該程序接收主控機發送過來的視點數據用以驅動視點模型，通過鼠標操作實現第三人稱視角對飛機裝配場景的實時查看； 步驟五:仿真過程結束，分別退出主控機和受控機中的可視化程序。
2.根據權利要求1所述的基于頭盔顯示器的動態飛機裝配場景實時立體可視化方法，其特征在于:在步驟一中所述的頭盔顯示器為軍用或民用的支持三維立體顯示的頭戴式顯示器。
3.根據權利要求1所述的基于頭盔顯示器的動態飛機裝配場景實時立體可視化方法，其特征在于:在步驟一中所述的位置跟蹤器為至少能夠提供動態實時方位數據的空間跟蹤與定位裝置。
4.根據權利要求1所述的基于頭盔顯示器的動態飛機裝配場景實時立體可視化方法，其特征在于:在步驟一中所述的無線路由器提供至少主控機和受控機數量總和的LAN接口，主控機和受控機通過這些接口進行互聯。
5.根據權利要求1所述的基于頭盔顯示器的動態飛機裝配場景實時立體可視化方法，其特征在于:在步驟二中所述的主控機為與頭盔顯示器相連的主機。
6.根據權利要求1所述的基于頭盔顯示器的動態飛機裝配場景實時立體可視化方法，其特征在于:在步驟二中所述的主控機中的飛機裝配場景實時立體可視化軟件起到模擬動態裝配場景和實時立體可視化的作用，其功能包括加載場景模型、離線加載人體動作數據文件并制作路徑、實時收集位置跟蹤器方位數據并向受控機發送數據、根據鍵盤的輸入改變視點位置、對動態場景進行實時三維立體可視化。
7.根據權利要求1所述的基于頭盔顯示器的動態飛機裝配場景實時立體可視化方法，其特征在于:在步驟三中所述的通過頭部的轉動，主控機中的可視化軟件可根據視點位置和方位信息實時更新需要顯示的場景，并三維立體化顯示。
8.根據權利要求1所述的基于頭盔顯示器的動態飛機裝配場景實時立體可視化方法，其特征在于:在步驟四中所述的受控機上的可視化程序，起到第三人稱視角輔助觀察的作用，功能包括加載場景模型、離線加載人體動作數據文件并制作路徑、接收主控機上發送的數據并驅動視點模型、通過鼠標移動、旋轉和縮放動態模型。
【文檔編號】G06F17/50GK103942384SQ201410154177
【公開日】2014年7月23日 申請日期:2014年4月17日 優先權日:2014年4月17日
【發明者】馬國財, 趙罡, 薛俊杰, 邢若瀚 申請人:北京航空航天大學