一種基于虛擬手交互特征層模型的虛擬維修交互操作方法

一種基于虛擬手交互特征層模型的虛擬維修交互操作方法
【專利摘要】本發明提供了一種基于虛擬手交互特征層模型的虛擬維修交互操作方法，屬于維修性設計中虛擬維修的【技術領域】。本發明包括：通過實驗確定虛擬手與維修工具的交互區域；對得到的交互區域簡化，在虛擬環境中進行虛擬手交互特征點標識；通過數據手套實現虛擬手交互。獲取虛擬手與虛擬維修工具接觸的點，將所得到的接觸點與對應的交互特征點進行匹配，當匹配成功時，將維修工具的坐標系依附于虛擬手坐標系上，進行虛擬維修。本發明實現沉浸式虛擬維修環境中維修動作的交互，從而提高了虛擬交互的準確性和用戶操作的沉浸感。
【專利說明】一種基于虛擬手交互特征層模型的虛擬維修交互操作方法

【技術領域】
[0001] 本發明提供一種基于虛擬手交互特征層模型的虛擬手交互操作方法，具體的說， 是一種應用于虛擬維修中改善產品的維修性設計，能夠使之達到提高系統效能、減少壽命 周期費用目標的方法，它屬于維修性設計中虛擬維修的【技術領域】。

【背景技術】
[0002] 維修性是產品在規定的條件下和規定的時間內，按規定的程序和方法進行維修 時，保持或恢復其規定狀態的能力。改善產品的維修性能夠達到提高系統效能、減少壽命周 期費用的目標。維修性的設計與分析是把維修性設計到產品中去，是實現維修性要求的核 心和關鍵。
[0003] 作者周棟、霍琳等在北京航空航天大學學報2011年02期公開了虛擬維修技術研 究與應用。虛擬維修是利用虛擬現實技術對物理世界形象、直觀的表達能力，在計算機生成 的虛擬環境中，進行維修工程和維修性工程活動。通過對產品壽命周期中的維修性設計活 動和維修過程進行統一建模，實時、并行地模擬出產品未來維修的全過程，突出對維修仿真 過程的調度、控制、決策能力及其對產品設計的影響，預測產品維修性設計特性并優化產品 維修方案，支持全過程、全系統的維修性設計評價、資源規劃和維修規劃決策。
[0004] 通過利用虛擬維修技術，設計人員可以在虛擬環境中通過對產品的維修、零部件 的拆卸仿真來發現設計中存在的維修問題，進行維修性分析；直至通過完整的維修過程模 擬來輔助維修人員的訓練，生成相應的維修技術手冊。目前虛擬維修中，主要有兩種交互方 法，一種是基于抓取規則的交互方法，這種交互方法是通過制定一定的抓取規則，若滿足此 規則則視為已將虛擬物體抓起，但是這種交互方法僅僅是適用于物體抓取的過程，而不適 用于使用過程；另一種交互方法是通過手勢庫匹配的交互方法，該方法是通過判斷虛擬手 的手勢確定是否將虛擬物體抓取。現有的這些交互方法存在虛擬環境中人與虛擬物體間交 互不準確性問題，虛擬人與虛擬維修工具間的交互性需要改進。


【發明內容】

[0005] 本發明的目的是提供一種適用于沉浸式虛擬維修的基于虛擬手交互特征層模型 的虛擬手交互方法，主要是根據虛擬環境中虛擬人與虛擬維修工具間的交互特點，對現有 的交互方法進行改進，解決了虛擬環境中人與虛擬物體間交互的不準確性問題，提高了沉 浸式虛擬維修中用戶操作的準確性和沉浸感。
[0006] 本發明提供了一種基于虛擬手交互特征層模型的虛擬維修交互操作方法，包括如 下步驟：
[0007] 步驟一、通過實驗確定虛擬手與維修工具的交互區域；
[0008] 步驟二、進行虛擬手交互特征點標識，具體是：首先將虛擬手進行網格劃分，其次 將步驟一得到的交互區域一一標識在虛擬手網格中，形成虛擬手交互區域；最后，將虛擬手 交互區域簡化為交互特征點；
[0009] 步驟三、虛擬手交互實現，具體是：通過數據手套把操作人員的手的狀態信息輸入 到計算機，用虛擬手模擬操作人員的手在虛擬環境中的運動，獲取虛擬手與虛擬維修工具 接觸的點，將所得到的接觸點與步驟二得到的交互特征點進行匹配，若匹配成功，將維修工 具的坐標系依附于虛擬手坐標系上，進行虛擬維修，若匹配不成功，操作人員對手形或位置 進行調整，直至匹配成功為止。
[0010] 所述的步驟一的實驗方法是：首先將顏料涂抹在要進行實驗的維修工具上，然后 實驗者手戴一次性手套去抓握維修工具，維修工具與虛擬手的交互區域便以顏料的形式在 一次性手套中反映出來。
[0011] 所述的步驟二中，將虛擬手進行網格劃分，具體是：把虛擬環境中處于自然狀態下 的虛擬手進行橫向40等分、縱向20等分的網格劃分，定義圖中左下方的點為坐標原點，每 個網格的單位為1。
[0012] 所述的步驟二中，將虛擬手交互區域簡化為交互特征點，具體是：對于手指上以及 手掌上方位置的各交互區域，簡化為各交互區域的重心點；對于手掌下方位置的各交互區 域，選取該交互區域長度方向的兩個頂點以及該交互區域的重心點作為代表。
[0013] 本發明的優點與積極效果在于：本發明實現了基于虛擬手交互特征點匹配的沉浸 式虛擬維修交互方法，通過建立虛擬手交互特征點模型，確定虛擬手和維修對象的維修交 互標志點，構建基于虛擬手交互特征點的交互系統架構，實現沉浸式虛擬維修環境中維修 動作的交互，從而提高了虛擬交互的準確性和用戶操作的沉浸感。

【專利附圖】

【附圖說明】
[0014] 圖1是虛擬手交互標志點確定的示意圖；
[0015] 圖2是觀察法記錄接觸區域的示意圖；
[0016] 圖3是不同顏料實驗效果對比的示意圖；
[0017] 圖4是虛擬手網格劃分的示意圖
[0018] 圖5是基于虛擬手交互特征層的交互系統架構的示意圖；
[0019] 圖6是虛擬手交互實現方法流程圖；
[0020] 圖7是扳手交互區域實驗結果示意圖；
[0021] 圖8中，（a)是扳手的虛擬手交互區域示意圖，（b)是扳手的虛擬手交互特征點示 意圖；
[0022] 圖9中，（a)和（b)均是虛擬手交互結果的示意圖。

【具體實施方式】
[0023] 下面將結合附圖和實施例對本發明作進一步的詳細說明。
[0024] 本發明在綜合分析了虛擬維修過程中虛擬人與物體間交互原理的基礎上，提出了 通過實際操作實驗確定手與操作對象的交互特征點，并將其反映在虛擬手上。并在此基礎 上形成虛擬手交互特征層模型。在交互過程中，通過碰撞檢測得到虛擬手與操作對象間的 接觸點，并與得到的交互特征層模型中的交互特征點進行匹配，若匹配成功則實現交互。從 而，使得虛擬維修中人與操作對象間的交互更加準確快速。本發明的基于虛擬手交互特征 層模型的虛擬維修交互操作方法包括兩大部分，即虛擬手交互特征點確定和虛擬手交互實 現。
[0025] 本發明是一種基于虛擬手交互特征層模型的虛擬維修交互操作方法，具體實施步 驟如下：
[0026] 步驟一、設計實驗確定虛擬手與維修工具的交互區域。
[0027] 確定虛擬手交互特征點的原理框架如圖1所示，包括三部分：基于單一維修操作 實驗的虛擬手交互區域確定、基于統計學基礎的虛擬手網格劃分、基于網格劃分的虛擬手 交互特征點標識。本步驟說明如何確定虛擬手與維修工具的交互區域。
[0028] 虛擬手交互區域的確定是基于維修操作實驗的基礎上的。虛擬手交互區域即為手 在使用維修工具時手與維修工具的接觸區域，該區域的確定可以通過讓實驗者使用維修工 具，然后將其在抓握工具時的接觸區域記錄下來。
[0029] 起初選擇把實驗者使用維修工具的過程用拍照和錄像的過程記錄下來，之后再用 觀察的方法記錄接觸區域，如圖2所示。但是以這種方式所記錄的接觸區域比較主觀，有一 部分接觸區域是看不到的，只能憑借主觀的猜想去記錄，不夠準確。因此，為了保證所記錄 的接觸區域的準確性，最終確定的實驗方法為：首先將合適的顏料涂抹在要進行實驗的維 修工具上，然后實驗者手戴一次性手套去抓握維修工具，這樣維修工具與虛擬手的交互區 域便以顏料的形式在一次性手套中反映出來。
[0030] 為了使接觸區域清晰而準確的被記錄下來，選取合適的涂料是必要的。實驗分別 選取粉筆末、墨水、粉筆末和墨水的混合顏料作為涂料，手去抓握帶有涂料的維修工具后得 到的實驗結果如圖3所示。圖3中（a)為用粉筆末做涂料，（b)為用墨水做涂料，（c)為用 粉筆末和墨水的混合顏料做涂料。從圖中（a) (b) (c)對比的三種實驗結果可以得知，由粉 筆末和墨水混合而成的涂料既避免了粉筆末作為涂料時接觸區域不清晰的缺點，又避免了 由于單一使用墨水濃度較低，很難在工具上涂抹均勻的弊端，使得交互區域清晰而準確的 被記錄下來。
[0031] 本發明通過設定的實驗方案來確定虛擬手和操作對象的交互區域，進而所得到的 交互特征點更加規范、準確，并且更具代表性。
[0032] 步驟二、虛擬手交互特征點標識。
[0033] 為了建立虛擬手交互特征層模型，需要將通過實驗過程確定的接觸區域反映在虛 擬手上。根據IS07250和GB10000中國成年人人體尺寸統計數據中人體手部尺寸表，可以 計算得出人的食指指長與整只手的長度比例在〇. 365-0. 370之間，因此可以近似認為人手 的手指長度和整只手的比例是相同的。基于此，為了更準確的定位交互區域和交互特征點， 可采取對虛擬手建立網格的方式，每個交點都有相對應的坐標值。本發明把虛擬環境中處 于自然狀態下的虛擬手進行橫向40等分、縱向20等分的網格劃分，定義圖中左下方的點為 坐標原點，每個網格的單位為1，劃分結果如圖4所示。
[0034] 建立好虛擬手網格之后，將接觸的交互區域--反映在虛擬手網格中，形成虛擬 手交互區域。為了更好的實現交互，需要對交互特征區域作簡化處理，即將這些區域簡化為 交互特征點，所有的交互特征點形成了虛擬手交互特征點庫。一般情況下，一塊區域可被簡 化為它的重心點，對于扳手的交互特征區域來說，各個手指上以及手掌上方位置的交互區 域可用該區域的重心點表示。但是當一塊區域長和寬的比例較大時如掌心下方的區域，只 取重心點已不能夠準確表達交互區域，因此還要選取區域長度方向的兩個頂點作為交互特 征點，才能夠準確表達該交互區域。至此便形成了虛擬手交互特征點集，為下一步的交互實 現奠定了基礎。
[0035] 步驟三、虛擬手交互實現。
[0036] 對虛擬手交互特征層的交互系統進行框架構建，如圖5所示，該交互系統包括三 層：人機交互接口層、數據處理層、數據庫層。其中各層次的功能如下。
[0037] 1)人機交互接口層：主要負責計算機、數據手套及人機交互界面、虛擬場景、碰撞 檢測包等各種軟硬件的接口技術。
[0038] 2)數據處理層：該層是整個系統的核心層，通過分析輸入的數據手套數據信息， 對虛擬人手模型通過碰撞檢測得到與虛擬維修工具接觸的點，將得到的交互點與數據庫中 的交互特征點進行匹配，然后返還匹配信息，若匹配成功，則將維修工具的坐標系依附于虛 擬手坐標系上，并將虛擬模型的數據信息輸出給人機交互界面。
[0039] 3)數據庫層：數據庫層包括交互特征點庫、交互匹配規則庫、虛擬對象信息庫（行 為庫）。
[0040] 虛擬手交互操作通過數據手套，把操作人員手的狀態信息輸入到計算機，用虛擬 手模擬操作人員的手在虛擬環境中的運動，并通過抓取、移動、釋放維修工具完成虛擬維修 過程。其中虛擬手與虛擬維修工具的交互實現方法的流程如圖6所示。由操作人員對數據 手套進行操作，通過獲取數據手套各傳感器和位置跟蹤器的數據，對虛擬手的空間位置和 方位值進行確定。然后通過虛擬手和維修工具碰撞檢測獲得所有接觸點的坐標，之后對所 獲得的這些接觸點與步驟二得到的該維修工具所對應的交互特征點進行匹配，若得到的接 觸點與交互特征點一致，則將維修工具的坐標系依附于虛擬手上，隨虛擬手的移動帶動維 修工具的運動。若匹配不成功，則將匹配信息反饋給操作人員，操作人員根據反饋的匹配信 息對手形或位置進行調整，直至滿足匹配要求為止，實現交互。
[0041] 實施例:
[0042] 本實施例以虛擬人使用扳手的交互系統為例說明。以Delmia虛擬環境為背景，并 利用數據手套采集手的姿態和動作，主要完成在虛擬環境下的虛擬手操縱虛擬扳手完成維 修操作。
[0043] 交互系統的主要功能為手部建模、坐標系轉換、交互特征點匹配。包括三個子系 統：人機交互接口層、數據處理層和數據庫層。利用本發明實現該系統的交互，其應用的步 驟和方法如下：
[0044] 步驟一、通過實驗確定交互區域。
[0045] 依據所確定的實驗方案，首先按照粉筆末和鋼筆水1: 2的比例混合得到合適密度 的顏料；然后用刷子將顏料在扳手上涂抹均勻；實驗者手戴一次性手套去抓取涂抹著顏料 的扳手，所得到的實驗結果如圖7所示。
[0046] 步驟二、虛擬手交互特征點標識。
[0047] 在通過實驗得到扳手的交互區域后，需要按照一一對應的關系將這些區域反映到 虛擬手中，形成虛擬手交互區域。并通過交互區域簡化得到虛擬手交互特征點。從實驗結 果可以得知，手在使用扳手時，與扳手交互的接觸區域主要有10塊。將這些區域一一反映 在虛擬手中，得到的結果如圖8中（a)所示。
[0048] 為了更好的實現交互，對交互特征區域作簡化處理。對于扳手的虛擬手交互特征 區域，其各個手指及手掌上方位置的交互區域均可簡化為各區域的重心點，如圖8中（b) 所示。其簡化后的交互特征點坐標分別為A(ll，16)B(17, 21)C(14, 24)D(10, 24)E(6, 24) F(14, 32)G(11，34)H(6, 33) I (2, 29)。而對于虛擬手手掌下方位置的交互區域，由于該區域 的長寬比例較大，只用其重心點已經不足以能夠表達該交互區域，因此還要選取區域長度 方向的兩個頂點作為交互特征點，才可將該區域準確的表達出來。該交互區域的交互特征 點坐標為J (2, 3) K (6, 8) L (9. 5, 12)。至此便形成了扳手的虛擬手交互特征點集，為下一步實 現虛擬手與虛擬物體的交互奠定了基礎。
[0049] 步驟三、實現虛擬手交互。
[0050] 首先操作者將數據手套佩戴好。然后在Delmia環境中，通過接口程序把通過數據 手套采集的數據發送給虛擬環境。操作者通過觀察虛擬環境中虛擬手與扳手的相對位置， 不斷調整虛擬手的位置，并不斷向扳手靠近。在靠近扳手之后，以合適的手勢去抓取扳手， 進行虛擬手交互特征點匹配。并通過碰撞檢測反饋的結果不斷調整手的位置直至滿足匹配 條件，匹配成功后便可實現對扳手的移動旋轉等操作，完成交互。交互結果如圖9的（a)和 (b)所示。
【權利要求】
1. 一種基于虛擬手交互特征層模型的虛擬維修交互操作方法，其特征在于，包括如下 步驟： 步驟一、通過實驗確定虛擬手與維修工具的交互區域； 步驟二、進行虛擬手交互特征點標識，具體是：首先將虛擬手進行網格劃分，其次將步 驟一得到的交互區域一一標識在虛擬手網格中，形成虛擬手交互區域；最后，將虛擬手交互 區域簡化為虛擬手交互特征點； 其中，將虛擬手交互區域簡化為交互特征點，具體是：對于手指上以及手掌上方位置的 各交互區域，簡化為各交互區域的重心點；對于手掌下方位置的各交互區域，選取該交互區 域長度方向的兩個頂點以及該交互區域的重心點作為代表； 步驟三、虛擬手交互實現，具體是：通過數據手套把操作人員的手的狀態信息輸入到計 算機，用虛擬手模擬操作人員的手在虛擬環境中的運動，獲取虛擬手與虛擬維修工具接觸 的點，將所得到的接觸點與步驟二得到的交互特征點進行匹配，若匹配成功，將維修工具的 坐標系依附于虛擬手坐標系上，進行虛擬維修，若匹配不成功，操作人員對手形或位置進行 調整，直至匹配成功為止。
2. 根據權利要求1所述的一種基于虛擬手交互特征層模型的虛擬維修交互操作方法， 其特征在于，步驟一所述的實驗，方法是：首先將顏料涂抹在要進行實驗的維修工具上，然 后實驗者手戴一次性手套去抓握維修工具，維修工具與虛擬手的交互區域便以顏料的形式 在一次性手套中反映出來。
3. 根據權利要求2所述的一種基于虛擬手交互特征層模型的虛擬維修交互操作方法， 其特征在于，所述的顏料是用粉筆末和墨水混合的顏料。
4. 根據權利要求1所述的一種基于虛擬手交互特征層模型的虛擬維修交互操作方法， 其特征在于，步驟二中所述的將虛擬手進行網格劃分，具體是：把虛擬環境中處于自然狀態 下的虛擬手進行橫向40等分、縱向20等分的網格劃分，定義圖中左下方的點為坐標原點， 每個網格的單位為1。
【文檔編號】G06F3/01GK104156068SQ201410380021
【公開日】2014年11月19日 申請日期:2014年8月4日 優先權日:2014年8月4日
【發明者】周棟, 呂川, 彭迪, 郭志奇, 耿杰, 陳嘉宇 申請人:北京航空航天大學