基于虛擬現實和體感技術的火災逃生訓練系統的制作方法

本發明涉及計算機輔助技術，具體來講涉及、虛擬現實、體感技術和機器學習，用于訓練火災逃生技能。

背景技術：

自從深度攝像頭實現民用化以來，深度攝像頭開始廣泛應用于游戲、監控等領域，有些攝像頭不但可以探測深度圖像，還能識別人體，又稱為體感攝像頭，使用機器學習中的分類算法對體感攝像頭采集的人體的不同動作數據進行學習，可以實現對動作的分類識別，本系統使用虛擬現實作為主要顯示設備，應用機器學習算法對體感攝像頭采集的人體動作進行分類，通過控制虛擬現實場景中的主角做出與人相同的動作，從而實現和場景中其它人或物的互動，系統以訓練體驗者在遇到火災時能夠正確完成逃生為目的，提供了多個火災場景，通過教學和提示一步步引導體驗者完成相應的任務，并以虛擬獎勵提升其積極性，系統的訓練分為多個步驟和難度，每次訓練前可以進行選擇，系統也會記錄體驗者每次的訓練情況，并自動調整下一次訓練。

技術實現要素：

本發明公開了一種基于虛擬現實和體感技術的火災逃生訓練系統，提供了學校、家庭和超市三個不同的火災場景，以訓練在不同場景中的火災逃生技能，訓練的方式可分為教學、分步訓練和整體訓練，并且可進行重復訓練，系統在開發階段通過體感設備對人體的動作進行采集，并為訓練過程中需要用到的動作按類別進行人工標識，然后通過機器學習的算法對已經具備標識的動作進行學習，生成一個動作分類器，在訓練過程中，通過體感設備采集人體動作，并使用動作分類器對動作進行分類，然后控制虛擬場景中的主角做出相應動作，再通過虛擬現實設備向體驗者呈現場景，系統會根據體驗者上次的訓練記錄或手動設置的情況自動安排本次的訓練，當體驗者根據系統的引導完成一定任務后，系統自動啟動獎勵機制，反之則顯示任務失敗字樣，最后更新訓練記錄。

為實現本發明之目的，采用以下技術方案予以實現：

一種基于虛擬現實和體感技術的火災逃生訓練系統，包括主控器、輸入設備、輸出設備和訓練模塊，其中輸入設備包括鍵盤、鼠標和體感設備；輸出設備包括虛擬現實顯示器、耳機和顯示屏；訓練模塊包括模型數據庫、訓練信息庫、觸發器和動作分類器；其中：

所述主控器用于接收輸入設備輸入的信息，并將信息保存在訓練模塊中，控制訓練模塊的進程以及通過輸出設備輸出信息；

所述鍵盤和鼠標用于人工輸入訓練信息，所述體感設備用于采集人體運動信息；

所述虛擬現實顯示器用于顯示虛擬現實場景的畫面，所述耳機用于播放聲音；

所述模型數據庫用于存儲系統需要的虛擬現實中的場景、物品、人物、軌跡、動畫、動作、聲音、獎勵動畫；所述訓練信息庫用于記錄場景標識、難度、訓練方式、獎勵效果標識和訓練記錄；所述觸發器用于檢測虛擬現實場景中的主角是否碰到特定的物品或到達某個范圍；所述動作分類器用于提前對不同種類的動作進行了學習和記錄，并在訓練過程中實時根據體感設備采集的人體動作的特征進行分類。

所述的基于虛擬現實和體感技術的火災逃生訓練系統，其中：

輸入設備包含鍵盤、鼠標和體感設備，其中體感設備用于采集人體動作的圖像，并自動生成骨骼數據，傳輸給主控器，鍵盤和鼠標用于輸入訓練信息。

所述的基于虛擬現實和體感技術的火災逃生訓練系統，其中：

輸出設備包括虛擬現實頭戴顯示器、耳機和顯示屏，虛擬現實頭戴顯示器用于顯示虛擬現實畫面，耳機用于播放聲音，顯示屏在訓練前用于顯示訓練信息，進入訓練后，用于顯示體驗者在虛擬現實環境中的情況，可以用于觀察體驗者的視角或體驗者對應的主角的行為，便于教師進行監控。

所述的基于虛擬現實和體感技術的火災逃生訓練系統，其中：

在開發系統時，為訓練過程中需要用到的動作提前建立相應的數據庫，主控器根據體感設備采集的人體的動作數據，通過機器學習的分類算法對每類動作進行學習，生成一個動作分類器，訓練前主控器從訓練信息庫中調取之前的練習記錄，并根據記錄安排當前的訓練，如果通過鍵盤和鼠標人工輸入了場景、難度、訓練方式和獎勵效果等訓練信息，則將這些信息記錄到訓練信息庫中，并安排相應的訓練，進入訓練后主控器調用模型數據庫中的各種模型，并通過輸出設備顯示，同時開啟體感設備，實時采集人體的動作，并使用動作分類器對動作進行分類，然后主控器控制虛擬現實場景中的主角做出相應動作，并通過虛擬現實顯示器等輸出設備顯示相應的畫面和聲音，當主控器根據觸發器的反饋判斷其完成了一定的訓練任務后，會播放一個虛擬獎勵，如果沒有按規定完成，則輸出任務失敗的消息，不論是否完成任務，均會更新訓練記錄，用于調節此后的訓練。

所述的基于虛擬現實和體感技術的火災逃生訓練系統，其中：

系統在開發階段通過體感設備對人體的動作進行采集，獲得骨骼數據(即將人體抽象成由幾十個骨骼點組成的“火柴人”，本系統用到的體感設備自帶此功能)，并為訓練過程中需要用到的動作按類別進行人工標識，這些動作有：行走、拿起毛巾、使用水杯弄濕毛巾、使用飲水機弄濕毛巾和用濕毛巾捂住口鼻，每一種標識的動作都包含多個樣本，樣本由多人進行采集，每人每個動作采集多次，然后通過機器學習的算法對已經具備標識的樣本的特征進行學習，樣本的特征包含人體骨骼與骨骼之間形成的角度、骨骼點的速度、加速度等，學習的過程由成熟的機器學習算法自動進行，并最終生成一個動作分類器，在訓練過程中，通過體感設備采集人體動作的骨骼數據，并使用動作分類器對動作進行對動作進行標識，系統通過動作的標識判斷體驗者當前進行的動作，動作分類器能夠識別的動作類別受限于樣本的類別，樣本類別以外的動作，分類器一律不識別。

所述的火災逃生訓練系統，其中：在訓練過程中，通過主控器通過接收體感設備采集的人體動作的骨骼數據，使用動作分類器對動作進行標識，并根據動作的標識判斷體驗者當前進行哪一種動作，然后調用數據庫中的動作模型，控制場景中的主角做出相應動作，該動作與受訓者做出的動作為同一種類的動作，但不一定完全一致，動作分類器能夠識別的動作類別受限于樣本的類別，樣本類別以外的動作，分類器一律不識別。

所述的基于虛擬現實和體感技術的火災逃生訓練系統，其中：

訓練信息庫包括場景、難度、訓練方式、獎勵效果和訓練記錄，訓練開始前，可通過鍵盤和鼠標輸入場景、難度、訓練方式、獎勵效果這些訓練信息，其中場景有學校、家庭和超市三種，分別對應學校、家庭和超市環境下的火災逃生訓練，這三種訓練除了場景和物品放置的位置不同，訓練的步驟是相同的，難度分成簡單、中等和困難，在簡單模式下，系統會通過動畫、語音和標記提醒體驗者完成相應的任務，在中等難度下，有語音和標記提示，在困難難度下不提示，訓練方式分為教學、整體訓練和分步訓練，教學主要播放一段學校環境下幾個人物從火災中逃生的動畫，并有一些旁白告訴體驗者正確應對火災的方法，整體訓練是對整個火災逃生進行訓練，系統會記錄整體逃生的時間，分步訓練包括拿毛巾、弄濕毛巾和逃離火災現場，每個步驟都可以進行單次或重復訓練，獎勵效果包括幾十種不同的獎勵動畫，可以選擇無獎勵、單個或多個獎勵，訓練前主控器判斷是否有訓練任務由輸入設備輸入，如果通過鍵盤和鼠標人工輸入了訓練信息，則主控器將這些信息記錄到訓練信息庫中，并安排相應的訓練，如果沒有人工輸入訓練信息，則從訓練信息庫中調取受訓者之前的練習記錄，并根據該記錄自動安排當前的訓練。

所述的基于虛擬現實和體感技術的火災逃生訓練系統，其中：

模型數據庫包含了整個虛擬現實用到的場景、物品、人物、標記、聲音、動畫、動作和軌跡，在本系統中，具體可體現為學校、家庭和超市的場景，火焰、手帕、毛衣、水杯、飲水機、流動的水等物品。幾十個不同年齡不同性別的人物，閃光、箭頭、圓圈等標記，教授部分語音、提示語音、背景音、獎勵和失敗語音等，教授部分動畫、火焰燃燒動畫、角色拿毛巾動畫、角色弄濕毛巾動畫、角色用濕毛巾捂住口鼻動畫、角色走路動畫等，以及角色運動軌跡，在訓練中，主控器隨時調用這些數據并通過輸出設備輸出畫面和聲音。

所述的基于虛擬現實和體感技術的火災逃生訓練系統，其中：

觸發器不具備硬件實體，包含在整個處理系統環境中，用于檢測虛擬現實場景中人物和物品間的碰撞、觸碰，或人物是否到達指定位置范圍內，每個觸發器都有具體的功用，例如毛巾、水杯、飲水機放置的位置有觸發器，當體驗者對應的主角行走到這些東西附近，觸發器反饋信號給主控器，然后主控器才會利用動作分類器檢測是否做出相應動作，例如走到毛巾附近是否做出拿毛巾動作，教學樓、家庭和超市外的觸發器則用于檢測是否成功逃離火災現場。

所述的火災逃生訓練系統，其中：在學校場景下的教學訓練方式下，主控器從模型數據庫中載入相應的訓練模型，并控制輸出設備自動開始播放教學動畫，首先耳機播放火災報警器的聲音，火災報警器周圍顯示箭頭，并在屏幕前方顯示字幕，耳機播放相應的提示語音，然后畫面突出顯示燃燒的火焰，火焰周圍顯示箭頭，屏幕前方的字幕和語音給出相應的提示，之后播放虛擬人物拿毛巾的動畫，字幕和語音給出動作提示，接著依次播放主角使用水杯弄濕毛巾和使用飲水機弄濕毛巾的動畫，字幕和語音給出相應的提示，然后場景切換到教室外的走廊上，安全出口周圍顯示箭頭，鏡頭自動向安全出口移動，字幕和語音為給出相應的動作提示，最后顯示畫面自動從樓梯向下移動到教學樓外，字幕和語音給出相應的動作提示，教學部分結束后，主控器更新訓練記錄，然后退出。

所述的火災逃生訓練系統，其中：在學校場景的無提示拿手帕訓練中，首先主控器載入模型數據庫中相應的模型，然后通過輸出設備播放場景和聲音，同時開啟體感設備，體感設備將采集到的受訓者的動作傳輸給主控器，主控器通過動作分類器判斷該動作的類別，如果動作是行走，則主控器控制場景中的主角朝對應的方向行走，當手帕周圍的觸發器檢測到主角靠近時，動作分類器開始判斷體驗者是否做出拿手帕的動作，如果在規定時間內做出拿手帕的動作，主控器控制場景中主角的手進行拿手帕，并播放獎勵動畫，如果未在規定時間內做出拿手帕動作，則顯示任務失敗字樣，不論任務是否完成，均更新訓練記錄并退出。

所述的火災逃生訓練系統，其中：在學校場景的無提示弄濕手帕訓練中，首先主控器載入模型數據庫中相應的模型，然后通過輸出設備播放場景和聲音，同時開啟體感設備，體感設備將采集到的受訓者的動作傳輸給主控器，主控器通過動作分類器判斷該動作的類別，如果動作是行走，則主控器控制場景中的主角朝對應的方向行走，如果進入的是使用水杯弄濕手帕訓練，水杯周圍的觸發器檢測到主角靠近，則動作分類器開始判斷體驗者是否用拿著手帕以外的手拿起水杯并將水杯里的水傾倒在手帕上的動作，如果完成該動作，主控器控制場景中的主角進行相應動作，如果進入的是使用飲水機弄濕手帕訓練，飲水機周圍的觸發器檢測到主角靠近，則動作分類器開始判斷體驗者是否用拿著手帕以外的手打開飲水機開關并用手帕接住流出的水的動作，如果完成該動作，主控器控制場景中的主角進行相應動作，如果在規定時間內完成弄濕手帕的動作，主控器控制輸出設備并播放獎勵動畫，如果未在規定時間內完成弄濕手帕的動作，則顯示任務失敗字樣，不論任務是否完成，主控器均更新訓練記錄并退出。

所述的火災逃生訓練系統，其中：在學校場景的無提示逃離火災現場訓練中，首先主控器載入模型數據庫中相應的模型，然后通過輸出設備播放場景和聲音，同時開啟體感設備，體感設備將采集到受訓者的動作傳輸給主控器，主控器通過動作分類器判斷該動作的類別，如果動作是用濕手帕捂住口鼻，則主控器控制場景中的主角進行相應動作，在做出該動作后，動作分類器才判斷動作是否為行走，如果是行走，則主控器控制場景中的主角朝對應的方向行走，受訓者需要根據指示出教室后順著安全出口的樓梯下樓，如果在規定時間內，教學樓外的觸發器檢測到主角離開教學樓，則主控器控制輸出設備并播放獎勵動畫，如果未在規定時間內離開教學樓，則顯示任務失敗字樣，不論任務是否完成，均更新訓練記錄并退出。

本發明易于操作，易于設置多種場景及易于設置不同難度的訓練，訓練針對性強，適于不同年齡、不同類型的受訓者，對受訓者的訓練效果良好。

附圖說明

圖1為系統總體結構示意圖；

圖2為訓練信息庫結構示意圖；

圖3為動作分類器包含的動作種類示意圖；

圖4為學校場景下教學流程圖；

圖5為學校場景下拿毛巾無提示訓練流程圖；

圖6為學校場景下弄濕毛巾無提示訓練流程圖；

圖7為學校場景下逃離火災現場無提示訓練流程圖。

具體實施方式

下面結合附圖1-7對本發明具體實施方式進行說明。本發明的定制化課程生成系統，包括

如圖1所示，基于虛擬現實和體感技術的火災逃生訓練系統，包括主控器、輸入設備、輸出設備和訓練模塊，輸入設備包括鍵盤、鼠標和體感設備，輸出設備包括虛擬現實顯示器(優選的是虛擬現實頭戴顯示器，用于顯示虛擬現實畫面)、耳機和顯示屏(一般來說，該顯示屏是一個是普通電腦用的顯示器，用于監控和顯示設置界面)，訓練模塊包括模型數據庫、訓練信息庫、觸發器和動作分類器。

所述主控器用于接收輸入設備輸入的信息，并將信息保存在訓練模塊的對應位置、控制訓練模塊的進程、以及通過輸出設備輸出信息。所述鍵盤和鼠標用于人工輸入訓練信息。所述體感設備用于采集人體運動信息。所述虛擬現實顯示器用于顯示虛擬現實場景的畫面。所述耳機用于播放聲音。所述模型數據庫用于存儲系統需要的虛擬現實中的場景、物品、人物、軌跡、動畫、動作、聲音、獎勵動畫等。所述訓練信息庫用于記錄場景標識、難度、訓練方式、獎勵效果標識和訓練記錄。所述觸發器用于檢測虛擬現實場景中的主角是否碰到特定的物品或到達某個范圍。所述動作分類器提前通過機器學習的算法對體感設備采集的不同種類的動作進行了學習和記錄特征，并在訓練過程中實時根據體感設備采集的人體動作的特征進行分類。

如圖2所示，訓練信息庫用于記錄場景標識、難度、訓練方式、獎勵效果標識和訓練記錄等信息。其中場景標識包括學校、家庭、超市等類型；難度信息包括簡單、中等、困難等；訓練方式包括教學訓練、整體訓練、分布訓練等；獎勵效果標識包括多種獎勵類型；訓練記錄包括受訓者的受訓情況等信息。

如圖3所示，動作分類器中包含的人體動作庫有：行走、拿起毛巾、使用水杯弄濕毛巾、使用飲水機弄濕毛巾和用濕毛巾捂住口鼻五種，由于火災逃生的場景包含范圍較廣，受訓練場地大小限制，因此虛擬現實中行走的動作在實際上用原地踏步代替。訓練系統在開發階段通過體感設備對人體的動作進行采集，獲得骨骼數據(即將人體抽象成由幾十個骨骼點組成的“火柴人”，本系統用到的體感設備自帶此功能)，并為訓練過程中需要用到的動作按類別進行人工標識，這些動作有：行走、拿起毛巾、使用水杯弄濕毛巾、使用飲水機弄濕毛巾和用濕毛巾捂住口鼻，每一種標識的動作都包含多個樣本，樣本由多人進行采集，每人每個動作采集多次，然后通過機器學習的算法對已經具備標識的樣本的特征進行學習，樣本的特征包含人體骨骼與骨骼之間形成的角度、骨骼點的速度、加速度等，學習的過程由機器學習算法自動進行，并最終生成一個動作分類器，在訓練過程中，通過體感設備采集人體動作的骨骼數據，并使用動作分類器對動作進行對動作進行標識，系統通過動作的標識判斷體驗者當前進行的動作，動作分類器能夠識別的動作類別受限于樣本的類別，樣本類別以外的動作，分類器一律不識別。

如圖4所示，在學校場景下的教學訓練方式下(教學部分沒有提示和獎勵效果)，主控器從模型數據庫中載入需要的模型，并控制輸出設備自動開始播放教學動畫，首先耳機播放火災報警器的聲音，虛擬現實顯示器在顯示的火災報警器周圍顯示箭頭，并在屏幕前方顯示字幕，耳機播放相應的語音“火災時，報警器響起，你要保持鎮靜，感到不舒服時，用手捂住耳朵，快速觀察起火點的位置”，然后畫面突出顯示燃燒的火焰，火焰周圍顯示箭頭，屏幕前方的字幕和語音為“發生火災時，要遠離起火點，找到可浸濕物體捂住口鼻，避免煙霧進入呼吸道，快速逃離起火處”，之后播放男孩A拿毛巾的動畫，字幕和語音為“按照這個小男孩的行為所示，快速找到身邊的紡織品，如毛巾手帕等”，接著依次播放男孩A使用水杯弄濕毛巾和男孩B使用飲水機弄濕毛巾的動畫，字幕和語音為“找到毛巾或手帕后，快速找到水源，比如身邊的水杯等，將水倒在毛巾上，捂住口鼻，快速離開教室。”，然后場景切換到教室外的走廊上，安全出口周圍顯示箭頭，虛擬現實顯示器顯示的畫面自動向安全出口移動，字幕和語音為“逃出教室后，尋找最近的安全出口，快速逃出火災現場”，最后虛擬現實顯示器顯示的畫面自動從樓梯向下移動到教學樓外，字幕和語音為“到達緊急出口，保持鎮定有序，快速逃出出口，注意避免擁擠”。教學部分結束后，均更新訓練記錄并退出，顯示屏切換到設置界面，以便設置下一次訓練信息。

如圖5所示，在學校場景的無提示拿手帕訓練中，首先主控器控制顯示屏切換到監控畫面，主控器載入模型數據庫中需要的模型，然后通過輸出設備播放場景和聲音，同時開啟體感設備，并將采集到體驗者的動作傳輸給主控器，主控器通過動作分類器判斷該動作的類別，如果動作是行走，則主控器控制場景中的主角朝對應的方向行走，當手帕周圍的觸發器檢測到主角靠近時，動作分類器開始判斷體驗者是否做出拿手帕的動作，如果在規定時間內做出拿手帕的動作，主控器控制主角的手進行拿手帕，并控制虛擬現實頭戴式顯示器播放獎勵動畫，如果未在規定時間內做出拿手帕動作，則控制虛擬現實頭戴式顯示器顯示任務失敗字樣，不論任務是否完成，均更新訓練記錄并退出，顯示屏切換到設置界面，以便設置下一次訓練信息。

如圖6所示，在學校場景的無提示弄濕手帕訓練中，首先主控器控制顯示屏切換到監控畫面，主控器載入模型數據庫中需要的模型，然后通過輸出設備播放場景和聲音，同時開啟體感設備，并將采集到體驗者的動作傳輸給主控器，主控器通過動作分類器判斷該動作的類別，如果動作是行走，則主控器控制場景中的主角朝對應的方向行走，如果進入的是使用水杯弄濕手帕訓練，水杯周圍的觸發器檢測到主角靠近，則動作分類器開始判斷體驗者是否用拿著手帕以外的手拿起水杯并將水杯里的水傾倒在手帕上的動作，如果完成該動作，主控器控制場景中的主角進行相應動作，如果進入的是使用飲水機弄濕手帕訓練，飲水機周圍的觸發器檢測到主角靠近，則動作分類器開始判斷體驗者是否用拿著手帕以外的手打開飲水機開關并用手帕接住流出的水的動作，同理如果完成該動作，主控器控制主角進行相應動作，如果在規定時間內完成弄濕手帕的動作，主控器控制輸出設備并播放獎勵動畫，如果未在規定時間內完成弄濕手帕的動作，則顯示任務失敗字樣，不論任務是否完成，均更新訓練記錄并退出，顯示屏切換到設置界面，以便設置下一次訓練信息。

如圖7所示，在學校場景的無提示逃離火災現場訓練中，首先主控器控制顯示屏切換到監控畫面，主控器載入模型數據庫中需要的模型，然后通過輸出設備播放場景和聲音，同時開啟體感設備，并將采集到體驗者的動作傳輸給主控器，主控器通過動作分類器判斷該動作的類別，如果動作是用濕手帕捂住口鼻，則主控器控制主角進行相應動作，在做出該動作后，動作分類器才判斷動作是否為行走，如果是行走，則主控器控制場景中的主角朝對應的方向行走，體驗者需要根據指示出教室后順著安全出口的樓梯下樓，如果在規定時間內，教學樓外的觸發器檢測到主角離開教學樓，則主控器控制輸出設備并播放獎勵動畫，如果未在規定時間內離開教學樓，則顯示任務失敗字樣，不論任務是否完成，均更新訓練記錄并退出，顯示屏切換到設置界面，以便設置下一次訓練信息。

本發明與傳統人工訓練教學系統和App軟件等相比，有如下優點：第一、本發明能夠逼真再現了火災發生時的場景(火、煙、著火聲音等)，克服現實中場景搭建困難問題，教學和訓練環節循序漸進，場景逐步變化；第二、生活應用與訓練內容一致，泛化更容易；第三、以視覺為主，尤其是學習抽象概念，視覺比聽覺或觸覺對他們來說更有效；第四、訓練環境更安全，在VR中訓練，即使有失敗的情況，也不會造成對現實世界的影響；第五、零時間切換場景、訓練密集、更有效；第六、教師不以實際身份加入訓練，訓練中能去除教師身份影響；第七、自動識別用戶動作，系統采集了不同人的標準動作和不正確動作從而建立的動作模型，當用戶訓練時，要求用戶動作與標準動作近似，訓練要求相比人工訓練更為標準規范。