一種基于Kinect的游戲式遠程上肢康復訓練系統及方法與流程

本發明涉及醫療康復技術領域，特別涉及一種基于kinect的游戲式遠程上肢康復訓練系統及方法。

背景技術：

由于意外事故、年老體弱或者腦血管疾病等會造成上肢功能的障礙，及早進行康復訓練會加大康復的概率，使上肢在各個方向上達到正常人的活動效果。傳統醫療采用一對一的康復訓練，患者康復費用昂貴，且康復效果受到治療師水平影響，醫院需要培訓大量治療師，并建設相應的輔助訓練設施。這種傳統康復訓練效率低下，枯燥乏味，會使患者產生抗拒心理從而不積極配合治療，影響治療效果。傳統醫療方式只能根據患者自身感覺進行康復分析，不能客觀的給出數據分析。

自1997年麻省理工學院的開創性研究，許多研究人員一直在研究機器人輔助治療裝置。穿戴式機械手臂輔助治療是現在常用的輔助治療系統，現有的康復訓練機械臂,使得醫生可以設定康復機械臂的訓練模式和控制參數,從而控制機械臂，一定程度上減少了醫院的人力。但機械手臂輔助治療仍屬于被動式治療方式，患者需穿戴康復設備，動作受到限制，存在設備購買不方便，設備體積大，價格昂貴的問題。隨著kinect的出現，基于kinect的上肢康復系統也流行起來，但訓練仍是枯燥乏味地重復進行康復動作，或采用游戲的方式卻并沒有系統的動作設計與階段訓練的模式，不能直觀給出數據分析。

現有康復訓練系統的不完善主要表現在：一對一康復訓練費用高效率低并且枯燥乏味，穿戴式輔助康復設備體積大價格高，穿戴不方便，動作不靈活。無法進行階段性訓練，訓練結束后無法給出系統直觀的訓練數據反饋，降低了患者康復的積極性。需要設計設備體積小價格低，能調動患者積極性，能結合遠程醫療給出詳細數據分析的系統。

技術實現要素：

本發明所要解決的技術問題是針對背景技術的缺陷，提出一種基于kinect的游戲式遠程上肢康復訓練系統及方法，實現如何能結合遠程醫療給出詳細的數據分析，能調動患者積極性。

本發明的上述技術問題是通過以下技術方案得以實現的：

一種基于kinect的游戲式遠程上肢康復訓練系統，包括：

模式選擇模塊：其用于供用戶選擇康復動作幅度的模式；

kinect數據采集與骨骼識別模塊：其用于分析出用戶的上肢康復動作；

肢體操作交互模塊：其連接有游戲模塊，當用戶的上肢康復動作符合模式選擇模塊對應的預設的動作標準時，發出對應上肢康復動作的游戲指令；并響應于游戲指令觸發游戲模塊做出對應的動作；

監控反饋端：其與肢體操作交互模塊連接，用于供醫生查看上肢康復動作和游戲模塊的相關數據，并供醫生輸入反饋意見數據；

遠程數據傳輸模塊：其與監控反饋端連接，并用于傳輸所述相關數據以及反饋意見數據；

訓練結果反饋模塊：其與遠程數據傳輸模塊和肢體操作交互模塊連接，并用于向用戶反饋所述相關數據以及反饋意見數據。

進一步的，所述模式選擇模塊包括五個模式單元，每個所述模式單元里均存儲有相對應的上肢康復動作。

進一步的，所述上肢康復動作包括有左右展臂、雙臂屈肘上抬和雙臂前伸抬起，以每18°分為一個模式單元。

進一步的，所述游戲模塊為俄羅斯方塊游戲。

一種基于kinect的游戲式遠程上肢康復訓練方法，包括以下步驟：

步驟1：用戶選擇康復動作幅度的模式；

步驟2：分析出用戶的上肢康復動作，當用戶的上肢康復動作符合對應的預設動作標準時，發出對應上肢康復動作的游戲指令，并響應于游戲指令觸發俄羅斯方塊游戲做出對應的動作；

步驟3：依據上肢康復動作以及俄羅斯方塊游戲的相關數據，輸入反饋意見數據，并把所述相關數據以及反饋意見數據反饋給用戶。

進一步的，其中步驟2包括以下步驟：

步驟2.1：kinect識別人體輪廓并計算得到人體二十個骨骼點信息；

步驟2.2：提取人體上肢六個關鍵骨骼點的三維坐標信息，包括右手、右胳膊肘、右肩、左手、左胳膊肘和左肩，建立人體坐標系；

步驟2.3：通過向量和三角形的相關計算方式判定上肢康復動作是否符合預設的動作標準，若符合則發出對應上肢康復動作的游戲指令，并響應于游戲指令觸發俄羅斯方塊游戲做出對應的動作。

本發明采用以上技術方案與現有技術相比，具有以下技術效果：

本發明采用kinect進行信息采集，用戶無需任何穿戴設備，動作更加自由舒適，誤差小；游戲與康復訓練相結合，通過上肢的運動操縱俄羅斯方塊的運動，增強了上肢康復訓練的趣味性，提高了患者參與康復訓練的主動性與積極性；系統通過不同模式完成階段性訓練的效果，用戶可以根據自身上肢患病情況進行模式的選擇，貼合用戶；本發明采用遠程醫療的方式，醫生可遠程獲取患者康復訓練的數據并給出相應的指導意見，用戶可遠程了解醫生的意見與建議，并據此進行康復訓練，降低了醫療費用；每次訓練結束后，系統能夠最直觀的顯示出此次訓練的數據，用戶可以看到上肢動作和游戲效果的相關數據，以及醫生遠程給出的建議與意見，調動了人們使用該系統進行上肢康復訓練的積極性。

附圖說明

圖1為本發明的系統結構示意圖。

圖2為本發明用于體現kinect數據采集與骨骼識別框圖；

圖3為本發明用于體現右臂活動角度的計算圖；

圖4為本發明用于體現模式選擇與肢體操作交互的框圖；

圖5為本發明用于體現訓練結果的反饋框圖；

圖6為本發明用于體現遠程數據傳輸的框圖。

具體實施方式

以下結合附圖對本發明作進一步詳細說明。

一種基于kinect的游戲式遠程上肢康復訓練系統，包括：

模式選擇模塊：其用于供用戶選擇康復動作幅度的模式；

kinect數據采集與骨骼識別模塊：其用于分析出用戶的上肢康復動作；

肢體操作交互模塊：其連接有俄羅斯方塊游戲，當用戶的上肢康復動作符合模式選擇模塊對應的預設的動作標準時，發出對應上肢康復動作的游戲指令；并響應于游戲指令觸發俄羅斯方塊游戲做出對應的動作；

監控反饋端：其與肢體操作交互模塊連接，用于供醫生查看上肢康復動作和俄羅斯方塊游戲的相關數據，并供醫生輸入反饋意見數據；

遠程數據傳輸模塊：其與監控反饋端連接，并用于傳輸所述相關數據以及反饋意見數據；

訓練結果反饋模塊：其與遠程數據傳輸模塊和肢體操作交互模塊連接，并用于向用戶反饋所述相關數據以及反饋意見數據。

如圖1所示，通過kinect采集人體肢體信息，通過labview編程實現相應上肢康復動作對應游戲操作的效果，以及訓練結束后的數據分析；軟件編程實現數據采集與骨骼識別，用戶選擇模式后進行肢體操作交互，訓練結束后數據分析反饋以及遠程數據傳輸。

如圖2所示，kinect數據采集與骨骼識別模塊利用kinect的近紅外線對測量空間進行編碼，經感應器讀取編碼的光線，交由晶片運算進行解碼后，產生成一張具有深度的圖像。采用分隔策略將復雜的環境中的連續物體與背景區分出來，之后對景深圖像進行評估，對類似“大”字型的物體進行變形擬合，從而識別出類人形狀的物體，利用數據遮罩將其獨立出來，用20個關鍵點標注為人體關節點，實現人體骨骼識別。提取人體上肢六個關鍵骨骼點的三維坐標信息，包括右手、右胳膊肘、右肩、左手、左胳膊肘和左肩，建立人體坐標系，根據六個關節點數據，計算手臂運動角度，包括左展臂角度，右展臂角度，雙臂前伸上抬角度和雙臂屈肘上抬角度以及屈肘上抬時小臂與上臂的夾角。如圖3所示，角度計算均以右臂為例，設右肩坐標點a(x1，y1，z1)，右胳膊肘坐標點b(x2.y2，z2)，右手坐標點c(x3，y3，z3)；

a、右展臂首先根據向量公式確定手臂伸直，即三維空間中a、b和c三點位于同一直線上，運用向量公式即可確定三點共線：

隨后確定右展臂時手臂與肩部豎直方向的夾角，即可確定手臂打開幅度的大小，展臂時，手部坐標的x和y坐標發生改變，右展臂張開角度θ計算公式為：

b、前伸上抬手臂，首先確定手臂伸直，方法和展臂時確定手臂伸直的方法一樣，此處不贅述。前伸上抬手臂，手部坐標在y軸和z軸上發生改變，前伸上抬角度α計算公式為：

c、屈肘上抬時，上臂與肩部y坐標軸的夾角β計算公式為：

屈肘上抬時小臂與上臂的夾角γ運用空間三角形夾角的計算方法：

模式選擇模塊設定五個模式，階段性的進行上肢康復的訓練。模式選擇不同，動作幅度也不同，剛開始幅度較小便可實現相應游戲操作，隨著模式選擇難度的增大，動作幅度加大才能實現相應操作。以右臂為例，為達到正常人的手臂活動幅度，右展臂角度θ，前伸上抬角度α和屈肘上抬角度β，康復運動范圍均為0～90°，分為五個模式時，以每18°分為一個模式，屈肘上抬時小臂與上臂的夾角γ變化范圍為180°～90°，同樣以每18°分為一個模式。最終實現通過五個模式進行階段化康復訓練。

在kinect識別到人并標注上肢關節點的基礎之上，跟蹤這些節點位置變化，通過歐拉公式，分析得到用戶所做動作，對動作進行分析判斷，符合要求的動作被識別，如圖4所示，通過肢體操作交互模塊判定為游戲指令，實現游戲操作。展開左臂，俄羅斯方塊會左移；展開右臂，方塊右移；雙臂屈肘抬起，方塊會進行翻轉變形；雙臂前伸抬起，方塊加速下降，從而能實現通過上肢運動來進行俄羅斯方塊的移動和變化，使得用戶可在該系統中趣味性地進行階段性上肢康復訓練。

用戶在進行上肢康復訓練時，如圖5所示，系統的訓練結果反饋模塊實時分析統計達到選定模式的各類肢體動作次數，左展臂次數，右展臂次數，雙臂前伸上抬次數以及雙臂屈肘上抬次數，并通過各類動作量估算出用戶熱量消耗，根據肢體操作交互模塊達到的游戲效果給出游戲得分和評價，這些數據通過遠程數據傳輸模塊傳送到監控反饋端，醫生可以在監控端實時觀看用戶上肢運動時上肢骨骼點連接成的球棍模型的運動狀態，并能同時獲得用戶反饋模塊上的所有數據，醫生分析數據并擬寫的指導意見通過遠程傳輸，傳送回到訓練結果反饋模塊，實現遠程上肢康復訓練的效果。

如圖6所示，通過局域網實現遠程數據的傳輸,客戶端和服務器端均在各自目錄下建立記錄數據的文件夾，客戶端存放用戶使用記錄和詳細的運動數據，服務器端存放醫師的評語和指導建議。當服務器端和客戶端連通在同一個局域網下時，雙邊數據可以實時同步，服務器端即可實時觀看用戶訓練情況也可存儲歷史數據反復重播，客戶端也能實時看到醫師的指導意見。開發階段以局域網為聯機環境，通過云端服務器即可實現互聯網上的數據傳輸。訓練系統客戶端將動作信息和游戲信息上傳到本地共享文件，遠程監控反饋端讀取這些信息，并書寫指導意見，并寫入本地共享文件，客戶端下載反饋意見。

一種基于kinect的游戲式遠程上肢康復訓練方法，包括以下步驟：

步驟1：用戶選擇康復動作幅度的模式；

步驟2：分析出用戶的上肢康復動作，當用戶的上肢康復動作符合對應的預設動作標準時，發出對應上肢康復動作的游戲指令，并響應于游戲指令觸發俄羅斯方塊游戲做出對應的動作；

步驟3：依據上肢康復動作以及俄羅斯方塊游戲的相關數據，輸入反饋意見數據，并把所述相關數據以及反饋意見數據反饋給用戶。

其中步驟2包括以下步驟：

步驟2.1：kinect識別人體輪廓并計算得到人體二十個骨骼點信息；

步驟2.2：提取人體上肢六個關鍵骨骼點的三維坐標信息，包括右手、右胳膊肘、右肩、左手、左胳膊肘和左肩，建立人體坐標系；

步驟2.3：通過向量和三角形的相關計算方式判定上肢康復動作是否符合預設的動作標準，若符合則發出對應上肢康復動作的游戲指令，并響應于游戲指令觸發俄羅斯方塊游戲做出對應的動作。

本具體實施例僅僅是對本發明的解釋，其并不是對本發明的限制，本領域技術人員在閱讀完本說明書后可以根據需要對本實施例做出沒有創造性貢獻的修改，但只要在本發明的權利要求范圍內都受到專利法的保護。