專利名稱：基于視頻與三維路徑規劃的中國手語標準化訓練學習方法
技術領域：
本發明涉及一種聾啞人學習中國手語標準化訓練學習的方法，特別是一種基于三維圖像識別跟蹤技術，進行路徑規劃和矯正的方法，尤指一種利用計算機三維建模技術、圖像識別技術和視頻技術相結合進行聾啞人中國手語標準化訓練學習方法及對中國手語方言進行糾正的基于視頻與三維路徑規劃的手語標準化訓練學習方法。
背景技術：
在中國近2000萬聾人，他們卻不能進行無障礙手語交流。由于中國各地存在不同的方言，因此，聾啞人也隨之使用不同的方言手語。比起中國推行普通話卓然有成，中國手語有待統一，社會福利人士及全國政協代表都呼吁北京當局應成立專責機構改進普通話版本手語。就手語而言，中國大陸存在上海、北京、福建等各地的手語方言。如果要和外國聾啞人交流，更要使用國際手語，我國各大城市懂得國際手語的聾啞人少之又少。比如上海， 不會超出10人。在手語的世界，各個國家的手語在手語詞匯和指語指式有很多不同之處，但在個別手勢、手語造詞法和造句法等方面有諸多相通之處。事實上，中國從1956起就開始推行統一版手語，但目前中國版手語的推廣程度還是不夠，各地的聾啞人更喜歡使用本地方言。事實證明，今日中國普通話版的手語教育內容不受聾啞人歡迎，才使得手語方言長期存在。專家指出，今日普通話版手語詞匯量貧乏，缺乏生動形象的表情語言，沒有形成科學的語法體系和嚴密的邏輯結構，所以不受歡迎，更主要的是沒有標準可循，往往手語在打法就有錯誤。如果能夠讓聾啞兒童從小就能接受標準化訓練，讓聾啞兒童能看清標準手語的打法，并且能自主學習和訓練，為其今后的知識學習和參與社會活動奠定基礎。發明專利申請號為200910021906.0，專利名稱為“特定會話場景下的計算機輔助手語交流方法”公開的一種特定會話場景下的計算機輔助手語交流方法，通過建立虛擬人骨骼模型和特定會話場景詞匯數據庫，設定該骨骼模型各關節的運動自由度范圍，并建立虛擬人各關節動作與專用詞匯的交流應答對應關系，通過采集聾啞人打出的手語信息，將該手語信息經過圖像處理和生物特征識別，獲得所采集手語信息的含義，將聾啞人打出的手語轉換為文字或語言告知正常人，反之，獲得正常人輸入的文字信息，或者在獲得識別到的聾啞人打出手語的含義之后，自動匹配出相應的回答語句，并將該文字信息或回答語句經過處理并通過手語轉換為手語告知聾啞人，實現特定場合下正常人與聾啞人的會話交流。發明專利申請號為99113117. 7，專利名稱為“聾兒雙項速成康復法”公開了一種涉及聾兒聽力、語言康復的新方法，借助理療、磁療等方法提高聽神經細胞活力，激發聽神經潛能，促進聽神經細胞的再生，從而提高聽覺能力，然后結合輔助功能訓練，采用多種形式、多種方式，適用于發明相配套的自編教材，對聾兒進行系統的科學的聽力、語音、語言程序訓練，使其在短時間內開口說話。但上述方法使用單純的錄音、指認圖片，時間久了會感到厭煩，學習興趣大幅度降低，大多數孩子拒絕這種訓練。
中國頭用新型專利申請號為200620046680. I，專利名稱為“智日^問步手語翻譯系
統”公開了一個智能同步手語翻譯系統，其特點在于存儲手語圖像數據高倍手語圖像數據庫，手語，文字轉換模式設定裝置，手語觸摸顯示屏，語音播放裝置，數據處理裝置，其中，手語、文字轉換模式設定裝置放在一端，由操作者控制，而與其相對應的是手語觸摸顯示屏放在另一端，所述的高倍手語圖像數據庫和數據處理裝置與兩端都是并聯的，這樣就保障了翻譯的效果是同步的。
上述各種涉及聾啞人群手語識別、輔助、翻譯，對聾人手語學習開發具有一定作用，但均有各自的缺點和應用的局限性，具體如下
1、本身要求手語打法必須是標準化的，否則不能識別；
2、不能幫助初學者，特別是聾啞兒童看清楚老師的手語打法路徑；
3、設備裝置昂貴，學習者不容易擁有。
發明內容
本發明目的是為了克服目前聾啞人在學習、訓練中國標準手語的方法單調、枯燥以及打法不標準的不足，將三維動畫與視頻技術相結合，建立中國標準手語視頻及手語打法的三維動作路徑規劃庫，以達到幫助聾啞人接受中國標準手語，并能自主學習目的，特別是手語打法的三維路徑規劃更能提高聾啞兒童手語標準化，以便他們今后交流無障礙化及國際化。本發明采用以下技術方案根據《GB\T24435-2009中國手語基本手勢》中華人民共和國國家標準，真人錄制標準手語各部分視頻模塊；在錄制視頻的同時，采用三維動作捕捉系統對手語手勢進行三維動畫采集，通過動作捕捉系統采集到的手勢圖像，能夠顯示出手勢變化的過程，即手勢變化的軌跡，該軌跡能夠以慢動作方式顯示出來，從而實現手勢的路徑規劃，聾啞人及學習者通過視覺直觀看到顯示屏幕上文字對應的手勢，并根據該手勢的三維動作軌跡的變化，糾正自己的手勢，一邊模仿一邊練習，最終達到標準手語手勢的程度，三維動作軌跡的變化，能夠解決了聾啞人及學習者看不清視頻內容或者視頻中手勢變化復雜、過快等問題；對于手語的地方方言學習者，可以根據視頻和三維動作軌跡的變化，改正自己的手語手勢的不標準打法，最終達到糾正的目的，具體操作步驟包括
根據中華人民共和國國家標準《GB\T24435-2009中國手語基本手勢》一中國手語規范性附錄，真人錄制標準手語視頻，形成基本的標準中國手語可視化視頻模塊；可視化手語視頻模塊包括
1)可視化手語視頻“字”單元模塊；
2)可視化手語視頻“詞”單元模塊；
3)可視化手語視頻“短”語單元模塊；
4)可視化手語視頻“簡單句子”單元模塊；
b、根據中國標準手語字、詞、短語、簡單句子的可視化手語視頻模塊，應用三維動作捕捉技術，通過三維動作捕捉系統，對手語手勢進行三維動作捕捉，分步建立與a步驟可視化視頻模塊相匹配的手勢的三維動作軌跡，即路徑規劃模塊，包括
1)可視化手語視頻規劃“字”單元模塊；
2)可視化手語視頻規劃“詞”單元模塊；3)可視化手語視頻規劃“短語”單元模塊；
4)可視化手語視頻規劃“簡單句子”單元模塊；
C、采用計算機及現代教育技術，將以上“標準中國手語可視化手語視頻模塊”和“中國標準手語路徑規劃模塊”兩個數據庫內容分別進行剪輯、編輯，形成一個完整的基于視頻與三維路徑規劃的中國手語標準化訓練學習庫，分為高級、中級、初級三個等級，分別裝載各自不同級別的單元內容，并包括糾正手法的內容，最終形成一個訓練平臺；
d.聾啞人及學習者可以通過載有“中國手語標準化訓練學習庫”的電腦，進入該訓練平臺，進行學習和訓練，包括糾正手法，讓聾啞人循序漸進的從字到詞、句進行標準練習和糾正，而且能夠自主學習，達到中國手語手勢標準化目的；對于手語的地方方言學習者，通過視頻可以清楚的看到標準手語的打法，同時可以根據手語手勢的三維路徑軌跡的變化進行學習糾正，同時三維路徑軌跡的變化可以慢動作實現，解決了打法過快而看不清楚的難題。
e、中國手語標準化，達到無障礙交流。本發明的優點在于所有可視化手語視頻模塊均采用中國手語基本手勢(GB\T24435-2009)/中華人民共和國國家標準制作，通過逼真的三維動作路徑規劃可以充分指導聾啞人進行中國標準手語訓練和學習，讓聾啞人循序漸進的從字到詞、句進行標準練習和糾正。而且能夠自主學習，由于采用的是中國標準手語，推進了手語的無障礙交流，以及國際化交流，非常適合聾啞兒童和正常人的學習，該學習方法必定成為國家標準化手語推廣的有力工具，最后達到標準化目的。
圖I視頻與三維路徑規劃的中國手語標準化訓練學習的示意圖。圖2視頻與三維路徑規劃的中國手語標準化訓練學習方法構建流程圖。
具體實施例方式如附圖I和附圖2所示，為視頻與三維路徑規劃的中國手語標準化訓練學習的示意圖和視頻與三維路徑規劃的中國手語標準化訓練學習方法構建流程圖，由附圖I畫面可知通過計算機模塊錄制的標準手語視頻向聾啞人展示某一“標準手語視頻畫面”，然后再同時顯示該視頻畫面的“手勢路徑的三維動畫視頻”畫面，亦即告訴聾啞人和學習者前面的“標準手語視頻畫面”的具體手勢變化的路徑，旨在使聾啞人根據中國手語標準，錄制標準手語視頻，同時通過三維動畫顯示該手勢的路徑規劃，使聾啞人通過視覺直觀看到顯示屏幕上的手勢，及三維規劃路徑動畫過程，達到一邊模仿一邊練習的目的，具體步驟包括
a、通過顯示屏幕向聾啞人播放標準中國手語可視化手語視頻模塊中字單元、詞單元、短語單元、簡單句子單元的手語；
b、根據中國標準手語字單元、詞單元、短語單元、簡單句子單元的可視化手語視頻庫內容，匹配三維動作的路徑規劃庫，亦即建立相應的標準中國手語路徑規劃模塊的字單元、詞單元、短語單元、簡單句子單元；
C、采用計算機及現代教育技術，將以上“標準中國手語可視化手語視頻模塊”和“中國標準手語路徑規劃模塊”兩個數據庫內容分別進行剪輯、編輯，形成一個完整的基于視頻與三維路徑規劃的中國手語標準化訓練學習庫，分為高級、中級、初級三個等級，分別裝載各自不同級別的單元內容，并包括糾正手法的內容，最終形成一個訓練平臺；
d、聾啞人及學習者可以通過“中國手語標準化訓練學習庫”的電腦進入該訓練平臺，進行學習和訓練，包括糾正手法，讓聾啞人循序漸進的從字到詞、句進行標準練習和糾正，而且能夠自主學習，達到中國手語手勢標準化目的；對于手語的地方方言學習者，通過視頻可以清楚的看到標準手語的打法，同時可以根據手語手勢的三維路徑軌跡的變化進行學習糾正，通過逼真的三維動畫路徑規劃可以充分指導聾啞人進行中國標準手語訓練和學習， 讓聾啞人循序漸進的從字到詞、句進行標準練習和糾正，而且能夠自主學習，由于采用的是中國標準手語，推進了手語的無障礙交流，以及國際化交流。e、中國手語標準化，達到無障礙交流。
權利要求
1.一種基于視頻與三維路徑規劃的中國手語標準化訓練學習方法，其特征在于根據中華人民共和國國家標準《GB\T24435-2009中國手語基本手勢》，真人錄制標準手語各部分視頻模塊；在錄制視頻的同時，采用三維動作捕捉系統對手語手勢進行三維動畫采集，通過動作捕捉系統采集到的手勢圖像，能夠顯示出手勢變化的過程，即手勢變化的軌跡，該軌跡能夠以慢動作方式顯示出來，從而實現手勢的路徑規劃，聾啞人及學習者通過視覺直觀看到顯示屏幕上文字對應的手勢，并根據該手勢的三維動作軌跡的變化，糾正自己的手勢，一邊模仿一邊練習，最終達到標準手語手勢的程度，三維動作軌跡的變化，能夠解決了聾啞人及學習者看不清視頻內容或者視頻中手勢變化復雜、過快等問題；對于手語的地方方言學習者，可以根據視頻和三維動作軌跡的變化，改正自己的手語手勢的不標準打法，最終達到糾正的目的，具體操作步驟是 a、根據中華人民共和國國家標準《GB\T24435-2009中國手語基本手勢》一中國手語規范性附錄，真人錄制標準手語視頻，形成基本的標準中國手語可視化視頻模塊；可視化手語視頻模塊包括 . 1)可視化手語視頻“字”單元模塊； . 2)可視化手語視頻“詞”單元模塊； . 3)可視化手語視頻“短”語單元模塊； .4)可視化手語視頻“簡單句子”單元模塊； b、根據中國標準手語字、詞、短語、簡單句子的可視化手語視頻模塊，應用三維動作捕捉技術，通過三維動作捕捉系統，對手語手勢進行三維動作捕捉，分步建立與a步驟可視化視頻模塊相匹配的手勢的三維動作軌跡，即路徑規劃模塊，包括 . 1)可視化手語視頻規劃“字”單元模塊；. 2)可視化手語視頻規劃“詞”單元模塊； . 3)可視化手語視頻規劃“短語”單元模塊； . 4)可視化手語視頻規劃“簡單句子”單元模塊； C、采用計算機及現代教育技術，將以上“標準中國手語可視化手語視頻模塊”和“中國標準手語路徑規劃模塊”兩個數據庫內容分別進行剪輯、編輯，形成一個完整的基于視頻與三維路徑規劃的中國手語標準化訓練學習庫，分為高級、中級、初級三個等級，分別裝載各自不同級別的單元內容，并包括糾正手法的內容，最終形成一個訓練平臺； d、聾啞人及學習者可以通過“中國手語標準化訓練學習庫”的電腦進入該訓練平臺，進行學習和訓練，包括糾正手法，讓聾啞人循序漸進的從字到詞、句進行標準練習和糾正，而且能夠自主學習，達到中國手語手勢標準化目的；對于手語的地方方言學習者，通過視頻可以清楚的看到標準手語的打法，同時可以根據手語手勢的三維路徑軌跡的變化進行學習糾正，通過逼真的三維動畫路徑規劃可以充分指導聾啞人進行中國標準手語訓練和學習，讓聾啞人循序漸進的從字到詞、句進行標準練習和糾正，而且能夠自主學習，由于采用的是中國標準手語，推進了手語的無障礙交流，以及國際化交流； e、中國手語標準化，達到無障礙交流。
全文摘要
本發明為一種基于視頻與三維路徑規劃的中國手語標準化訓練學習方法，其根據有關國家標準，真人錄制標準手語各部分視頻模塊，在錄制視頻的同時，采用三維動作捕捉系統對手語手勢進行三維動畫采集，通過動作捕捉系統采集到的手勢圖像，顯示出手勢變化的過程，即手勢變化的軌跡，該軌跡能夠以慢動作方式顯示出來，從而實現手勢的路徑規劃，聾啞人及學習者通過視覺直觀看到顯示屏幕上文字對應的手勢，并根據該手勢的三維動作軌跡的變化，糾正自己的手勢，一邊模仿一邊練習，最終達到標準手語手勢。本發明通過逼真的三維動作路徑規劃可以充分指導聾啞人進行中國標準手語訓練和學習，讓聾啞人循序漸進的從字到詞、句進行練習和糾正，達到自主學習。
文檔編號G09B21/00GK102663927SQ20121014691
公開日2012年9月12日 申請日期2012年5月14日 優先權日2012年5月14日
發明者宋雅娟, 張猛, 張超, 李 杰, 王麗榮, 王曉麗, 王曉峰, 趙劍, 鄒稷 申請人:長春大學