專利名稱：一種窗簾的智能手勢和語音控制系統及其控制方法
技術領域：
本發明涉及窗簾控制裝置，具體涉及ー種窗簾的智能手勢和語音控制系統及其控制方法。
背景技術：
窗簾是現代家居中必不可少的家居用品，隨著生活水平的提高和智能家居的普及，人們希望窗簾也能成為智能家居人機交互的一部分，對窗簾控制智能化的要求也越來越高。目前，較新的控制窗簾的技術主要是紅外遙控、亮度與溫度控制、聲控等，它們各自都存在缺點，實際操作起來不理想。經查詢，專利公開號為CN2899646的具有紅外線控制傳動裝置的智能窗簾，讓使用者無法擺脫遙控器的束縛，且容易與家中其它眾多遙控器混淆，專利公開號為CN201210241的帶光敏電阻的光控智能窗簾和公開號為CN101976090A的智能 窗簾，對安裝環境的要求高，當其安裝在ー些長期環境不變的地方時無法發揮智能作用，專利公開號為CN202234681U的聲控窗簾,根據現有的語音識別技術,該聲控窗簾對使用者的普通話水平要求高，且不適用于有語言阻礙者的家庭使用。為了克服現有智能窗簾的不足，本發明提供ー種使用手勢和語音結合控制窗簾的裝置。
發明內容
本發明的目的在于克服現有技術存在的上述不足，提供一種窗簾的智能手勢和語音控制系統及其控制方法，具體技術方案如下。一種窗簾的智能手勢和語音控制系統，包括手勢采集単元、語音采集単元、識別単元、外接設備單元；手勢采集単元和語音采集單元并行接到識別單元，識別單元將輸出控制信息給外接設備單元；所述圖像采集單元主要由安裝在窗簾上部的攝像頭組成，攝像頭采集窗簾前一定區域內用戶的手勢圖像，并將采集到的圖像傳輸到識別單元的手勢控制接ロ ；語音采集單元主要由分別安裝在窗簾兩側的麥克風組成，通過麥克風采集用戶發出的語音指令，并將采集到的語音指令傳輸到識別單元的語音控制接ロ。上述的窗簾的智能手勢和語音控制系統中，識別單元實現的功能包括手勢識別、語音識別和多通道整合，其中，手勢識別是對攝像頭采集到的用戶手勢圖像進行識別，語音識別是對麥克風采集的用戶語音指令進行識別，多通道整合是對手勢識別和語音識別的判斷結果進行整合。上述的窗簾的智能手勢和語音控制系統中，外接設備單元包括控制器、驅動電機和顯不器。所述控制器，用于將多通道整合結果輸出的用戶指令轉為硬件的中斷指令，輸出到驅動電機；所述驅動電機，用于根據控制器傳輸的中斷指令對窗簾卷軸進行驅動，窗簾卷軸帶動窗簾上的滾輪實現對窗簾的拉伸控制；所述的顯示器，用于向用戶顯示任務的完成情況和窗簾的開閉狀態以及窗簾的打開程度。上述一種窗簾的智能手勢和語音控制系統的控制方法，具體是分別對采集到的手勢圖像和語音指令進行手勢識別和語音識別，控制器根據手勢識別過程或語音識別過程的判斷結果獨立地對窗簾進行控制或根據手勢識別過程和語音識別過程的判斷整合結果對窗簾進行控制；所述控制包括對窗簾的打開、閉合或指定打開程度的控制。上述控制方法中，所述手勢識別過程包括將采集的圖像進行預處理，去除圖像冗余信息，平滑和濾波；對預處理后的圖像進行檢測，將檢測到的手勢區域和背景區域分離；將分離后的手勢圖像提取手勢的特征值；
對提取的特征值實現訓練和分類識別，將特征值與手勢數據庫中的相應手勢進行匹配，得到識別結果；根據識別結果輸出控制信息流。上述控制方法中，所述語音識別過程包括采集大量的語音數據組成語料庫；對采集到不平穩的語音信號進行處理，使其變成簡短而平穩的隨機過程；提取每ー個簡短信號的多維特征向量；
在對語料庫中訓練句子進行特征提取之后，就開始進行聲學建模工作，即利用語音多維特征向量進行聲學模型訓練。再在語法和語義的層面上結合語言的規則建立語言模型，即在給出固定的詞序列的前提下，設定每ー個詞序列與其前面所有詞序列的相關性，從而排除某些不期望的詞序列，輔助聲學模型構成完整的詞網絡，提高在模型庫中搜索的效率；在模型庫中根據已經建立的詞網絡中找到最佳路徑，得到識別結果；根據識別結果輸出控制信息流。上述控制方法中，所述手勢數據庫是通過采集大量的手勢正負樣本進行特征值提取和分類訓練后所建立的。上述控制方法中，所述模型庫是通過構建控制窗簾所需要的語料庫，對語料庫中的語音數據進行預處理和特征提取后，進行聲學建模訓練，再結合語法和語義組成的。與現有技術相比，本發明具有如下優點和技術效果(I)本發明智能化程度高，與用戶的交互方式自然，在使用本發明時，既無需用戶親自去拉動窗簾，也不需為窗簾添加ー個實體遙控器，，用戶只需要在窗簾面前ー個可控范圍內用手做出對應的手勢，或者指著窗簾發出語音指令，即可以輕松控制窗簾。(2)本發明兼顧多種特殊情況，對于行動不便者可以單獨使用語音控制功能，而對于普通話障礙者可以單獨使用手勢控制功能，非常利于有老人、小孩或者殘疾人的家庭。(3)本發明可以讓用戶自由選擇手勢或者語音控制窗簾，控制方式簡單、直接，使窗簾更加人性化，充分體現了現代智能家居的特點。
圖I為窗簾的智能手勢和語音控制系統框架圖。圖2為手勢識別流程圖。
圖3為語音識別流程圖。圖4為左ー右隱馬爾可夫模型。圖5為多通道整合圖。
具體實施例方式以下結合附圖對本發明的具體實施作進ー步說明，但本發明的實施和保護不限于此。本發明提供一種窗簾的智能手勢和語音控制系統，該裝置包括手勢采集単元、語音采集單元、識別單元、外接設備單元。如圖I所示，手勢采集単元和所述語音采集單元并行連接識別單元的圖像和語音輸入接ロ，所述識別單元連接外接設備單元。其中，手勢識別用于對采集的有效用戶手勢圖像進行實時跟蹤手掌的移動情況，并對手勢圖像進行識別判斷，語音識別用于接收用戶發出的語音指令，對語音進行識別判斷，分別將手勢和語音的 識別判斷結果進行多通道整合，將整合后的信息分別傳遞給外接設備單元的控制器和顯示器，再由控制器作用于驅動電機，使其對窗簾的卷軸進行啟動、停止控制，并且將窗簾的狀態及時反饋到顯示器上。如圖2所示，手勢識別的過程圖像預處理、手勢檢測和區域分割、特征提取、手勢識別和結果輸出。在啟動系統后，通過攝像頭采集窗簾前用戶的手勢圖像后進行A/D轉換，將數據傳輸到識別單元的接ロ，。所采集的圖像由于光照、環境原因，可能會存在噪點，為減小圖像在區域分割時產生的誤差，首先對采集的圖像進行圖像預處理，采用圖像均值濾波對圖像進行平滑濾波，以NXN (模板大小)均值濾波模板對圖像中的每ー個像素點的值f(i，j)進行處理，得到新的像素點值r(i，j)ΣΣ
/(/ /)_ —NxN—手勢檢測和區域分割用于對所述的預處理后的圖像檢測是否存在手勢，考慮到復雜背景和周圍環境光線的變化，對采集的圖像進立YCrCb顔色空間模型，基于膚色聚類特征和對光照的不敏感，將采集的三個通道彩色圖像的數據利用膚色的特征信息，采用閾值設置的方法，分別根據三個通道值將背景和目標區域先后進行粗分割和細分割，得到ニ值化圖像，實現復雜背景下的膚色分割。特征提取即用于對所述的ニ值化后的手勢圖像采用梯度方向直方圖(histogramsof oriented gradient, HOG)方法提取手勢特征,具體步驟如下(I)將ニ值化圖像劃分成ー個個2X2的單元(cell)；(2)分別在水平和垂直方向上，利用一維離散微分模板計算出每個cell的梯度；(3)統計每ー個cell的梯度直方圖(即不同梯度的個數)；(4)將若干個cell組成ー個區間(block), —幅圖像由若干個block構成；(5)利用L2范數為因子在block中進行梯度歸ー化
權利要求
1.一種窗簾的智能手勢和語音控制系統，其特征在于，包括手勢采集単元、語音采集単元、識別單元、外接設備單元；手勢采集単元和語音采集單元并行接到識別單元，識別單元將輸出控制信息給外接設備單元；所述圖像采集單元主要由安裝在窗簾上部的攝像頭組成，攝像頭采集窗簾前一定區域內用戶的手勢圖像，并將采集到的圖像傳輸到識別單元的手勢控制接ロ ；語音采集單元主要由分別安裝在窗簾兩側的麥克風組成，通過麥克風采集用戶發出的語音指令，并將采集到的語音指令傳輸到識別單元的語音控制接ロ。
2.如權利要求I所述的ー種窗簾的智能手勢和語音控制系統，其特征在于識別單元實現的功能包括手勢識別、語音識別和多通道整合，其中，手勢識別是對攝像頭采集到的用戶手勢圖像進行識別，語音識別是對麥克風采集的用戶語音指令進行識別，多通道整合是對手勢識別和語音識別的判斷結果進行整合。
3.如權利要求I所述的ー種窗簾的智能手勢和語音控制系統，其特征在于，外接設備単元包括控制器、驅動電機和顯示器，所述控制器，用于將多通道整合結果輸出的用戶指令轉為硬件的中斷指令，輸出到驅動電機；所述驅動電機，用于根據控制器傳輸的中斷指令對窗簾卷軸進行驅動，窗簾卷軸帶動窗簾上的滾輪實現對窗簾的拉伸控制；所述的顯示器，用于向用戶顯示任務的完成情況和窗簾的開閉狀態以及窗簾的打開程度。
4.用于權利要求I所述ー種窗簾的智能手勢和語音控制系統的控制方法，其特征在于分別對采集到的手勢圖像和語音指令進行手勢識別和語音識別，控制器根據手勢識別過程或語音識別過程的判斷結果獨立地對窗簾進行控制或根據手勢識別過程和語音識別過程的判斷整合結果對窗簾進行控制；所述控制包括對窗簾的打開、閉合或指定打開程度的控制。
5.如權利要求4所述ー種窗簾的智能手勢和語音控制系統的控制方法，其特征在于所述手勢識別過程包括將采集的圖像進行預處理，去除圖像冗余信息，平滑和濾波；對預處理后的圖像進行檢測，將檢測到的手勢區域和背景區域分離；將分離后的手勢圖像提取手勢的特征值；對提取的特征值實現訓練和分類識別，將特征值與手勢數據庫中的相應手勢進行匹配，得到識別結果；根據識別結果輸出控制信息流。
6.如權利要求5所述的控制方法中，其特征在于所述語音識別過程包括采集大量的語音數據組成語料庫；對采集到不平穩的語音信號進行處理，使其變成簡短而平穩的隨機過程；提取每ー個簡短信號的多維特征向量；在對語料庫中訓練句子進行特征提取之后，就開始進行聲學建模工作，即利用語音多維特征向量進行聲學模型訓練；再在語法和語義的層面上結合語言的規則建立語言模型，即在給出固定的詞序列的前提下，設定每ー個詞序列與其前面所有詞序列的相關性，從而排除不期望的詞序列，輔助聲學模型構成完整的詞網絡，提高在模型庫中搜索的效率；在模型庫中根據已經建立的詞網絡中找到最佳路徑，得到識別結果；根據識別結果輸出控制信息流。
7.如權利要求5所述的控制方法中，其特征在于所述手勢數據庫是通過采集大量的手勢正負樣本進行特征值提取和分類訓練后所建立的。
8.如權利要求6所述的控制方法中，其特征在于，所述模型庫是通過構建控制窗簾所需要的語料庫，對語料庫中的語音數據進行預處理和特征提取后，進行聲學建模訓練，再結合語法和語義組成的。
全文摘要
本發明公開一種窗簾的智能手勢和語音控制系統及其控制方法。控制系統包括手勢采集單元、語音采集單元、識別單元、外接設備單元。其中，手勢采集單元是通過攝像頭獲取用戶的手勢動作，語音采集單元通過麥克風獲取用戶指令，在識別單元中分別對手勢和語音進行識別判斷后，根據識別后的信息流的時序關系，對兩個通道信息進行整合。根據整合結果，可對窗簾進行操作。本發明中的手勢控制和語音控制既可以獨立使用也可以聯合使用，讓用戶在智能家居中有更自然和諧的體驗。本發明結合手勢和語音同時控制窗簾，主要是為了減少現在家庭中手動開合窗簾所帶來的麻煩，減少家庭中遙控器的數量，同時也可以方便家庭中老人小孩以及行動不便者對窗簾的使用。
文檔編號G06K9/00GK102824092SQ20121032047
公開日2012年12月19日 申請日期2012年8月31日 優先權日2012年8月31日
發明者羅雅愉, 徐向民, 石嘉豪, 王羽 申請人:華南理工大學