一種基于機器人的兒童英語交互方法以及機器人與流程

本發明涉及機器人領域，具體涉及一種基于機器人的兒童英語交互方法以及機器人。

背景技術：

在針對兒童的教育場景中，英語教育是一個相當重要的教育環節。在通常的教育場景中，英語教育采用和其他教育領域一致的方式，基于書本教材進行教育指導。但是，枯燥的書本教育模式很容易令兒童產生厭倦情緒，從而影響教育質量。

另外，由于英語教育的最終目的是語言的應用，其必須包含聽說部分，而單純的書本教育無法滿足英語聽說訓練的要求。因此在現有的英語教育場景中，必須由指導教師配合書本對兒童進行教育。這不僅增加了教育的成本，而且大大限制了英語教育的執行場景。

技術實現要素：

本發明提供了一種基于機器人的兒童英語交互方法，所述方法包括：

采集多模態輸入數據并解析，確定當前是否存在針對兒童用戶的英語學習需求；

當存在所述英語學習需求時開啟英語應用，進行基于游戲的交互界面的多模態輸出，所述多模態輸出包括針對英語內容的語音輸出；

采集所述兒童用戶的語音回應并解析；

判斷所述語音回應是否與所述英語內容匹配，根據匹配情況生成并輸出多模態交互數據。

在一實施例中，根據匹配情況生成并輸出多模態交互數據，包括：

根據匹配情況更新所述兒童用戶的英文水平記錄；

根據更新后的所述英文水平記錄生成并輸出對應的多模態交互數據。

在一實施例中，根據匹配情況更新所述兒童用戶的英文水平記錄，其中：

進行多輪所述多模態輸出的輸出與所述語音回應的采集并進行匹配判斷，當匹配次數超過第一預設數時提高所述英文水平記錄中的記錄等級，當不匹配次數超過第二預設數時降低所述英文水平記錄中的記錄等級。

在一實施例中，根據更新后的所述英文水平記錄生成并輸出對應的多模態交互數據，包括：

輸出對應所述匹配情況的獎勵內容或批評內容，其中，所述獎勵內容與更新后的所述英文水平記錄匹配。

在一實施例中，根據更新后的所述英文水平記錄生成并輸出對應的多模態交互數據，包括：

輸出學習資料推薦內容，所述學習資料推薦內容與更新后的所述英文水平記錄匹配。

本發明還提出了一種智能機器人，所述機器人包括：

輸入采集模塊，其配置為采集多模態輸入數據；

輸入解析模塊，其配置為解析所述多模態輸入數據，確定當前是否存在針對兒童用戶的英語學習需求；

應用調用模塊，其配置為當當前存在所述英語學習需求時開啟英語應用；

輸出模塊，其配置為基于所述英語應用進行基于游戲的交互界面的多模態輸出，所述多模態輸出包括針對英語內容的語音輸出；

其中：

所述輸入采集模塊還配置為采集所述兒童用戶的語音回應；

所述輸入解析模塊還配置為解析所述語音回應，判斷所述語音回應是否與所述英語內容匹配；

所述輸出模塊還配置為根據匹配情況生成并輸出多模態交互數據。

在一實施例中：

所述機器人還包括英文水平記錄模塊，所述英文水平記錄模塊配置為根據所述匹配情況更新所述兒童用戶的英文水平記錄；

所述輸出模塊還配置為根據更新后的所述英文水平記錄生成并輸出對應的多模態交互數據。

在一實施例中：

所述輸出模塊、所述輸入采集模塊以及所述輸入解析模塊配置為進行多輪所述多模態輸出的輸出與所述語音回應的采集并進行匹配判斷；

所述英文水平記錄模塊配置為根據多次匹配的綜合匹配情況更新所述英文水平記錄，當匹配次數超過第一預設數時提高所述英文水平記錄中的記錄等級，當不匹配次數超過第二預設數時降低所述英文水平記錄中的記錄等級。

在一實施例中，所述輸出模塊還配置為：

輸出對應所述匹配情況的獎勵內容或批評內容，其中，所述獎勵內容與更新后的所述英文水平記錄匹配。

在一實施例中，所述輸出模塊還配置為：

輸出學習資料推薦內容，其中，所述學習資料推薦內容與更新后的所述英文水平記錄匹配。

根據本發明的方法可以在家庭環境中靈活的進行英語教育；相較于現有的英語教育方法，本發明的方法更能引發兒童的學習興趣、提高教育質量；與此同時，本發明的方法可以更加強化英語教育的聽說環節，從而提高兒童英語應用能力。

本發明的其它特征或優點將在隨后的說明書中闡述。并且，本發明的部分特征或優點將通過說明書而變得顯而易見，或者通過實施本發明而被了解。本發明的目的和部分優點可通過在說明書、權利要求書以及附圖中所特別指出的步驟來實現或獲得。

附圖說明

附圖用來提供對本發明的進一步理解，并且構成說明書的一部分，與本發明的實施例共同用于解釋本發明，并不構成對本發明的限制。在附圖中：

圖1以及圖2是根據本發明實施例的方法流程圖；

圖3是根據本發明實施例的方法的部分流程圖；

圖4以及圖5是根據本發明實施例的機器人系統結構簡圖。

具體實施方式

以下將結合附圖及實施例來詳細說明本發明的實施方式，借此本發明的實施人員可以充分理解本發明如何應用技術手段來解決技術問題，并達成技術效果的實現過程并依據上述實現過程具體實施本發明。需要說明的是，只要不構成沖突，本發明中的各個實施例以及各實施例中的各個特征可以相互結合，所形成的技術方案均在本發明的保護范圍之內。

在針對兒童的教育場景中，英語教育是一個相當重要的教育環節。在通常的教育場景中，英語教育采用和其他教育領域一致的方式，基于書本教材進行教育指導。但是，枯燥的書本教育模式很容易令兒童產生厭倦情緒，從而影響教育質量。

另外，由于英語教育的最終目的是語言的應用，其必須包含聽說部分，而單純的書本教育無法滿足英語聽說訓練的要求。因此在現有的英語教育場景中，必須由指導教師配合書本對兒童進行教育。這不僅增加了教育的成本，而且大大限制了英語教育的執行場景。

針對上述問題，本發明提出了一種兒童英語交互方法。具體的，本發明的兒童英語交互方法是基于機器人實現的。相較于枯燥的書本教育模式，基于機器人的交互教育模式更能引發兒童的興趣，尤其的，可以在機器人陪伴兒童玩耍的同時實現教育行為，從而最大程度上的避免兒童產生厭倦情緒。進一步的，基于機器人進行交互教育，可以擺脫傳統教育模式中必須有教師參與這一限制，不僅大大降低了教育成本，而且大大增強了教育實現場景的靈活性，從而提高了教育的可推廣性。

在本發明一實施例中，兒童英語交互的基本流程包括：采集多模態輸入數據并解析，確定當前是否存在針對兒童用戶的英語學習需求；當存在英語學習需求時開啟英語應用，進行包括英語內容的多模態輸出。基于上述流程就可以通過包括英語內容的多模態輸出將英語內容(教學內容)展現給兒童用戶，從而實現最基本的英文教育行為。

但是，單方向的英語內容展示并不能保證展示的英語內容是適合當前兒童用戶學習的英文知識，也不能確認在英語內容被展示后兒童用戶是否掌握對應的英文知識，因此就不能保證教育結果。針對上述問題，在本發明一實施例中，兒童英語交互過程還包括：

針對兒童用戶對于多模態輸出所展示的英語內容的回應的分析；

以及，基于該分析結果對之后交互教育行為的調整。

具體的，在一實施例中，機器人首先采集多模態輸入數據并解析，確定當前是否存在針對兒童用戶的英語學習需求；當存在英語學習需求時開啟英語應用，進行包含英語內容的多模態輸出；然后采集兒童用戶針對上一步多模態輸出的回應；解析該回應判斷兒童用戶的回應與輸出的英語內容是否匹配，從而判斷已輸出的英語內容對應的英文知識是否被兒童所掌握；最后基于上一步的判斷調整之后的交互教育輸出，根據匹配情況生成并輸出多模態交互數據。

例如，在一應用場景中，機器人向兒童用戶輸出“你知道apple的中文意思么？”。

如果兒童用戶回應“知道，蘋果”；機器人判斷“蘋果”與“apple”匹配，則機器人就可以確定兒童用戶掌握了“apple的中文意思”這一知識點，在接下來輸出的多模態交互數據就不需要包含教導該知識點的英語內容。

如果兒童用戶回應“桃子”；機器人判斷“桃子”與“apple”不匹配，則機器人就可以確定兒童用戶沒有掌握“apple的中文意思”這一知識點，在接下來輸出的多模態交互數據就可以包含教導該知識點的英語內容。

進一步的，考慮到英語教育的最終目的是語言的應用，其必須包含聽說部分。因此，在一實施例中，機器人所輸出的多模態輸出包括針對英語內容的語音輸出，這樣就能針對兒童的英文聽力進行教育指導。并且進一步的，機器人所輸出的多模態輸出還引導兒童進行語音回應，這樣就可以同時對兒童的英文聽說進行教育指導。

進一步的，為了避免兒童產生厭煩情緒，在本發明一實施例中，機器人開啟英語應用進行多模態輸出時是基于游戲的交互界面進行輸出的。這樣就相當于在陪伴兒童玩耍的同時實現英文教育，從而大大降低了兒童產生厭煩情緒的可能，提高了教育質量。

綜合上述執行流程，在本發明一實施例中，機器人首先采集多模態輸入數據并解析，確定當前是否存在針對兒童用戶的英語學習需求；當存在英語學習需求時開啟英語應用，進行基于游戲的交互界面的多模態輸出，該多模態輸出包括針對英語內容的語音輸出；然后采集兒童用戶的語音回應并解析；判斷兒童用戶的語音回應是否與已輸出的英語內容匹配，最后根據匹配情況生成并輸出多模態交互數據。

根據本發明的方法可以在家庭環境中靈活的進行英語教育；相較于現有的英語教育方法，本發明的方法更能引發兒童的學習興趣、提高教育質量；與此同時，本發明的方法可以更加強化英語教育的聽說環節，從而提高兒童英語應用能力。

接下來基于附圖詳細描述根據本發明實施例的方法的詳細流程，附圖的流程圖中示出的步驟可以在包含諸如一組計算機可執行指令的計算機系統中執行。雖然在流程圖中示出了各步驟的邏輯順序，但是在某些情況下，可以以不同于此處的順序執行所示出或描述的步驟。

如圖1所示，在一實施例中，機器人首先采集多模態輸入數據(步驟S100)；然后解析采集到的多模態輸入數據(步驟S110)；判斷當前是否存在針對兒童用戶的英語學習需求(步驟S120)；如果不存在，則啟動其他交互策略(步驟S180)。

如果存在英語學習需求，則開啟英語應用(步驟S130)；進行基于游戲的交互界面的多模態輸出，該多模態輸出包括針對英語內容的語音輸出(步驟S140)。

在這里，機器人所輸出的多模態輸出并不僅僅限于語音輸出，還可以包含文字、圖像以及肢體動作等多方式的輸出。

機器人在完成包括針對英語內容的語音輸出的多模態輸出后，采集兒童用戶針對該多模態輸出的語音回應(步驟S150)；解析采集到的語音回應進行匹配判斷，判斷語音回應是否與輸出的英語內容匹配(步驟S160)；最后根據匹配情況生成并輸出多模態交互數據(步驟S170)。

進一步的，在一實施例中，機器人在完成包括針對英語內容的語音輸出的多模態輸出后，并不僅僅只采集兒童用戶的語音回應，其還采集兒童用戶的動作、表情等其他形式的回應。對應的，機器人在采集到交互回應后進行的解析也并不僅僅是判斷語音回應是否與輸出的英語內容匹配，還包含針對兒童用戶學習意向的分析。

具體的，如圖2所示，在一實施例中，機器人首先采集多模態輸入數據(步驟S200)；然后解析采集到的多模態輸入數據(步驟S210)；判斷當前是否存在針對兒童用戶的英語學習需求(步驟S211)；如果不存在，則啟動其他交互策略(步驟S270)。

如果存在英語學習需求，則開啟英語應用(步驟S220)；進行基于游戲的交互界面的多模態輸出，該多模態輸出包括針對英語內容的語音輸出(步驟S230)。

機器人在完成包括針對英語內容的語音輸出的多模態輸出后，采集兒童用戶針對該多模態輸出的回應(步驟S240)；解析采集到的回應判斷兒童是否存在厭倦情緒(兒童用戶是否希望繼續進行英文教育)；如果存在厭倦情緒，則關閉英語應用(步驟S280)，啟動其他交互策略(步驟S290)，轉換兒童的情緒以便再次進行英文教育。這樣就能避免兒童對英語學習產生抵觸情緒，避免無視兒童學習意愿的強迫教育行為的發生，從而保證教育質量。

如果兒童不存在厭倦情緒，則機器人繼續進行英文教育交互行為，其進一步解析兒童回應中的語音回應進行匹配判斷，判斷語音回應是否與輸出的英語內容匹配(步驟S250)；并根據匹配情況生成并輸出多模態交互數據(步驟S260)；并且，在多模態交互數據輸出完畢后返回步驟S240，再次采集兒童回應，實現英文教育交互行為的循環執行，直到英文教育交互行為完成或者兒童中途退出。

在實施英文教育的過程中，保證英文教育質量關鍵點之一在于令展示給兒童的英文內容與當前兒童用戶自身的英文實際水平匹配。為了實現上述目的，在本發明一實施例中，建立了用于描述兒童用戶自身英文水平的英文水平記錄。在機器人進行多模態輸出時，令多模態輸出所包含的英文內容與兒童用戶的英文水平記錄相匹配，這樣就能保證機器人所展示的英文內容符合兒童的實際英文水平。

進一步的，考慮到兒童的英文水平是一個不斷變換的變量，隨著英文教育的進行，其不可能維持一個固定的狀態。因此，在一實施例中，機器人并不是調用一個固定不變的英文水平記錄來進行包含的英文內容的多模態輸出，而是根據兒童用戶的反饋不斷更新其對應的英文水平記錄，根據最新的英文水平記錄生成并輸出下一步的多模態交互數據。

具體的，如圖3所示，在一實施例中，機器人開啟英語應用(步驟S330)；進行基于游戲的交互界面的多模態輸出，該多模態輸出包括針對英語內容的語音輸出(步驟S340)。在步驟S340中，機器人可以基于之前建立的英文水平記錄生成多模態輸出，也可以在并不存在已建立好的英文水平記錄時基于英語應用預設參數生成多模態輸出。

機器人在完成包括針對英語內容的語音輸出的多模態輸出后，采集兒童用戶針對該多模態輸出的語音回應(步驟S350)；解析采集到的語音回應進行匹配判斷，判斷語音回應是否與輸出的英語內容匹配(步驟S360)；根據匹配情況更新英文水平記錄(或者創建英文水平記錄)(步驟S370)；最后根據更新后的英文水平記錄(新生成的英文水平記錄)生成并輸出多模態交互數據(步驟S380)。

進一步的，在一實施例中，為了確定兒童用戶的英文水平，步驟S340中的多模態輸出所包含的內容為針對英文知識點的測試。例如“請說出蘋果的英文名稱”(測試單詞含義)或者“How are you？”(測試語境對話)。

進一步的，在一實施例中，采用等級制描述兒童的英文水平。在步驟S340中，針對兒童用戶原有的英文水平記錄所記錄的等級(當不存在英文水平記錄選擇默認設置的等級)選取對應的測試內容；在步驟S370中，如果兒童用戶的語音回應與輸出的測試內容的匹配情況滿足升級需求則提高英文水平記錄中的記錄等級；如果兒童用戶的語音回應與輸出的測試內容的匹配情況達到降級狀態則降低英文水平記錄中的記錄等級；如果兒童用戶的語音回應與輸出的測試內容的匹配情況不滿足升級需求但也未達到降級狀態，則維持英文水平記錄中的記錄等級不變。

進一步的，為了保證獲取到的英文水平記錄可以正確的反應兒童用戶的實際英文水平，在一實施例中，采用多知識點測試來確定兒童用戶的英文水平。具體的，在步驟S340中，針對兒童用戶原有的英文水平記錄所記錄的等級(當不存在英文水平記錄選擇默認設置的等級)選取對應的測試內容，該測試內容包含多個不同的英文知識點。在步驟S360中，針對測試內容中的每個英文知識點對語音回音進行匹配判斷。

進一步的，為了降低包含測驗內容的多模態輸出的生成難度以及匹配判斷的執行難度，在一實施例中，采用多知識點多輪測試來確定兒童用戶的英文水平。具體的，針對兒童用戶原有的英文水平記錄所記錄的等級(當不存在英文水平記錄選擇默認設置的等級)選取對應的測試內容，該測試內容包含多個不同的英文知識點。然后進行多輪多模態輸出的輸出與語音回應的采集并進行匹配，即，重復多次執行步驟S340、S350以及S360。每次執行步驟S340時多模態輸出所包含的英文內容針對一個英文知識點。

最后整合多次步驟S360的匹配判斷結果以執行步驟S370。具體的，當匹配次數超過第一預設數時提高英文水平記錄中的記錄等級，當不匹配次數超過第二預設數時降低英文水平記錄中的記錄等級。例如，進行10輪多模態輸出，其中，兒童用戶的語音回音匹配次數大于8時提高英文水平記錄中的記錄等級；兒童用戶的語音回音匹配次數小于3時降低英文水平記錄中的記錄等級；兒童用戶的語音回音匹配次數為4～7次是維持英文水平記錄中的記錄等級不變。

進一步的，在一實施例中，采用多次驗證的方式來確保英文水平記錄中的記錄等級可以實際反映兒童真實的英文水平。具體的，針對多個不同的英文水平等級多次匹配判斷，根據每個英文水平等級的匹配情況對該英文等級進行打分，匹配次數越多分值越高。然后綜合所有英文水平等級的分值來確定兒童用戶實際的英文水平等級(英文水平記錄中的記錄等級)。

例如，以滿分10分為例，多次匹配判斷后，級別1是滿分10分、級別2是6分，級別3是2分，級別4是0分。那么用戶的英文水平判定為級別2。

進一步的，當原有的英文水平記錄中的記錄等級為級別2時，更新英文水平記錄時英文測試內容主要著重在級別2和級別3，少量出級別4和級別5。如果匹配判斷結果為級別2是滿分10分、級別3是6分，級別4是2分，級別5是0分，那么用戶的英文水平更新為級別3；如果匹配判斷結果為級別2是2分、級別3是0分，級別4是0分，級別5是0分，那么用戶的英文水平更新為級別1；如果匹配判斷結果為級別2是6分、級別3是2分，級別4是0分，級別5是0分，那么用戶的英文水平維持級別2。

進一步的，在一實施例中，為了維持兒童對英文學習的興趣，在步驟S380中，機器人不僅僅輸出下一步的英文知識教育內容，還輸出對應匹配情況的獎勵內容或批評內容，

具體的，當兒童用戶的語音回應與機器人輸出的英文內容匹配時，機器人向兒童用戶輸出獎勵內容以夸獎兒童用戶。當兒童用戶的語音回應與機器人輸出的英文內容不匹配時，機器人向兒童用戶輸出批評內容以鞭策兒童用戶接下來認真學習。例如，當兒童用戶答對時(語音回應與機器人輸出的英文內容匹配時)，機器人表情是笑臉；答錯時(語音回應與機器人輸出的英文內容不匹配時)，機器人表情是哭臉。

進一步的，在一實施例中，機器人采用漸進的方式輸出獎勵內容，獎勵內容與更新后的英文水平記錄匹配。即，將獎勵內容分割成多個小部分，兒童用戶每提高一個等級就會獲取到一部分。例如，在游戲界面中展示一個可愛的動物形象，隨著兒童用戶英文等級的升級，從一個局部(腦袋)，每次升級出現一個部分(胳膊、手、四肢、尾巴等)，最后長全。這樣，就可以有效的提高兒童用戶學習英文知識的興趣。

進一步的，在一實施例中，在步驟S380中，機器人還輸出學習資料推薦內容，該學習資料推薦內容與更新后的英文水平記錄匹配。這樣，兒童用戶就可以清楚地了解最適合當前自己英文水平的學習資料，從而實現更有效率的英文學習。

基于本發明提出的方法，本發明還提出了一種智能機器人。如圖4所示，在一實施例中，機器人包括：

輸入采集模塊410，其配置為采集多模態輸入數據；

輸入解析模塊420，其配置為解析所述多模態輸入數據，確定當前是否存在針對兒童用戶的英語學習需求；

應用調用模塊430，其配置為當當前存在英語學習需求時開啟英語應用；

輸出模塊440，其配置為基于英語應用進行基于游戲的交互界面的多模態輸出，該多模態輸出包括針對英語內容的語音輸出；

其中：

輸入采集模塊410還配置為采集兒童用戶針對輸出模塊440輸出的英語內容的語音回應；

輸入解析模塊420還配置為解析語音回應，判斷語音回應是否與輸出模塊440輸出的英語內容匹配；

輸出模塊440還配置為根據輸入解析模塊420獲取的匹配情況生成并輸出多模態交互數據。

進一步的，在一實施例中，如圖5所示，機器人還包括英文水平記錄模塊550。輸出模塊540基于英語應用進行基于游戲的交互界面的多模態輸出后；輸入采集模塊410采集兒童用戶針對輸出模塊440輸出的英語內容的語音回應；輸入解析模塊420解析語音回應，判斷語音回應是否與輸出模塊440輸出的英語內容匹配；英文水平記錄模塊550根據匹配情況更新兒童用戶的英文水平記錄；輸出模塊540根據更新后的英文水平記錄生成并輸出對應的多模態交互數據。

進一步的，在一實施例中，英文水平記錄模塊配置為根據輸入解析模塊獲取的匹配情況更新英文水平記錄。具體的，輸出模塊、輸入采集模塊以及輸入解析模塊配置為進行多輪多模態輸出的輸出與語音回應的采集并進行匹配判斷。英文水平記錄模塊配置為根據多次匹配的綜合匹配情況更新所述英文水平記錄，當匹配次數超過第一預設數時提高所述英文水平記錄中的記錄等級，當不匹配次數超過第二預設數時降低所述英文水平記錄中的記錄等級。

進一步的，在一實施例中，輸出模塊還配置為：輸出包含對應匹配情況的獎勵內容或批評內容，其中，獎勵內容與更新后的英文水平記錄匹配。

進一步的，在一實施例中，輸出模塊還配置為：根據更新后的英文水平記錄生成并輸出對應的包含學習資料推薦內容的多模態交互數據，其中，學習資料推薦內容與更新后的英文水平記錄匹配。

雖然本發明所公開的實施方式如上，但所述的內容只是為了便于理解本發明而采用的實施方式，并非用以限定本發明。本發明所述的方法還可有其他多種實施例。在不背離本發明實質的情況下，熟悉本領域的技術人員當可根據本發明做出各種相應的改變或變形，但這些相應的改變或變形都應屬于本發明的權利要求的保護范圍。