專利名稱：構造用戶界面的方法
技術領域：
本發明涉及一種構造多模態(multimodal)用戶界面(多模態UI)的方法。
背景技術：
多模態UI使用戶能夠通過多個模態中用戶所期望的模態輸入信息，例如GUI輸入和語音輸入，這樣對用戶來說非常方便。因此，需要一種輕松構造這種多模態UI的工具。特別是，當構造與GUI輸入和語音輸入相兼容的UI時，可能經常執行多余的操作，例如對每個GUI和語音UI執行相同的操作。例如，假定設計者構造這樣一個UI，其中將具有項“A”、“B”、和“C”的下拉式菜單置于屏幕上，并且也可以以語音輸入這些項“A”、“B”、和“C”。在這種情況下，設計者生成具有項“A”、“B”、和“C”的下拉式菜單，并將輸入結果綁定(bind)到結果存儲區。此外，設計者生成語音識別語法，以通過語音輸入項“A”、“B”、和“C”，從而生成語音輸入組件(component)，并將輸入結果綁定到結果存儲區。這樣，對于項“A”、“B”、和“C”設計者必須重復相同的操作。在這種情況下，需要有一種用于減少多余操作并輕松構造多模態UI的技術。
關于UI的構造，已經公開一種通過使用GUI操作來輕松設計UI的方法(例如，日本特開平09-114623號和09-062469號公報)。然而，這些已知的技術沒有考慮到模態。
另一方面，日本特開2003-167598號公報公開了一種通過解釋GUI的邏輯，在不構造語音UI的情況下來實現多模態UI的技術。然而，在該已知技術中，作為多模態UI的操作依賴于解釋技術，因此經常不能實現設計者所期望的多模態UI。
發明內容
本發明是考慮到這些情況而做出的，并用于輕松構造多模態UI。特別是，當設計者構造與GUI輸入和語音輸入相兼容的UI時，本發明用于簡化由設計者所執行的多余操作。
根據本發明的一個方面，用于構造用戶界面的方法包括選擇步驟，用于選擇一個或多個第一組件；接收步驟，用于接收將該第一組件轉換成第二組件的指令，該第二組件的類型與該第一組件的類型不同；轉換步驟，用于將對應于該第一組件的數據轉換成對應于該第二組件的數據；以及顯示控制步驟，用于控制顯示與在轉換步驟中所轉換的數據相關的該第二組件。
根據本發明的另一方面，提供一種構造用戶界面的裝置，包括選擇裝置，用于選擇一個或多個第一組件；接收裝置，用于接收將該第一組件轉換成第二組件的指令，該第二組件的類型與該第一組件的類型不同；轉換裝置，用于將對應于該第一組件的數據轉換成對應于該第二組件的數據；以及顯示控制裝置，用于控制顯示與通過轉換裝置所轉換的數據相關的該第二組件。
通過以下參考附圖對典型實施例的說明，本發明的其它特征是顯而易見的。
圖1是示出根據本發明的第一實施例用于構造多模態UI的方法的模塊結構的框圖；圖2示出在根據第一實施例的方法中組件未被轉換的例子；圖3示出根據第一實施例的方法的例子；圖4示出根據本發明的第二實施例用于構造多模態UI的方法的例子；圖5示出根據第二實施例的方法的另一例子；圖6示出根據第二實施例的方法的另一例子；圖7示出根據第二實施例的方法的另一例子；圖8示出根據第二實施例的方法的另一例子；圖9示出根據第二實施例的方法的另一例子；圖10示出根據第二實施例的方法的另一例子；圖11示出在根據第二實施例的方法中設置數據模型的例子；圖12示出在根據本發明的第三實施例用于構造多模態UI的方法中向組件添加項的例子；圖13示出在根據本發明的第四實施例用于構造多模態UI的方法中使用同義詞列表的例子；圖14示出在根據第四實施例的方法中使用同義詞列表的另一例子；圖15是示出根據第一實施例用于構造多模態UI的方法的流程圖；圖16是示出根據第二實施例用于構造多模態UI的方法的流程圖；圖17是示出在根據第一實施例的方法中的轉換處理的流程圖；圖18包括在根據第二實施例的方法中定義轉換前后的組件之間的對應性的表格。
具體實施例方式
下面參考附圖來說明根據本發明的實施例用于構造多模態用戶界面(UI)的方法。
第一實施例圖1是示出根據第一實施例用于構造多模態UI的方法的模塊結構的框圖。在圖1中，該模塊結構包括輸入單元101、存儲單元102、控制單元103、組件轉換單元104、顯示單元105、語音識別語法分析單元106、以及語音識別語法生成單元107。
該輸入單元101包括輸入裝置，例如按鈕、鍵盤、鼠標、觸摸面板、輸入筆、或輸入板，并起例如輸入界面的功能，以向裝置輸入各種指令。
該存儲單元102包括硬盤驅動器，以存儲各種信息；以及存儲介質，例如只讀光盤(CD-ROM)、或者只讀存儲器數字通用光盤(DVD-ROM)，以向信息處理系統提供各種信息。此外，硬盤驅動器和存儲介質存儲各種應用程序、用戶界面控制程序、以及執行各程序所需的各種數據。在隨后的階段，在控制單元103的控制下，將這些程序和數據讀入該系統。
該控制單元103包括工作存儲器、中央處理單元(CPU)、或者微處理單元(MPU)，并通過讀取存儲在存儲單元102中的程序和數據來執行各種處理。
在控制單元103的控制下，該組件轉換單元104轉換輸入/輸出組件。
該顯示單元105包括顯示裝置，例如液晶顯示器，并顯示由圖像和字符所組成的各種信息。觸摸面板顯示裝置也可被用作顯示單元105。在這種情況下，顯示單元105具有GUI輸入單元的功能(向系統輸入各種指令的功能)。
該語音識別語法分析單元106分析語音識別語法，并提取識別詞匯。該語音識別語法生成單元107生成語音識別語法，以識別給定的詞匯。
在下面的說明中，以用于構造多模態UI的設計工具為例來說明。
參考圖2，在編輯屏幕201上編輯多模態UI。被置于編輯屏幕201上的組件203是具有如附圖標記204所表示的項“打印”、“復制”、和“傳真”的下拉式組件。
通過選擇和復制組件203，并將其粘貼在編輯屏幕上(從點擊鼠標右鍵的菜單205中選擇“粘貼”)，獲得編輯屏幕202。在這種情況下，如同已知的設計工具那樣，放置與組件203具有相同項(204)的下拉式組件206。
另一方面，如圖3所示，如果以語音輸入組件的形式選擇、復制、和粘貼組件203(從點擊鼠標右鍵的菜單205中選擇“粘貼語音輸入組件”)，則獲得編輯屏幕301。在這種情況下，與已知的設計工具不同，在屏幕上放置將組件203的項作為其識別詞匯的語音輸入組件302。這時，生成語音輸入組件302的語音識別語法303。該語音識別語法303接受語音“打印”、“復制”、和“傳真”。這樣，將對應于組件203的數據轉換成對應于語音輸入組件302的數據。基于W3C(萬維網聯盟)的SRGS規范(http//www.w3.org/TR/speech-grammar/)，來說明語音識別語法303。然而，描述方法不局限于SRGS。
下面，參考圖15所示的流程圖，來說明用于將輸入/輸出組件轉換成不同類型的輸入/輸出組件(圖3所示的例子)的方法。用于運行該流程圖的程序被存儲在存儲單元102中，并由控制單元103來執行。
在圖15中，在步驟S1501，還沒有選擇輸入/輸出組件。在已選擇輸入/輸出組件之后(步驟S1501中的是)，處理等待，直到提供轉換組件類型的指令(步驟S1502)。當如圖2中選擇“粘貼”時，不轉換組件的類型。因此，如同已知的技術那樣，粘貼相同類型的組件。
另一方面，如圖3中當組件的類型在轉換前后不同時，提供轉換組件類型的指令。在已經提供轉換組件類型的指令之后(步驟S1502中的是)，處理等待，直到指定轉換后的組件類型(步驟S1503)。
在已指定組件類型之后(步驟S1503中的是)，組件轉換單元104轉換組件(步驟S1504)。下面參考圖17所示的流程圖，來說明通過組件轉換單元104所執行的轉換組件的處理。運行該流程圖的程序被存儲在存儲單元102中，并由控制單元103來執行。
首先，在步驟S1701，對待轉換的組件進行分析。例如，當組件是由圖2中的附圖標記204所表示的下拉式組件時，提取項“打印”、“復制”、和“傳真”。當待轉換的組件是語音輸入組件時，語音識別語法分析單元106提取可通過使用語音輸入組件的語音識別語法輸出的識別結果(解釋結果)的列表。該識別結果的列表是基于語音識別語法的規范，通過分析語音識別語法來提取的。通過使用已知的技術來分析語音識別語法。在圖3所示的語音識別語法303的例子中，提取“打印”、“復制”、和“傳真”。當有多個組件需要轉換時，針對每個組件進行提取。當提取兩個或更多個相同項時，這些項被合為一個。
當將組件轉換成語音輸入組件時(步驟S1702中的是)，語音識別語法生成單元107生成語音識別語法(步驟S1703)。在已經指定識別詞匯之后，可以通過使用已知的技術來生成語音識別語法。這里，通過使用在步驟S1701中所提取的項作為識別詞匯來生成語音識別語法。
然后，轉換組件(步驟S1704)。例如，當將組件轉換成下拉式組件時，生成具有在步驟S1701中所提取的項(在上述例子中為“打印”、“復制”、和“傳真”)的下拉式組件。當將組件轉換成語音輸入組件時，使用在步驟S1703中所生成的語音識別語法。
當轉換前的組件具有數據模型設置時(步驟S1705中的是)，在轉換后的組件中設置該數據模型(步驟S1706)。特別地，在轉換前的項中所設置的數據模型被設置在轉換后的對應項中(通過使用圖11，在下面的第二實施例中來說明特定的例子)。
在圖3所示的上述例子中，組件被復制和粘貼。可選地，組件可被剪切和粘貼，或可被拖放在另一屏幕上。此外，還可以從菜單中選擇“轉換”。
如果在轉換后更新轉換前的組件的信息，則可以詢問設計者是否更新轉換后的組件的信息。
如上所述，根據第一實施例，設計者可以移動或復制現有的組件，而不管組件的類型。因此，可以減少多余的操作。
第二實施例下面說明根據本發明的第二實施例用于構造多模態UI的方法。在本實施例中，說明指定轉換后的組件的模態的情況。在下面的說明中，以用于構造多模態UI的設計工具為例。
參考圖4，在編輯屏幕401中編輯多模態UI。該編輯屏幕401具有GUI編輯屏幕，用于編輯GUI組件；以及語音UI編輯屏幕，用于編輯語音組件。被置于編輯屏幕401的GUI編輯屏幕上的組件403為下拉式組件，并具有如圖2中的附圖標記204所表示的項“打印”、“復制”、和“傳真”。
通過選擇和復制組件403，并將其粘貼在語音UI編輯屏幕上，獲得編輯屏幕402。在這種情況下，將組件403的項作為其識別詞匯的語音輸入組件405被置于編輯屏幕402的語音UI編輯屏幕上。該下拉式菜單可以僅包括如圖2所示的菜單204中的選項。可選地，該下拉式菜單還可以包括除該選項外的項，例如如圖5所示的菜單504中位于頂端的“選擇功能”。該頂端項“選擇功能”不是一個選項，因此不以語音輸入。可以詢問設計者是否以語音輸入頂端項。在圖4所示的例子中，詢問設計者是否以語音輸入頂端項“打印”(404)。當選擇“是”時，將項“打印”包括在識別詞匯中。這時生成的語音輸入組件405的語音識別語法與圖3所示的語音識別語法303相同，并接受語音“打印”、“復制”、和“傳真”。
下面參考圖16所示的流程圖，來說明當指定轉換后的組件的模態時(圖4所示的例子)所使用的轉換方法。用于運行該流程圖的程序被存儲在存儲單元102中，并由控制單元103來執行。在圖16中，步驟S1501、S1502、和S1504與圖15中的相同。
在已提供轉換輸入/輸出組件的指令后(步驟S1501中的是和步驟S1502中的是)，處理等待，直到指定轉換后的組件的模態(步驟S1601)。在圖4所示的例子中，復制組件403，并將其粘貼在語音UI編輯屏幕上。因此，可將其理解為轉換后的組件的模態是語音。
在已經指定轉換后的組件的模態之后(步驟S1601)，列出轉換后的組件的備選類型。如圖18所示，在存儲單元102中提前定義輸入/輸出組件(表1801)和與轉換前的組件相對應的轉換后的輸入/輸出組件的備選類型(表1802)。然后，參考表1802列出備選類型。當僅有一個備選類型時(步驟S1602中的是)，以與第一實施例中相同的方式轉換組件(步驟S1504)。在圖4所示的例子中，圖18中所示的表1802指出與轉換前的下拉式組件相對應的轉換后的備選類型只有一種，即語音輸入組件。因此，將組件轉換成語音輸入組件。這時，可以詢問設計者是否以語音輸入頂端項“打印”(圖4中的404)。另一方面，當有多個備選類型時(步驟S1602中的否)，呈現該多個備選類型，以便設計者可以選擇其中之一(步驟S1603)。在設計者已選擇類型之后(步驟S1604中的是)，以與第一實施例中相同的方式轉換組件(步驟S1504)。
接著來說明根據該實施例的另一操作例子。圖5示出當轉換下拉式組件時，在識別詞匯中不包括頂端項的例子。
參考圖5，在如同圖4中所示的編輯屏幕401那樣的編輯屏幕501中編輯多模態UI。被置于編輯屏幕501的GUI編輯屏幕上的組件503是下拉式組件，并具有如菜單504中所示的項“選擇功能”、“打印”、“復制”、和“傳真”。通過選擇和復制組件503，并將其粘貼在語音UI編輯屏幕上，獲得編輯屏幕502。由于該組件被粘貼在語音UI編輯屏幕上，因此轉換后的組件的模態是語音(步驟S 1601中的是)。根據圖18中所示的表1802，判定轉換后的組件為語音輸入組件(步驟S1602中的是)，因此，將組件503的項作為其識別詞匯的語音輸入組件506被置于編輯屏幕502的語音UI編輯屏幕上。然而，在該例子中，當在問題505是否以語音輸入頂端項(“選擇功能”)中選擇“否”時，在識別詞匯中不包括項“選擇功能”。這時所生成的語音輸入組件506的語音識別語法與圖3所示的語音識別語法303相同，并接受語音“打印”、“復制”、和“傳真”。
圖6示出轉換多個組件的例子。在圖6中，按鈕“打印”、“復制”、和“傳真”被置于編輯屏幕601的GUI編輯屏幕上。通過選擇和復制這三個組件(603)，并將它們粘貼在語音UI編輯屏幕上，獲得編輯屏幕602。由于組件被粘貼在語音UI編輯屏幕上，因此轉換后的組件的模態是語音(步驟S1601中的是)。根據圖18中所示的表1802，判定轉換后的組件為語音輸入組件(步驟S1602中的是)，因此，將這三個組件(603)的項作為其識別詞匯的語音輸入組件604被置于語音UI編輯屏幕上。這時所生成的語音輸入組件604的語音識別語法與圖3所示的語音輸入語法303相同，并接受語音“打印”、“復制”、和“傳真”。
圖7示出轉換多個組件的另一例子。在圖7中，標簽(文本)“功能”和按鈕“打印”、“復制”、和“傳真”被置于編輯屏幕701的GUI編輯屏幕上。通過選擇和復制這四個組件(703)，并將它們粘貼在語音UI編輯屏幕上，獲得編輯屏幕702。由于這些組件被粘貼在語音UI編輯屏幕上，因此轉換后的組件的模態是語音(步驟S 1601中的是)。根據圖18中所示的表1802，判定轉換后的組件為語音輸入組件(步驟S1602中的是)，因此，將這四個組件(703)的項作為其識別詞匯的語音輸入組件704被置于語音UI編輯屏幕上。這時所生成的語音輸入組件704的語音識別語法可以接受語音“功能”、“打印”、“復制”、和“傳真”。可選地，用于提取識別詞匯的方法可以根據組件的類型而改變。例如，從標簽中所提取的項可以被添加在從另一組件中所提取的詞匯的前面。當執行該提取時，如語音識別語法705中所示，接受語音“打印”、“復制”、“傳真”、“功能打印”、“功能復制”、和“功能傳真”。
圖8示出轉換后的組件具有多個備選類型的例子。在圖8中，具有圖3所示的語音識別語法303的語音輸入組件803被置于編輯屏幕801的語音UI編輯屏幕上。通過選擇和復制組件803，并將其粘貼在GUI編輯屏幕上，獲得編輯屏幕802。由于組件被粘貼在GUI編輯屏幕上，因此轉換后的組件的模態是GUI(步驟S1601中的是)。根據圖18中所示的表1802，轉換后的組件的備選類型有下拉式、列表框、單選按鈕、復選框、文本框和多個GUI組件(按鈕、標簽)。因此，如列表804和805所示來呈現組件的備選類型(S1603)。在該例子中，選擇“按鈕”(步驟S1604中的是)，以便將與語音輸入組件803的識別詞匯“打印”、“復制”、和“傳真”相對應的三個按鈕(806)置于編輯屏幕802的GUI編輯屏幕上。如上所述，采用已知的技術，通過分析語音識別語法，列出識別詞匯。
圖9示出轉換后的組件具有多個備選類型的另一例子。在圖9中，具有圖3所示的語音識別語法303的語音輸入組件904被置于編輯屏幕901的語音UI編輯屏幕上。通過選擇和復制組件904，并將其粘貼在GUI編輯屏幕上，獲得編輯屏幕902。如同上述例子那樣，將語音輸入組件904的識別詞匯作為其項的下拉式組件906被置于GUI編輯屏幕902上。這里，當列出識別詞匯時，可以標簽(文本)的形式輸出解釋識別詞匯的解釋名稱。例如，在圖3所示的語音識別語法303中，與解釋名稱“功能”一起輸出結果“打印”、“復制”、和“傳真”。屏幕903是解釋名稱“功能”(907)作為標簽被輸出的例子。
圖10示出轉換后的組件具有多個備選類型的另一例子。在圖10中，具有語音識別語法1004的語音輸入組件1003被置于編輯屏幕1001的語音UI編輯屏幕上。通過選擇和復制組件1003，并將其粘貼在GUI編輯屏幕上，獲得編輯屏幕1002。由于組件被粘貼在GUI編輯屏幕上，因此轉換后的組件的模態是GUI(步驟S1601中的是)。根據圖18中所示的表1802，轉換后的組件的備選類型有下拉式、列表框、單選按鈕、復選框、文本框、和多個GUI組件(按鈕、標簽)。因此，在列表1005中呈現了組件的備選類型(步驟S1603)。在該例子中，選擇文本框(步驟S1604)，因此，與語音輸入組件1003的識別詞匯相對應的標簽和文本框(1006)被置于GUI編輯屏幕1002上。這里，語音識別語法1004接受語音“從東京、橫濱、大阪和神戶中的任一個到東京、橫濱、大阪和神戶中的任一個”的語音。這時，“從”后的詞匯，即“東京、橫濱、大阪和神戶中的任一個”，與解釋名稱“從”相聯系。同樣地，“到”后的詞匯，即“東京、橫濱、大阪和神戶中的任一個”，與解釋名稱“到”相聯系。將這些解釋名稱作為解釋結果輸出。這樣，由于輸出了兩個解釋結果(從和到)，因此放置兩個文本框。如圖10所示的例子中，文本框左邊的標簽表示解釋名稱。
圖11示出待轉換的組件具有對數據模型的綁定設置的例子。圖11所示的例子基本上與圖10所示的例子相同，其不同之處在于語音輸入組件1103具有對數據模型1104的綁定設置1105。該數據模型是通過UI從用戶獲得的數據的定義。在數據模型1104中，通過表示離開地方的<appDeparture>標簽和表示目的地的<appDestination>標簽，來定義兩個字符串數據。
綁定設置是定義哪個值被綁定到哪個數據模型。在綁定設置1105中，將值ID＝從(被解釋為解釋名稱“從”的值)綁定到由上述<appDeparture>標簽所定義的數據。此外，將值ID＝到(被解釋為解釋名稱“到”的值)綁定到由上述<appDestination>標簽所定義的數據。例如，假定輸入語音“從東京到橫濱”，并且假定通過語音識別輸出解釋結果“從＝東京”和“到＝橫濱”。在這種情況下，將“東京”設置到由<appDeparture>標簽所定義的數據模型，而將“橫濱”設置到由<appDestination>標簽所定義的數據模型。
參考圖11如上所述，通過選擇和復制語音輸入組件1103，并將其粘貼在GUI編輯屏幕上，來放置文本框和標簽1106。換句話說，放置標簽“從”和“到”、與解釋結果“從”相對應的文本框(在轉換時設置ID＝texbox_from)、以及與解釋結果“到”相對應的文本框(在轉換時設置ID＝texbox_to)。
因此，由于解釋結果“從”被綁定到數據模型，因此當轉換組件時，處理從步驟S1705(是)進入步驟S1706(參見圖17)。然后，將相應的文本框(ID＝texbox_from)綁定到<appDeparture>(步驟S1706)。同樣，在解釋結果“到”中，將相應的文本框(ID＝texbox_to)綁定到<appDestination>(步驟S1706)。因此，獲得綁定設置1107。
如上所述，根據第二實施例，如同在第一實施例中那樣，設計者可以移動或復制現有的組件，而不管組件的類型。因此，可以減少多余的操作。
第三實施例下面說明根據本發明的第三實施例用于構造多模態UI的方法。在該實施例中，當提供將輸入/輸出組件添加到另一輸入/輸出組件的指令時，執行轉換。下面，以用于構造多模態UI的設計工具為例。
參考圖12，按鈕“打印”、“復制”、和“傳真”(603)被置于GUI編輯屏幕1201上。另一方面，通過選擇、復制、和粘貼這三個組件(603)所生成的語音輸入組件604被置于語音UI編輯屏幕1202上(同樣參見第二實施例中的圖6)。
在這種情況下，如果在GUI編輯屏幕1201上新生成按鈕“郵寄”1203，并將其拖放到語音輸入屏幕1202上的語音輸入組件604中，則執行以下處理。
由于按鈕1203表示“郵寄”(步驟S1701)，因此將識別詞匯“郵寄”添加到通過轉換所生成的語音輸入組件604的語音識別語法303中，以生成語音識別語法1205(步驟S1702中的是，并進入步驟S1703)。因此，語音識別語法1205接受語音“打印”、“復制”、“傳真”、和“郵寄”。
然后，在步驟S1704，將語音輸入組件的語音識別語法改變為語音識別語法1205。當按鈕1203具有數據模型設置時(步驟S1705中的是)，如以上第二實施例中所述執行設置(步驟S1706)。
在上述例子中，所添加組件的模態與現有組件的模態不同。然而，這兩個模態也可以是相同的，例如，可以將按鈕的項添加到下拉式組件的項中。
如上所述，根據第三實施例，設計者可以通過使用現有的組件來添加組件的項。因此，可以減少多余的操作。
第四實施例下面說明根據本發明的第四實施例用于構造多模態UI的方法。在該實施例中，考慮同義詞，對組件進行轉換。在下面的說明中，以用于構造多模態UI的設計工具為例。
參考圖13，按鈕“語音”1303被置于GUI編輯屏幕1301上。通過選擇和復制按鈕1303，并將其粘貼在語音UI編輯屏幕1302上，如以上第二實施例中所述，生成語音輸入組件1304。然而，該實施例的不同之處在于當對待轉換的組件進行分析時(步驟S1701)，參考存儲在存儲單元102中的同義詞列表1305。當同義詞存在時，該同義詞被添加到識別詞匯。例如，“語音”的同義詞，例如“聲音”和“聲學”，被添加到識別詞匯(1306)。因此，語音輸入組件1304不僅可以接受“語音”，而且也可以接受其同義詞“聲音”和“聲學”。
在圖14中，語音輸入組件1403被置于語音UI編輯屏幕1401上。語音輸入組件1403具有語音識別語法1306。當選擇、復制語音輸入組件1403，并將其粘貼在GUI編輯屏幕1402上時，如上述例子中，在分析待轉換的組件期間，參考同義詞列表1305(步驟S1701)。在這種情況下，語音識別語法1306的識別詞匯包括同義詞(“語音”、“聲音”、和“聲學”)，以便選擇位于同義詞樹的頂端的術語，并將同義詞合在一起。換句話說，只提取“語音”作為分析語音輸入組件的結果，并將按鈕“語音”1404置于GUI編輯屏幕1402上。
如上所述，根據第四實施例，在考慮同義詞的同時來轉換組件。因此，設計者在轉換后無需添加同義詞，從而可以減少多余的操作。而且，除同義詞外，也可應用相關的術語例如近義詞。
在第一到第四實施例中，已經說明了與GUI編輯和語音UI編輯相關的組件的轉換。然而，本發明也可適用于使用手寫字符識別的UI和使用姿態識別的UI。
本發明也可以這樣來實現向系統和裝置提供存儲實現上述實施例的功能的軟件的程序代碼的存儲介質，并允許該系統或裝置的計算機(或CPU或MPU)來讀取并執行該程序代碼。
在這種情況下，從存儲介質讀取的程序代碼實現上述實施例的功能，因此，存儲程序代碼的存儲介質構成了本發明的實施例。
用于提供程序代碼的存儲介質的例子包括軟盤、硬盤、光盤、磁光盤、CD-ROM、CD-R、磁帶、非易失性存儲卡、和ROM。
通過允許計算機執行所讀取的程序代碼，可以實現上述實施例的功能。同樣，通過允許在計算機中運行的操作系統(OS)等，基于程序代碼的指令，執行部分或全部的實際處理，也可以實現上述實施例的功能。
此外，在將從存儲介質讀取的程序代碼寫入插入到計算機中的功能擴展板或與計算機相連接的功能擴展單元的存儲器中之后，功能擴展板或功能擴展單元上所提供的CPU等，基于程序代碼的指令，可以執行部分或全部的實際處理。通過該處理，可以實現上述實施例的功能。
盡管參考典型實施例說明了本發明，但應當理解，本發明不局限于所公開的典型實施例。以下權利要求書的范圍符合最寬的解釋，以包含所有修改、等同結構和功能。
權利要求
1.一種構造用戶界面的方法，包括選擇步驟，用于選擇一個或多個第一組件；接收步驟，用于接收將該第一組件轉換成第二組件的指令，該第二組件的類型與該第一組件的類型不同；轉換步驟，用于將對應于該第一組件的數據轉換成對應于該第二組件的數據；以及顯示控制步驟，用于控制顯示與在轉換步驟中所轉換的數據相關的該第二組件。
2.根據權利要求1所述的構造用戶界面的方法，其特征在于，還包括模態指定步驟，用于指定通過轉換生成的組件的模態；以及判定步驟，用于根據在模態指定步驟中所指定的模態來判定該第二組件的類型。
3.根據權利要求2所述的構造用戶界面的方法，其特征在于，在根據模態指定步驟中所指定的模態來判定類型之前，如果有多個備選類型的話，判定步驟呈現多個備選類型，然后選擇所呈現的備選類型中的一個。
4.根據權利要求2所述的構造用戶界面的方法，其特征在于，還包括生成步驟，用于當在判定步驟中所判定的類型是語音輸入組件時，基于對應于第一組件的數據，生成語音識別語法。
5.根據權利要求1所述的構造用戶界面的方法，其特征在于，當在選擇步驟中所選擇的第一組件是語音輸入組件時，轉換步驟對語音輸入組件的語音識別語法進行轉換。
6.根據權利要求1所述的構造用戶界面的方法，其特征在于，還包括組件指定步驟，用于指定將與另一組件一起添加的組件，其中，當在組件指定步驟中指定將與另一組件一起添加的組件時，與在選擇步驟中所選擇的第一組件相對應的數據被添加到與所指定的組件相對應的數據中。
7.根據權利要求4所述的構造用戶界面的方法，其特征在于，將識別相關詞匯的描述添加到語音識別語法中，該詞匯是例如與在選擇步驟中所選擇的第一組件相對應的數據的同義詞和近義詞。
8.根據權利要求5所述的構造用戶界面的方法，其特征在于，當分析結果包括一個或多個同義詞時，將同義詞合為一個。
9.根據權利要求5所述的構造用戶界面的方法，其特征在于，當轉換前的組件的信息在轉換后被改變時，判定是否更新轉換后的組件的信息。
10.一種構造用戶界面的裝置，包括選擇裝置，用于選擇一個或多個第一組件；接收裝置，用于接收將該第一組件轉換成第二組件的指令，該第二組件的類型與該第一組件的類型不同；轉換裝置，用于將對應于該第一組件的數據轉換成對應于該第二組件的數據；以及顯示控制裝置，用于控制顯示與通過轉換裝置所轉換的數據相關的該第二組件。
全文摘要
一種構造用戶界面的方法，該方法選擇一個或多個第一組件，提供將該第一組件轉換成第二組件的指令，該第二組件的類型與該第一組件的類型不同，將對應于該第一組件的數據轉換成對應于該第二組件的數據，并顯示與所轉換的數據相關的該第二組件。因此，可以減輕施加給操作設計工具的設計者的操作負擔。
文檔編號G06F9/44GK1782994SQ20051012416
公開日2006年6月7日 申請日期2005年11月25日 優先權日2004年11月26日
發明者近江裕美, 山田雅章, 廣田誠 申請人:佳能株式會社