專利名稱：用于交互式草圖模板的方法和裝置的制作方法
技術領域：
本發明的實施方式總體上涉及交互式草圖模板技術，并且更具體地，涉及用于創建、改變和使用基于圖像的交互式草圖模板的方法、裝置和計算機程序產品。
背景技術：
不管是出于職業原因還是出于娛樂原因，好的繪畫能力已經成為個人能力的一個重要部分。一種提高繪畫能力的方法是草圖模板跟蹤。這使得人們能夠進行跟蹤并得到一個模板，將該模板與所完成的繪畫進行比較。草圖跟蹤(sketch tracing)可以使用打印的草圖模板和鉛筆或者其他書寫工具機械地進行。然而，機械的草圖跟蹤具有如下一些缺點草圖模板通常只能使用一次。草圖模板也不能輕易地修改。此外，已有的打印的草圖模板的數量和類型有限。最后，沒有形式化的客觀反饋來告訴人們他們畫得如何。因此，希望能夠提供一種改進的用于提供草圖模板的技術，該技術包括提供多個能被重復使用和/或修改的草圖模板。還希望能夠提供關于用戶的草圖相對于草圖模板的反饋。
發明內容
本發明的實施方式解決了這些問題以及一些其他問題。在一個實施方式中，提供了一種用于創建、改變和使用交互式草圖模板的方法、裝置和計算機程序產品。可以根據任意圖像來創建草圖模板，這使得用戶能夠創建虛擬的無限數目的草圖模板來適合用戶的需要和期望。此外，由于草圖模板是電子的，所以能夠一次次地重復使用。此外，還可以對模板進行改變以使得它們更加個性化和風格化以適合用戶的品味。最后，可以基于多種準則向用戶提供形式化的客觀反饋，并且該反饋可以以多種不同的形式呈現給用戶。在一個示例性實施方式中，提供了一種裝置，其包括處理器，所述處理器被配置為提供圖像的顯示；接收模板創建輸入，所述模板創建輸入包含一個或多個筆劃并且至少部分地與所述圖像相對應；確定與所述一個或多個筆劃中的至少一個筆劃相對應的最低數據成本輪廓；將該最低數據成本輪廓轉譯成曲線逼近；以及提供至少包含所述曲線逼近的草圖模板。此外，所述處理器可以被配置為至少部分地基于所述草圖模板和跟蹤輸入之間的一個或多個差異來輸出跟蹤反饋。所述處理器還可以被配置為基本上即時地輸出跟蹤反饋。所述處理器還可以被配置為計算并提供完成值的顯示，其中所述完成值指示所述跟蹤輸入已經跟蹤了多少所述草圖模板。此外，所述處理器可以被配置為提供將所述筆劃中的一個或多個從閉合狀態到開放狀態的轉換。此外，所述處理器可以被配置為修改所述曲線逼近的一個或多個特性以對所述草圖模板進行定制。所述處理器還可被配置為在顯示圖像之前提供對所述圖像的獲取。此外，所述處理器可以被配置為提供所述草圖模板的發送以及外部創建的草圖模板的接收。
4
在另一示例性實施方式中，提供了一種用于創建、改變和使用交互式草圖模板的方法。該方法可以包括提供圖像的顯示；接收模板創建輸入，所述模板創建輸入包含一個或多個筆劃并且至少部分地與所述圖像相對應；確定與所述一個或多個筆劃中的至少一個筆劃相對應的最低數據成本輪廓；將該最低數據成本曲線轉譯成曲線逼近；以及提供至少包含所述曲線逼近的草圖模板。該方法還可以包括至少部分地基于所述草圖模板和跟蹤輸入之間的一個或多個差異來輸出跟蹤反饋。該方法還可以包括計算并提供完成值的顯示，其中所述完成值指示所述跟蹤輸入已經跟蹤了多少所述草圖模板。所述方法還可以包括基于所述跟蹤輸入和所述草圖模板的一個或多個對應部分之間的距離而區分所述跟蹤輸入的一個或多個部分。最后，所述方法可以包括修改所述曲線逼近的一個或多個特性以對所述草圖模板進行定制。在另一示例性實施方式中，提供了一種用于創建、改變和使用草圖模板的計算機程序產品，所述計算機程序產品包括至少一個在其上存儲有計算機可執行程序指令的計算機可讀存儲介質。所述計算機可執行程序指令可以包括配置用于提供圖像的顯示的程序指令；配置用于接收模板創建輸入的程序指令，所述模板創建輸入包含一個或多個筆劃并且至少部分地與所述圖像相對應；配置用于確定與所述一個或多個筆劃中的一個筆劃相對應的最低數據成本輪廓的程序指令；配置用于將該最低數據成本曲線轉譯成曲線逼近的程序指令；以及配置用于提供至少包含所述曲線逼近的草圖模板的程序指令。所述計算機可執行指令還可以包括配置用于至少部分地基于所述草圖模板和跟蹤輸入之間的一個或多個差異來輸出跟蹤反饋的程序指令。所述計算機可執行程序指令還可以包括配置用于計算并提供完成值的顯示的程序指令，其中所述完成值指示所述跟蹤輸入已經跟蹤了多少所述草圖模板。所述計算機可執行程序指令還可以包括配置用于基于所述跟蹤輸入和所述草圖模板的一個或多個對應部分之間的距離而區分所述跟蹤輸入的一個或多個部分的程序指令。最后，所述計算機可執行程序指令還可以包括配置用于修改所述曲線逼近的一個或多個特性以對所述草圖模板進行定制的程序指令。本發明的實施方式可以提供一種例如在移動或固定環境中使用的方法、裝置和計算機程序產品。因此，例如，移動終端用戶可以享受提高的創建、改變和使用草圖模板的能力。
以上一般性地描述了本發明的一些實施方式，以下將對附圖作出參考，這些附圖不一定是按比例繪制的，其中圖1示出了可以受益于本發明的示例性實施方式的移動終端的框圖；圖2示出了根據本發明的示例性實施方式創建、修改和使用草圖模板的方法的框圖；圖3示出了根據本發明的一個實施方式所提供的、基于輸入筆劃來計算輪廓的方法的框圖；圖4示出了根據本發明的一個實施方式所提供的、部分跟蹤的草圖模板和所產生的反饋的示例；以及圖5示出了顯示本發明的示例性實施方式的反饋方法的操作的框圖。
具體實施例方式以下將參考附圖更全面地描述本發明的一些實施方式，其中在附圖中示出了本發明的一些實施方式而不是所有實施方式。事實上，可以以多種不同的形式來實現本發明的各個實施方式，而不應將其理解為限制于本文所述的實施方式；相反，提供這些實施方式是為了使得本文的公開能夠滿足適用的法律要求。在全文中，類似的參考標記指代類似的元素。如本文所使用的，術語“數據”、“內容”、“信息”以及一些類似的術語可以互換使用以指代根據本發明的實施方式的能夠發送、接收和/或存儲的數據。此外，本文所使用的術語 “示例性”并不是用來提供任何定性評價，而只是為了提供對示例的舉例說明。因此，使用任意這種術語不應被理解為限制本發明的實施方式的精神和范圍。本發明的一些實施方式可以提供一種能夠獲得草圖模板方面的改進的機制。就這點而言，例如，一些實施方式可以在手持設備或其他計算設備上提供交互式草圖模板創建、 改變和使用以及多種其他活動。圖1示出了可以受益于本發明的實施方式的移動終端10的框圖。然而應當理解， 如圖所示以及如下文所述的移動終端10只是為了舉例說明可以受益于本發明的實施方式的一種類型的設備，其并不應被理解為限制本發明的實施方式的范圍。雖然出于舉例的目的示出了并在下文描述了移動終端10的一個實施方式，但是其他類型的移動終端，如便攜式數字助理(PDA)、尋呼機、移動計算機、移動電視、游戲設備、膝上型計算機、相機、攝像機、 全球定位系統(GPQ設備、移動電話、上述各項的任意組合和/或其他類型的語音和文本傳輸系統等，也能夠容易地采用本發明的實施方式。此外，雖然是由移動終端10執行或使用本發明的方法的若干實施方式，然而所述方法也可以由移動終端以外的其他設備來使用。具體而言，其他設備可以根據本發明的實施方式來操作，而不管它們能夠無線傳輸還是經由有線連接進行傳輸，也不管它們的移動性如何。此外，本發明的實施方式的系統和方法將主要結合移動通信應用進行描述。然而應當理解，本發明的實施方式的系統和方法可以結合各種其他應用來使用，這些其他應用可以是在移動通信行業內也可以在移動通信行業外。所示出的實施方式的移動終端10可以包括天線12 (或者多個天線)，其可與發射器14和接收器16進行可操作通信。移動終端10還可以包括諸如處理器20或其他處理元件之類的裝置，其可以分別向發射器14提供信號以及從接收器16接收信號。所述信號可以包括根據適用的蜂窩系統的空中接口標準的信令信息，并且/或者可以包括與語音、接收到的數據和/或用戶生成/發送的數據相對應的數據。就這一點而言，移動終端10可以能夠以一個或多個空中接口標準、通信協議、調制類型和訪問類型進行操作。舉例來說，移動終端10可以能夠根據多種第一、第二、第三和/或第四代通信協議等中的任意一種進行操作。作為備選(或者附加地)，移動終端10可以能夠根據非蜂窩通信機制進行操作。例如，移動終端10可以能夠在無線局域網(WLAN)或其他通信網絡中進行通信。如上所述，本發明的一些實施方式不需要通信能力，更不用說無線通信能力了。處理器20可以包括用來實現移動終端10的音頻、圖像和邏輯功能以及其他功能的電路。例如，處理器20可以實施為包括集成電路的各種處理裝置，如處理元件、協處理器、控制器或各種其他處理器件，所述集成電路例如為ASIC (專用集成電路)、FPGA (現場可編程門陣列)、硬件加速器等。在一個示例性實施方式中，處理器20可被配置為執行存儲器 40,42中存儲的指令或者處理器20可以以其他方式訪問的指令。這樣，不管是用硬件或者軟件方法配置的，還是由軟件和硬件結合來配置的，處理器20都可以代表能夠執行根據本發明的實施方式的操作并相應地配置的實體。移動終端10還可以包括用戶接口，所述用戶接口包括諸如耳機或揚聲器對、麥克風沈、顯示器觀之類的輸出設備以及用戶輸入接口，其可以可操作地耦合到處理器20。用戶輸入接口使得移動終端10能夠接收數據，其可以包括允許移動終端10接收數據的多種設備中的任意一種，如小鍵盤30或其他輸入設備。此外，顯示器觀可以包括觸摸屏輸入設備。在包括小鍵盤30的實施方式中，小鍵盤30可以包括數字(0-9)鍵和相關的鍵(#，*) 以及其他用于操作移動終端10的硬鍵和軟鍵。備選地，小鍵盤30可以包括QWERTY小鍵盤布置。小鍵盤30還可以包括具有相關功能的各種軟鍵。在一個實施方式中，可以至少部分地由觸摸屏來提供顯示器和用戶輸入接口。附加地或者備選地，移動終端10可以包括諸如控制桿或其他用戶輸入接口之類的接口設備。移動終端10還可以包括電池34，如振動電池組，以對用來操作移動終端10的各種電路供電，以及可選地提供機械振動作為可檢測的輸出。此外，移動終端可以包括用于照相的相機50。移動終端10還可以包括用戶識別模塊(UIM)38，其可以一般性地被稱為智能卡。 UIM 38可以是內置有處理器的存儲器器件。UIM38例如可以包括用戶身份模塊(SIM)、通用集成電路卡(UICC)、通用用戶身份模塊(USIM)、可移動用戶身份模塊(R-UIM)或者任何其他智能卡。除了 UIM 38之外，移動終端10還可以配備有存儲器。例如，移動終端10可以包括易失性存儲器40，如包括用于臨時存儲數據的緩存區的易失性隨機存取存儲器(RAM)。 移動終端10還可以包括其他非易失性存儲器42，其可以是嵌入式的并且/或者是可移動的。非易失性存儲器42可以附加地或備選地包括電可擦除可編程只讀存儲器(EEPROM)、閃存、其他非易失性RAM(NVRAM)等。非易失性存儲器42還可以包括用于臨時存儲數據的緩存區。存儲器40、42可以存儲任意數目的信息和數據，供移動終端10用來實現移動終端的功能。例如，存儲器40、42可以包括能夠唯一地標識移動終端10的標識符，如國際移動設備標識(IMEI)碼。此外，存儲器40、42可以存儲用于確定小區id信息的指令。轉到圖2，示出了根據本發明的示例性實施方式的系統、方法和計算機產品的流程圖。應當理解，所顯示和描述的操作的順序可以改變，其以特定順序描述和顯示只是出于示例的目的。圖2具體而言涉及草圖模板創建、改變和使用的整體方法。首先，如操作110中所示，接收到圖片120或其他圖像。可以使用任意圖像，但是出于說明目的，將描述一個玩具毛絨熊的圖片120。圖片120可以是預先存儲的并且可以簡單地進行檢索，例如從非易失性存儲器42本地檢索，或者從例如可以使用與發射器14和接收器16結合的天線12經由無線連接訪問的外部網絡中檢索。備選地，圖片120可以是相機50在之前所拍攝的圖像。不管圖片120的來源如何，如操作130中所示，然后可從用戶接收到與圖片120相對應的模板創建輸入。這種模板創建輸入可以使用任何類型的輸入設備來提供。一種這樣的輸入設備可以是觸摸屏顯示器洲，其使得用戶能夠直接在屏幕上所顯示的圖片120上繪出筆劃140、 150，這些筆劃可以是開放筆劃140 (即，有兩個不同的端點)或者是閉合筆劃150 (即，形成一個閉環)。如圖2中所示，模板創建輸入可以跟蹤對象的略圖(例如，該熊)以及用戶想要包括在模板中的對象的特征(例如眼睛、嘴巴、衣服等)。在繪出每個筆劃140、150之后，移動終端10然后可以例如使用處理器來計算最低數據成本路徑，如操作160中所示，該最低數據成本路徑基于筆劃140、150形成輪廓170。下面將討論關于如何確定輪廓170的詳細情況。接下來，處理器可以確定曲線逼近，如操作175中所示。下面還將描述關于曲線逼近的詳細情況。其后，在一個實施方式中，處理器可以確定對于每個筆劃140、150是否都已完成了迭代，如操作180中所示，這是因為如操作160中所示的形成輪廓170的最低數據成本路徑的計算和如操作175中所示的曲線逼近是針對每個筆劃單獨執行的。在如操作180中所示的所有迭代都完成之后，曲線逼近的組合結果是草圖模板190。如果希望的話，可以對草圖模板190進行風格化。下面將更詳細地描述如操作200中所示的風格化，但是簡單來說， 其使得用戶能夠根據用戶的喜好來改變草圖模板190。在草圖模板190如操作200中所示那樣被風格化之前或之后，例如可以通過根據需要將草圖模板190發送給其他用戶來如操作210中所示地存儲和共享草圖模板。如下面更詳細的描述，處理器還可以如操作220中所示執行跟蹤應用，這使得用戶能夠對草圖模板190進行跟蹤。如上所述和圖2中所示，在一個實施方式中，在用戶繪出與圖片120中的對象相對應的每個筆劃140、150之后，處理器可以如操作160中所示生成輪廓170，并繼而如操作 175中所示計算曲線逼近。如操作160中所示的輪廓170的生成以及如操作175中所示的對曲線逼近的計算可以如操作180中所示那樣針對每個筆劃140、150進行重復，直到用戶完成繪制。對于給定筆劃140、150，處理器可以將對應的輪廓170定義為定義了筆劃的最小累積成本路徑。處理器可以以各種方式確定與筆劃140、150相對應的輪廓170。例如，輪廓確定過程可以被表述為圖形搜索問題，其可以通過稱為“Livewire”的二維動態編程算法來角軍決° 例如參見 Mortensen, E. N. and Barrett, W. A. Intelligent scissors for image composition. ACM SIGGRAPH, pp. 191-198,1995。然而，在 Livewire 中，在定義與圖片的特征附接的每個種子點時，可能需要在整個圖片上構建圖形，這可能會使實時的實現方式變得有些困難。與之不同，本發明的其他實施方式可以通過只考慮在給定時刻定義各個筆劃 140、150的模板構建輸入的部分來構建圖形，這使得能夠如操作160中所示實時生成輪廓。Livewire算法已經擴展到通過跟隨用戶的交互式光標運動并將種子點固定到圖片的特征來重復構建圖形，從而生成精美的草圖。然而，在一些情況下，例如當定義長的或閉合的輪廓時，必須用光標精確地放置許多種子點以提取輪廓。與之不同，本發明的其他實施方式可以通過在每個筆劃140、150內搜索最優數據點和對應的鏈接以形成如操作160中所示的最低數據成本輪廓170，來使得處理變得容易。此外，本方法的實施方式可以適合于從閉合筆劃150中提取輪廓170，如下所述。圖3中描繪了根據一個實施方式的處理器所執行的輪廓計算。在一個實施方式中，輪廓170對應于信息量最大的圖片特征，如邊緣、高梯度區域、視覺顯著性區域等，并且具有一些限制，如光滑度、形狀、拓撲或者用戶所定義的限制。因此，處理器可以計算兩組成本映射300、310，用于測量圖片信息的值。一組可以是數據點成本映射似，=·^1,//,...}，用
于評估定義筆劃140、150的模板創建輸入中的每個數據點的重要性。映射/；…)表示第i
個數據點成本映射300中的數據點成本。如上所述，在文獻中可以找到許多種已知的針對圖像特征的重要性測量，如二值邊緣測量、特征檢測測量、轉角測量、顯著性測量、梯度的Ll和L2范數、圖像能量、曲率測量等。可以通過計算最小累積數據成本來確定數據點的最優性，并且因此“信息量更大的”數據點將具有更低的數據成本。數據點成本映射300然后可以縮放為0和1。另一組成本映射可以是鏈接成本映射似
權利要求
1.一種裝置，包括處理器，所述處理器被配置為 提供圖像的顯示；接收模板創建輸入，所述模板創建輸入包含一個或多個筆劃并且至少部分地與所述圖像相對應；確定與所述一個或多個筆劃中的至少一個筆劃相對應的曲線逼近；以及提供至少包含所述曲線逼近的草圖模板。
2.根據權利要求1所述的裝置，其中所述處理器被配置為確定最低數據成本輪廓，并將所述最低數據成本輪廓轉譯為所述曲線逼近。
3.根據權利要求1所述的裝置，其中所述處理器被配置為 提供對所述圖像的獲取。
4.根據權利要求1所述的裝置，其中所述處理器被配置為至少部分地基于所述草圖模板和跟蹤輸入之間的一個或多個差異來輸出跟蹤反饋。
5.根據權利要求4所述的裝置，其中所述處理器還被配置為計算并提供完成值的顯示，其中所述完成值指示所述跟蹤輸入已經跟蹤了多少所述草圖模板。
6.根據權利要求4所述的裝置，其中所述處理器還被配置為基于所述跟蹤輸入和所述草圖模板的一個或多個對應部分之間的距離而區分所述跟蹤輸入的一個或多個部分。
7.根據權利要求1所述的裝置，其中所述處理器還被配置為 至少部分地基于完成跟蹤輸入所花費的時間來提供速度反饋。
8.根據權利要求1所述的裝置，其中所述處理器還被配置為 提供所述草圖模板的傳輸以及外部創建的草圖模板的接收。
9.根據權利要求1所述的裝置，其中所述處理器還被配置為 提供將所述筆劃中的一個或多個從閉合狀態到開放狀態的轉換。
10.根據權利要求1所述的裝置，其中所述處理器還被配置為 修改所述曲線逼近的一個或多個特性以對所述草圖模板進行定制。
11.一種方法，包括 提供圖像的顯示；接收模板創建輸入，所述模板創建輸入包含一個或多個筆劃并且至少部分地與所述圖像相對應；確定與所述一個或多個筆劃中的至少一個筆劃相對應的曲線逼近；以及提供至少包含所述曲線逼近的草圖模板。
12.根據權利要求11所述的方法，還包括至少部分地基于所述草圖模板和跟蹤輸入之間的一個或多個差異來輸出跟蹤反饋。
13.根據權利要求12所述的方法，還包括計算并提供完成值的顯示，其中所述完成值指示所述跟蹤輸入已經跟蹤了多少所述草圖模板。
14.根據權利要求12所述的方法，還包括基于所述跟蹤輸入和所述草圖模板的一個或多個對應部分之間的距離而區分所述跟蹤輸入的一個或多個部分。
15.根據權利要求11所述的方法，還包括修改所述曲線逼近的一個或多個特性以對所述草圖模板進行定制。
16.一種計算機程序產品，包括至少一個在其上存儲有計算機可執行程序指令的計算機可讀存儲介質，所述計算機可執行程序指令包括配置用于提供圖像的顯示的程序指令；配置用于接收模板創建輸入的程序指令，所述模板創建輸入包含一個或多個筆劃并且至少部分地與所述圖像相對應；配置用于確定與所述一個或多個筆劃中的至少一個筆劃相對應的曲線逼近的程序指令；以及配置用于提供至少包含所述曲線逼近的草圖模板的程序指令。
17.根據權利要求16所述的計算機程序產品，其中所述計算機可執行程序指令還包括配置用于至少部分地基于所述草圖模板和跟蹤輸入之間的一個或多個差異來輸出跟蹤反饋的程序指令。
18.根據權利要求16所述的計算機程序產品，其中所述計算機可執行程序指令還包括配置用于計算并提供完成值的顯示的程序指令，其中所述完成值指示所述跟蹤輸入已經跟蹤了多少所述草圖模板。
19.根據權利要求16所述的計算機程序產品，其中所述計算機可執行程序指令還包括配置用于基于所述跟蹤輸入和所述草圖模板的一個或多個對應部分之間的距離而區分所述跟蹤輸入的一個或多個部分的程序指令。
20.根據權利要求16所述的計算機程序產品，其中所述計算機可執行程序指令還包括配置用于修改所述曲線逼近的一個或多個特性以對所述草圖模板進行定制的程序指令。
全文摘要
提供了一種用于將與圖像相對應的模板創建輸入轉換為草圖模板的方法。該方法可以包括最小化筆劃數據成本，并基于地標點將所產生的輪廓轉換為曲線逼近。在創建了草圖模板之后，可以使用各種對曲線逼近的參數和/或地標點做出改變的風格來對該草圖模板進行個性化。草圖模板可以用來練習繪圖技能。跟蹤算法可以提供關于跟蹤線與草圖模板偏離多遠的反饋，并且還可以提供針對所有跟蹤線的組合的、與諸如與草圖模板的接近度、速度以及完成百分比等因素有關的總體反饋。
文檔編號G06T11/20GK102308317SQ201080007242
公開日2012年1月4日 申請日期2010年2月9日 優先權日2009年2月9日
發明者汪浩, 葛仕明 申請人:諾基亞公司