在視頻會議期間修改參與者的外觀的制作方法

在視頻會議期間修改參與者的外觀的制作方法
【專利摘要】實現方式總體上涉及在視頻會議期間修改參與者的外觀。在一些實現方式中，一種方法包括：從媒體流獲得至少一個幀，其中，所述至少一個幀包括第一面部，并且其中，所述第一面部是與用戶相關聯的面部的圖像。所述方法也包括：確定在所述至少一個幀內的多個坐標。所述方法也包括獲得至少一個媒體內容項目。所述方法也包括基于所述多個坐標向所述至少一個幀增加所述至少一個媒體內容項目。
【專利說明】在視頻會議期間修改參與者的外觀

【背景技術】
[0001]視頻會議經常在商業場景中被使用，并且使得參與者能夠在地理上散布的位置上實時地彼此共享視頻和音頻內容。在每一個位置處的通信裝置通常使用視頻相機和麥克風來發送視頻和音頻流，并且使用視頻監視器和揚聲器來播放所接收的視頻和音頻流。視頻會議涉及通過網絡從一個位置向另一個位置實時發送的視頻和音頻流的數字壓縮。通信裝置執行視頻和音頻流的壓縮和解壓縮，并且經由網絡來保持數據鏈接。


【發明內容】

[0002]實現方式一般涉及在視頻會議期間修改參與者的外觀。在一些實現方式中，一種方法包括:從媒體流獲得至少一個幀，其中，所述至少一個幀包括第一面部，并且其中，所述第一面部是與用戶相關聯的面部的圖像。所述方法也包括:確定在所述至少一個幀內的多個坐標。所述方法也包括:獲得至少一個媒體內容項目。所述方法也包括:基于所述多個坐標向所述至少一個幀增加所述至少一個媒體內容項目。
[0003]進一步關于所述方法，在一些實現方式中，所述多個第一坐標包括所述第一面部的坐標。在一些實現方式中，使用面部識別算法來執行所述多個坐標的所述確定，并且所述多個第一坐標包括所述第一面部的坐標。在一些實現方式中，所述至少一個媒體內容項目包括至少一個替代面部。在一些實現方式中，所述至少一個媒體內容項目包括至少一個替代面部，并且所述替代面部與所述第一面部不同。在一些實現方式中，所述至少一個媒體內容項目包括至少一個替代面部，并且所述替代面部與不同于所述用戶的人相關聯。在一些實現方式中，所述至少一個媒體內容項目包括至少一個替代面部，并且所述替代面部與所述第一面部的動畫版本相關聯。在一些實現方式中，所述方法進一步包括:獲得與所述至少一個媒體內容項目相關聯的一個或多個參數。在一些實現方式中，所述至少一個媒體內容項目的所述增加包括下述中的一個或多個:將所述至少一個媒體內容項目疊加在所述至少一個幀上，以及將所述一個或多個幀的至少一部分替換為所述至少一個媒體內容項目。在一些實現方式中，所述方法進一步包括:獲得與所述至少一個媒體內容項目相關聯的至少一個音頻內容項目，并且向所述媒體流增加所述至少一個音頻內容項目。
[0004]在一些實現方式中，一種方法包括:從媒體流獲得至少一個幀，其中，所述至少一個幀包括第一面部，并且其中，所述第一面部是與用戶相關聯的面部的圖像。在一些實現方式中，所述方法也包括:確定在所述至少一個幀內的多個坐標，其中，所述多個第一坐標包括所述第一面部的坐標，并且其中，使用面部識別算法來執行所述多個坐標的所述確定。在一些實現方式中，所述方法也包括:獲得至少一個媒體內容項目，其中，所述至少一個媒體內容項目包括至少一個替代面部，并且其中所述替代面部與所述第一面部的動畫版本相關聯。在一些實現方式中，所述方法也包括:獲得與所述至少一個媒體內容項目相關聯的一個或多個參數。在一些實現方式中，所述方法也包括:基于所述多個坐標向所述至少一個幀增加所述至少一個媒體內容項目，其中，所述至少一個媒體內容項目的所述增加包括下述中的一個或多個:將所述至少一個媒體內容項目疊加在所述至少一個幀上，以及將所述一個或多個幀的至少一部分替換為所述至少一個媒體內容項目。
[0005]在一些實現方式中，一種系統包括一個或多個處理器和用于由所述一個或多個處理器執行的在一個或多個有形介質中編碼的邏輯。當被執行時，所述邏輯可操作用于執行操作，所述操作包括:從媒體流獲得至少一個幀，其中，所述至少一個幀包括第一面部，并且其中，所述第一面部是與用戶相關聯的面部的圖像。所述邏輯當被執行時進一步可操作用于執行操作，所述操作包括:確定在所述至少一個幀內的多個坐標。所述邏輯當被執行時進一步可操作用于執行操作，所述操作包括:獲得至少一個媒體內容項目。所述邏輯當被執行時進一步可操作用于執行操作，所述操作包括:基于所述多個坐標向所述至少一個幀增加所述至少一個媒體內容項目。
[0006]進一步關于所述系統，在一些實現方式中，所述多個第一坐標包括所述第一面部的坐標。在一些實現方式中，使用面部識別算法來執行所述多個坐標的所述確定，并且，所述多個第一坐標包括所述第一面部的坐標。在一些實現方式中，所述至少一個媒體內容項目包括至少一個替代面部。在一些實現方式中，所述至少一個媒體內容項目包括至少一個替代面部，并且所述替代面部與所述第一面部不同。在一些實現方式中，所述至少一個媒體內容項目包括至少一個替代面部，并且所述替代面部與不同于所述用戶的人相關聯。在一些實現方式中，所述至少一個媒體內容項目包括至少一個替代面部，并且所述替代面部與所述第一面部的動畫版本相關聯。在一些實現方式中，所述邏輯當被執行時進一步可操作用于執行操作，所述操作包括:獲得與所述至少一個媒體內容項目相關聯的一個或多個參數。在一些實現方式中，所述至少一個媒體內容項目的所述增加包括下述中的一個或多個:將所述至少一個媒體內容項目疊加在所述至少一個幀上，以及將所述一個或多個幀的至少一部分替換為所述至少一個媒體內容項目。在一些實現方式中，所述邏輯當被執行時進一步可操作用于執行操作，所述操作包括:獲得與所述至少一個媒體內容項目相關聯的至少一個音頻內容項目，并且向所述媒體流增加所述至少一個音頻內容項目。

【專利附圖】

【附圖說明】
[0007]圖1圖示了可以用于實現在此所述的實現方式的示例網絡環境的框圖。
[0008]圖2圖示了根據一些實現方式的、用于在視頻會議期間修改參與者的外觀的示例簡化流程圖。
[0009]圖3圖示了根據一些實現方式的示例簡化用戶界面。
[0010]圖4圖示了可以用于實現在此所述的實現方式的示例服務器裝置的框圖。

【具體實施方式】
[0011]在此所述的實現方式使得諸如視頻、音頻和聊天流的媒體流能夠用于模擬在視頻會議期間的參與者的不同外觀。例如，參與者可以選擇將他們的愛好或外觀通過諸如動畫面部、名人面部或化身的特定的替代面部表示。
[0012]如在下面更詳細地描述的，在各種實現方式中，一種系統從媒體流獲得幀，其中，該幀包括用戶(例如，在視頻會議中的參與者)的面部。該系統也確定在幀中的每一個內的坐標，其中，坐標描述面部和/或面部的元素位于幀的每一個中的何處。該系統也獲得一個或多個媒體內容項目，該一個或多個媒體內容項目可以包括替代面部(例如，動畫面部、名人面部、化身等)的圖像。該系統然后基于坐標向幀中的每一個增加一個或多個媒體內容項目。
[0013]圖1圖示了可以用于實現在此所述的實現方式的示例網絡環境100的框圖。在一些實現方式中，網絡環境100包括系統102，系統102包括服務器裝置104和社交網絡數據庫106。可以可交換地使用術語系統102和短語“社交網絡系統”。網絡環境100也包括客戶端裝置110、120、130和140，它們可以經由系統102和網絡150來彼此通信。
[0014]為說明的容易，圖1示出用于系統102、服務器裝置104和社交網絡數據庫106中的每一個的一個方框，并且示出用于客戶端裝置110、120、130和140的四個方框。方框102、104和106可以表示多個系統、服務器裝置和社交網絡數據庫。而且，可以有任何數量的客戶端裝置。在其他實現方式中，網絡環境100可以沒有所示的所有組件，和/或可以具有其他元件，包括替代或補充在此所示的元件的其他類型的元件。
[0015]在各種實現方式中，用戶Ul、U2、U3和U4可以使用相應的客戶端裝置110、120、130和140來彼此通信。例如，用戶U1、U2、U3和U4可以在多用戶視頻會議中彼此交互，其中，相應的客戶端裝置110、120、130和140向彼此發送媒體流。
[0016]在各種實現方式中，媒體流可以包括不同類型的媒體流(例如，一個或多個視頻流和/或一個或多個音頻流)。例如，這樣的媒體流可以包括顯示用戶Ul、U2、U3和U4的視頻流，并且可以包括相關聯的音頻流。而且，該媒體流可以包括在相對于每一個客戶端裝置110、120、130和140的不同方向上發送的媒體流(例如，一個或多個向外的流和/或一個或多個向內的流)。
[0017]圖2圖示了根據一些實現方式的、用于在視頻會議期間修改參與者的外觀的示例簡化流程圖。參見圖1和2，在塊202中啟動方法，其中，系統102從媒體流獲得至少一個幀，其中，該至少一個幀包括用戶的面部。在各種實現方式中，用戶可以是視頻會議的參與者。如此一來，媒體流可以是與視頻會議相關聯的視頻流。
[0018]在在此所述的各種實現方式中，根據上下文，可以可交換地使用術語“面部”和短語“面部的圖像”。例如，在一些上下文中(例如，在媒體流幀的上下文中)，對于面部的引用可以指的是在幀中的用戶的面部的圖像。在一些上下文中，對于面部的引用可以指的是實際面部，就像在“用戶的面部”中那樣。
[0019]圖3圖示了根據一些實現方式的示例簡化用戶界面300。用戶界面300示出允許多個同時參與者通過語音、鍵入的聊天和視頻來進行通信的多路視頻會議平臺的方面。用戶界面300可以可視地以在最突出的位置(大的視頻饋送)中示出的當前說話者的表示或概念和示出所有參與者的縮略圖的幻燈片條為中心。如所示，用戶U3在視頻會議中的幾個參與者中，其中，用戶U3是當前說話者，用戶界面也可以顯示聊天窗口，該聊天窗口包括鍵入的對話的聊天記錄。
[0020]在媒體流的單個幀的上下文中描述在此所述的各種實現方式。這些實現方式也適用于媒體流的多個幀。例如，如上所示，給定的媒體流可以是與視頻會議相關聯的視頻流。如此一來，系統102可以獲得視頻流的多個幀，并且根據圖2的各種方法實現方式來處理一系列幀中的每一個幀中的給定面部的圖像。
[0021]參見圖2和圖3兩者，在塊204中，系統102確定在至少一個幀內的坐標。在各種實現方式中，坐標對應于用戶(例如，用戶U3)的面部302的位置和/或用戶的面部的部分(例如，眼睛、鼻子、嘴部等)。為了容易說明，示出用戶U3的簡化頭部。
[0022]在一些實現方式中，系統102可以使用面部識別算法或軟件來確定在幀內的坐標。該坐標可以包括在給定幀中用戶的面部(例如，在視頻會議中參與者的面部等)的坐標，并且也可以包括用戶的面部的元素(例如，眼睛、鼻子、耳朵等)的坐標。
[0023]如下更詳細所述，系統102使得社交網絡的用戶能夠指定和/或同意個人信息的使用，這可以包括系統102使用他們在照片中的面部或使用他們的身份信息來識別在照片中識別的人們。在一些實現方式中，系統102可以使用面部識別軟件來確定參與者的嘴部是否張開、閉合、笑等、參與者的眼睛是否睜開或閉合等以及其他面部特性。在一些實現方式中，系統102可以在面部庫中存儲與坐標相關聯的信息，該面部庫包含關于面部元素相對于彼此的特定位置和/或距離的信息等。
[0024]在塊206中，系統102獲得一個或多個媒體內容項目。如更詳細所述，系統102可以將用戶的面部替換為一個或多個媒體內容項目。
[0025]在一些實現方式中，該一個或多個媒體內容項目可以包括替代面部。在各種實現方式中，替代面部是系統102可以使用來替代用戶的實際面部的圖像的面部的圖像。在各種實現方式中，替代面部可以與用戶的面部(例如，視頻參與者的面部)不同。
[0026]在一些實現方式中，替代面部可以與用戶的面部的動畫版本相關聯。例如，如圖3中所示，作為動畫面部的媒體內容項目304可以是替代面部。在一些實現方式中，替代面部可以與任何化身相關聯。在一些實現方式中，用戶可以在各種替代面部中選擇替代面部。在一些實現方式中，替代面部可以與不同于用戶的人相關聯。例如，如圖3中所示，與用戶U3的面部不同的媒體內容項目306可以是替代面部。例如，替代面部可以是特定名人的面部。在一些實現方式中，可以使用各種替代面部來使得參與者匿名。
[0027]在一些實現方式中，參與者可以掃描名人、動畫、頭像等的面部，并且然后將該面部上載到社交網絡系統。注意，為了說明容易，使用術語面部。在各種實現方式中，術語面部可以表示與面部或替代面部相關聯的各個方面和角度。例如，術語面部也可以包括面部的元素和部分(例如，眼睛、鼻子、嘴部、面部特征等)、在面部周圍的元素和元素的部分(例如，耳朵、脖子等)、毛發元素(例如，覆蓋頭部的毛發、眉毛、胡子、胡須等)。而且，涉及面部的實現方式也適用于這些各種元素和部分，并且適用于可以伴隨面部的其他身體部分，諸如肩膀和胸部區域，就像在肖像中那樣，并且適用于臂、手等。
[0028]在各種實現方式中，系統102也可以獲得與一個或多個媒體內容項目中的每一個相關聯的一個或多個參數。在各種實現方式中，該一個或多個參數與一個或多個媒體內容項目相關聯。例如，如果媒體內容項目是面部或替代面部，則一個或多個參數可以關聯于和限定面部的大小和尺寸、面部的形狀、面部的元素和/或與面部相關聯的元素等。
[0029]在各種實現方式中，系統102可以從任何適當的存儲位置(例如，本地存儲)獲得一個或多個媒體內容項目和/或獲得與媒體內容項目相關聯的一個或多個參數。
[0030]在塊208中，系統102至少部分地基于坐標來向至少一個幀增加一個或多個媒體內容項目。例如，圖3的媒體內容項目304可以被增加到幀，由此替代用戶U3的面部302。如上所述，雖然在此在單個幀的上下文中描述各種實現方式，但是這些實現方式也適用于多個幀(例如，動畫的幀等)。例如，系統102可以向一系列幀或幀的流(例如，在視頻流中的一系列幀，諸如在圖3中所示的)增加該一個或多個媒體內容項目。
[0031]在一些實現方式中，媒體內容項目的增加可以包括系統102在幀的一部分上疊加至少一個媒體內容項目。在各種實現方式中，該疊加基于在巾貞內的坐標，并且也基于與一個或多個媒體內容項目相關聯的參數。在一些實現方式中，媒體內容項目的增加可以包括系統102將巾貞的一部分替換為一個或多個媒體內容項目。在各種實現方式中，該替換基于在幀內的坐標，并且基于與一個或多個媒體內容項目相關聯的參數。
[0032]例如，系統102可以確定用戶的面部的不同部分位于幀內的何處(例如，使用坐標)。系統102可以然后確定一個或多個媒體內容項目(例如，眼睛、鼻子、嘴部等)的參數。系統102可以然后將用戶的面部的一部分或用戶的整個面部替換為一個或多個媒體內容項目。結果，向幀增加一個或多個媒體內容項目可以導致將用戶的面部替換為替代面部。在另一個示例中，在視頻會議中，系統102可以將在視頻流中的給定用戶的面部替換為替代面部(例如，化身、動畫面部等)。在各種實現方式中，根據用戶的選擇，用戶/視頻會議參與者可以選擇通過多種特定替代面部表示的參與者的喜好或外觀。
[0033]在一些實現方式中，系統102可以使用面部跟蹤算法來在屏幕上移動替代面部以跟隨用戶。例如，如果用戶移動到視頻相機的一側(例如，到觀眾的右面)，則系統102跟蹤在坐標中的改變，以便適當地增加一個或多個媒體內容項目(例如，向觀眾的右面)。在一些實現方式中，系統102可以相應縮放替代面部。例如，如果用戶改變相對于視頻相機的距離(例如，移動得更接近視頻相機)，則系統102跟蹤在坐標中的改變，并且適當地修改和增加一個或多個媒體內容項目(例如，放大一個或多個媒體內容項目以匹配改變的坐標)。
[0034]在一些實現方式中，系統102可以捕獲參與者的環境的背景，而沒有參與者存在。這將便利系統102以后將參與者的面部替換為替代面部。例如，系統102可以在保留背景的同時裁剪參與者面部并且插入替代面部。
[0035]在各種實現方式中，可以使用音頻流來移動面部的部分和/或元素，諸如替代面部的嘴部。在一些實現方式中，音頻流可以對應于由參與者發出的詞或聲音。在一些實現方式中，系統102獲得與至少一個媒體內容項目相關聯的至少一個音頻內容項目。在一些實現方式中，如果音頻內容項目是特定名人的面部，則該音頻內容可以包括那個特定名人的語音特性(例如，音調、質量等)。在一些實現方式中，系統102可以向媒體流增加音頻內容項目。在一些實現方式中，系統102可以將音頻內容項目混和到媒體流內。在一些實現方式中，系統102可以將媒體流的至少一部分替換為音頻內容項目。結果，當參與者發出詞或聲音時，系統102產生由用戶發出但是被修改為特定名人的語音的相同的詞或聲音。
[0036]雖然可以以特定順序來呈現步驟、操作或計算，但是可以在特定實現方式中改變該順序。根據特定實現方式，步驟的其他排序是可能的。在一些特定實現方式中，可以同時執行在本說明書中依序示出的多個步驟。而且，一些實現方式可以沒有所示的所有步驟，并且/或者可以具有取代或補充在此所示的那些的其他步驟。
[0037]雖然在此將系統102描述為執行在實現方式中所述的步驟，但是系統102的任何適當組件或組件的組合或與系統102相關聯的任何適當的一個或多個處理器可以執行所述的步驟。
[0038]在此所述的實現方式提供了各種益處。例如，實現方式使得參與者能夠以有趣的方式彼此交互。實現方式使得在視頻會議中的參與者能夠匿名。在此所述的實現方式也增大了在社交網絡環境中的終端用戶之間的整體約會。
[0039]圖4圖示了可以用于實現在此所述的實現方式的示例服務器裝置400的框圖。例如，服務器裝置400可以用于實現圖1的服務器裝置104，并且執行在此所述的方法實現方式。在一些實現方式中，服務器裝置400包括處理器402、操作系統404、存儲器406和輸入/輸出(I/O)接口 408。服務器裝置400也包括社交網絡引擎410和媒體應用412，他們可以被存儲在存儲器406中或任何其他適當的存儲位置或計算機可讀介質上。媒體應用412提供指令，該指令使得處理器402能夠執行在此所述的功能和其他功能。
[0040]為了說明容易，圖4示出用于處理器402、操作系統404、存儲器406、I/O接口 408、社交網絡引擎410和媒體應用412中的每一個的一個方框。這些方框402、404、406、408、410和412可以表示多個處理器、操作系統、存儲器、I/O接口、社交網絡引擎和媒體應用。在其他實現方式中，服務器裝置400可以不具有所示的所有組件，并且/或者可以具有其他元件，包括取代或補充在此所示的那些的其他類型的元件。
[0041]在各種實現方式中，系統102可以利用各種識別算法來識別在媒體中的面部、地標、物體等。這樣的識別算法可以與系統102是一體的。系統102也可以訪問由系統102外部并且系統102訪問的軟件提供的識別算法。
[0042]在各種實現方式中，系統102使得社交網絡系統的用戶能夠指定和/或同意個人信息的使用，這可以包括系統102使用他們在照片中的面部或使用他們的身份信息來識別在照片中識別的人們。例如，系統102可以向用戶提供涉及指定和/或同意個人信息的使用的多個選擇。例如，關于指定和/或同意的選擇可以與獨立的照片、所有照片、獨立的像冊、所有像冊等相關聯。可以以各種方式來實現該選擇。例如，系統102可以使得在各種選擇后顯示按鈕或復選框。在一些實現方式中，系統102使得社交網絡的用戶能夠指定和/或同意一般使用他們的照片來用于面部識別。下面更詳細地描述用于識別面部和其他對象的示例實現方式。
[0043]在各種實現方式中，系統102獲得社交網絡系統的用戶的參考圖像，其中，每一個參考圖像包括與已知用戶相關聯的面部的圖像。該用戶是已知的，因為系統102具有用戶的身份信息，諸如用戶的姓名和其他簡檔信息。在一些實現方式中，參考圖像可以例如是用戶已經上載的簡檔圖像。在一些實現方式中，參考圖像可以基于一組參考圖像的復合。
[0044]在一些實現方式中，為了識別在照片中的面部，系統102可以將面部(即，面部的圖像)與社交網絡系統的用戶的參考圖像進行比較并且將該面部匹配于社交網絡系統的用戶的參考圖像。注意，可以可交換地使用術語“面部”和短語“面部的圖像”。為了說明容易，在在此所述的示例實現方式的一些中描述了一個面部的識別。這些實現方式也可以適用于要識別的多個面部中的每一個面部。
[0045]在一些實現方式中，系統102可以搜索參考圖像，以便識別與在照片中的面部類似的任何一個或多個參考圖像。在一些實現方式中，對于給定的參考圖像，系統102可以從照片中的面部的圖像提取特征以進行分析，并且然后將那些特征與一個或多個參考圖像中的那些作比較。例如，系統102可以分析諸如眼睛、鼻子、顴骨、嘴巴、下巴等的面部特征的相對位置、大小和/或形狀。在一些實現方式中，系統102可以使用從該分析收集的數據來將在照片中的面部與具有匹配或類似特征的一個或多個參考圖像匹配。在一些實現方式中，系統102可以規范化多個參考圖像，并且將來自那些圖像的面部數據壓縮為具有信息(例如，面部特征數據)的復合表示，并且然后將在照片中的面部與該復合表示作比較以用于面部識別。
[0046]在一些情況下，在照片中的面部可能類似于與同一用戶相關聯的多個參考圖像。如此一來，將存在與在照片中的面部相關聯的人是與參考圖像相關聯的同一人的高概率。
[0047]在一些情況下，在照片中的面部可能類似于與不同用戶相關聯的多個參考圖像。如此一來，將存在在照片中的人匹配與參考圖像相關聯的任何給定人的中等高但是有所降低的概率。為了處理這樣的情況，系統102可以使用各種類型的面部識別算法來將概率變窄，理想上減小為一個最佳的候選。
[0048]例如，在一些實現方式中，為了促進面部識別，系統102可以使用基于特征區別的幾何面部識別算法。系統102還可以使用光度算法，其基于將面部特征提取為用于比較的值的統計學手段。當將在照片中的面部與一個或多個參考作比較時，也可以使用幾何和光度方法的組合。
[0049]可以使用其他面部識別算法。例如，系統102可以使用面部識別算法，該算法使用主成分分析、線性判別分析、彈性束圖匹配、隱馬爾可夫模型以及動態鏈接匹配中的一個或多個。可以明白，系統102可以其他已知或以后開發的面部識別算法、技術和/或系統。
[0050]在一些實現方式中，系統102可以產生輸出，該輸出指示在照片中的面部匹配給定參考圖像的可能性(或概率)。在一些實現方式中，可以將輸出表示為度量(或數值)，諸如與在照片中的面部匹配給定的參考圖像的置信度相關聯的百分比。例如，1.0的值可以表示匹配的100%的置信度。這可以例如當所比較的圖像相同或近乎相同時出現。該值可以更小，例如當存在匹配的50%的機會時為0.5。其他類型的輸出是可能的。例如，在一些實現方式中，該輸出可以是用于匹配的置信分值。
[0051]雖然已經參考其特定實施例描述了說明書，但是這些特定實施例僅是說明性的，并且不是限定性的。在示例中圖示的思想可以被應用到其他示例和實現方式。
[0052]注意，在本公開中描述的功能塊、方法、裝置和系統可以被整合或劃分為本領域內的技術人員已知的系統、裝置和功能塊的不同組合。
[0053]可以使用任何適當的編程語言和編程技術來實現特定實施例的例程。可以使用不同的編程技術，諸如面向過程或對象的。例程可以在單個處理裝置或多個處理器上執行。雖然可以以特定順序來呈現步驟、操作或計算，但是可以在不同的特定實施例中改變該順序。在一些特定實施例中，可以同時執行在本說明書中被示出為依序的多個步驟。
[0054]“處理器”包括處理數據、信號或其它信息的任何合適的硬件和/或軟件系統、機構或組件。處理器可包括具有通用中央處理單元、多個處理單元、用于實現功能的專用電路或者其他系統的系統。處理不需要限于一個地理位置，或者具有時間限制。例如，處理器可以“實時”、“離線”、以“批模式”等來執行其功能。可以通過不同(或相同)的處理系統在不同的時間和在不同的位置處執行處理的部分。計算機可以是與存儲器通信的任何處理器。存儲器可以是任何合適的處理器可讀存儲介質，諸如隨機存取存儲器(RAM)、只讀存儲器(ROM)、磁盤或光盤或適合于存儲用于由所述處理器執行的指令的其它有形介質。
【權利要求】
1.一種方法，包括: 從媒體流獲得至少一個幀，其中，所述至少一個幀包括第一面部，并且其中，所述第一面部是與用戶相關聯的面部的圖像； 確定在所述至少一個幀內的多個坐標，其中，所述多個第一坐標包括所述第一面部的坐標，并且其中，使用面部識別算法來執行所述多個坐標的所述確定； 獲得至少一個媒體內容項目，其中，所述至少一個媒體內容項目包括至少一個替代面部，并且其中，所述替代面部與所述第一面部的動畫版本相關聯； 獲得與所述至少一個媒體內容項目相關聯的一個或多個參數；以及基于所述多個坐標向所述至少一個幀增加所述至少一個媒體內容項目，其中，所述至少一個媒體內容項目的所述增加包括下述中的一個或多個:將所述至少一個媒體內容項目疊加在所述至少一個幀上，以及將所述一個或多個幀的至少一部分替換為所述至少一個媒體內容項目。
2.—種方法，包括: 從媒體流獲得至少一個幀，其中，所述至少一個幀包括第一面部，并且其中，所述第一面部是與用戶相關聯的面部的圖像； 確定在所述至少一個幀內的多個坐標； 獲得至少一個媒體內容項目；以及 基于所述多個坐標向所述至少一個幀增加所述至少一個媒體內容項目。
3.根據權利要求2所述的方法，其中，所述多個第一坐標包括所述第一面部的坐標。
4.根據權利要求2所述的方法，其中，使用面部識別算法來執行所述多個坐標的所述確定，并且其中，所述多個第一坐標包括所述第一面部的坐標。
5.根據權利要求2所述的方法，其中，所述至少一個媒體內容項目包括至少一個替代面部。
6.根據權利要求2所述的方法，其中，所述至少一個媒體內容項目包括至少一個替代面部，并且其中，所述替代面部與所述第一面部不同。
7.根據權利要求2所述的方法，其中，所述至少一個媒體內容項目包括至少一個替代面部，并且其中，所述替代面部與不同于所述用戶的人相關聯。
8.根據權利要求2所述的方法，其中，所述至少一個媒體內容項目包括至少一個替代面部，并且其中，所述替代面部與所述第一面部的動畫版本相關聯。
9.根據權利要求2所述的方法，進一步包括:獲得與所述至少一個媒體內容項目相關聯的一個或多個參數。
10.根據權利要求2所述的方法，其中，所述至少一個媒體內容項目的所述增加包括下述中的一個或多個: 將所述至少一個媒體內容項目疊加在所述至少一個幀上；以及 將所述一個或多個幀的至少一部分替換為所述至少一個媒體內容項目。
11.根據權利要求2所述的方法，進一步包括: 獲得與所述至少一個媒體內容項目相關聯的至少一個音頻內容項目；以及 向所述媒體流增加所述至少一個音頻內容項目。
12.—種系統,包括: 一個或多個處理器；以及 用于由所述一個或多個處理器執行的在一個或多個有形介質中編碼的邏輯，并且所述邏輯在被執行時可操作用于執行操作，所述操作包括: 從媒體流獲得至少一個幀，其中，所述至少一個幀包括第一面部，并且其中，所述第一面部是與用戶相關聯的面部的圖像； 確定在所述至少一個幀內的多個坐標； 獲得至少一個媒體內容項目；以及 基于所述多個坐標向所述至少一個幀增加所述至少一個媒體內容項目。
13.根據權利要求12所述的系統，其中，所述多個第一坐標包括所述第一面部的坐標。
14.根據權利要求12所述的系統，其中，使用面部識別算法來執行所述多個坐標的所述確定，并且其中，所述多個第一坐標包括所述第一面部的坐標。
15.根據權利要求12所述的系統，其中，所述至少一個媒體內容項目包括至少一個替代面部。
16.根據權利要求12所述的系統，其中，所述至少一個媒體內容項目包括至少一個替代面部，并且其中，所述替代面部與所述第一面部不同。
17.根據權利要求12所述的系統，其中，所述至少一個媒體內容項目包括至少一個替代面部，并且其中，所述替代面部與不同于所述用戶的人相關聯。
18.根據權利要求12所述的系統，其中，所述至少一個媒體內容項目包括至少一個替代面部，并且其中，所述替代面部與所述第一面部的動畫版本相關聯。
19.根據權利要求12所述的系統，進一步包括:獲得與所述至少一個媒體內容項目相關聯的一個或多個參數。
20.根據權利要求12所述的系統，其中，所述至少一個媒體內容項目的所述增加包括下述中的一個或多個: 將所述至少一個媒體內容項目疊加在所述至少一個幀上；以及 將所述一個或多個幀的至少一部分替換為所述至少一個媒體內容項目。
【文檔編號】H04N7/15GK104170374SQ201380014075
【公開日】2014年11月26日 申請日期:2013年3月13日 優先權日:2012年3月14日
【發明者】賈納汗·維韋卡南丹, 弗蘭克·彼得森, 托爾·卡朋特 申請人:谷歌公司