處理音頻信號的制作方法

專利名稱：處理音頻信號的制作方法
技術領域：
本發明涉及對在設備處接收的音頻信號進行處理。
背景技術：
設備可以具有諸如麥克風之類的音頻輸入器件，其可以被用來從周圍環境接收音頻信號。例如，用戶設備的麥克風可以接收主音頻信號(諸如來自用戶的話音)以及其它音頻信號。所述其它音頻信號可能是在設備的麥克風處所接收的干擾音頻信號，并且可能是從干擾源接收的，或者可能是周圍背景噪聲或麥克風的自噪聲。干擾音頻信號可能干擾在設備處接收的主音頻信號。設備可以將所接收音頻信號用于許多不同用途。例如，在所接收的音頻信號是從用戶接收的話音信號的情況下，該話音信號可以由設備進行處理以便在通信事件中使用，例如通過經網絡將該話音信號傳送至可以與通信事件的另ー用戶相關聯的另ー設備。可替換地或除此之外，所接收的音頻信號可以被用于如本領域已知的其它用·途。為了提高所接收音頻信號(例如，從用戶處接收的用于在呼叫中使用的話音信號)的質量，需要對在用戶設備的麥克風處接收的干擾音頻信號(例如，背景噪聲以及從干擾音頻源所接收的干擾音頻信號)進行抑制。立體聲麥克風以及其中多個麥克風作為單個音頻輸入器件進行操作的其它麥克風陣列的使用變得日益普遍。在設備使用多個麥克風使得除了能夠從單個麥克風所接收的音頻信號中所提取的信息之外，還能夠使用從所接收音頻信號提取的空間信息。當使用這樣的設備時，一種用于抑制干擾音頻信號的方法是對多個麥克風所接收的音頻信號應用波束成形器。波束成形是通過應用信號處理而對麥克風陣列所接收的音頻信號進行集中以使得在麥克風陣列從ー個或多個所期望位置(即，方向和距離)所接收的特定的音頻信號相比在麥克風所接收音頻信號的其余部分有所提升的處理。為了簡要，這里將對僅具有單個所期望方向的情形進行描述，但是相同的方法可以在存在更多感興趣的方向時應用。在波束成形行處理之前，可以確定或設置在麥克風陣列接收所期望音頻信號的角度(和/或距離)，即所謂的到達方向(DOA)信息。由于到達方向的估計可能是復雜的，所以將所期望的到達方向設置為固定會是有利的。然而，在替代的情形中，使得所期望的到達方向適應于變化的條件會是有利的，并且因此在使用波束成形器時實時執行對所期望的到達方向的估計可能是有利的。自適應波束成形器對所接收的音頻信號應用多個權重(或“波束成形器系數”)。這些權重可以得以適配以考慮到DOA信息而對多個麥克風所接收的音頻信號進行處理以形成“波束”，由此高增益被應用于麥克風從所期望的位置(即，所期望的方向和距離)接收的所期望的音頻信號，而低增益則被應用于去往任意其它(例如，干擾)信號源的方向。就干擾源的抑制可以進行適配的意義而言，波束成形器可以是“自適應的”，而所期望源/觀看方向的選擇則不必是可適配的。設備不但具有用于接收音頻信號的多個麥克風，還可以具有用于輸出音頻信號的音頻輸出器件(例如，包括揚聲器)。這樣的設備例如在音頻信號例如要在通信事件期間被輸出到設備用戶以及從設備用戶接收的情況下是有用的。例如，設備可以是諸如電話、計算機或電視的用戶設備，并且可以包括允許用戶參與電話會議所必須的裝置。在設備包括音頻輸出器件(例如，包括揚聲器)和音頻輸入器件(例如，麥克風)二
者的情況下，則在所接收音頻信號中存在回聲是經常存在問題，其中回聲產生于從揚聲器
輸出并且在麥克風接收的音頻信號。可以使用回聲消除器來消除麥克風處所接收的音頻信
號中的回聲。回聲抑制和回聲削減是實施回聲消除器的兩種方法。例如，回聲消除器可以
實施回聲抑制器，其被用來對在麥克風所接收的音頻信號中的回聲進行抑制。音頻信號從
揚聲器到麥克風的傳播路徑被稱作回聲路徑，并且回聲抑制器可以估計作為時間函數的回 聲路徑增益并且使用其來估計所接收音頻信號中的回聲功率。所接收音頻信號中的回聲功
率估計可以被用來將所接收信號中的回聲抑制到使得它們在存在任意近端信號(在麥克風
所接收的音頻信號中并非來源于揚聲器的信號分量)的情況下不會被注意到的水平。所接
收的音頻信號中的回聲功率估計是基于回聲消除器在其中進行操作的揚聲器-封閉-麥克
風(loudspeaker-enclosure-microphone)系統的模型。該模型經常至少部分地是線性的，
但是在一些情況下，該模型可能是非線性的。混合回聲消除器由以層級方式應用的回聲削
減器和回聲抑制器所構成。通過使用混合回聲消除器，通過回聲削減器實現了有所提高的
雙端語音(doubletalk)透明度，并且如果需要，則通過回聲抑制器獲得額外的回聲抑制增.、
Mo對于回聲消除的最優操作的一般要求在于
回聲路徑相對緩慢地變化，這是因為否則回聲路徑增益估計將很快不準確；
系統足夠線性，以便通過線性回聲模型進行建模；和
回聲路徑增益不應當被低估，這是因為低估進而還會導致回聲功率被低估。這將導致回聲消除器應用過小的抑制并且由此放過不可忽視的殘留回聲。對所接收音頻信號實施波束成形器和回聲消除器并非是微不足道的任務。實際上，當結合自適應麥克風波束成形器時(例如，在電話會議應用中)，需要進行關注以使得回聲消除器的性能不會被波束成形中的適配所降低。在將波束成形和回聲消除一起實施的第一系統中，在執行波束成形之前對每個麥克風信號應用單獨的回聲消除器。然而，該第一系統由于用于多個麥克風信號的多個回聲消除器的操作而在計算上非常復雜。此外，對麥克風信號使用回聲消除器(特別是使用實施回聲抑制的回聲消除器)會干擾波束成形器的波束成形處理。在將波束成形和回聲消除一起實施的第二系統中，回聲消除器被應用于波束成形器的輸出。在該第二系統中，數據自適應波束成形器的表現被優選地約束為隨時間推移而非常緩慢地變化，這是因為否則，在回聲消除器試圖響應于波束成形器表現的變化而對回聲路徑估計進行調節時，在回聲消除器所實施的回聲抑制中所使用的回聲路徑估計的準確性將會受到不利影響。此外，在該第二系統中，波束成形器優選地被約束為線性的以便防止回聲消除器所實施的回聲抑制在近端透明度方面可實現的回聲消除性能的不利下降。一些波束成形器是線性的，但是一些則不是線性的，從而波束成形器的選擇在第二系統中受到限制(被限制為線性波束成形器)。因此，以上所描述的第一系統和第二系統都存在問題。

發明內容
本發明的實施例允許麥克風波束成形器與回聲消除器一起使用，而并不以任何方式對波束成形器的類型或表現進行限制而且并不影響回聲消除器的性能。本發明的實施例基于波束成形器之前最強的麥克風信號計算回聲消除器表現，并且對波束成形器輸出應用回聲消除器。術語“最強”音頻信號可以表示隨時間推移具有最高平均功率的一個所接收音頻信號。然而，“最強”音頻信號可以表示隨時間推移按平均值具有最高絕對值的ー個所接收的音頻信號，或者瞬時具有最強功率的音頻信號。根據本發明的第一方面，提供了ー種在設備處對音頻信號進行處理的方法，該設備包括用于輸出音頻信號的音頻輸出器件，該方法包括在該設備的多個麥克風處接收音頻信號；測量多個麥克風所接收的音頻信號中的至少ー個的特性；波束成形器對所接收的音頻信號應用波束成形器系數，由此生成波束成形器輸出；并且對該波束成形器輸出應用回聲消除器件，由此從該波束成形器輸出中抑制從該音頻輸出器件所輸出的音頻信號所導·致的回聲，其中該回聲消除器件的操作參數基于多個麥克風所接收的音頻信號中的至少ー個的所測量特性進行控制。有利地，本發明實施例的計算復雜度低，原因在于回聲消除器件被應用于波束成形器輸出而不是波束成形器之前的每個所接受音頻信號。因此所需的回聲消除器更少。在優選實施例中，僅使用一個回聲消除器，其被應用于波束成形器輸出。此外，波束成形器的性能并不會受到回聲消除器件的不利影響，這是因為回聲消除器件在波束成形器對所接收音頻信號應用波束成形器系數之前并不對所接收音頻信號進行改變。此外，波束成形器的表現并不由于波束成形器輸出緩慢變化的要求而受到限制，這是因為在波束成形器應用波束成形器系數之前，回聲消除器件的操作參數基于ー個或多個所接收音頻信號的特性進行控制。這樣，回聲消除器件的操作參數并不受到波束成形器表現的影響，并且這樣波束成形器輸出并不被要求來為了回聲消除器件正確工作而緩慢變化。類似地，由于回聲消除器件的操作參數在波束成形處理之前基于至少一個所接收音頻信號的特性進行控制，所以波束成形器所應用的波束成形器參數并不必局限于是線性的(雖然波束成形器系數在一些實施例中可以是線性的)。在優選實施例中，多個麥克風所接收的音頻信號中被根據來測量特性的至少ー個包括最強的所接收的音頻信號，并且該方法可以包括確定哪個所接收的音頻信號為最強的所接收的音頻信號的步驟。多個麥克風所接收的音頻信號中被根據來測量特性的至少ー個可以包括不同于最強音頻信號的一個所接收音頻信號。此外，測量至少ー個音頻信號的特性的步驟可以包括從多個麥克風所接收的音頻信號中的至少ー個測量回聲路徑增益。該方法可以進一歩包括使用所述所測量的回聲路徑増益來確定波束成形器輸出中的回聲功率估計，其中所述操作參數基于波束成形器輸出中的回聲功率估計進行控制。該操作參數可以包括回聲消除器件(例如，通過回聲消除器件的回聲抑制器件)對波束成形器輸出所應用的回聲抑制水平。有利地，在優選實施例中，根據從最強的所接收的音頻信號所測量的回聲路徑增益所確定的波束成形器輸出中的回聲功率估計保證不會是對波束成形器輸出中回聲功率的低估，由此確保了回聲消除器件不會對波束成形器輸出應用過小的回聲抑制。
在優選實施例中，該方法進ー步包括確定波束成形器對多個麥克風從波束成形器的主要方向所接收的音頻信號所應用的波束成形器増益，其中所述波束成形器増益被用在波束成形器輸出中的回聲功率估計的所述確定中。所確定的回聲功率估計可以表示波束成形器輸出中回聲功率的上限。該方法可以進一歩包括基于所接收音頻信號的分析對波束成形器的波束成形器系數進行適配。例如，可以對波束成形器系數進行適配以在波束成形器的波束成形約束內將波束成形器輸出中的功率最小化。波束成形器的波束成形約束例如可以包括多個麥克風在波束成形器的主要方向中所接收的音頻信號并不由于應用波束成形器系數而失真的約束。波束成形器系數可以描述所接收的音頻信號的線性函數或非線性函數。例如，波束成形器可以是最小方差無失真響應(MVDR)波束成形器。根據本發明的第二方面，提供了ー種用于處理音頻信號的設備，該設備包括音頻輸出器件，用于輸出音頻信號；多個麥克風，用于接收音頻信號；波束成形器，其被配置為對所接收的音頻信號應用波束成形器系數，由此生成波束成形器輸出；回聲消除器件，其被 配置為應用于該波束成形器輸出，由此從該波束成形器輸出抑制從該音頻輸出器件所輸出的音頻信號所導致的回聲；和處理器件，用于測量多個麥克風所接收的音頻信號中至少ー個的特性，并且用于基于多個麥克風所接收的音頻信號中至少ー個的所測量特性對該回聲消除器件的操作參數進行控制。該回聲消除器件可以包括被安排為應用于波束成形器輸出的回聲抑制器件。該回聲消除器件可以進一歩包括被安排為在波束成形器向所接收的音頻信號應用波束成形器系數之前應用于多個麥克風所接收的每個音頻信號的回聲削減器件。根據本發明的第三方面，提供了一種用于在設備處對音頻信號進行處理的計算機程序產品，該設備包括用于接收音頻信號的多個麥克風以及用于輸出音頻信號的音頻輸出器件，該計算機程序產品記錄在非瞬時的計算機可讀介質上并且被配置為以便當在該設備的處理器上執行時執行步驟測量多個麥克風所接收的音頻信號中的至少ー個的特性；使用波束成形器對所接收的音頻信號應用波束成形器系數，由此生成波束成形器輸出；并且對該波束成形器輸出應用回聲消除器件，由此從該波束成形器輸出中抑制從該音頻輸出器件所輸出的音頻信號所導致的回聲，其中該回聲消除器件的操作參數基于多個麥克風所接收的音頻信號中的至少ー個所測量的特性進行控制。


為了更好地理解本發明以及示出本發明可以如何生效，現在將通過示例參考以下附圖，其中
圖I示出了根據優選實施例的設備的示意 圖2示出了根據優選實施例的系統；
圖3示出了根據第一現有技術系統的設備的部件的功能框 圖4示出了根據第二現有技術系統的設備的部件的功能框 圖5示出了根據優選實施例的設備的部件的功能框 圖6示出了根據優選實施例的用于處理音頻信號的處理的流程圖。
具體實施例方式現在將僅通過示例對本發明的優選實施例進行描述。例如，可能希望在設備處實施波束成形器和回聲消除器二者以便隨電話會議應用一起使用。在本發明的以下實施例中，對允許波束成形器連同回聲消除器一起使用而并不對波束成形器類型或波束成形器表現進行限制并且并不影響回聲消除器的性能的技術進行描述。波束成形器可以如下進行建模。麥克風波束成形器的用途是對若干麥克風信號進行合并以便產生波束成形器輸出。波束成形器輸出可以由許多信號構成，但是為了簡要，在以下所描述的優選實施例中，將假設波束成形器產生一個單獨輸出。存在許多不同的可以使用的波束成形算法并且用于描述波束成形算法的通用模型為
y(t) = f(yi(0,y2(t),".,yN(t)) 其中y(t)是波束成形器輸出，yn(t)是來自麥克風陣列中第η個麥克風的第η個輸入信號，N是波束成形器輸入信號的總數，并且f ()是波束成形器函數。波束成形器函數f O可以采用許多不同形式之一并且可以是線性或非線性的。對于延遲疊加(Delay-and-sum)波束成形器而言，波束成形算法給出如下
y(t) = SU=IynCt)
對于MVDR波束成形器而言，波束成形算法給出如下
y(t) = Ei =ign(t)*yn(t)
其中gn(t)是第η個輸入信號的權重因數。進行操作以消除單個麥克風輸入信號y(t)中的回聲的回聲消除器可以如下進行建模。回聲路徑是揚聲器信號x(t)向麥克風信號y(t)進行傳播的路徑。使用回聲抑制的
回聲消除器可以通過針對時間t和頻率f估計回聲路徑增益，并且使用回聲路徑
增益的估計|及&/)|2來估計所接收音頻信號中的回聲功率來進行操作。回聲功率
的該估計可以根據以下等式基于在其上操作回聲消除器的揚聲器-封閉-麥克風系統的線性模型來執行
Y(t,f) = S(t,f)+ N(^f) = H(t,f)X(t,f)+Nftf)
其中Y(t，f)是針對麥克風信號的頻率估計(例如，數字傅里葉變換)，X(t，f)是針對揚聲器信號的頻率估計，S(t，f)是針對回聲信號的頻率估計，H(t，f)是回聲路徑的頻率響應，并且N(t，f)是所有近端聲音、麥克風噪聲和建模誤差(它們都是所接收的回聲之外的音頻信號)的頻率估計。為了回聲消除模型是有效的，假設用來計算頻率估計的變換全部都具有足夠的階(sufficient orders)0由于設備將了解要從其揚聲器輸出什么信號，所以
針對揚聲器信號的頻率估計x(t，f)是已知的。因此，為了確定回聲功率I風 ,/)|2，應當估
計回聲路徑的頻率響應H (t，f)。在X(t，f)與N(t，f)無關的假設下，回聲路徑增益j身仏/)|2可以根據作為Y(t，f)和x(t，f)的函數的模型進行估計。此外，可以基于預計回聲與近端的比率對估計速度或估計可信度進行調節，該比率限制估計的可能準確度，即主要在預計回聲功率在麥克風信號中強時對估計進行更新。一種可以使用的估計方法是最小平方估計方法。回聲路徑增益估計I泣れプ)|2被用來使用以上模型來估計回聲功率|總(1，ブ)|2，即
I 紙1)r=oTixft op 回聲消除的最優操作的一般要求是
回聲路徑相對緩慢地變化，這是因為否則回聲路徑增益估計將很快不準確；
系統足夠線性以便通過以上的線性回聲模型進行建模；和
回聲路徑增益不應當被低估，即I及仏/)|'さ，這是因為低估進而還會導致
回聲功率1總(1，/)|—被低估。這將導致回聲消除器應用過小的已知并且由此放過不可忽視的殘留回聲。現在參考圖1，其圖示了設備102的示意性視圖。設備102可以是固定或移動設備。設備102包括CPU 104，與之連接的是用于接收音頻信號的麥克風陣列106，用于輸出音頻信號的音頻輸出器件110，諸如用于向設備102的用戶輸出視覺數據的屏幕的顯示器112以及用于存儲數據的存儲器114。現在參見圖2，其圖示了設備102在其中進行操作的示例環境200。設備102的麥克風陣列106從環境200接收音頻信號。例如，如圖2所示，麥克風陣列106接收來自用戶202 (如圖2中的Cl1所表示)的音頻信號，來自另ー個用戶204 (如圖2中的d2所表不)的音頻信號，來自風扇206 (如圖2中的d3所表不)的音頻信號，以及來自揚聲器210 (如圖2中的d4所表不)的音頻信號。設備102的音頻輸出器件110包括音頻輸出處理器件208和揚聲器210。音頻輸出處理器件208進行操作以向揚聲器210發送音頻輸出信號以便從揚聲器210輸出。音頻輸出處理器件208可以作為CPU 104上執行的軟件或者作為設備102中的硬件進行操作。對于本領域技術人員將顯而易見的是，麥克風陣列106可以接收圖2所示之外的其它音頻信號。在圖2所示的情形中，來自用戶202的音頻信號是所期望的音頻信號，而在麥克風陣列106所接收的所有其它音頻信號是干擾音頻信號。在其它實施例中，在麥克風陣列106所接收的多于ー個的音頻信號可以被認為是“所期望的”音頻信號，但是為了簡要，在這里所描述的實施例中，僅有ー個所期望的音頻信號(其是來自用戶202的音頻信號)而其它音頻信號都被認為是干擾。所不期望的噪聲信號的其它源例如可以包括空調系統、播放音樂的設備，以及例如在環境200中離開墻壁的音頻信號的混響(reverberance)。現在參見圖3，其圖示了第一現有技術設備的部件的功能表示。麥克風陣列106包括多個麥克風30も、3022和3023。第一現有技術設備進ー步包括波束成形器304。麥克風陣列106中每個麥克風的輸出耦接至多個聲音回聲消除器306^3062和3063的相應輸入。以這種方式，針對每個所接收信號(圖3中所表示的yi(t)、y2(t)和y3(t))有一個回聲消除器306。每個回聲消除器306的輸出耦接到波束成形器304的相應輸入。本領域技術人員將會意識到，需要多個輸入以便實施波束成形。如圖3所示，麥克風30も、3022和3023接收近端音頻信號以及從揚聲器210所輸出的回聲音頻信號。在第一現有技術設備中，在波束成形器304執行波束成形之前對每個所接收的音頻信號y(t)應用單獨的回聲消除器306。因此，如以上所描述的，圖3所示的第一現有技術設備由于實施了多個回聲消除器306而在計算上是復雜的。此外，引入回聲消除器306會對自適應波束成形器304的波束成形處理造成干擾。現在參見圖4，其圖示了第二現有技術設備的部件的功能表示。與圖3所示的第一現有技術設備類似，第二現有技術設備具有包括多個麥克風302^3022和3023的麥克風陣列106以及波束成形器404。然而，在第二現有技術設備中，麥克風陣列106中的每一個麥克風的輸出耦接至波束成形器404的相應輸入，并且波束成形器404的輸出耦合至聲音回聲消除器404的輸入。以這種方式，波束成形器404在回聲消除器406進行回聲消除處理之前應用波束成形處理。第二現有技術設備省去了對多個回聲消除器的需要，但是第二現有技術設備具有缺陷。例如，波束成形器404的操作需要進行調節以便在第二現有技術設備中非常緩慢地變化，因為否則回聲消除器406將無法足夠快地針對波束成形器表現的變 化進行調節以對所接收音頻信號中的回聲提供滿意的抑制。此外，為了回聲消除器406正確操作，波束成形器404優選地需要是線性的。這限制了波束成形器404實施方式的選擇。現在參見圖5，其圖示了根據本發明優選實施例的設備102的部件的功能表示。麥克風陣列106包括多個麥克風302^3022和3023。設備102進一步包括波束成形器504、聲音回聲消除器506和處理塊508。波束成形器504例如可以是最小方差無失真響應(MVDR)波束成形器。波束成形器504、回聲消除器506和處理塊508可以在CPU 104上執行的軟件或者在設備102中的硬件中實施。麥克風陣列106中每個麥克風的輸出耦接至波束成形器504的相應輸入。麥克風陣列106中每個麥克風的輸出還耦接至處理塊508的相應輸入。波束成形器504的輸出耦接至回聲消除器506的輸入。處理塊508的輸出耦接至回聲消除器506的輸入以由此向回聲消除器506提供邊信息。本領域技術人員將會意識到的是，需要多個輸入以便實施波束成型。麥克風陣列106在圖5中被示為具有三個麥克風(302^3022和3023)，但是將要理解的是，這個麥克風的數量僅是示例而并非以任何方式進行限制。波束成形器504包括用于接收和處理來自麥克風陣列106的麥克風302^3022和3023音頻信號71(0、72(0和73(0的器件。例如，波束成形器504可以包括語音活動檢測器(VAD)和DOA估計塊(圖中未示出)。在操作中，波束成形器504確定麥克風陣列106所接收的音頻信號的屬性并且基于如VAD和DOA估計塊所檢測的質量的話音檢測，確定(一個或多個)主揚聲器的一個或多個主要方向。在其它實施例中，(一個或多個)主揚聲器的(一個或多個)主要方向可以預先設置以使得波束成形器304集中于固定方向。在圖2所示的示例中，從用戶202所接收的音頻信號的方向(Cl1)被確定為主要方向。波束成形器504可以通過形成波束而使用DOA信息(或者簡單地使用預先設置供波束成形器504使用的固定查看方向)來處理音頻信號，所述波束在麥克風陣列106處接收所期望信號的來自主要方向(Cl1)的方向中具有高增益，并且在任意其它信號的方向(例如，Cl2U3和d4)中具有低增益。波束成形器504還可以確定到達的干擾方向(d2、d3和d4)，并且有利地，可以對波束成形器504的表現進行適配以使得特別低的增益被應用于從那些進行干擾的到達方向所接收的音頻信號，以便對進行干擾的音頻信號進行抑制。同時，以上已經描述了，波束成形器504能夠確定任意數量的主要方向，所確定的主要方向的數量影響波束成形器的屬性，例如，對于大量的主要方向而言，與僅確定了單個主要方向的情況相比，波束成形器504將對在麥克風陣列從其它(所不期望的)方向所接收的信號應用較小的衰減。波束成形器504的輸出以所要進行處理的單個通道的形式被提供至回聲消除器506。例如，也可能輸出多于ー個的通道以保存或虛擬生成立體聲圖像。如對于本領域技術人員將顯而易見的，回聲消除器506的輸出可以在設備102中以許多不同的方式使用。例如，回聲消除器506的輸出可以被用作用戶202正使用設備102所參與的通信事件的一部分。參考圖6，現在對根據優選實施例的處理音頻信號的方法進行描述。在步驟S602，在麥克風陣列106的麥克風(302^3022和3023)處接收音頻信號。該音頻信號例如從用戶202、用戶204和風扇206接收，并且這些信號構成了如圖2和圖5所示的近端音頻信號。麥克風陣列106中的麥克風還從如圖2和圖5所示的揚聲器210接收回聲信號。諸如背景噪聲之類的其它干擾音頻信號也可以在麥克風陣列106的麥克風(302^3022和3023)處接收，并且這些其他干擾音頻信號將構成進ー步的近端音頻信號。由麥克風陣列106的每個麥克風(302^3022和3023)所接收音頻信號yi (t)、y2 (t)和y3 (t)被送至波束成形器504和處理·塊508。回聲信號是音頻輸出處理器件208向揚聲器210發送揚聲器音頻信號x(t)以及揚聲器輸出揚聲器音頻信號x(t)的結果。揚聲器音頻信號x(t)通過(H(t，f)所描述的)回聲路徑進行傳播并且出現在所接收的音頻信號yi(t)、y2(t)和y3(t)中。在步驟S604，波束成形器504對所接收的音頻信號(yi(t)、y2(t)和y3(t))應用其波束成形器過濾系數以由此生成波束成形器輸出。如以上所描述的，波束成形器504集中于在麥克風陣列106從主要方向(Cl1)所接收的音頻信號以由此增強從用戶202所接收的所期望的音頻信號，并且對在麥克風陣列106從其它方向所接收的其它音頻信號應用抑制。波束成形器504對于從主要位置(S卩，方向和距離)所接收的音頻信號應當具有固定増益，其中波束成形器增益應當優選地隨時間推移是恒定的(但是隨頻率可能不是恒定的)，以由此防止所期望音頻信號的失真。作為示例，波束成形器増益針對主要位置(即，主要方向和/或距離)可以被設置為數值I。波束成形器504的任務是相對于其它干擾源提升來自主要源的信號。波束成形器輸出被送至回聲消除器506。在步驟S606,處理塊508對所接收的音頻信號Y1Uhy2 (t)和y3(t)進行分析以確定哪個是所接收音頻信號yi(t)、y2(t)和y3(t)中最強的。在其它實施例中，在步驟S606中選擇所接收音頻信號中不同于最強音頻信號的ー個信號，但是在優選實施例中選擇最強音頻信號。最強的所接收音頻信號y_(t)可以作為邊信息從處理塊508被送至回聲消除模塊506。從這個意義上來說，在對音頻信號應用波束成形器504之前確定最強的所接收的音頻信號。通過找出哪個所接收音頻信號滿足以下等式來確定最強的所接收音頻信號
權利要求
1.一種在設備處處理音頻信號的方法，該設備包括用于輸出音頻信號的音頻輸出器件，該方法包括 在該設備的多個麥克風處接收音頻信號； 測量多個麥克風所接收的音頻信號中的至少一個的特性； 波束成形器對所接收的音頻信號應用波束成形器系數，由此生成波束成形器輸出；并且 對該波束成形器輸出應用回聲消除器件，由此從該波束成形器輸出中抑制從該音頻輸出器件所輸出的音頻信號所導致的回聲， 其中該回聲消除器件的操作參數基于多個麥克風所接收的音頻信號中的至少一個的所測量特性進行控制。
2.根據權利要求I的方法，其中多個麥克風所接收的音頻信號中的所述至少一個包括最強的所接收的音頻信號。
3.根據權利要求2的方法，進一步包括確定哪個所接收音頻信號為最強的所接收的音頻信號。
4.根據權利要求I的方法，其中多個麥克風所接收的音頻信號中的所述至少一個從具有不大于預定量小于最強的所接收的音頻信號的功率的功率的那些所接收的音頻信號中進行選擇。
5.根據權利要求4的方法，其中該預定量是可變的，并且該方法包括用戶改變該預定量或者設備改變該預定量。
6.根據權利要求I的方法，其中多個麥克風所接收的音頻信號中的所述至少一個的功率被用來基于該設備的多個麥克風之間的距離確定最強的所接收音頻信號的功率的上限。
7.根據之前任一項權利要求的方法，所述測量音頻信號中的至少一個的特性的步驟包括從多個麥克風所接收的音頻信號中的至少一個測量回聲路徑增益。
8.根據權利要求7的方法，進一步包括使用所述所測量的回聲路徑增益來確定波束成形器輸出中的回聲功率估計，其中所述操作參數基于波束成形器輸出中的回聲功率的估計進行控制。
9.根據權利要求8的方法，進一步包括確定由波束成形器對多個麥克風從波束成形器的主要方向所接收的音頻信號所應用的依賴于頻率的波束成形器增益，其中所述波束成形器增益被用在波束成形器輸出中的回聲功率估計的所述確定中。
10.根據權利要求8或9的方法，其中所述所確定的回聲功率估計表示波束成形器輸出中回聲功率的上限。
11.根據之前任一項權利要求的方法，其中所述操作參數包括由回聲消除器件應用于波束成形器輸出的回聲抑制水平。
12.根據之前任一項權利要求的方法，進一步包括基于對所接收的音頻信號的分析對波束成形器的所述波束成形器系數進行適配。
13.根據權利要求12的方法，其中對所述波束成形器系數進行適配以在波束成形器的波束成形約束內將波束成形器輸出中的功率最小化。
14.根據權利要求13的方法，其中波束成形器的所述波束成形約束包括多個麥克風在波束成形器的主要方向中所接收的音頻信號并不由于應用波束成形器系數而失真。
15.根據之前任一項權利要求的方法，其中波束成形器系數描述所接收的音頻信號的線性函數或非線性函數。
16.一種或多種其上存儲計算機可執行指令的計算機可讀存儲媒體，所述指令當由計算設備執行時，使得所述計算設備實現如權利要求I 一 15中的任一個所述的方法。
17.一種用于處理音頻信號的設備，該設備包括 音頻輸出器件，用于輸出音頻信號； 多個麥克風，用于接收音頻信號； 波束成形器，其被配置為對所接收的音頻信號應用波束成形器系數，由此生成波束成形器輸出； 回聲消除器件，其被配置為應用于該波束成形器輸出，由此從該波束成形器輸出中抑制從該音頻輸出器件所輸出的音頻信號所導致的回聲；和 處理器件，用于測量多個麥克風所接收的音頻信號中至少一個的特性，并且用于基于多個麥克風所接收的音頻信號中至少一個的所測量特性對該回聲消除器件的操作參數進行控制。
18.根據權利要求17的設備，其中所述回聲消除器件包括被安排為應用于波束成形器輸出的回聲抑制器件。
19.根據權利要求18的設備，其中所述回聲消除器件進一步包括被安排為在波束成形器向所接收的音頻信號應用波束成形器系數之前應用于多個麥克風所接收的每個音頻信號。
20.根據權利要求17至19中任一項的設備，其中該波束成形器是最小方差無失真響應波束成形器。
21.一種用于在設備處處理音頻信號的計算機程序產品，該設備包括用于接收音頻信號的多個麥克風以及用于輸出音頻信號的音頻輸出器件，該計算機程序產品記錄在非瞬時的計算機可讀介質上并且被配置為當在該設備的處理器上執行時執行步驟 測量多個麥克風所接收的音頻信號中的至少一個的特性； 使用波束成形器對所接收的音頻信號應用波束成形器系數，由此生成波束成形器輸出；并且 對該波束成形器輸出應用回聲消除器件，由此從該波束成形器輸出中抑制從該音頻輸出器件所輸出的音頻信號所導致的回聲， 其中該回聲消除器件的操作參數基于多個麥克風所接收的音頻信號中的至少一個的所測量的特性進行控制。
全文摘要
用于在設備處處理音頻信號的方法、設備和計算機程序產品，該設備包括用于輸出音頻信號的音頻輸出器件。在設備的多個麥克風處接收音頻信號。測量多個麥克風所接收的音頻信號中的至少一個的特性。波束成形器對所接收的音頻信號應用波束成形器系數，由此生成波束成形器輸出。回聲消除器件被應用于波束成形器輸出，由此從波束成形器輸出抑制從音頻輸出器件所輸出的音頻信號所導致的回聲，其中該回聲消除器件的操作參數基于多個麥克風所接收的音頻信號中的至少一個的所測量的特性進行控制。
文檔編號H04M9/08GK102957819SQ20121036810
公開日2013年3月6日 申請日期2012年9月28日 優先權日2011年9月30日
發明者P.阿格倫 申請人:斯凱普公司