專利名稱：回音抑制器、回音抑制方法
技術領域：
本發明涉及回音抑制，尤其涉及用于抑制由聲音輸出裝置產生的聲音引 起的回音的 一種回音抑制器、方法和計算機可讀存儲介質。
背景技術：
雖然語音識別技術尚未達到理想的程度，但其一直在發展。例如，按下
按講開關(push-to-talk switch)以使汽車導航系統靜音，可允許系統正確地 識別用戶的聲音指示(auditory instruction)。但在對系統講話之前不需要冗 余操作，例如不需要按下按講開關的操作。為了改善對該操作的簡化 (saving)，需要消除回音以抑制由從系統揚聲器發射到麥克風的聲音引起 的回音。具體而言，當指定用于接收用戶聲音指示的麥克風接收到多信道汽 車音頻系統中的多個揚聲器之一的聲音時，該聲音會產生影響用戶語音的噪 聲。因此，需要一種經改善的回音消除方法，用于消除從汽車音頻系統發射 并經由用于語音識別系統中的麥克風接收的聲音。
圖12示出了所提出的一種回音消除系統，其中將一種傳統的回音抑制 方法(回音消除方法)應用于多信道音頻系統中。用于該系統中的回音抑制 方法依賴于用于單聲道信道音頻系統的方法，通過該方法對一個信道進行回 音消除，如圖12所示。從多信道音頻系統2000發送的多個聲音信號被饋入 相應的揚聲器2001-1、…和2001-n，所述每一揚聲器根據每一信號來發送聲 音。回音抑制器1000進行操作以消除影響聲音信號的回音信號，該聲音信 號由麥克風2002接收到的聲音激活，其中該回音信號是由多個信道獲得的 聲音信號的總和。
通過抑制觀測聲音信號y(t)的回音來執行回音消除，其中所述觀測聲音 信號y(t)是基于所接收到的聲音、利用所述參考聲音信號xl(t) ...xn(t)而產生 的，而該參考聲音信號是基于多個信道(該多個信道具有與參考聲音信號 xl(t)...xn(t)相對應的多個抑制機構(回音消除器)1001-1...1001-n)的輸出
聲音而產生的。
除了圖12的結構之外，還提出另一種回音抑制器，其通過將適用于單 聲道信道音頻系統的回音抑制方法應用到多信道音頻系統來實現。圖13是
示出傳統的第二回音抑制器的示意圖。第二回音抑制器1000利用加法機構 1002對基于多個信道的聲音產生的參考聲音信號xl(t) ...xn(t)相加，以產生 加和的參考信號聲音x(t)，并抑制基于該加和的參考聲音信號x(t)產生的觀測 聲音信號y(t)的回音。
圖14是示出傳統回音抑制器的抑制機構1001的功能配置的功能框圖。 每一抑制機構1001包括檢測單元10010，用于檢測說話者正在說話的雙端 發聲狀態和說話者沒在說話的單端發聲狀態(在車輛音頻系統發聲期間)； 濾波因子更新單元10011，用于通過基于自適應歸一化最小均方(NLMS) 算法進行處理來更新估算回音等級所需的濾波系數；線性有限脈沖響應 (FIR)濾波器10012，用于通過數百階(several-hundred-order)內積計算來 估算基于參考聲音信號x(t)的回音信號x'(t);以及減法單元10013，用于從觀 測聲音信號y(t)除去回音信號x'(t)，以獲得并輸出具有減少回音的抑制結果 r(t)。檢測單元10010基于抑制結果r(t)中的強度變化來檢測單端發聲狀態和 雙端發聲狀態。根據所產生的雙端發聲狀態，檢測單元10010提示濾波因子 更新單元10011停止更新濾波系數。濾波因子更新單元10011基于該抑制結 果r(t)計算濾波因子(系數)。
圖12所示的回音抑制器1000包括圖14所示的用于對應于參考聲音信 號xl(t)…xn(t)的每一信道的抑制機構1001。上述回音抑制方法在例如日本 特開專利申請No.2002-237769中示出。
然而，如圖14所示，基于NLMS的自適應處理是根據過去獲得的結果 來抑制回音的，這會導致在單端發聲狀態和雙端發聲狀態之間的變換不太可 能跟得上觀測信號的巨大變化的問題。這也導致另一問題，即在單端發聲狀 態下講話者剛開始講話之后就檢測狀態或者僅在雙端發聲狀態下檢測包括 回音的狀態時，可能出現錯誤的語音識別。
此外，如圖12所示的使用對應于每一信道的抑制機構的方法具有如下 問題，即增加了成本和設備大小。具體而言，在將此方法應用到安裝空間固 定有限的車輛導航系統時，尺寸增加的問題會變得嚴重。
此外，如圖13所示，在使用單聲道信道的加和的參考聲音信號情形下， 出現了需要被抑制的殘留誤差增大的問題，該加和的參考聲音信號通過參考
聲音信號相加而獲得。這是因為在輸出音樂聲音等的多信道音頻單元2000
的輸出單元中，來自每個揚聲器的重現聲音及其強度獨立變化，從而通過一 種自適應處理難以獲得并且估算多個路徑中的回音。
發明內容
本發明的一個目的是提供一種回音抑制器，該回音抑制器將時域中的參
考聲音信號和觀測聲音信號轉換為頻率軸上(頻域中)的分量；計算表示經 轉換的參考聲音信號和觀測聲音信號之間的比率和相關性的值；對表示比率 和相關性的值進行比較；基于比較結果、比率和相關性確定用于估算回音級 別(level)所需的估算系數；使用該估算系數來估算回音級別；以及基于所 估算的回音級別來抑制觀測聲音信號。相對于使用歸一化最小均方(NLMS) 算法的回音抑制器，即使在單端發聲和雙端發聲之間的邊界處觀測聲音信號 出現大的變化，根據本發明的回音抑制器和方法仍然可以以較高精確度實現 較小的語音識別延遲。
此外，本發明的另一目的是提供一種具有如下功能的回音抑制器。也就 是說，在使用多個參考聲音信號的情形下，該抑制器基于通過參考聲音信號 相加而獲得的信號來實現回音抑制處理。因此，不需要對每個信道進行抑制 處理。從而可以降低成本和設備大小，以及避免出現超出估算能力而增大殘 留回音的問題，因為沒有使用基于學習識別的自適應處理。
根據本發明的第一方案， 一種回音抑制器能夠和聲音輸出裝置以及聲音 處理裝置相結合操作，并抑制觀測聲音信號的回音，該聲音輸出裝置用于產 生聲音信號并輸出來自聲音輸出單元的聲音，該聲音處理裝置用于基于從聲 音輸入單元輸入的聲音來處理觀測聲音信號，該回音抑制器的特征在于包 括轉換單元，用于將參考聲音信號和觀測聲音信號轉換為頻率軸上的分量， 該參考聲音信號用于產生輸出到聲音輸出單元的聲音，該觀測聲音信號是利 用從聲音輸入單元輸入的聲音產生的；計算單元，用于計算參考聲音信號和 觀測聲音信號在頻率軸上的分量之間的比率和相關性；比較單元，用于比較 該比率和該相關性的值；確定單元，用于從比較結果、比率和相關性得到估
算回音所需的估算因子；估算單元，用于利用該估算因子來估算回音；以及 抑制單元，用于基于所估算的回音來抑制觀測聲音信號。
根據本發明的第二方案，根據第一方案的回音抑制器還包括加法單元，
用于加和多個參考聲音信號，該抑制器的特征在于轉換單元被配置成將觀測
聲音信號和加和參考聲音信號轉換為頻率軸上的分量；
根據本發明的第三方案，根據第一或第二方案的回音抑制器特征在于
計算單元，其被配置成在預定頻率范圍內的每一頻率上確定參考聲音信號和 觀測聲音信號之間的相關性，該預定頻率范圍包括目標頻率，并根據該目標 頻率改變預定頻率范圍。
根據本發明的第四方案，根據第一至第三方案中任一方案的回音抑制器
特征在于確定單元，其被配置成設定多個閾值，用于比較比率和相關性的 值，以及基于所述多個閾值、該比率和該相關性來確定是單端發聲狀態還是 雙端發聲狀態。
根據本發明的第五方案，根據第四方案的回音抑制器特征在于確定單 元，被配置成根據頻率改變多個閾值，用于基于該比率和相關性確定該狀態 是單端發聲狀態還是雙端發聲狀態。
根據本發明的第六方案，根據第五方案的回音抑制器特征在于計算單 元，其被配置成基于從觀測聲音信號轉換而來的復頻譜(complex spectrum) 與從參考聲音信號轉換而來的復頻譜的共軛復數(complex conjugate number) 相乘而獲得的值、以及基于從參考聲音信號轉換而來的復頻譜與從該參考聲 音信號轉換而來的復頻譜的共軛復數相乘而獲得的值，來確定比率和相關性 的值。
根據本發明的第七方案，根據第六方案的回音抑制器特征在于估算單 元，被配置成估算回音的振幅譜；以及抑制單元，被配置成在觀測信號的振 幅譜與回音的振幅譜的比率不小于預定閾值的情況下，抑制觀測聲音信號的 振幅譜。
根據本發明的第八方案，根據第七方案的回音抑制器特征在于抑制單 元，被配置成根據目標頻率來改變閾值。
根據本發明的第九方案， 一種回音抑制方法，用于通過回音抑制器抑制 觀測聲音信號的回音，所述回音抑制器能夠與聲音輸出裝置和聲音處理裝置
相結合操作，該聲音輸出裝置用于產生聲音信號并輸出來自聲音輸出單元的 聲音，該聲音處理裝置用于基于從聲音輸入單元輸入的聲音來處理觀測聲音 信號，該方法的特征在于，包括以下步驟(操作)將參考聲音信號和觀測 聲音信號轉換為頻率軸上的分量的步驟，該參考聲音信號用于產生輸出到聲 音輸出單元的聲音，該觀測聲音信號是利用從聲音輸入單元輸入的聲音產生
的；計算參考聲音信號和觀測聲音信號在頻率軸上的分量之間的比率和相關 性的步驟；將該比率和該相關性的值進行比較的步驟；從比較結果、比率和 相關性得到估算回音所需的估算因子的步驟；利用該估算因子估算回音的步 驟；以及基于所估算的回音抑制觀測聲音信號的步驟。
根據本發明的第十方案， 一種計算機程序產品，被加載到計算機并定義 在計算機上執行的步驟，以與聲音輸出裝置和聲音處理裝置相結合來抑制觀 測聲音信號的回音，該聲音輸出裝置用于產生聲音信號并從聲音輸出單元輸 出聲音，該聲音處理裝置用于基于從聲音輸入單元輸入的聲音處理觀測聲音 信號，該計算機程序產品的特征在于，該程序產品使得計算機執行以下步驟 將參考聲音信號和觀測聲音信號轉換為頻率軸上的分量的步驟，該參考聲音 信號用于產生輸出到聲音輸出單元的聲音，該觀測聲音信號是利用從聲音輸 入單元輸入的聲音產生的；計算參考聲音信號和觀測聲音信號在頻率軸上的 分量之間的比率和相關性的步驟；將該比率和該相關性的值進行比較的步 驟；從比較結果、比率和相關性得到估算回音所需的估算因子的步驟；禾U用 該估算因子估算回音的步驟；以及基于所估算的回音抑制觀測聲音信號的步 驟。
根據本發明的第一、第九和第十方案，基于比率和相關性之間的關系實 時確定當前狀態是單端發聲狀態還是雙端發聲狀態，以適當改變回音估算方 法。因此，不必參考過去的信號，在單端發聲狀態和雙端發聲狀態的邊界進 行確定時不會出現延遲，這不同于基于學習識別(learning identification)的 適應性處理。
根據本發明的第二方案，該抑制器可適用于多信道音頻系統，而不必估 算每個參考聲音信號的回音，從而不必提供用于每個信道的抑制單元。據此， 可以阻止抑制電路成本和安裝空間的增加。此外，該抑制器沒有執行基于學 習識別的適應性處理，從而不會出現超出估算能力而使殘留回音增大的問
題。
根據本發明的第三方案，例如，用于計算中的預定頻率范圍朝著最低頻 率的方向增加，以相對增加相關性的檢測靈敏度，從而增加雙端發聲的檢測 精確度，其中在該最低頻率處難以檢測講話者的語音和基于參考聲音信號的 聲音輸出之間的差異。
根據本發明的第四方案，例如，如果比率小于相關性的第一閾值，則抑 制器通過參考聲音信號和觀測聲音信號之間的高相關性判斷當前狀態是單 端發聲狀態。接著，以該比率和參考聲音信號作為估算因子來估算回音。此 外，例如，如果信號比率不小于相關性的第二閾值，則抑制器通過參考聲音 信號和觀測聲音信號之間的低相關性判斷當前狀態是雙端發聲狀態。接著， 以相關性和參考聲音信號作為估算因子來估算回音。
根據本發明的第五方案，閾值沿著較低頻率至較高頻率而降低，以增加 雙端發聲狀態的檢測精確度，從而抑制講話者的語音失真。另外，閾值沿著 較低頻率至較高頻率而增大，以增加單端發聲狀態的檢測精確度，從而抑制 殘留回音。
根據本發明的第六和第七方案，使用對應于復頻譜實部的振幅譜，從而 可以降低計算負擔。
根據本發明的第八方案，閾值沿著較低頻率至較高頻率而降低，以增加 雙端發聲狀態的檢測精確度，從而抑制說話者的語音失真。另外，閾值沿著 較低頻率至較高頻率而增大，以增加單端發聲狀態的檢測精確度，從而抑制 殘留回音。
圖1是示出根據本發明第一實施例的回音抑制器的配置實例的示意圖； 圖2是示出根據本發明第一實施例的回音抑制器的回音抑制機構的功能 配置實例的功能框圖3是示出根據本發明第一實施例的回音抑制器的處理實例的流程圖 (運算表)；
圖4A和圖4B示出了根據本發明第一實施例的回音抑制處理結果的實
例；
圖5示出了根據本發明第一實施例的回音抑制方法中頻率和可變帶寬N
之間的關系；
圖6是示出強度比率和對應于回音估算系數的系數之間關系的視圖，其 中強度比率是相關性和信號比率之間的比率；
圖7A和圖7B示出了在根據本發明第一實施例的回音抑制方法中頻率、 第一常數和第二常數之間的關系，第一常數和第二常數根據頻率而改變；
圖8是示出根據本發明第二實施例的回音抑制器的回音抑制機構的功能 配置實例的功能框圖9是示出根據本發明第二實施例的回音抑制器的處理實例的流程圖 (運算圖)；
圖10示出了根據本發明第二實施例的回音抑制方法中衰減比率和衰減 系數之間的關系；
圖IIA和圖IIB示出了根據本發明第二實施例的回音抑制方法中頻率、 第一閾值和第二閾值之間的關系，第一閾值和第二閾值根據頻率而改變； 圖12是示出傳統的第一回音抑制器的配置示意圖； 圖13是示出傳統的第二回音抑制器的配置示意圖； 圖14是示出傳統的回音抑制器的抑制機構的功能配置的功能框圖。
具體實施例方式
以下將參考示出本發明實施例的附圖來詳細描述本發明。 第一實施例
圖1是示出根據本發明第一實施例的回音抑制器的配置實例的示意圖。 在圖1中，回音抑制器1可以由例如電話會議系統或車輛導航系統中的計算 機組成，回音抑制器l也可以由專用計算機組成。回音抑制器l與諸如多信 道音頻單元的聲音輸出裝置2以及諸如語音識別系統的聲音處理裝置3相互 協作。聲音輸出裝置2發送為模擬信號的輸出聲音信號，所述模擬信號是諸 如揚聲器的多個聲音輸出單元20-1...20-11、以及能夠發出聲音的其它輸出中 輸出的多個信道的信號。此外，諸如電容器麥克風的聲音輸入單元30拾取 外部聲音，并基于所拾取的聲音產生作為模擬信號的輸入聲音信號，以將所 產生的信號輸出到聲音處理裝置3。回音抑制器1具有回音消除功能，用于從聲音輸出單元20-l…20-n輸出的聲音、輸入到聲音輸入單元30的聲音中 除去回音。具體地，在以下描述中，將回音抑制器l中的n個輸出聲音信號 (n是自然數)稱作參考聲音信號xl(t)…xn(t)，將輸入聲音信號稱作觀測聲 音信號(或測量聲音信號)y(t)。
回音抑制器1還包括加法機構10，例如模擬混合器，用于加和多個參 考聲音信號xl…xn，以產生加和的參考聲音信號x(t);第一A/D(模擬至數 字)轉換機構11，用于以8,000Hz頻率對所產生的加和的參考聲音信號x(t) 進行采樣，例如將該信號轉換為數字信號，并用LPF (低通濾波器)進行抗 混疊濾波處理，以便阻止基于轉換成數字信號而出現的混疊(aliasing)誤差 (混疊)；放大機構12，例如放大器，用于放大觀測聲音信號y(t);第二A/D 轉換機構13，用于以8,000 Hz頻率對被放大的觀測聲音信號y(t)(此后稱作 為觀測聲音信號y(t))進行采樣，例如將該信號轉換為數字信號，并執行抗 混疊濾波處理；回音抑制機構14，例如DSP (數字信號處理器)，其根據加 和的參考聲音信號x(t)執行回音抑制處理，以校正觀測聲音信號y(t)，然后輸 出抑制結果信號r(t)作為處理后的數字信號；以及D/A (數字至模擬)轉換 機構15，用于將抑制結果信號r(t)轉換成模擬信號，并將轉換后的信號輸出 到聲音處理裝置3。在作為本發明一個方面的第一實施例中，回音抑制機構 14是運算電路(operational circuit)，在該運算電路中安裝有作為固件的計 算機程序100、數據和其它項。計算機執行以固件形式安裝的計算機程序100， 由此作為回音抑制器1而運行。聲音處理裝置3根據接收的抑制結果信號r(t) 執行語音識別處理等。
圖2是示出回音抑制機構14的功能配置實例的功能框圖。回音抑制機 構14從被轉換為數字信號的加和的參考聲音信號x(t)和觀測聲音信號y(t)摘 錄(clip)出具有20至約40ms預定長度的幀。所述幀彼此重疊約10ms至 20 ms。由通用于語音識別領域的幀處理進行每個幀的處理，例如以窗函數(例 如漢明窗或漢寧窗或預加重(pre-emphasis)濾波器)進行濾波。如此產生的 幀均受到以下基于各種函數的信號處理的處理。
在執行計算機程序100時，回音抑制機構14可運行為第一和第二 FFT 140、 141，在每個幀中，第一FFT 140將時域的加和的參考聲音信號x(t)變 換為頻域的被變換的參考聲音信號X(f)(此后稱作參考聲音信號X(f))，第
二FFT 141也將時域的觀測聲音信號y(t)變換為頻域的觀測聲音信號Y(f)(此 后稱作為觀測聲音信號Y(f))。簡而言之，對于每個幀，FFT 140和141分 別在每個幀中將時域的每一信號x(t)和y(t)變換成頻域的每一信號X(f)和 Y(f)。
參考聲音信號X(f)和觀測聲音信號Y(f)都具有復頻譜(complex spectrum)。另外，DCT (離散余弦變換)和其它此類變換方法可用于進行 變換。
此外，在執行計算機程序100時，回音抑制機構14能運行為計算單元 142。計算單元142確定信號比率Gl(f)和相關性G2(f)，下文描述的方程式 (1)中示出的信號比率Gl(f)是在相應頻率f上觀測聲音信號Y(f)和參考聲 音信號X(f)之間的比率，下文描述的方程式(2)中示出的相關性G2(f)表示 在相應頻率f上觀測聲音信號Y(f)和參考聲音信號X(f)之間的相似比。在此， 觀測聲音信號Y(f)和參考聲音信號X(f)都具有復頻譜，從而在將頻譜乘以參 考聲音信號X(f)的共軛復數X^f)而成為實數之后，計算出信號比率(信號 比)。
Gl(f)={Y(f)X*(f)}/{X(f)X*(f)} 方程式(1)
其中Gl(f)是信號比率，Y(f)是觀測聲音信號，X(f)是參考聲音信號，X*(f) 是參考聲音信號的共軛復數。
計算單元142根據每一頻率f從下文的方程式(2)得到觀測聲音信號 Y(f)和參考聲音信號X(f)之間的相關性G2(f)，可計算出頻率f上的觀測聲音 信號Y(f)和參考聲音信號X①。該相關性表示在每一頻率f上觀測聲音信號 Y(f)的總值和在每一頻率f上參考聲音信號X(f)的總值之間的比率。在此， 觀測聲音信號Y(f)和參考聲音信號X(f)具有復頻譜，從而在將頻譜乘以參考 聲音信號X(f)的共軛復數X、f)成為實數之后，計算出相關性G2(f)。
<formula>formula see original document page 12</formula> 方程式(2)
其中G2(f)是相關性。
此外，回音抑制機構14執行計算機程序100以運行為比較單元143以 及確定單元144。比較單元143將信號比率Gl(f)和相關性G2(f)相比較，確 定單元144根據比較結果從信號比率Gl(f)和相關性G2(f)得到估算回音所需 的回音估算因子G(f)(回音估算系數G(f))。具體而言，比較單元143將信
號比率Gl(f)的信號強閨Gl(f)l和相關性G2(f)的a倍(fold)信號強閨G2(f)1 進行比較；a表示基于以下方程式(3)的預定常數。 |Gl(f)|<a|G2(f)| 方程式(3)
其中IGl(f)l是信號比率Gl(f)的信號強度，IG2(f)l是相關性G2(f)的信號強 度，(x是常數。
如果信號比率Gl(f)的信號強閨Gl(f)l小于相關性G2(f)的a倍信號強度 |G2(f)|，則確定單元144根據觀測聲音信號Y(f)和參考聲音信號X(f)之間的 高相關性判斷當前狀態為單端發聲狀態，并確定出滿足G(f)KH(f)關系的回 音估算因子G(f)。如果信號比率Gl(f)的信號強度IGl(f)l不小于相關性G2(f) 的a倍信號強度IG2(f)1，則確定單元144根據觀測聲音信號Y(f)和參考聲音 信號X(f)之間的低相關性判斷當前狀態為雙端發聲狀態，并確定出滿足 G(f)-G2(f)關系的回音估算因子G(f)。也就是說，將常數a用作閾值，用于 判斷當前狀態是單端發聲狀態還是雙端發聲狀態。
此外，回音抑制機構14執行計算機程序100，以運行為回音估算單元 145，回音估算單元145將回音頻譜X'(f)估算為校正量，該校正量根據所確 定的回音估算因子G(f)和參考聲音信號X(f)來校正觀測聲音信號Y(f)。回音 估算單元145從以下方程式(4)中得到回音X'(f)，該回音X'(f)是回音估算 因子G(f)和參考聲音信號X(f)的乘積。
X'(f) = G(f)X(f) 方程式(4)
其中X'(f)是回音。
回音抑制機構14執行計算機程序100，以運行為回音抑制單元146，其 根據得到的回音X'(f)抑制觀測聲音信號Y(i)，以輸出作為經抑制信號的抑制 結果信號R①。回音抑制單元146進行信號校正，以根據以下方程式(5) 從觀測聲音信號Y(f)中除去回音X'(f)，以便獲得抑制結果信號R①，R(O作 為頻率軸上回音被抑制的分量。
R(f)=Y(f)-X'(f) 方程式(5)
其中R(f)是抑制結果信號。
此外，回音抑制機構14執行計算機程序100，以運行為IFFT (逆傅立 葉變換)轉換單元147，該IFFT轉換單元147通過IFFT處理將抑制結果信 號R(f)從頻率軸上(即頻域中)的分量轉換為時間軸上(即時域中)的信號。
通過D/A轉換機構15將轉換為時間軸上信號的抑制結果信號r(t)輸出到聲音 處理裝置3，如圖l所示。
接下來，描述根據本發明第一實施例的回音抑制器1的處理。回音抑制 器1接收從聲音處理裝置3輸出到聲音輸出單元20-1……20-n的n個參考聲 音信號xl(t)……xn(t)，并通過加法機構10將接收的n個參考聲音信號 xl(t)……xn(t)相加得到加和的參考聲音信號x(t)。接著，回音抑制器1通過 第一 A/D轉換機構11對加和的參考聲音信號x(t)進行A/D轉換和抗混疊濾 波處理，并將加和的參考聲音信號x(t)轉換為數字信號，以輸出該數字信號 到回音抑制機構14。
此外，回音抑制器1基于所接收的聲音通過聲音輸入單元30產生觀測 聲音信號y(t)，通過放大機構12將觀測聲音信號y(t)放大，通過第二A/D轉 換機構13進行A/D轉換和抗混疊濾波處理，以及將該信號轉換為數字信號， 以將轉換后的觀測聲音信號y(t)輸出到回音抑制機構14。
圖3是示出根據本發明第一實施例的回音抑制器1的示例性處理的流程 圖(操作圖)。回音抑制器1的回音抑制機構14將接收的加和的參考聲音 信號x(t)和觀測聲音信號y(t)轉換為幀，如步驟S101所示。通過第一FFT轉 換單元140和第二 FFT轉換單元141將加和的參考聲音信號x(t)和觀測聲音 信號y(t)轉換成作為頻率軸上分量的參考聲音信號X(f)和觀測聲音信號Y(f)， 如步驟S102所示，簡而言之，將信號x(t)和y(t)變換到頻域。
回音抑制器1的回音抑制機構14通過計算單元142的處理，計算出每 個頻率上的參考聲音信號X(f)和觀測聲音信號Y(f)之間的信號比率Gl(f)，如 步驟S103所示，另外，計算出每個頻率f上的參考聲音信號X(f)和觀測聲音 信號Y(f)之間的相關性G2，如步驟S104所示。在步驟(操作)S103中，根 據上述方程式(1)計算出信號比率Gl(f)，在步驟S104中，根據上述方程 式(2)確定出相關性G2(f)。步驟S103中的處理和步驟S104中的處理可以 平行進行。
回音抑制器1的回音抑制機構14根據方程式(3)通過比較單元143將 信號比率Gl(f)和相關性G2(f)進行比較，如步驟S105所示，并根據比較結 果從信號比率Gl(f)和相關性G2(f)得到估算回音所需的回音估算因子G(f)， 如步驟S106所示。根據上述方程式(3)，在步驟S106中通過選擇信號比
率Gl(f)或相關性G2(f)以得到回音估算因子G(f)。
回音抑制器1的回音抑制機構14通過回音估算單元145的處理，根據 回音估算因子G(f)和參考聲音信號X(f)來估算回音X'(f)，如步驟S107所示。 在步驟S107中，根據上述方程式(4)將回音X'(f)計算為回音的估算值，用 于校正觀測聲音信號Y(f)。
回音抑制器1的回音抑制機構14通過回音抑制單元146的處理基于回 音X'(f)來抑制觀測聲音信號Y(f)，以產生抑制結果信號R(f)，如步驟S108 所示。在步驟S108中，基于上述方程式(5)進行校正，以從觀測聲音信號 Y(f)除去回音X'(f)。
回音抑制器1的回音抑制機構14通過IFFT轉換單元147的處理，將作 為頻率軸上分量的抑制結果信號R(f)轉換為作為時間軸上信號的抑制結果信 號r(t)，如步驟S109所示，接著通過D/A轉換裝置18將經轉換的抑制結果 信號r(t)轉換為模擬信號，以輸出到聲音處理裝置3。
聲音處理裝置3基于所接收的抑制結果信號r(t)進行語音識別處理等。 這樣，能夠執行根據本發明第一實施例的回音抑制器l的回音抑制處理。
接下來，描述根據本發明第一實施例的回音抑制器1的回音抑制處理的 結果。圖4A和圖4B示出了根據本發明第一實施例的回音抑制處理結果的例 子。圖4A示出了加和的參考聲音信號x(t)的振幅譜IX(f)l的例子，以及觀測 聲音信號y(t)的振幅譜IY(f)l，該加和的參考聲音信號x(t)和觀測聲音信號y(t) 受到了根據本發明第一實施例的回音抑制處理。水平軸表示頻率f，而垂直 軸表示信號強度dB。附圖示出了它們之間的關系。實線表示加和的參考聲 音信號x(t)的振幅譜IX(f)l，虛線表示觀測聲音信號y(t)的振幅譜IY(f)l。圖4B 示出了抑制結果信號r(t)的振幅譜IR(f)l的例子，該抑制結果信號r(t)作為根據 本發明第一實施例的回音抑制處理的結果。水平軸表示頻率f，垂直軸表示 信號強度。附圖示出了它們之間的關系。圖4A和圖4B示出了雙端發聲狀態 下的振幅譜。圖4A示出了進行處理之前的振幅，圖4B示出了進行處理之后 的振幅。另外，在圖4A和圖4B中，環形(encircled)部分表示講話者聲音 等級的峰值。
如圖4A所示，在包括講話者語音的聲音頻率中，加和的參考聲音信號 x(t)的振幅譜IX(f)l和觀測聲音信號y(t)的振幅譜IY(f)l之間的相關性低。在圖
4B中，示出了圖4A中處理的結果，強度等級被整體降低。在包括講話者語
音的聲音頻率中，峰值強度沒有如此改變。這意味著抑制了除了講話者語音 之外的聲音的回音。
在第一實施例中，計算相關性G2(f)所需的頻率范圍是恒定的帶寬。然 而，本發明并不受此限制，帶寬可以根據頻率而改變。接下來，描述根據第 一實施例中的頻率而改變帶寬的模式。在改變帶寬的情形下，用于計算相關 性G2(f)的上述方程式(2)被修改成以下的方程式(6)。<formula>formula see original document page 16</formula>方程式(6)
在方程式(6)中，表示在采樣時樣本數的階數(order) N(f)被用作帶 寬。在方程式(6)中將作為帶寬的次數N(f)替換為常數就得到方程式(2)。 然而在這個例子中，作為帶寬的次數是變化的。圖5示出了在根據本發明第 一實施例的回音抑制方法中頻率f和可變帶寬N(f)之間的關系。在圖5中， 水平軸表示頻率f，垂直軸表示作為帶寬的次數N(f)。圖5示出了它們之間 的關系。如圖5所示，帶寬朝著最低頻率的方向而增加(頻率越低，帶寬越 大)。也就是相對較低頻率(其中在較低頻率下難以從回音中檢測差異)而 增加帶寬，從而增加了樣本數并相對增加了相關檢測靈敏度，以改善雙端發 聲的檢測精確度。
在改變帶寬的情形下，在圖3所示的流程圖(操作圖)的步驟S104中， 計算單元142基于每個頻率f的頻率范圍中參考聲音信號X(f)的總值和觀測 聲音信號Y(f)的總值確定出相關性G2(f)。
在第一實施例中，信號比率Gl(f)或相關性G2(f)被選擇并被用作回音估 算因子G(f)。然而，本發明并不受此限制。為了抑制在單端發聲狀態和雙端 發聲狀態之間的邊界處的不連續變化，可設定第一常數(xl和大于該第一常 數al的第二常數a2，以定義一周期，在該周期內信號比率Gl(f)和相關性 G2(f)的加權平均值被用作回音估算因子G①。接下來，描述一種不同于第一 實施例描述的確定回音估算因子G(f)方法的方法。
圖6示出了強度比率IG2(f)l/IGl(f)l和系數卩之間的關系，其中強度比率 IG2(，Gl(f)l是相關性G2(f)的強度與信號比率Gl(f)的強度的比率，系數卩 對應于回音估算因子G(f)。在圖6中，水平軸表示強度比率IG2(f)l/IGl(f)1，
垂直軸表示對應于回音估算因子G(f)的系數p。圖6示出了它們之間的關系。 系數(3(f)是確定回音估算因子G(f)所需的因子。回音估算因子G(f)利用系數 卩(f)從以下的方程式(7)得到。
G(f)=|3(f)Gl(f)+U-|3(f)}G2(f) 方程式(7)
其中(3(f)是對應于回音估算因子G(f)的系數。
當強度比率IG2(f)l/IGl①l小于第一常數al時，系數0(0=0，如圖6所示， 因此方程式(7)使得相關性G2(f)等于回音抑制因子G(f)。如果強度比率 IG2(f)l/IGl(f)l不小于第二常數a2，則因子p(f)4，從而信號比率Gl(f)是回音 估算因子G(f)。如果強度比率IG2(f)l/IGl(f)l小于第二常數a2且不小于第一常 數al，則根據圖6的關系，基于強度比率IG2(f)l/IGl(f)蹄定出因子p(f)，并 且基于所確定的值，根據方程式(7)中信號比率Gl(f)和相關性G2(f)的加 權平均值確定出回音估算因子G(f)。
在用于確定回音估算因子G(f)的方法改變的情形下，在圖3的流程圖(操 作圖)的步驟S106中，確定單元144以如下方式確定回音估算因子G(f)。 也就是說，如果1^2(/)1 "11。(7)1 ，則將相關性G2(f)設定成回音估算因子G(f)。 如果|(72(/)|^2|(71(/)|，則將信號比率(H(f)設定成回音估算因子G(f)。如果 "iGld S|G2(/)| < 2|G1C0| ，則將信號比率Gl(f)和相關性G2①的加權平均值 設定成回音估算因子G(f)。
此外，第一常數al和第二常數a2可根據頻率f而改變。圖7A和圖7B 示出了在根據本發明第一實施例的回音抑制方法中第一常數al和第二常數 a2根據頻率f而改變時，頻率f、第一常數al(f)和第二常數a2(f)之間的關系。 在圖7A和圖7B中，水平軸表示頻率f，垂直軸表示與頻率相關的第一常數 al(f)和第二常數a2(f)。圖7A和圖7B示出了它們之間的關系。在圖7A的例 子中，第一常數al(f)和第二常數a2(f)從低頻至高頻減小，以增加雙端發聲 狀態的檢測精確度，從而抑制了講話者的語音失真。在圖7B所示的例子中， 第一常數al(f)和第二常數a2(f)從低頻至高頻增大，以增加單端發聲狀態的 檢測精確度，從而抑制了殘留的回音。在此，如果使用單個的常數a，則可 使用頻率f相關常數a(f)。
第二實施例
根據第二實施例，實振幅譜(real amplitude spectrum)用于第一實施例
中的校正操作。第二實施例的回音抑制器的配置與圖1所示第一實施例的回 音抑制器的配置相同，從而可參考第一實施例。在此就不重復該回音抑制器 的描述。在以下描述中，與第一實施例相同的元件以與第一實施例相同的附 圖標記表示，并且在此不再進行描述。
圖8是示出根據本發明第二實施例的回音抑制器1的回音抑制機構14 的功能配置實例的功能框圖。回音抑制器1的回音抑制機構14從加和的參
考聲音信號x(t)和觀測聲音信號y(t)摘錄(clip)出預定時間長度的幀，其中 信號x(t)和y(t)被轉換為數字信號。回音抑制機構14執行計算機程序100以 運行為第一 FFT轉換單元140和第二 FFT轉換單元141 。通過第一 FFT轉換 單元140產生的參考聲音信號X(f)和通過第二 FFT轉換單元141產生的觀測 聲音信號Y(f)具有復頻譜。在第二實施例中，利用振幅譜來進行處理其中該 振幅譜是由第一 FFT轉換單元140和第二 FFT轉換單元141所產生信號的 復頻譜的實部(real part)。在以下描述中，作為復頻譜的參考聲音信號X(f) 的振幅譜稱作參考聲音信號IX(f)l，作為復頻譜的觀測聲音信號Y(f)的振幅譜 稱作觀測聲音信號IYCf)l。
此外，回音抑制機構14執行計算機程序100以運行為計算單元142。由 計算單元142處理的參考聲音信號IX(f)l和觀測聲音信號IY(f)l均是振幅譜，從 而不必乘以共軛復數X^f)以成為實數。因此，在第二實施例中，計算單元 142從以下方程式(8)(代替方程式(l))得到作為實數的信號比率IGl(f)l'。
|Gl(f)HY(f)|/|X(f)| 方程式(8)
其中IGl(f)l'是信號比率，IY(f)l是觀測聲音信號，IX(f)l是參考聲音信號。 此外，在第二實施例中，計算單元142從以下方程式(9)(代替方程 式(2))得到作為實數的相關性IG2(f)l'。
|G2(f)|'={|Y(f)||X(C)|}/{|X(f)|2 方程式(9) 其中IG2(f)l'是相關性。
此外，回音抑制機構14執行計算機程序100以運行為比較單元143以 及確定單元144。比較單元143基于以下方程式(10)(代替方程式(3)) 將信號比率IG1①I鄰a倍相關銜G2(f)l'進行比較，其中a表示預定常數。
|Gl(f)|'<a|G2(f)|' 方程式(10)
如果信號比率IGl(f)l小于a倍相關性IG2(f)1，則確定單元144根據觀測聲 音信號Y(f)和參考聲音信號X(f)之間的高相關性來判斷當前狀態是單端發聲
狀態，并確定出滿足IG(f)l叫Gl(f)l關系的回音估算因子IG(f)l。如果信號比率 IGl(f)l不小于a倍相關性iG2(f)1，則確定單元144根據觀測聲音信號Y(f)和參 考聲音信號X(f)之間的低相關性來判斷當前狀態是雙端發聲狀態，并確定出 滿足IG(f)l叫G2(f)l關系的回音估算因子IG(f)1。
此外，回音抑制機構14執行計算機程序100以運行為回音估算單元145。 在第二實施例中，回音估算單元145從以下的方程式(11)(代替方程式(4)) 得出作為實數的回音IX'(f)l。
IX'(f)l = |G(f)||X(f)| 方程式(11)
其中是IX'(f)l回音。
此外，回音抑制機構14執行計算機程序100，以運行為回音抑制單元 146。在第二實施例中，回音抑制單元145從以下方程式(12)(代替方程 式(5))得出是實數的抑制結果信號IR(f)l。
|R(f)| = |Y(f)|_|X'(f)| 方程式(12)
其中IR(f)l是抑制結果信號。
此外，回音抑制機構14執行計算機程序100，以運行為IFFT轉換單元 147，其將是實數的抑制結果信號R(f)和通過第二 FFT轉換單元141產生的 觀測聲音信號Y(f)的虛部結合，以通過IFFT處理將復合信號轉換成時間軸 上(時域中)的信號。通過D/A轉換機構15將轉換成時間軸上信號的抑制 結果信號r(t)轉換為模擬信號，然后輸出到聲音處理裝置3。
聲音處理裝置3基于所接收的抑制結果信號r(t)執行語音識別處理等。 這樣，能夠執行根據本發明第二實施例的回音抑制器l的回音抑制處理。
接下來，描述根據本發明第二實施例的回音抑制器l的處理。回音抑制 器1將使用n個參考聲音信號xl(t)…xn(t)和觀測聲音信號y(t)而產生的信號 輸出到類似于第一實施例的回音抑制機構14。
圖9是示出根據本發明第二實施例的回音抑制器1的處理實例的流程圖 (運行圖)。回音抑制器1的回音抑制機構14將接收的加和的參考聲音信 號x(t)和觀測聲音信號y(t)轉換為幀，如步驟S201所示。接著，回音抑制機 構14通過第一 FFT轉換單元140和第二 FFT轉換單元141將加和的參考聲 音信號x(t)和觀測聲音信號y(t)轉換為作為頻率軸上分量的參考聲音信號X(f)
和觀測聲音信號Y(f)，如步驟S202所示。接著，分別從參考聲音信號X(f) 和觀測聲音信號Y(f)中提取作為振幅譜的參考聲音信號IX(f)l和觀測聲音信 號IY(f)l，如步驟S203所示。
回音抑制器1的回音抑制機構14通過計算單元142的處理計算每一頻 率f上的參考聲音信號IX(f)l和觀測聲音信號IY(f)l之間的信號比率IGl(f)l'，如 步驟S204所示，另外還計算每個頻率f上的參考聲音信號IX(f)l和觀測聲音 信號IY(f)l之間的相關性IG2(f)l'，如步驟S205所示。在步驟S204中，基于上 述方程式(8)計算出信號比率IGl(f)l'，在步驟S205中，基于上述方程式(9) 計算出相關性IG2(f)l'。
回音抑制器1的回音抑制機構14通過比較單元143將信號比率IG1①I' 和相關性IG2(f)l'進行比較，如步驟S206所示，并基于該比較結果從信號比率 IGl(f)i'和相關性IG2(f)l'得到回音估算所需的回音估算系數IG(f)1，如步驟S207 所示。在步驟S207中得到回音估算系數IG(f)l時，基于上述方程式(8)至(10) 選擇信號比率IGl(f)l'或相關性IG2①l'。
回音抑制器1的回音抑制機構14通過回音估算單元145的處理基于回 音估算系數IG(f)l和參考聲音信號IX(f)l估算出回音IX'(f)l，如步驟S208所示。 在步驟S208中，基于上述方程式(11)將回音IX'(f)l計算成回音的估算值， 用于校正觀測聲音信號IY(f)l。
回音抑制器1的回音抑制機構14通過回音抑制單元146的處理基于回 音IX'(f)l來抑制觀測聲音信號IY(f)l,以產生抑制結果信號IR(f)l，如步驟S209
所示。在步驟S209中，基于上述方程式(12)執行校正以從觀測聲音信號IY(f)1 除去回音IX'①1。
回音抑制器1的回音抑制機構14通過IFFT轉換單元147的處理，將是 實數的抑制結果信號IR(f)l和通過第二FFT轉換單元141產生的觀測聲音信號 Y(f)的虛部相組合，如步驟S210所示。此外，回音抑制機構14通過IFFT轉 換單元147的處理將復合信號轉換成作為時間軸上信號的抑制結果信號r(t)， 如步驟S211所示。接著，通過D/A轉換裝置18將經轉換的抑制結果信號r(t) 轉換為模擬信號，并將該信號輸出到聲音處理裝置3。
聲音處理裝置3基于所接收的抑制結果信號r(t)來進行語音識別處理等。 這樣，能夠執行根據本發明第二實施例的回音抑制器1的回音抑制處理。在第二實施例中，通過回音抑制單元146在校正時從觀測聲音信號IY(f)l 除去回音IX'(f)l，能夠抑制回音。然而，本發明并不受此限制。觀測聲音信號 IY(f)l可以被衰減以抑制回音。接下來，描述第二實施例的例子，其中觀測聲 音信號IY(f)l可以被衰減以抑制回音。
圖10示出了在根據本發明第二實施例的回音抑制方法中的衰減比率 lY①l/IX'(f)l和衰減因子g(f)之間的關系。在圖10中，水平軸表示衰減比率 |Y(f)|/iX'(f)|，垂直軸表示衰減因子gCf)。圖IO示出了它們之間的關系。衰減
比率IY(f)l/IX'(f)l是觀測聲音信號IY(f)l和回音IX'(f)l的比率。衰減因子g(f)是通 過乘以觀測聲音信號IY(f)l來計算抑制結果信號IR(f)l的因子。因子的值為 0《g(f)《1。該值越大，衰減量越大。對于衰減比率IY(f)l/IX'(f)卜設定第一閾 值yl和第二閾值Y2。如果衰減比率IY(OI/IX'(f)l小于第一閾值Yl，則衰減因子 g(Q=0。如果該衰減比率不小于第二閾值Y2，則衰減因子g(f)4。如果衰減比 率IY(f)l/IX'(f)l不小于第一閾值yl且小于第二閾值Y2，則基于圖10的關系根據 衰減比率IY(f)l/IX'(f)沐確定衰減因子g(f)。此外，基于以下方程式(13)確 定出衰減因子g(f)、觀測聲音信號IY(f)l和抑制結果信號IR(f)l之間的關系。
IR(f)l = g(f) IY(f)l 方程式(13)
其中g(f)是衰減因子。
在使用衰減因子g(f)的情形下，在圖9的流程圖(操作圖)的步驟S209 中，通過回音抑制單元146的處理，基于觀測聲音信號IY(f)l和回音IX'(f)l確定 出衰減因子g(f)，基于觀測聲音信號IY(f)l和所確定的衰減因子g(f)而產生抑
制結果信號IR(f)l。另外，基于方程式(13)產生抑制結果信號IR(f)l，利用衰 減因子g(f)來衰減觀測聲音信號IY(f)l以抑制回音。
此外，第一閾值yl和第二閾值Y2根據頻率f而改變。圖11A和圖11B 示出了在根據本發明第二實施例的回音抑制方法中頻率f、第一閾值yl和第 二閾值Y2之間的關系實例，其中第一閾值Yl和第二閾值y2根據頻率f而改變。 在圖11A和圖11B中，水平軸表示頻率f，垂直軸表示與頻率f相關的第一 閾值yl和第二閾值Y2。圖IIA和圖11B示出了它們之間的關系。在圖11A 的例子中，第一閾值Yl和第二閾值y2從較低頻率至較高頻率減小以改善雙端 發聲狀態的檢測精確度，從而抑制講話者的語音失真。在圖11B的例子中， 第一閾值Yl和第二閾值W從較低頻率至較高頻率而增大以增加單端發聲狀
態的檢測精確度，從而抑制了殘留的回音。
第一和第二實施例是本發明多個實施例中的示意性的實施例。可以任意 設置各種硬件和軟件部件的配置，并且各種處理可以用于與上述基本處理相 結合。例如，雖然在第一和第二實施例中具有多個輸出單元，本發明可應用 到具有單輸出單元的抑制器。另外，作為聲音處理裝置，本發明可應用于各 種系統以處理電話會議系統、車輛導航系統等的語音或聲音。此外，還可以 將回音抑制器、聲音輸出裝置和聲音處理裝置整合進一個裝置。
權利要求
1、一種抑制回音信號的設備，其中所述回音信號包括在對應于測量聲音的測量信號中，所述抑制回音信號的設備能夠耦合到用于接收所述測量聲音的聲音輸入裝置和用于輸出與參考信號相關聯的聲音的聲音輸出裝置，所述抑制回音信號的設備包括執行將時域中的所述測量信號和所述參考信號兩者都轉換為頻率域中的所述測量信號和所述參考信號的每一次變換的部分；獲得頻率域中所述測量信號和所述參考信號之間的比率和相關性的每一值的部分；將所述比率和所述相關性的值進行比較的部分；根據所述值的比較結果得到系數的部分；根據頻率域中所述系數和所述測量信號的乘積獲得估算回音信號的估算值的部分；以及通過在頻率域中分別從所述測量信號減去所述估算回音信號的估算值來抑制所述測量信號中的所述回音信號的部分。
2、 如權利要求1所述的設備，還包括將多個參考信號相加為結果參考信號的部分，其中執行所述測量信號和 所述參考信號的每一次變換的部分將時域中的所述測量信號和所述結果參 考信號兩者都變換為頻率域中的所述測量信號和所述結果參考信號。
3、 如權利要求1所述的設備，其中獲得所述比率和所述相關性的每一 值的部分處理相關性計算，所述相關性是在頻率域中每個特定頻率周圍的預 定頻率范圍中的每個頻率上的所述測量信號和所述參考信號之間的相關性， 并且所述預定頻率范圍根據所述特定頻率而控制。
4、 如權利要求1所述的設備，其中得到所述系數的部分還設定用于對 所述比率和所述相關性進行比較的多個閾值，并根據所述多個閾值、所述比 率和所述相關性來確定所測量的聲音信號是在單端發聲狀態還是在雙端發 聲狀態下被測量的。
5、 如權利要求4所述的設備，其中根據所述頻率來設定所述多個閾值 之一。
6、 如權利要求1所述的設備，其中根據變換到頻率域的所述測量信號和所述參考信號的每一振幅譜，獲得每一值的部分執行對所述比率和所述相 關性的計算。
7、 如權利要求6所述的設備，其中獲得所述估算值的部分估算所述回音信號的振幅，并且在所述測量信號的振幅譜與所述回音信號的振幅譜的比 率不小于預定值的情形下，由抑制所述回音信號的部分來抑制所述測量信號的振幅。
8、 如權利要求7所述的設備，其中所述預定值根據頻率而改變。
9、 如權利要求1所述的設備，其中所述設備能夠耦合到聲音處理裝置， 所述聲音處理裝置用于處理從所述設備輸出的回音抑制后的聲音信號。
10、 一種抑制回音信號的方法，所述回音信號包括在對應于測量聲音的 測量信號中，所述方法包括以下操作-執行所述測量信號和參考信號從時域到頻率域的每一次變換，所述參考 信號對應于產生聲音的源信號；進行用以獲得在頻率域中所述測量信號和所述參考信號之間的比率和 相關性的每一值的計算；實施所述比率和所述相關性的值的比較；根據所述比率和所述相關性的比較結果得到系數；根據頻率域中所述系數與所述測量聲音的乘積，來實施所述回音信號的 估算值；以及通過在頻率域中分別從所述測量信號減去所述回音信號的估算值，來抑 制所述測量信號中的所述回音信號。
全文摘要
本發明提供一種回音抑制器、回音抑制方法。一種用于抑制回音信號的設備(回音抑制器)，所述回音信號包括在對應于測量聲音的測量信號中。在該設備中，測量信號和參考信號從時域變換到頻率域(頻域)中，并計算以獲得頻域中測量信號和參考信號之間的比率和相關性的每一值。通過執行比率和相關性的值的比較，得到系數，其中通過所述系數和頻域中測量信號的乘積得到回音信號的估算值。通過在頻域中分別從所述測量信號減去回音信號的估算值來抑制所述測量信號中的回音。
文檔編號G10L15/20GK101339769SQ20081013570
公開日2009年1月7日 申請日期2008年7月3日 優先權日2007年7月3日
發明者松尾直司 申請人:富士通株式會社