面向機頂盒和pc的實時流媒體服務器及工作方法

專利名稱：面向機頂盒和pc的實時流媒體服務器及工作方法
技術領域：
本發明涉及網絡多媒體電視技術領域、視頻傳輸領域、視頻編碼處理領域，尤其涉 及到視頻實時轉碼的技術領域。
背景技術：
現有每一直播視頻服務器都有一個直播源，即直播視頻內容的來源，也可稱之為 直播視頻上傳客戶端，直播服務器需要完成的重要功能就是將直播源的內容發送到多個播 放客戶端，而現有的一種直播服務器對所有的客戶端發送的只能是同一種編碼類型的視頻 流，這就導致每一種直播視頻服務器的服務范圍極為有限，使得視頻服務器供應商難以獲 得更多的利潤，而且，對于客戶端，其若需要不同編碼類型的視頻流，則需要連接不同的直 播視頻服務器，使得客戶端的使用極為不便，且常導致成本的增加，因此，如何突破現有直 播視頻服務器的局限性，實已成為本領域技術人員亟待解決的技術課題。

發明內容
本發明的目的在于提供一種面向機頂盒和PC的實時流媒體服務器及其工作方法。為了達到上述目的及其他目的，本發明提供的面向機頂盒和PC的實時流媒體服 務器，包括用于存儲音視頻數據的存儲單元；用于收發來自音視頻上傳客戶端及直播客 戶端的信息的網絡通訊單元；用于將所述網絡通訊單元接收的音視頻上傳客戶端所上傳的 音視頻網絡包中的視頻數據解碼為視頻YUV數據的視頻解碼單元；用于將所述網絡通訊單 元接收的音視頻上傳客戶端所上傳的音視頻網絡包中的音頻數據解碼為音頻PCM格式數 據的音頻解碼單元；用于將視頻解碼單元和音頻解碼單元解碼后所得的音頻PCM和視頻 YUV數據放入所述存儲單元中的緩存區予以緩存以備待用的數據緩沖單元；用于將數據緩 存區中的音視頻數據按照其時間戳進行同步的音視頻同步單元；用于處理所述網絡通訊單 元接收的直播客戶端的直播請求，以確定直播客戶端所需要的音視頻信息和其所采用的音 視頻編碼格式的直播信令處理單元；用于根據所述直播信令處理單元所確定的直播客戶端 所需要的音視頻信息和音視頻編碼格式，將緩存的對應視頻YUV數據進行相應編碼的視頻 編碼單元；用于根據所述直播信令處理單元所確定的直播客戶端所需要的音視頻信息和音 視頻編碼格式，將緩存的對應音頻PCM數據進行相應編碼的音頻編碼單元；以及用于將視 頻編碼單元和音頻編碼單元編碼后的音視頻數據交由網絡通訊單元發送到直播客戶端的 直播數據發送單元。此外，所述的面向機頂盒和PC的實時流媒體服務器還可包括一用于將視頻編碼 單元和音頻編碼單元編碼后的音視頻數據按照工業標準生成標準的視頻文件，并存入所述 存儲單元以供客戶端非直播的點播使用的合并流單元。較佳的，所述緩存區包括用于緩存視頻數據的視頻緩存子區和用于緩存音頻數據 的音頻緩存子區。
其中，所述直播客戶端可包括采用HTTP協議或RTSP協議和網絡通訊單元進行通 訊的直播播放器、和網絡通訊單元采用HTTP協議進行通訊的PC機、以及和網絡通訊單元采 用RTSP協議進行通訊的機頂盒等。本發明的面向機頂盒和PC的實時流媒體服務器的工作方法，包括步驟1)服務器 的網絡通訊單元接收音視頻上傳客戶端上傳的音視頻數據包；2)服務器的視頻解碼單元 和音頻解碼單元分別將所述網絡通訊單元接收的音視頻網絡包中的視頻數據解碼為視頻 YUV數據、音頻數據解碼為音頻PCM格式數據；3)服務器的數據緩沖單元將視頻解碼單元和 音頻解碼單元解碼后所得的音頻PCM和視頻YUV數據放入服務器的存儲單元中的緩存區予 以緩存以備待用；4)服務器的音視頻同步單元將數據緩存區中的音視頻數據按照其時間 戳進行同步；5)服務器的直播信令處理單元處理所述網絡通訊單元接收的直播客戶端的 直播請求，以確定直播客戶端所需要的音視頻信息和其所采用的音視頻編碼格式；6)服務 器的視頻編碼單元和音頻編碼單元分別根據所述直播信令處理單元所確定的直播客戶端 所需要的音視頻信息和音視頻編碼格式，將緩存的對應視頻YUV數據和音頻PCM數據分別 進行相應編碼；以及7)服務器的直播數據發送單元將視頻編碼單元和音頻編碼單元編碼 后的音視頻數據交由網絡通訊單元發送到直播客戶端。其中，步驟6)中的視頻編碼單元和音頻編碼單元各自可同時進行多路編碼。其中，所述的面向機頂盒和PC的實時流媒體服務器的工作方法還可包括服務器 的合并流單元將視頻編碼單元和音頻編碼單元編碼后的音視頻數據按照工業標準生成標 準的視頻文件，并存入所述存儲單元以供客戶端非直播的點播使用的步驟。其中，所述音視頻同步單元將數據緩存區中的音視頻數據進行同步的過程為其 先從緩存區中獲取能用的所有音頻數據，并將音頻數據按固定大小重新分片，接著計算一 片音頻數據的開始時間和結束時間作為同步時間戳；然后所述音視頻同步單元將數據緩存 區中的視頻數據按照每一片音頻數據的開始和結束時間戳獲取若干幀視頻數據以實現同
止
少ο綜上所述，本發明的面向機頂盒和PC的實時流媒體服務器及其工作方法可根據 各直播客戶端的請求，對視頻數據和音頻數據進行符合各客戶端各自要求的編碼，由此，可 實現一路實時的輸入而輸出多路不同格式的音視頻流。以滿足不同的客戶端的需求。


圖1為本發明的面向機頂盒和PC的實時流媒體服務器的結構示意圖。
具體實施例方式請參閱圖1，本發明的面向機頂盒和PC的實時流媒體服務器至少包括存儲單元、 網絡通訊單元、視頻解碼單元、音頻解碼單元、數據緩沖單元、音視頻同步單元、直播信令處 理單元、視頻編碼單元、音頻編碼單元、直播數據發送單元、及合并流單元等。所述存儲單元用于存儲音視頻數據；所述網絡通訊單元用于收發音視頻上傳客戶 端及直播客戶端的信息；所述視頻解碼單元用于將所述網絡通訊單元接收的音視頻上傳客 戶端所上傳的音視頻網絡包中的視頻數據解碼為視頻YUV數據；所述音頻解碼單元用于將 所述網絡通訊單元接收的音視頻上傳客戶端所上傳的音視頻網絡包中的音頻數據解碼為音頻PCM格式數據；所述數據緩沖單元用于將視頻解碼單元和音頻解碼單元解碼后所得的 音頻PCM和視頻YUV數據放入所述存儲單元中的緩存區予以緩存以備待用；所述音視頻同 步單元用于將數據緩存區中的音視頻數據按照其時間戳進行同步；所述直播信令處理單元 用于處理所述網絡通訊單元接收的直播客戶端的直播請求，以確定直播客戶端所需要的音 視頻信息和其所采用的音視頻編碼格式；所述視頻編碼單元用于根據所述直播信令處理單 元所確定的直播客戶端所需要的音視頻信息和音視頻編碼格式，將緩存的對應視頻YUV數 據進行相應編碼；所述音頻編碼單元用于根據所述直播信令處理單元所確定的直播客戶端 所需要的音視頻信息和音視頻編碼格式，將緩存的對應音頻PCM數據進行相應編碼；所述 直播數據發送單元用于將視頻編碼單元和音頻編碼單元編碼后的音視頻數據交由網絡通 訊單元發送到直播客戶端；所述合并流單元用于將視頻編碼單元和音頻編碼單元編碼后的 音視頻數據按照工業標準生成標準的視頻文件，并存入所述存儲單元以供客戶端非直播的 點播使用。其中，所述緩存區包括用于緩存視頻數據的視頻緩存子區和用于緩存音頻數據的 音頻緩存子區。其中，所述直播客戶端可包括采用HTTP協議或RTSP協議和網絡通訊單元進行通 訊的直播播放器、采用HTTP協議和網絡通訊單元進行通訊的PC機和采用RTSP協議和網絡 通訊單元進行通訊的機頂盒等。由上可見，服務器處理的數據是獨立的音頻片斷數據和獨立的視頻幀數據，而不 是合并后的音視頻流或文件；服務器中存在單獨的音頻緩存子區和視頻緩存子區，這兩個 緩沖子區的存在為在服務器端完成音視頻的同步提供了條件；而且服務器音頻緩存子區和 視頻緩存子區在音頻解碼模塊和視頻解碼模塊后面，其中存放的是解碼后的音頻和視頻數 據，這為服務器同時輸出多路不同編碼格式的直播流提供了條件；此外，在服務器中將直接 數據發送單元和流合并單元分開，這樣在服務器提供直播服務的同時，也保存了一份視頻 文件可供將來進行點播之用；再有，音視頻的同步處理在服務器中的音視頻同步處理單元 中完成，而不是在客戶端中完成，同步處理的依據是音頻數據片斷和視頻數據幀相應的時 間戳。上述實時流媒體服務器的工作方法如下首先，服務器的網絡通訊單元接收音視頻上傳客戶端上傳的音視頻數據包；接著， 服務器的視頻解碼單元和音頻解碼單元分別將所述網絡通訊單元接收的音視頻網絡包中 的視頻數據解碼為視頻YUV數據、音頻數據解碼為音頻PCM格式數據；然后，服務器的數據 緩沖單元將視頻解碼單元和音頻解碼單元解碼后所得的音頻PCM和視頻YUV數據放入服 務器的存儲單元中的緩存區予以緩存以備待用；然后，服務器的音視頻同步單元將數據緩 存區中的音視頻數據按照其時間戳進行同步；然后，服務器的直播信令處理單元處理所述 網絡通訊單元接收的直播客戶端的直播請求，以確定直播客戶端所需要的音視頻信息和其 所采用的音視頻編碼格式；服務器的視頻編碼單元和音頻編碼單元分別根據所述直播信令 處理單元所確定的直播客戶端所需要的音視頻信息和音視頻編碼格式，將緩存的對應視頻 YUV數據和音頻PCM數據分別進行相應編碼，可同時進行多路編碼；然后，服務器的直播數 據發送單元將視頻編碼單元和音頻編碼單元編碼后的音視頻數據交由網絡通訊單元發送 到直播客戶端；最后，服務器的合并流單元將視頻編碼單元和音頻編碼單元編碼后的音視
6頻數據按照工業標準生成標準的視頻文件，并存入所述存儲單元以供客戶端非直播的點播 使用。其中，所述音視頻同步單元將數據緩存區中的音視頻數據進行同步的過程為其 先從緩存區中獲取能用的所有音頻數據，并將音頻數據按固定大小重新分片，接著計算一 片音頻數據的開始時間和結束時間作為同步時間戳；然后所述音視頻同步單元將數據緩存 區中的視頻數據按照每一片音頻數據的同步時間戳進行分片以實現同步。更為詳細的來說1、直播客戶端通過以步驟獲取直播數據1)直播客戶端發送直播請求，其中包括直播視頻的名字、編碼信息等等；2)網絡通訊單元接收到直播請求后送入直播信令處理單元，直播信令處理單元檢 查請求的直播視頻是否正處于上傳過程中，如果存在則執行后續步驟3)，否則通過網絡通 訊單元向直播客戶端返回錯誤信息；3)直播信令處理單元檢查直播請求中的所要求的視頻編碼類型，并啟動相應的服 務器的音頻編碼單元和服務器視頻編碼單元進行編碼；4)直播信令處理單元控制直播數據發送單元，使其通過網絡通訊單元發送編碼完 成的音視頻數據；如果直播信令處理單元檢測到直播客戶端的連接斷開或接收到直播客戶 端的停止請求，則通知直播數據發送單元停止發送數據；5)直播客戶端接收直播音視頻數據。2、音視頻同步的步驟如下1)先由音視頻同步單元從音頻數據緩存子區中獲取可用的所有音頻數據；2)將音頻數據按固定大小重新分片；3)計算一片音頻數據的開始時間和結束時間作為同步時間戳；4)將音頻數據送入音頻編碼單元進行編碼。5)以同步開始時間戳和結束時間戳為準將視頻數據緩存子區中相應時間戳在這 區間中的視頻數據在視頻編碼單元中進行編碼，由此實現同步。綜上所述，本發明的面向機頂盒和PC的實時流媒體服務器及其工作方法可根據 各直播客戶端的請求，對視頻數據和音頻數據進行符合各客戶端各自要求的編碼，由此，可 實現一路實時的輸入而輸出多路不同格式的音視頻流。以滿足不同的客戶端的需求，增強 服務器的服務能力。上述實施例僅列示性說明本發明的原理及功效，而非用于限制本發明。任何熟悉 此項技術的人員均可在不違背本發明的精神及范圍下，對上述實施例進行修改。因此，本發 明的權利保護范圍，應如權利要求書所列。
權利要求
一種面向機頂盒和PC的實時流媒體服務器，其特征在于包括存儲單元，用于存儲音視頻數據；網絡通訊單元，用于收發來自音視頻上傳客戶端及直播客戶端的信息；視頻解碼單元，用于將所述網絡通訊單元接收的音視頻上傳客戶端所上傳的音視頻網絡包中的視頻數據解碼為視頻YUV數據；音頻解碼單元，用于將所述網絡通訊單元接收的音視頻上傳客戶端所上傳的音視頻網絡包中的音頻數據解碼為音頻PCM格式數據；數據緩沖單元，用于將視頻解碼單元和音頻解碼單元解碼后所得的音頻PCM和視頻YUV數據放入所述存儲單元中的緩存區予以緩存以備待用；音視頻同步單元，用于將數據緩存區中的音視頻數據按照其時間戳進行同步；直播信令處理單元，用于處理所述網絡通訊單元接收的直播客戶端的直播請求，以確定直播客戶端所需要的音視頻信息和其所采用的音視頻編碼格式；視頻編碼單元，用于根據所述直播信令處理單元所確定的直播客戶端所需要的音視頻信息和音視頻編碼格式，將緩存的對應視頻YUV數據進行相應編碼；音頻編碼單元，用于根據所述直播信令處理單元所確定的直播客戶端所需要的音視頻信息和音視頻編碼格式，將緩存的對應音頻PCM數據進行相應編碼；直播數據發送單元，用于將視頻編碼單元和音頻編碼單元編碼后的音視頻數據交由網絡通訊單元發送到直播客戶端。
2.根據權利要求1所述的面向機頂盒和PC的實時流媒體服務器，其特征在于還包括一 合并流單元，用于將視頻編碼單元和音頻編碼單元編碼后的音視頻數據按照工業標準生成 標準的視頻文件，并存入所述存儲單元以供客戶端非直播的點播使用。
3.根據權利要求1所述的面向機頂盒和PC的實時流媒體服務器，其特征在于所述緩 存區包括用于緩存視頻數據的視頻緩存子區和用于緩存音頻數據的音頻緩存子區。
4.根據權利要求1所述的面向機頂盒和PC的實時流媒體服務器，其特征在于所述直 播客戶端包括直播播放器、機頂盒和PC機，其中，直播播放器和網絡通訊單元采用HTTP協 議或RTSP協議進行通訊，PC機和網絡通訊單元采用HTTP協議進行通訊，機頂盒和網絡通 訊單元采用RTSP協議進行通訊。
5.一種面向機頂盒和PC的實時流媒體服務器的工作方法，其特征在于包括步驟1)服務器的網絡通訊單元接收音視頻上傳客戶端上傳的音視頻數據包；2)服務器的視頻解碼單元和音頻解碼單元分別將所述網絡通訊單元接收的音視頻網 絡包中的視頻數據解碼為視頻YUV數據、音頻數據解碼為音頻PCM格式數據；3)服務器的數據緩沖單元將視頻解碼單元和音頻解碼單元解碼后所得的音頻PCM和 視頻YUV數據放入服務器的存儲單元中的緩存區予以緩存以備待用；4)服務器的音視頻同步單元將數據緩存區中的音視頻數據按照其時間戳進行同步；5)服務器的直播信令處理單元處理所述網絡通訊單元接收的直播客戶端的直播請求， 以確定直播客戶端所需要的音視頻信息和其所采用的音視頻編碼格式；6)服務器的視頻編碼單元和音頻編碼單元分別根據所述直播信令處理單元所確定的 直播客戶端所需要的音視頻信息和音視頻編碼格式，將緩存的對應視頻YUV數據和音頻 PCM數據分別進行相應編碼；(7)服務器的直播數據發送單元將視頻編碼單元和音頻編碼單元編碼后的音視頻數據 交由網絡通訊單元發送到直播客戶端。
6.根據權利要求5面向機頂盒和PC的實時流媒體服務器的工作方法，其特征在于步 驟6)中的視頻編碼單元和音頻編碼單元各自能同時進行多路編碼。
7.根據權利要求5所述的面向機頂盒和PC的實時流媒體服務器的工作方法，其特征 在于還包括服務器的合并流單元將視頻編碼單元和音頻編碼單元編碼后的音視頻數據按 照工業標準生成標準的視頻文件，并存入所述存儲單元以供客戶端非直播的點播使用的步 馬聚ο
8.根據權利要求5所述的面向機頂盒和PC的實時流媒體服務器的工作方法，其特征在 于所述音視頻同步單元將數據緩存區中的音視頻數據進行同步的過程為其先從緩存區 中獲取能用的所有音頻數據，并將音頻數據按固定大小重新分片，接著計算一片音頻數據 的開始時間和結束時間作為同步時間戳；然后所述音視頻同步單元將數據緩存區中按照每 一片音頻數據的開始和結束同步時間戳獲取若干幀視頻數據實現同步。
全文摘要
本發明的面向機頂盒和PC的實時流媒體服務器涉及網絡多媒體電視技術領域、視頻傳輸領域、視頻編碼處理領域。其至少包括存儲單元、網絡通訊單元、視頻解碼單元、音頻解碼單元、數據緩沖單元、音視頻同步單元、直播信令處理單元、視頻編碼單元、音頻編碼單元、及直播數據發送單元等，可實現了由一路實時的輸入視頻針對不同的播放終端同時輸出不同編碼格式視頻。
文檔編號H04L29/06GK101895750SQ20101022571
公開日2010年11月24日 申請日期2010年7月13日 優先權日2010年7月13日
發明者李青, 羅璇濱, 董道國 申請人:上海未來寬帶技術及應用工程研究中心有限公司