基于USB接口的音視頻傳輸和多屏映射的系統和方法與流程

本發明涉及數據處理和汽車電子技術和無線通信領域，特別涉及基于usb接口的音視頻傳輸和多屏映射的系統、方法，比如采用手機、平板電腦、pc、電視、投影儀、車載等多媒體終端上的屏幕映射技術。

背景技術：

屏幕映射的技術指的是，將一個終端(以下稱為源端設備)所顯示的屏幕內容，映射到另一個終端(以下稱為目標端設備)屏幕上。源端設備上的屏幕所顯示的內容或播放的音頻，可以在目標端設備進行同步顯示和同步音頻播放。而具體地，源端設備通常指手機、pc、平板電腦等等小型設備，目標端設備通常指車載多媒體、電視、大屏幕pc、投影儀、戶外廣告屏等等帶有較大屏幕的設備。

屏幕映射又分為復制屏幕(也稱為同屏映射)和擴展屏幕(也稱為分屏映射)。同屏映射指的是，源端設備顯示的內容和目標端設備顯示的內容相同。分屏映射指的是，目標端設備相當于源端設備的另一個屏幕，所以源端屏幕上顯示某一個應用程序的界面，而目標端設備的屏幕顯示源端設備的另一個應用程序的界面。應用程序包括普通的信息展示的應用程序，也包含音視頻播放器等等應用程序。

目前屏幕映射的技術，從不同側面分類描述如下：

1)各種通用常見的vnc(virtualnetworkconsole,虛擬網絡控制臺)技術，具體而言是在相互聯網互通的源設備和目標端間，建立數據連接，通過各種vnc的通訊協議，將源端設備的屏幕、聲音和觸控等信息，映射到目標端的設備上，目標端的設備可以看到源端設備的屏幕顯示，播放源端設備的聲音，并且可以操控源端設備的應用程序觸控等。典型代表是windows的遠程桌面連接，安卓手機的pc屏幕操作等等。

2)用于車載或電視設備相關的屏幕映射技術，比如，mirrorlink^tm標準、miracast^tm技術、widi^tm技術，apple蘋果公司的carplay^tm，google公司主導的googleauto^tm技術等，這些技術的目的都是通過所制定的規范和標準，可以讓手機跟車載多媒體系統或電視(簡稱車機)進行互聯，并可以實現對特定應用軟件的手機和車機/電視的雙向控制，目標是使用戶在汽車行駛過程不用看手機屏幕，觸摸手機屏幕或者操作手機按鍵。比如，mirrorlink標準結合了多種現有技術來滿足各種可能的車內使用情境，包括以虛擬網絡運算(vnc)進行畫面顯示與用戶指令輸入、透過通用隨插即用(universalplugandplay，upnp^tm)找尋對應的設備與完成正確的設定配置、運用藍牙(bluetooth^tm)和實時傳輸協議(real-timeprotocol，rtp)執行音訊串流等，mirrorlink^tm也能支持目前在車內經常使用的規格包括藍牙hfp與a2dp協議等技術。miracast設備提供簡化發現和設置，用戶可以迅速在設備間傳輸視頻。又比如，miracast用戶可以盡情在大屏電視上瀏覽智能手機拍下的照片，通過會議室投影儀實時共享筆記本屏幕，或者在平板電腦上收看家庭電視機頂盒的直播節目。miracast通過wi-ficertifiedwi-fidirect^tm形成連接，因此無需接入任何wi-fi網絡——miracast認證設備內部具備連接功能。又比如，widi(intelwirelessdisplay)全稱為無線高清技術，它是通過wifi信號來實現電腦和顯示設備的無線連接。widi的實現原理是筆記本首先通過無線網卡發出無線信號，然后電視端會有一個無線接收裝置來接受wifi信號，無線接收裝置在通過hdmi或者a/v線纜把信號傳輸到顯示設備上。又比如，airplay^tm是蘋果公司的一種播放技術，可以將iphone、ipodtouch、ipad及mac上的視頻鏡像傳送到支持airplay^tm的設備(如：音箱、appletv、車機)中播放。

又比如，googleauto^tm技術是google公司推出的針對安卓手機映射到車機屏幕的方案。

3)從物理外在表現形式來看，可分為內置映射接收協議的終端，以及外置hdmidongle(也稱hdmi棒)映射接收方式，其中，內置映射接收協議的目標終端，在終端出廠前已經內置了上述某一個屏幕映射的協議，用以接受該協議的映射請求。外置hdmidongle則是使用上述某一協議的裝置，通過hdmi顯示接口，連接到目標終端設備，以獲得屏幕映射的能力。

雖然以上現有技術的一定程度上滿足了各種終端設備的映射需要。但各種協議互不兼容，通常目標終端只能接受某一個種特定映射協議的源終端的映射請求。此外，實現這種方案需要一個前提條件：目標端設備需要出廠前預置這種協議。另外有些協議還不能支持音頻傳輸，只能通過藍牙的方式來輔助，如mirrorlink。以上前兩個主要問題的制約了屏幕映射的應用范圍，使得大部分大屏幕的目標終端設備不具備屏幕映射能力。

至于外置的hdmidongle的形式，一定程度上解決了上述所說的目標終端出廠需要預置無線映射的協議的問題。但是帶來另一個問題，就是需要目標終端具備hdmi接口的能力。但是大部分現存終端設備，包括車機、電視、投影、戶外廣告等等不具備hdmi的接口。因此，也不能將映射功能應用在這些場合。此外，因為hdmi接口自身不具備足夠的供電能力，還需要外置電源供電，讓hdmi的應用受到限制。

現有技術中，有一些解決的方法，比如專利公告號cn104142806a，車載手機互聯系統，包括智能手機終端和車載系統，所述車載系統包括：微處理器、以及與所述微處理器電連接的電源管理模塊、音視頻采集模塊、音視頻處理模塊、藍牙模塊、wifi模塊和音視頻輸出模塊，所述智能手機終端通過藍牙模塊或wifi模塊與車載系統無線通訊連接，所述音視頻輸出模塊電連接車載頭枕液晶顯示器。利用無線通訊技術實現智能手機終端與車載系統間的無線交互控制，可以將智能手機終端內的多媒體內容無失真、高清同步到車載頭枕液晶顯示器上播放，能有效提高視覺效果。但是缺點在于：該終端屬于內置映射協議的終端，并采用usb有線的方式將手機與車載進行連接，而不適用于不具備內置映射協議的終端的應用場景。又比如，中國專利申請cn201420476148.8，汽車娛樂影音設備與手機互聯系統，包括汽車娛樂影音設備和智能手機，所述汽車娛樂影音設備具有通用串行總線usb接口的接收單元，所述智能手機具有所述usb接口的發送單元，所述usb接口的接收單元和所述usb接口的發送單元通過有線方式連接。本實用新型不僅實現雙屏互動，還可以給智能手機電池充電，增強了智能手機的續航能力。但是缺點在于：該終端屬于內置映射協議的終端，采用usb有線的方式將手機和車載進行連接，同樣的不適用于不具備內置映射協議的終端的應用場景。又比如，專利公告號cn205657799u，一種usb接口的無線音視頻發射裝置，所述無線音視頻發射裝置包括pc端及dongle端，所述pc端通過usb接口連接于dongle端。所述pc端包括用于采集視頻信息的視頻采集單元及用于采集音頻信息的音頻采集單元，所述視頻采集單元包括捕獲鼠標模塊、捕獲屏幕模塊、屏幕縮放處理模塊及視頻編碼模塊，所述視頻采集單元及音頻采集單元連接于usb接口。所述dongle端包括中央處理模塊，所述中央處理模塊連接有用于發射視頻信息及音頻信息的wifi模塊、按鍵狀態檢測監測模塊及led燈顯示模塊。但是缺點在于：該終端屬于源設備終端，并通過一個新增加的usbdongle來采集源終端的視頻和音頻，屬于連接在源端發送裝置，但是無法作為連接在目標終端的usb接收裝置，另外這個專利需要在源端設備和目標端設備都要安裝相關的軟件，需要指出的是并不是每個目標端設備都具備軟件安裝能力。專利公布號cn104539707a，車機、手機及pc端的屏幕映射方法及系統，車機與手機通過無線的方式傳輸數據及控制，車機與服務器通過無線的方式傳輸數據及控制，服務器與pc端相連，但是缺點在于：具有內置映射協議的終端，并采用usb有線的方式將手機和車載進行連接，同樣的不適用于不具備內置映射協議的終端的應用場景。

技術實現要素：

本發明要解決的技術問題是，提供一種使得任何具備usb接口和usb視頻播放能力的目標端設備具備屏幕映射和播放源端設備音視頻的能力的基于usb接口的音視頻傳輸和多屏映射的系統，從而克服現有技術中存在的需要源端設備和目標端設備同時具備同一協議能力或者需要具備hdmi接口才能進行屏幕映射或者需要同時在兩端安裝軟件的問題和限制。

解決上述技術問題，本發明提供了基于usb接口的音視頻傳輸和多屏映射的系統，包括：

具備usb接口和/或視頻讀取播放功能的目標端設備，用以作為屏幕映射的載體，

具備usb虛擬文件系統的映射裝置，被配置為通過基于usb標準的massstorage協議的usb接口與所述目標端設備連接，所述目標端設備通過訪問所述usb虛擬文件系統獲取動態生成的數據。

本發明還提供了基于usb接口的音視頻傳輸和多屏映射的系統，其特征在于，包括:

源端設備，用以作為屏幕映射的裝置，

具備usb接口和/或視頻讀取播放功能的目標端設備，用以作為所述源端設備的屏幕或音視頻映射的載體，

具備usb虛擬文件系統的映射裝置，被配置為通過usb接口與所述目標端設備連接，

所述目標端設備通過訪問所述usb虛擬文件系統獲取動態生成的數據。

基于上述，本發明中的所述映射裝置具體包括：一虛擬u盤文件系統模塊和一音視頻流合成視頻文件格式編碼模塊，

所述虛擬u盤文件系統模塊，用于在usb接口上產生一個虛擬文件系統，

所述音視頻流合成視頻文件格式編碼模塊，用于為上述虛擬u盤文件系統模塊提供所請求的文件內容，當所述虛擬u盤文件系統模塊通過usb訪問文件的內容時，并且將音視頻合成為虛擬文件系統的相關格式數據流，輸出給虛擬u盤文件系統模塊。

基于上述，本發明中的系統還包括：視頻壓縮模塊、音頻壓縮模塊、音視頻編碼模塊、缺省文件接口處理模塊，

所述視頻壓縮模塊，用以將視頻原始數據進行壓縮后存入音視頻編碼模塊，

所述音頻壓縮模塊，用以將音頻原始數據進行壓縮后存入音視頻編碼模塊，

所述音視頻編碼模塊，用以將音視頻編碼合成為設定格式數據流，

所述音視頻編碼模塊與音視頻流合成視頻文件格式編碼模塊連接，

所述缺省文件接口處理模塊，用以獲取本地或者遠程的文件目錄或數據，并完成相應的適配或操作。

基于上述，本發明中的系統還包括：一觸摸信號中轉裝置，用以將所述目標端設備的觸控信號通過觸控信號轉發接口發送到所述映射裝置，并通過映射裝置回傳到源端設備上通過調用觸控接口完成觸控操作。

基于上述，本發明中的系統還包括：一遙控設備，用于與所述映射裝置通過藍牙或者wi-fi相連，進行觸摸/按鍵的遙控操作。

更進一步，在所述目標端設備生成一播放器媒體列表，用以在每個所述源端設備注冊后在所述播放器媒體列表上對應、產生配套的虛擬的文件夾和相應文件數據。

更進一步，所述源端設備通過wi-fi無線傳輸與映射裝置相連，所述映射裝置。

本發明提供了基于usb接口的音視頻傳輸和多屏映射的自映射方法，包括如下步驟：

s1將具備usb接口和/或視頻讀取播放功能的目標端設備作為屏幕映射的載體，

s2將具備usb虛擬文件系統的映射裝置配置為通過基于usb標準的massstorage協議的usb接口與所述目標端設備連接，所述目標端設備通過訪問所述usb虛擬文件系統獲取動態生成的數據。

本發明中還提供了基于usb接口的音視頻傳輸和多屏映射的方法，包括如下步驟：

s1當映射裝置通過usb接口插入到目標端設備的usb接口時，映射裝置上電工作，并等待其它源設備連接，同時在所述映射裝置的usb接口模擬出一基于massstorage協議的usb虛擬文件系統，

s2在所述源端設備啟動一應用程序，并查找周邊適配的可連接設備，通過鑒權連接映射裝置，

s3將所述源端設備與所述映射裝置連接成功后，所述映射裝置中的usb虛擬文件系統將根據源端設備生成相應的虛擬文件系統目錄和文件列表結構，

s4在目標端設備上的音視頻播放程序選擇上述文件列表結構中的文件進行播放

本發明的有益效果：

采用本發明的使得大量的基于usb播放器的目標端設備，具備將另一個源端設備的屏幕映射在目標端設備上的能力，從而實現了目標端設備顯示能力充分使用的效果，并節省了設備廢棄和改造的高昂成本。

附圖說明

圖1是本發明的系統結構示意圖(自映射)；

圖2是本發明的系統結構示意圖(接收功能)；

圖3是自身映射的usb虛擬文件的映射裝置的示意圖；

圖4是具有接收功能usb虛擬文件的映射裝置的示意圖；

圖5是物理化連接示意圖；

圖6是映射裝置的一優選實施方式示意圖；

圖7是源端設備邏輯示意圖；

圖8是接收裝置邏輯流程示意圖；

圖9是目標端設備邏輯和流程示意圖；

圖10是目標端設備中播放器媒體列表示意圖。

具體實施方式

現在將參考一些示例實施例描述本公開的原理。可以理解，這些實施例僅出于說明并且幫助本領域的技術人員理解和實施例本公開的目的而描述，而非建議對本公開的范圍的任何限制。在此描述的本公開的內容可以以下文描述的方式之外的各種方式實施。

如本文中所述，術語“包括”及其各種變體可以被理解為開放式術語，其意味著“包括但不限于”。術語“基于”可以被理解為“至少部分地基于”。術語“一個實施例”可以被理解為“至少一個實施例”。術語“另一實施例”可以被理解為“至少一個其它實施例”。

請參考圖1是本發明的系統結構示意圖(自映射)，基于usb接口的音視頻傳輸和多屏映射的系統，包括：具備usb接口和/或視頻讀取播放功能的目標端設備300，用以作為屏幕映射的載體，具備usb虛擬文件系統的映射裝置200，被配置為通過基于usb標準的massstorage協議的usb接口與所述目標端設備連接，所述目標端設備通過訪問所述usb虛擬文件系統獲取動態生成的數據。在本實施例中的映射裝置200本身已經運行了一套操作系統(比如，安卓操作系統，此外，映射裝置本身可以不帶屏幕顯示，可以帶屏幕顯示)，則映射裝置通過usb虛擬文件系統的接口，將映射裝置本身的操作系統界面映射到目標端設備上。在沒有屏幕顯示的情況下，采用本實施例中所述的遙控裝置(可選)，使用手機或者專用的遙控設備來對映射裝置本身的操作系統界面進行操作。在本實施例中，其實映射裝置200本身也是作為源端設備的作用。

請參考圖2是本發明的系統結構示意圖(接收功能)，基于usb接口的音視頻傳輸和多屏映射的系統，包括:源端設備100，用以作為屏幕映射的裝置，具備usb接口和/或視頻讀取播放功能的目標端設備300，用以作為所述源端設備的屏幕或音視頻映射的載體，具備usb虛擬文件系統的映射裝置200，被配置為通過usb接口與所述目標端設備連接，所述目標端設備通過訪問所述usb虛擬文件系統獲取動態生成的數據。采用本實施例所述方法和裝置，與現有技術相比，取得了將屏幕映射延伸為通用能力的進步，使得大量的只有固定功能帶大屏幕和usb播放器的目標端設備具備將另一個源端設備的屏幕映射在此設備上的能力，達到了目標端設備顯示能力充分使用的效果，并節省了設備廢棄和改造的高昂成本，甚至使這些大屏幕具備智能設備的能力。

如圖6所示，系統分為usb虛擬文件系統軟件子系統和音視頻流處理子系統，其中usb虛擬文件系統軟件子系統的包括虛擬u盤文件系統模塊和音視頻流合成視頻文件格式編碼模塊，其中音視頻流處理子系統包括視頻壓縮模塊，音頻壓縮模塊，音視頻編碼模塊，其他文件接口處理模塊。

上述相關的系統模塊組成如下：

虛擬u盤文件系統模塊2002，用于在usb接口上產生一個虛擬文件系統。外部看到的設備是一個u盤設備，可以瀏覽目錄和讀取文件。

音視頻流合成視頻文件格式編碼模塊2001，用于為虛擬u盤文件系統模塊提供所請求的文件內容。當usb訪問某個文件的內容時，將音視頻的書合成為虛擬文件系統的相關格式數據流，輸出給虛擬u盤文件系統模塊。

視頻壓縮模塊，將視頻原始數據進行壓縮，減少傳輸數據流，供編碼模塊使用。

音頻壓縮模塊，將音頻原始數據進行壓縮，減少傳輸數據流。供編碼模塊使用。

音視頻編碼模塊，將音視頻編碼合成為h.264或mpeg4等等格式的數據流。

其他文件(缺省)接口處理模塊：獲取本地或者遠程的文件系統的目錄和數據，并作相應的適配和操作。這些數據供虛擬u盤文件系統模塊(026)使用。

基本方法描述如下：顯示屏幕數據流為本地或者遠程的需要顯示的數據流。顯示屏幕數據流可以是當前正在顯示的屏幕內容，也可以是視頻播放的數據流。音頻流同上。這些數據流經過視頻壓縮和音頻壓縮進行音視頻壓縮后，再經過音視頻編碼模塊生成可以播放的視頻流，然后音視頻流合成視頻文件格式編碼模塊將這些文件合成為u盤文件系統中的文件內容，虛擬u盤文件系統管理文件目錄結構和文件讀寫操作，當訪問文件內容時，請求音視頻流合成視頻文件格式編碼模塊獲取文件的內容。

本實施例中的目的是使用戶可以將源端設備100的小屏幕(或音視頻文件)映射到目標端設備300的大屏幕上進行屏幕展示和音視頻播放。

本實施例中的映射裝置200是一個小型的設備，通過usb接口插入到目標端設備300的usb接口上，目標端設備300需具備u盤讀取能力以及播放u盤音視頻的能力。源端設備100通過與映射裝置200通訊，接收映射裝置200將源端設備100傳送過來的屏幕顯示信息和音視頻信息，合成為相關的音視頻播放文件，并在與目標端設備300的usb接口上，虛擬出文件系統和音視頻多媒體播放文件，這樣目標端設備300就可以在無需任何軟硬件改動的情況下，展示源端設備100的屏幕信息或者播放源端設備100的音視頻。當工作在自身映射的情況，映射裝置200同時也作為源端設備100使用，提供自身系統屏幕所需顯示的數據和音頻數據等。具體到自映射的實現方法，具體包括如下步驟：

步驟s1將具備usb接口和/或視頻讀取播放功能的目標端設備作為屏幕映射的載體，

步驟s2將具備usb虛擬文件系統的映射裝置配置為通過基于usb標準的massstorage協議的usb接口與所述目標端設備連接，所述目標端設備通過訪問所述usb虛擬文件系統獲取動態生成的數據。

由上述圖1或圖2可知，通過在已有設備或者新增設備上的usb接口上創建一個虛擬文件系統。這個文件系統并不是該設備上的真實文件系統，而是在內存中的相關結構和數據。文件的數據本專利所描述的方法動態生成。目標端設備通過訪問這個虛擬文件的文件，達到訪問這些動態生成的數據。具體應用領域是，將屏幕顯示的數據流以及音頻流通過相關的步驟轉化為文件流，供目標端設備通過標準的文件系統進行訪問。

如圖4所示是具有接收功能usb虛擬文件的映射裝置的示意圖，其中包括：

源端設備100，指的是需要進行屏幕映射的設備，通常指手機、平板電腦、pc等等小型設備。在源端設備上需安裝本實施例中的的源端軟件，利用源端設備100自身的wifi或usb跟接收裝置(200)進行通訊。進一步的，如果源端設備100已經帶了本申請可以兼容的映射協議，可通過其他映射協議處理模塊進行識別，則也可以無需安裝本專利的源端軟件系統也可以跟本實施例中的映射裝置200進行連接，并完成屏幕映射和多媒體播放的功能。

目標端設備300，指的是將源設備的屏幕和音視頻映射到的設備上，一般帶有較大的顯示屏幕。通常指車載多媒體設備、大屏電視、pc電腦、投影設備、戶外廣告屏、工控設備屏幕等等。如果不進行觸摸信號的回傳，本實施例中無需對目標端設備300進行任何改動(包括軟件和硬件)，目標端設備300保持原有狀態。進一步的，如果需要在目標端設備300進行觸控等操作，則可以加入觸摸信號中轉裝置400。

映射裝置200，映射裝置200采用usb對外接口與目標端設備300進行連接，映射裝置200將這個usb接口虛擬為一個u盤(通過usb標準的massstorage協議)，目標端設備300按照u盤的格式讀取。u盤的文件則是對應預先配置好的分辨率的視頻文件。映射裝置200內置cpu和wifi/usb等設備和接口，本實施例中的接收裝置軟件系統通過使用wifi或者usb等方法，接收到源端設備100的屏幕/視頻/音頻等信息后，將信息轉化并合成為上述符合usbmassstorage協議接口的視頻文件，這樣目標端設備自身的多媒體播放系統就可以按照正常的多媒體文件進行音視頻的播放，并顯示在目標端的顯示屏幕上，這樣達到將。進一步的，如果只是音頻方面的映射，則轉化為目標端設備300可以識別的音頻文件格式，這樣，目標端設備300可以通過播放音頻文件的方式進行音頻的傳輸。這樣的設備可以有兩種系統實現方式，也就是作為自身映射的usb虛擬文件系統映射裝置的系統(見圖3)和作為接收功能的usb虛擬文件系統映射裝置的系統(見圖4)。進一步的，這兩種系統可以同時存在一個裝置里，也就是同時具備自身映射和接收外部映射的功能。當工作在自身映射的情況，映射裝置200同時也作為源端設備100使用，提供自身系統屏幕所需顯示的數據和音頻數據等。

如圖4所示，在本實施例中，基于usb接口的音視頻傳輸和多屏映射的系統中還包括：一觸摸信號中轉裝置400，用以將所述目標端設備的觸控信號通過觸控信號轉發接口發送到所述映射裝置，并通過映射裝置回傳到源端設備上通過調用觸控接口完成觸控操作。觸摸信號中轉裝置作為可選裝置，一般來說，人機交互操作可以在源端設備100上完成，因為屏幕映射的關系，目標端可以顯示人機交互的結果。某些情況，如果需要直接在目標端設備300進行人機操作，則通過改造目標端設備300上硬件平臺輸出的觸控信號，與目標端設備300的觸控屏之間接入本實施例中的觸摸信號中轉裝置。觸摸信號中轉裝置將目標端設備300的觸控信號通過觸控信號轉發接口發送到映射裝置200，并通過映射裝置200回傳到源端軟件上，并由源端軟件(1011)調用源端設備的操作系統觸控接口進行調用，完成觸控操作。進一步的，由如果目標端設備300只有顯示屏幕，顯示屏幕之上不帶人機交互的觸控屏，但是又需要觸控功能，則需要在目標端設備300上，新增加一個觸控屏幕，并將觸控信號連接到本專利的觸摸信號中轉裝置即可達到目的。

如圖4或圖3所示，在本實施例中，系統還包括：一遙控設備，用于與所述映射裝置通過藍牙或者wi-fi相連，進行觸摸/按鍵的遙控操作。

所述遙控設備500，是本實施例中的可選設備。用于與映射裝置200進行遙控的操作。當用戶不方便觸摸源端設備100，目標端設備300時可以采用遙控設備500來代替。特別是在映射裝置200作為自身映射的usb虛擬文件系統映射裝置的系統的使用時，同時如果沒有相關的顯示設備，也不想增加上述觸摸信號中轉裝置400時，則可以采用本設備作為觸摸操作和按鍵操作的需要。遙控設備500上的軟件系統功能，可以與本源端軟件集成在一起，在一個手機或者平板電腦上實現遙控設備500的功能。

可選地，本實施例中的目標終端設備300無需任何改動，只需要插入本實施例中的接收映射裝置200即可達到屏幕映射和音視頻播放的目的。因為更進一步的，如果用戶需要在目標終端設備也能同步觸控操作的話，需要加入本觸控信號的裝置，用于轉發目標終端設備的觸控信息。更進一步的，如果要將目標終端設備300的按鍵信息也要反饋到源端設備100的操作上。也是通過本裝置進行信號收集和轉發。具體的實現方式是，通過截取目標終端設備上主機與觸摸屏的硬件連接信號，這個裝置對于目標終端的主機和觸摸屏是透明的，因為本裝置原封不動的將之前的信號傳遞給主機和觸摸屏。同時，將信號的解碼后通過本專利新增的觸摸信號發送接口，這個接口可以是串口接口或者usb接口，對等的在接收裝置200的觸摸信號接收接口相對應并對接后進行信息的傳遞。將目標端設備的觸控(觸摸和按鍵動作的信息)回傳到源端設備進行處理。

可選地，本實施例中的遙控裝置500，遙控裝置的實現方式可以多種，例如使用藍牙的按鍵設備，通過與裝置500將按鍵信息傳到映射裝置200，實現按鍵人機交互。也可以通過在手機或者平板電腦上安裝遙控端軟件，通過wifi/藍牙的方式，實現遠程的人機交互控制。

下面以作為接收功能的usb虛擬文件系統映射裝置的系統為例展開描述：

總的來說包括例如如下的實現方式：

步驟s1當映射裝置通過usb接口插入到目標端設備的usb接口時，映射裝置上電工作，并等待其它源設備連接，同時在所述映射裝置的usb接口模擬出一基于massstorage協議的usb虛擬文件系統，

步驟s2在所述源端設備啟動一應用程序，并查找周邊適配的可連接設備，通過鑒權連接映射裝置，

步驟s3將所述源端設備與所述映射裝置連接成功后，所述映射裝置中的usb虛擬文件系統將根據源端設備生成相應的虛擬文件系統目錄和文件列表結構，

步驟s4在目標端設備上的音視頻播放程序選擇上述文件列表結構中的文件進行播放

具體而言，

第一步：當映射裝置200通過usb接口插入到目標端設備300的usb接口時，映射裝置200上電工作，并等待各種源設備的連接。與此同時，映射裝置200在usb接口模擬出一個符合massstorage協議(注：massstorage是usb協議中的一部分，是大容量存儲器或者海量存儲器的意思。u盤就是利用的這個協議開發和制作的。遵從這個協議，可以讓usbslave設備(從設備)連接到usbhost設備(主設備)上，并能夠執行文件的傳輸(存儲和讀寫等)。一般的操作系統都集成了這個協議的驅動，所以u盤等存儲設備插入到pc/目標終端上時，才不用安裝驅動)的u盤文件系統。目標端設備300可以像讀取u盤一樣的方式來訪問usb接口上的文件系統。進一步的，如果這時候還沒有任何一個源端設備100接入，但是目標端設備300已經啟動usb接口的多媒體文件播放操作，映射裝置200會虛擬出視頻的數據，這個數據可以是一段廣告或者一段本專利的使用說明介紹等，直到有源端設備100接入，將切換到該源端設備100的屏幕映射或者音視頻的播放。

第二步：源端設備100啟動了源端軟件后，通過wifip2pdiscovey(wifi點對點發現機制)來查找周邊適配的wifi設備，通過鑒權連接映射裝置200。進一步的，映射裝置200上設備發現和設備管理模塊會發送相關的待連接的信號信息，一旦源端設備100連接成功后，設備發現和設備管理模塊對這些已經連接設備進行狀態的管理和監控。

如圖9所示第三步：源端設備100與映射裝置200連接成功后，映射裝置200中的虛擬u盤文件系統模塊將根據源端設備100的相關信息生成相應的虛擬文件系統目錄和文件列表結構。這樣，目標端設備300上，自身具備usb的音視頻播放器，通過其自身的多媒體文件讀取接口來讀取到這個虛擬文件系統的目錄和文件列表等。文件列表的表現方式如圖9所示。源端設備100可以有多個注冊到映射裝置200上，每注冊一個源端設備100，就產生一套配套的虛擬的文件夾和相應文件。例如注冊了第一個源設備，在列表上會有對應有接入設備a，其下二級目錄會有相關的屏幕分辨率的映射視頻文件，如，標清格式屏幕映射(640*480)，其含義在于：接收裝置(200)將源端設備100上的屏幕或視頻，合成為(640*480)的分辨率的視頻文件，在目標端設備300上以(640*480)進行播放。其他分辨率同理。進一步的，還可以合成為不同的編碼格式的視頻和音頻，以滿足目標端設備300音視頻編解碼能力。進一步的，源端軟件也可以將源端設備100的接入設備a所擁有的音頻和視頻等等文件的列表虛擬到該文件系統上，形成“接入設備a媒體文件的目錄”，目錄下有這些文件列表。目標端設備300上的音視頻播放器可以進行播放。進一步的，源端軟件還可以將源端設備100上的其他文件，例如，文檔文件等等映射到本專利所述的虛擬u盤上，目標端設備可以打開、修改、增加和刪除的等等的操作，效果就像將源端設備100變成一個u盤插入到目標端設備300同等效果。

更進一步的，源端軟件也可以通過源端設備100的網絡連接能力，從網絡獲取相關的音視頻資源，形成多媒體列表，這樣也可以在目標端設備300上的音視頻播放器可以進行播放等操作。更進一步的，這些文件不局限于多媒體文件，其他文件格式類型也可以采用這個方法。

第四步：用戶在目標端設備300上的音視頻播放器，選擇了上述列表中的某一個文件的播放過程如下：

如圖10所示下面先以標清格式屏幕映射(640*480)的視頻文件播放過程來描述源端設備100、映射裝置200和目標端設備300之間的協作過程。

用戶在目標端設備播放器點擊了標清格式屏幕映射(640*480)文件進行播放，目標端設備播放器會調用目標端設備300上的多媒體文件讀取接口，通過目標終端設備的操作系統的usbmassstorage協議，訪問usb接口，而usb接口與映射裝置200在usb接口相連接，并通過usbmassstorage協議通訊。映射裝置200的虛擬u盤文件系統模塊相應相關的文件內容讀取請求，從視頻流合成視頻格式編碼模塊處取出文件內容，應答目標端設備300的文件請求。

與此同時，源端設備100使用屏幕顯示數據獲取模塊，獲取到源端設備100的屏幕顯示數據，同時通過音頻獲取模塊獲取到源端設備100的音頻播放數據，兩者分別經過視頻壓縮和音頻壓縮模塊，進入到音視頻編碼模塊進行整體的音視頻流編碼，音視頻流qos模塊(注：qos指傳輸質量管理)用于根據wifi無線網絡的情況、源端設備100和目標端設備300的能力協商具體的編碼流的質量，用于解決丟幀和視頻流卡頓的問題。上述視頻流進一步經過本專利通訊協議數據處理模塊打包成相應的數據包，從wifi接口進行傳輸。進一步的，或者也可以采用usb接口進行有線連接，可以提高連接的速度和穩定性。但使用usb接口犧牲了源端設備100的可移動性。

本實施例中的映射裝置200從通過接收裝置硬件系統、操作系統以及軟件系統，從wifi接口接收到上述源端設備所產生視頻流數據，根據相關的協議，進行處理。

下面描述視頻流在映射裝置200的處理過程。通訊協議數據處理模塊通過wifi模塊和wifi接口的協作獲取到音視頻數據流后，進入協議解包模塊得到音視頻流數據包，然后音視頻流合成視頻文件格式的編碼模塊，從音視頻流數據包的接收隊列中，取到數據，并將數據合成為虛擬文件的文件數據，供虛擬u盤文件系統模塊讀取文件內容時使用。

進一步的，如果源端設備100具備本專利以外的其他映射協議，本專利通過其他映射協議處理模塊來解析該映射協議的音視頻數據包，然后使用視頻文件格式編碼合成模塊將音視頻流數據合成為虛擬u盤文件系統所要求的文件內容格式，完成目標端設備300對視頻文件內容的播放讀取請求。

進一步的，如果目標端設備300顯示屏幕上需要有觸控效果的需求，則通過觸摸信號接收接口與觸控信號發送接口接收從觸摸信號中轉裝置400所發送過來的觸控數據，經過觸控編解碼模塊，通過觸控回傳模塊將觸控的數據通過wifi接口回傳到源端設備100處，源端設備100的源端軟件接收信號后，進行觸控的操作，觸控的操作將反應在當前所映射的屏幕的應用程序上。操作結果通過本專利上述的映射方法又進一步的顯示在目標端設備300上。

作為自身映射的usb虛擬文件系統映射裝置的系統的情況，與上述所描述一樣，通過“自身映射”軟件子系統來實現。自身映射軟件子系統與源端軟件獲取設備的屏幕顯示數據和音頻數據的功能是一樣的，自是獲取的是本實施例中映射裝置200的本地顯示和音頻數據，因為這些數據是在本專利映射裝置200中獲取的，所以無需經過上面作為接收裝置的系統這樣需要經過wifi或者usb傳輸的過程。而是直接進入到音視頻流合成視頻文件格式編碼模塊和虛擬u盤文件系統模塊處理了。所以相關的流程除了上述不同以外，其他都相同或者相似，不再詳細論述。

本映射裝置200是一個包含了的硬件平臺和整套軟件系統的裝置或設備，如圖7所示。

本實施例中的硬件系統的組成主要包括如下幾個主要模塊：cpu中央處理模塊，內存模塊，存儲模塊，音視頻編解碼模塊，wifi硬件模塊，usb硬件模塊，串口硬件模塊。

其中cpu中央處理器可以采用arm^tm核心的cpu處理器，也可以采用mips^tm架構等等其他處理器，需要滿足的大致處理能力為：>300mhz的指令處理速度。處理器內可以集成了音視頻編解碼模塊，集成處理器ic可以更好的解決音視頻編解碼的大量計算，達到優化計算和優化功耗的目標。cpu中央處理器是運算核心和控制核心。它的功能主要是解析和執行指令以及處理計算機軟件中的數據，并提供總線用來控制數據和狀態，以及控制輸入/輸出(i/o)。

cpu中央處理器通過內存接口和總線接口連接內存模塊，存儲模塊構成基本運行系統。接收裝置軟件系統存儲在存儲模塊上，運行時將讀取到內存模塊中，按指令執行軟件系統的流程。

cpu中央處理器通過外設總線連接wifi硬件模塊，usb硬件模塊串口硬件模塊，并按照對應的協議對這些模塊進行操作。

wifi模塊由wifi天線、wifi基帶處理器、wifi協議處理單元、和對外接口組成。用于實現wifi所定義的標準。如802.11a/b/c/n等。可選用適合的wifi芯片，通過匹配的天線和射頻參數，滿足上述wifi所定義的標準的傳輸速率即可實現wifi的無線傳輸。因為本專利涉及的音視頻的傳輸，所以傳輸速率按照分辨率的需求而定，至少要達到802.11b的2mbit/s的速率。wifi模塊的對外接口一般采用sdio或usb等總線接口與cpu中央處理器進行通訊以滿足上述速率要求。當前很多wifi模塊已經以集成的方式提供，集成了天線和基帶以及對外接口等。

usb硬件模塊需要實現usb協議規定的usbslave(usb從設備)功能，這樣裝置內的操作系統和軟件系統可以將usb接口進行虛擬文件系統的操作。進一步的，如果需要將源端設備100與本專利接收裝置進行有線連接，那么usb硬件模塊需要新增另一個usb硬件接口，并在這個接口上實現usbhost(usb主設備)協議功能(也稱為otg，on-the-go)，用于接收源端設備100的usb有線連接請求。

串口硬件模塊，用于通過串口接口與觸控信號中轉裝置400進行連接和通訊，同時也作為本專利接收裝置的調試接口。

進一步的，cpu和整體解決方案需選擇耗電量少的方案，因為本接收裝置沒有額外的電源供電，依靠usb接口所提供的供電能力。usb接口如果采用usb2.0的接口供電能力為500ma，如果采用usb3.0接口的供電能力是1a。

如圖8所示，映射裝置200的軟件組成分為兩大部分，分別是，接收裝置的上所運行的操作系統和接收裝置的軟件系統：

操作系統主要用于cpu的調度以及對上述硬件模塊的管理，同時也需包含對wifi協議、usb協議、串口協議等協議的上層應用接口的處理能力。可以采用目前流行的嵌入式linux操作系統或者wince等等操作系統，只要能夠達到上述目的并能承載本專申請中的軟件系統的操作系統即可。

映射裝置200的軟件系統是基于上述硬件系統以及操作系統所提供的底層能力、接口能力等等所實現的一整套應用程序，用于實現本專利所述的具體功能。

映射裝置200的軟件系統包含如下軟件模塊：

設備發現和設備管理模塊，

通訊協議數據處理模塊，

協議解包模塊，

音視頻合成視頻文件格式編碼模塊，

音視頻流qos管理模塊，

虛擬u盤文件系統模塊，

其他映射協議處理模塊，

觸控編解碼模塊，

觸控回傳模塊。

如上所述，因為軟件系統基于某一個操作系統之上，所以軟件系統在不同的操作系統有不同的實現方法，具體需要根據操作系統所定義的接口以及相應的編程語言和程序架構進行實現。

下面以linux操作系的實現方式為例，說明上述軟件模塊的具體實現。

設備發現和設備管理模塊：通過調用wifi模塊的接口，實現對接入到映射裝置200的設備的狀態和連接進行管理，并通知通訊協議數據處理模塊該接入設備的狀態(如接入、斷開等等)。在連接前通過wifi模塊接口定時發送wifi信號，讓源端設備100可以尋找到映射裝置200，并管理連接的過程。在linux是可以通過調用wifipnp發現功能的接口進行對外廣播。

通訊協議數據處理模塊在建立連接后，進行數據的傳輸，源設備端已經對傳輸的數據進行協議打包，通過通訊協議處理模塊進行逆向的數據解包過程得到相關的音視頻數據。通訊協議可以自定義一種協議的封裝，只要保證源端設備100所發送的音視頻數據到達通訊協議數據處理模塊能被正常的解析，并且兼顧到對應的速率即可。至于具體的通訊協議格式，當然也可以采用一種成熟的通訊協議，例如rtsp、rtp、vnc、widi、miracast…等等。(如下的觸控信號和數據所需的協議同理，不再特別指出)。

同時通訊協議數據處理模塊也將觸控回傳模塊所得到的觸控數據進行通訊協議打包，并回傳到源端模塊100進行處理。

所述音視頻qos管理模塊：用于管理整個傳輸過程中的傳輸質量問題，例如如果碰到wifi信號弱的情況，不能讓虛擬u盤文件模塊讀不到數據而導致目標終端設備300的播放器出現異常，音視頻qos管理模塊可以根據之前接收到的音視頻數據插入模擬預測數據來實現。例如，插入視頻的中間畫面幀的數據來完成；或者丟掉wifi模塊所接收到的不符合格式的畫面幀數據等等。

所述協議解包模塊和音視頻流合成視頻文件格式編碼模塊：通過這兩個模塊的合作，將上述通訊協議得到的數據包按照音視頻格式重新解包，并按照目標端設備所請求的格式進行重新編碼成能夠讓目標端播放器播放的文件格式內容流。這個內容流存放在內存的緩存中，供虛擬u盤文件系統模塊對這個緩存進行線性內容讀取。

所述虛擬u盤文件系統模塊的實現方法，在linux操作系統中注冊一個文件系統和相應的虛擬mtd外接設備(memorytechnologydevice，縮寫為mtd)，即注冊為ramfs(內存文件系統)的形式。文件格式目前可以采用fat32，exfat等通用的文件系統，目的是讓目標終端設備300可以識別的文件系統。從而讓目標終端內置的多媒體播放器系統可以正常讀取文件的數據流，進行播放。以fat32為例，使用vfat的文件系統管理模型對外提供。對外的文件系統的接口符合massstorage的usb對外接口規范。

此外，觸控編解碼模塊和觸控回傳模塊是可選的模塊，作用在于接收目標終端所改造的觸控信號，并由通訊協議數據處理模塊傳給源端設備100實現操作。

作為自身映射的usb虛擬文件系統映射裝置時，可以自帶屏幕和觸控顯示硬件，也可以不帶屏幕而通過遙控裝置500來實現人機交互。這樣可以直接將映射裝置200認為源端設備100，直接將映射裝置200的屏幕顯示通過與源端設備系統類似的獲取屏幕數據和音頻數據的類似流程，將映射裝置200變為可以映射的源端設備。而無需經過wifi/usb等無線或有線的數據傳輸過程。

本實施例中的所述的源端設備100包含了多種類型，例如手機，平板電腦、pc等等形態。這些源端設備100所采用的操作系統，目前來看是以下幾種：android(安卓)、windows(微軟視窗)、ios(蘋果公司操作系統)以及linux幾類，將來還會有更高級的操作系統。共同點是這些設備具備安裝軟件的能力，本實施例中的的源端軟件就是運行在這些源端設備操作系統之上的一整套軟件系統。

本專利的實施需要針對每一種類型的操作系統進行源端軟件的開發和適配工作，使其具備圖7所示各關鍵模塊，這些模塊包括：

屏幕顯示數據獲取模塊：將源端設備的屏幕顯示數據獲取，具體實現的方法以android為例，利用android底層的圖形庫接口獲取到屏幕的framebuffer，也可以使用android的高層接口egl接口等可行的方式來得到屏幕數據。

音頻獲取模塊：調用源端設備操作系統的接口獲取源端設備的音頻數據。以android為例，通過音頻的router(路由)，將android應用程序所播放的聲音，路由到音頻獲取模塊，從而得到音頻的數據。

視頻壓縮模塊和音頻壓縮模塊以及音視頻編碼模塊：之所以放在一起來講，是因為通常我們采用采用標準的音視頻編碼來處理上述模塊所采集到的音視頻數，這些編碼協議包含了對音視頻的壓縮和編碼。典型的代表如h.264和mp4等。以android為例，則采用h.264進行音視頻編碼。

音視頻的qos管理模塊：可以調用操作系統的接口能力獲取本源端設備的屏幕顯示能力，如分辨率、色深等等關鍵參數，獲取本源端的編解碼能力，比如是否有硬件解碼的能力等等。同時通過監控wifi通訊通道的狀態，動態調整編碼的能力，以達到流暢的目的。屬于綜合調度調整模塊。在android上的實現，可以調用android所提供的wifiqos能力查詢、以及android的設備能力的相關接口。

本實施例中通訊協議數據處理模塊：音視頻編解碼模塊產出的相關數據，在通訊協議數據處理模塊，將其進行封包，讓數據可以通過wifi或者usb進行數據傳輸。這部分的模塊的實現方式可以使用rtsp或者rtp等等協議方式。如果源終端本身具備某一種已知的映射協議(例如miracast、widi等等)，我們也可以通過調用的方式，直接調用該源設備已有的映射協議，將數據包發送出去。

觸控解碼模塊和觸控處理模塊：負責從本專利協議數據處理模塊得到解析好的觸控數據，對觸控數據進行解碼，然后通過觸控處理模塊調用操作系統的相關接口，執行實際的觸控實際，達到控制源端設備100上的要映射應用程序界面的目的。

應當理解，本發明的各部分可以用硬件、軟件、固件或它們的組合來實現。在上述實施方式中，多個步驟或方法可以用存儲在存儲器中且由合適的指令執行系統執行的軟件或固件來實現。例如，如果用硬件來實現，和在另一實施方式中一樣，可用本領域公知的下列技術中的任一項或他們的組合來實現：具有用于對數據信號實現邏輯功能的邏輯門電路的離散邏輯電路，具有合適的組合邏輯門電路的專用集成電路，可編程門陣列(pga)，現場可編程門陣列(fpga)等。

在本說明書的描述中，參考術語“一個實施例”、“一些實施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結合該實施例或示例描述的具體特征、結構、材料或者特點包含于本發明的至少一個實施例或示例中。在本說明書中，對上述術語的示意性表述不一定指的是相同的實施例或示例。而且，描述的具體特征、結構、材料或者特點可以在任何的一個或多個實施例或示例中以合適的方式結合。

總體而言，本公開的各種實施例可以以硬件或專用電路、軟件、邏輯或其任意組合實施。一些方面可以以硬件實施，而其它一些方面可以以固件或軟件實施，該固件或軟件可以由控制器、微處理器或其它計算設備執行。雖然本公開的各種方面被示出和描述為框圖、流程圖或使用其它一些繪圖表示，但是可以理解本文描述的框、設備、系統、技術或方法可以以非限制性的方式以硬件、軟件、固件、專用電路或邏輯、通用硬件或控制器或其它計算設備或其一些組合實施。

此外，雖然操作以特定順序描述，但是這不應被理解為要求這類操作以所示的順序執行或是以順序序列執行，或是要求所有所示的操作被執行以實現期望結果。在一些情形下，多任務或并行處理可以是有利的。類似地，雖然若干具體實現方式的細節在上面的討論中被包含，但是這些不應被解釋為對本公開的范圍的任何限制，而是特征的描述僅是針對具體實施例。在分離的一些實施例中描述的某些特征也可以在單個實施例中組合地執行。相反對，在單個實施例中描述的各種特征也可以在多個實施例中分離地實施或是以任何合適的子組合的方式實施。