自適應視頻處理的制作方法

自適應視頻處理的制作方法
【專利摘要】本發明公開了一種自適應視頻處理方法和裝置，該自適應視頻處理方法和裝置可通過解碼流水線和/或編碼流水線來實現。該自適應視頻處理方法在處理視頻內容并針對環境設置或環境中的目標顯示面板對其進行再現時可將包括視頻內容、顯示特征和環境條件的信息考慮在內。該自適應視頻處理方法可使用該信息來調整如被應用于視頻數據的一個或多個視頻處理功能，以根據周圍環境或查看條件針對目標顯示面板來對適用于顯示面板的視頻進行再現。
【專利說明】
自適應視頻處理
技術領域
[0001 ]本公開整體涉及數字視頻或圖像處理和顯示。
【背景技術】
[0002] 包括但不限于個人計算機系統、臺式計算機系統、膝上型電腦和筆記本式計算機、 平板電腦或平板設備、數碼相機、數字視頻錄像機、和移動電話或智能電話的各種設備可包 括可實施一種或多種視頻處理方法的軟件和/或硬件。例如，設備可包括可根據一種或多種 視頻處理方法來接收和處理來自一個或多個源的數字視頻輸入并輸出經處理的視頻幀的 裝置(例如集成電路(1C)，諸如片上系統(S0C)、或1C的子系統）。又如，可在設備上實施可根 據一種或多種視頻處理方法來接收和處理來自一個或多個源的數字視頻輸入并將經處理 的視頻幀輸出至一個或多個目的地的軟件程序。
[0003] 例如，視頻編碼器可被實現為其中數字視頻輸入根據視頻編碼方法被編碼或轉換 為另一種格式例如壓縮視頻格式(諸如H. 264/高級視頻編碼(AVC)格式或H. 265高效視頻編 碼(HEVC)格式)的裝置或另選的軟件程序。又如，視頻解碼器可被實現為其中壓縮視頻格式 (諸如AVC或HEVC)的視頻被接收并根據視頻解碼方法被解碼或轉換為另一(解壓縮)格式例 如顯示設備所使用的顯示格式的裝置或另選的軟件程序。H.264/AVC標準被ITU-T公布于標 題為"ITU-T Recommendation Η.264:Advanced video coding for generic audiovisual services" 的文檔中。H. 265/HEVC標準被ITU-T公布于標題為 "ITU-T Recommendation H.265:High Efficiency Video Coding"的文檔中。
[0004] 在許多系統中，裝置或軟件程序可實現視頻編碼器部件和視頻解碼器部件兩者； 諸如裝置或程序通常被稱為編解碼器。需注意，編解碼器可對視頻流中的視覺/圖像數據和 音頻/聲音數據兩者進行編碼/解碼。
[0005] 常規地，在數字圖像和視頻處理中，數字圖像（例如，視頻圖像或靜態圖像)被捕 捉、再現并顯示在有限的動態范圍內，其被稱為標準動態范圍（SDR)成像。此外，常規地使用 相對較窄的色域對圖像進行再現以用于顯示，其被稱為標準色域(SCG)成像。擴展或高動態 范圍（HDR)成像是指在電子圖像(例如，被顯示在顯示屏或顯示設備上的）中產生比使用標 準數字成像技術和工藝(被稱為標準動態范圍成像或SDR成像)所獲取的更大范圍亮度的技 術和工藝。許多新的設備諸如圖像傳感器和顯示器支持HDR成像以及廣色域(WCG)成像。這 些設備可被稱為支持HDR的設備或被簡稱為HDR設備。

【發明內容】

[0006] 本公開描述了用于數字圖像內容例如視頻幀或視頻流的自適應處理、再現和顯示 的方法和裝置的各種實施方案，其描述了可自適應地再現視頻數據以用于顯示給目標顯示 面板的視頻處理方法和裝置的實施方案。自適應視頻處理方法在處理視頻內容并針對環境 設置或環境中的目標顯示面板對其進行再現時可將各種信息考慮在內，該各種信息包括但 不限于視頻內容、顯示特征和環境條件，該環境條件包括但不限于環境照明和查看者相對 于顯示面板的位置。自適應視頻處理方法可使用該信息來調整如被應用于視頻數據的一種 或多種視頻處理功能(例如，噪聲/偽影消減、縮放、銳化、色調映射、色域映射、幀率轉換、白 點校正和/或黑點校正、色彩平衡等），以根據周圍環境或查看條件針對目標顯示面板來對 適用于顯示面板的視頻進行再現。
[0007] 在一些實施方案中，針對目標顯示面板的自適應視頻處理可在與目標顯示面板相 關聯的解碼/顯示模塊或流水線中實現或通過其實現。這些實施方案可被稱為顯示器側自 適應視頻處理系統。在至少一些實施方案中，解碼/顯示流水線可接收經編碼的視頻流并對 用于目標顯示面板的該經編碼的視頻流進行解碼。可分析經解碼的視頻內容以確定視頻的 幀內和/或幀間特征，例如亮度特征(例如，動態范圍寬度）、色彩特征(例如，色彩范圍）、幀 間運動、鏡面高光、對比度、亮區和暗區等。可獲取用于目標顯示面板的一個或多個顯示特 征。顯示特征可包括但不限于以下各項中的一者或多者;所測量的響應、顯示格式、顯示動 態范圍、位深度、一個或多個背光水平、白點、黑光泄漏、反射率、局部對比增強或映射、當前 顯示控件設置等。可獲取有關目標顯示面板的當前環境的信息。例如，包括顯示面板的設備 可包括可用于從周圍環境采集數據(例如，光照、查看者位置等）的一個或多個前向傳感器 和/或后向傳感器;所采集的數據可被分析以確定一個或多個環境指標。然后解碼/顯示流 水線根據內容特征、顯示特征和當前環境信息來處理經解碼的視頻，以生成適用于目標顯 示面板和當前環境的視頻。
[0008] 在一些實施方案中，針對目標顯示面板的自適應視頻處理可在服務器/編碼流水 線中實現或通過服務器/編碼流水線實現。這些實施方案可被稱為服務器側自適應視頻處 理系統。在至少一些實施方案中，服務器/編碼流水線可獲取用于目標顯示面板的視頻內 容。目標顯示面板可支持高動態范圍(HDR)和廣色域(WCG)成像。服務器/編碼流水線可獲取 或確定輸入視頻內容的一個或多個特征。服務器/編碼流水線可獲取目標顯示面板的顯示 信息和/或環境信息，例如從目標顯示面板在其上實現的示例性系統獲取。顯示信息可指示 顯示特征，該顯示特征可包括但不限于以下各項中的一者或多者:所測量的響應、格式、分 辨率、尺寸、動態范圍、位深度、一個或多個背光水平、白點、黑光泄漏、反射率、局部對比增 強或映射、當前顯示控件設置等。環境信息可包括但不限于各種環境光照指標和查看者指 標諸如查看者相對于目標顯示面板的位置。
[0009] 服務器/編碼流水線可根據色域映射技術來將視頻內容映射到目標顯示面板的色 域。色域映射技術可根據所獲取的信息而被選擇、修改或調整。例如，可根據顯示信息來將 源數據的色域映射到目標顯示面板的位深度和色域。又如，在色域映射技術中所使用的曲 線、傳遞函數和/或查找表可基于一個或多個指標(包括但不限于由環境信息所指示的顯示 面板處的當前環境光照指標)來修改或調整。
[0010] 服務器/編碼流水線可根據色調映射技術來將視頻內容映射到目標顯示面板的動 態范圍。色調映射技術可根據所獲取的信息來調整。例如，可根據顯示信息來將源數據的動 態范圍映射到目標顯示面板的位深度。又如，在色調映射技術中所使用的色調曲線和/或傳 遞函數可基于一個或多個指標(包括但不限于由環境信息所指示的顯示面板處的當前環境 光照指標)來修改或調整。在一些實施方案中，代替全局色調曲線或除此之外，還可將視頻 幀細分為多個區域，并且可至少部分地基于顯示信息和/或環境信息來動態地選擇針對每 個區域的局部色調曲線。
[0011] 服務器/編碼流水線可對視頻內容進行編碼并將經編碼的視頻內容傳輸至與目標 顯示面板相關聯的解碼/顯示流水線。該解碼/顯示流水線對視頻內容進行解碼并顯示。由 于到由目標顯示面板所支持的動態范圍和色域的顯示面板特有的色調和色域映射在服務 器/編碼側執行，因此解碼/顯示流水線可無需任何更改或修改來支持HDR和/或WCG成像。
[0012] 一些實施方案可包括顯示器亮度調整裝置和方法，顯示器的平均亮度可經由這些 裝置和方法使用非線性函數按比例增加或減小。在施加非線性函數來降低亮度的情況下， 輸出信號的對比度可不被降低，使得動態范圍和高光區得以保持。例如響應于由一個或多 個傳感器所檢測到的環境光線水平，非線性亮度調整可自動執行，但這也可響應于對亮度 控制旋鈕或滑塊的用戶調整而被執行。非線性亮度調整可全局地執行，或者另選地可對圖 像或顯示面板的局部區域執行。非線性函數可為分段線性函數或為某個其他非線性函數。
【附圖說明】
[0013] 圖1示出了根據一些實施方案的視頻回放系統中的自適應視頻處理。
[0014] 圖2示出了根據一些實施方案的示例性解碼/顯示流水線中的自適應視頻處理。 [0015]圖3示出了根據一些實施方案的執行自適應視頻處理的示例性解碼/顯示流水線。 [0016]圖4示出了根據一些實施方案的執行自適應視頻處理的示例性顯示管和顯示后 端。
[0017] 圖5示出了根據一些實施方案的用于解碼/顯示流水線中的自適應視頻處理的方 法的流程圖。
[0018] 圖6A和6B示出了相對于示例性顯示面板的人類感知范圍。
[0019]圖7圖形化地示出了根據一些實施方案的感知色彩管理。
[0020]圖8示出了根據一些實施方案的在SDR輸入視頻中執行SDR到HDR轉換以生成適用 于HDR顯示的顯示視頻內容的示例性解碼/顯示流水線。
[0021]圖9為根據一些實施方案的用于執行SDR到HDR轉換視頻以生成適用于HDR顯示的 顯示視頻內容的方法的流程圖。
[0022]圖10示出了根據一些實施方案的其中服務器側編碼流水線生成適用于目標顯示 面板的輸出視頻數據的示例性視頻回放系統。
[0023]圖11示出了根據一些實施方案的其中服務器側編碼流水線生成適用于目標顯示 面板的輸出視頻數據的視頻回放方法的流程圖。
[0024] 圖12示出了縮放系數為0.5的亮度(亮度)調整的輸入輸出關系。
[0025] 圖13示出了根據至少一些實施方案的非線性亮度調整函數的輸入輸出關系。
[0026] 圖14為根據至少一些實施方案的非線性亮度調整方法的流程圖。
[0027] 圖15為可被配置為實現本文所述系統和方法的各方面的片上系統(S0C)的一個實 施方案的框圖。
[0028]圖16為可包括一個或多個S0C的系統的一個實施方案的框圖。
[0029] 圖17示出了根據一些實施方案的可被配置為實現本文所述系統和方法的各方面 的示例性計算機系統。
[0030] 圖18示出了根據一些實施方案的便攜式多功能設備的框圖。
[0031] 圖19示出了根據一些實施方案的便攜式多功能設備。
[0032] 盡管本發明易受各種修改形式和替代形式的影響，但附圖中以舉例的方式示出了 其具體實施方案并將在本文詳細描述。然而，應當理解，附圖和對其的詳細描述并不是要將 本發明限制到所公開的具體形式，而相反，本發明旨在涵蓋落入到本發明的實質和范圍內 的所有修改形式、等同形式和替代形式。如在整個專利申請中所使用的那樣，以允許的意義 (即，意味著具有可能性)而不是強制的意義（即，意味著必須)來使用"可以"一詞。類似地， 字詞"包括"（"include"，"including"，和"includes"）意味著包括但不限于。
[0033] 各種單元、電路或其他部件可被描述為"被配置為"執行一項或多項任務。在此類 上下文中，"被配置為"是通常意味著"具有"在操作期間執行一項或多項任務的"電路"的結 構的寬泛表述。如此，即使在單元/電路/部件當前未接通時，單元/電路/部件也可被配置為 執行該任務。通常，形成與"被配置為"對應的結構的電路可包括硬件電路。類似地，為了描 述中方便，可將各種單元/電路/部件描述為執行一項或多項任務。此類描述應當被解釋成 包括短語"被配置為"。表述被配置為執行一項或多項任務的單元/電路/部件明確地旨在對 該單元/電路/部件不援引35U.S.C.§112,第六段的解釋。
【具體實施方式】
[0034]本公開描述了用于數字圖像內容例如視頻幀或視頻流的自適應處理、再現和顯示 的方法和裝置的各種實施方案。描述了可自適應地再現視頻數據以用于顯示給目標顯示面 板的視頻處理方法和裝置的實施方案。自適應視頻處理方法在處理視頻內容并針對環境設 置或環境中的目標顯示面板對其進行再現時可將各種信息考慮在內，該各種信息包括但不 限于視頻內容、顯示特征和環境條件，該環境條件包括但不限于環境照明和查看者相對于 顯示面板的位置。自適應視頻處理方法可使用該信息來調整如被應用于視頻數據的一個或 多個視頻處理功能(例如，噪聲/偽影消減、縮放、銳化、色調映射、色域映射、幀率轉換、白點 校正和/或黑點校正、色彩平衡等），以根據周圍環境或查看條件針對目標顯示面板來對適 用于顯示面板的視頻進行再現。
[0035]常規地，已設計出針對標準動態范圍（SDR)成像的視頻處理算法。隨著高動態范圍 (HDR)成像技術、系統和顯示器的出現，針對HDR成像的視頻處理技術的需求已出現。對于 HDR視頻處理，可存在需要不同于使用SDR視頻處理來完成的某些事情。例如，相比于SDR視 頻，HDR視頻可需要更有力的降噪，這可具有更易看見的抖動并且可需要不同銳度和細節增 強。因此，本文所述的自適應視頻處理方法和裝置的實施方案可實現針對HDR成像的視頻處 理技術。此外，實施方案還可支持廣色域(WCG)成像。
[0036]通常定義的動態范圍為諸如像聲音和光之類的信號中的可改變量的最大可能值 和最小可能值之間的比率。在數字圖像處理中，高動態范圍（HDR)圖像是使用HDR成像技術 產生的圖像，該HDR成像技術產生比使用標準數字成像技術所獲取的更大范圍亮度。例如， HDR圖像可包括比常規圖像處理中所使用的（通常，每個通道8位，例如針對色彩/色度和針 對亮度的8位)每個通道的更多個位(例如，每個亮度和色度通道10、12、14或更多個位），或 者針對亮度(亮度通道)的更多個位。使用標準數字成像技術所產生的圖像可被稱為具有標 準動態范圍（SDR)，并且通常使用每個通道8位。通常定義的色調映射是將一組色調圖像值 (例如，來自HDR圖像數據的亮度值)映射到另一組色調圖像值(例如，到SDR圖像數據）的技 術。色調映射可用于例如粗略估算HDR圖像在具有更有限動態范圍的介質（例如，SDR)中的 外觀。色調映射通常可被應用于亮度圖像數據。
[0037]在如本文所述的視頻處理方法和裝置的一些實施方案中，全局色調映射(GTM)技 術可用于將視頻內容從一個動態范圍轉換到另一個動態范圍。在GTM技術中，全局色調曲線 可針對一個或多個視頻幀來指定或確定并且用于將視頻內容從一個動態范圍轉換到另一 個動態范圍。在一些實施方案中，代替GTM技術或除此之外，局部色調映射(LTM)技術可用于 將視頻內容從一個動態范圍轉換到另一個動態范圍。在LTM技術中，圖像或幀被分為多個區 域，其中針對每個區域來指定或確定色調曲線。
[0038]通常定義的色域是指色彩的特定子集，例如可在給定情況下諸如在給定色彩空間 (例如，RGB色彩空間）內準確表示或由顯示設備準確表示的色彩的子集。色域還可涉及在圖 像內存在的整組色彩。色域映射技術可用于例如將在一個色彩空間中所表示的色彩轉換為 再另一色彩空間中所使用的色域。色域映射技術(也可被稱為色彩或色度映射)可被應用于 圖像數據(通常被應用于色度圖像數據），并且在一些情況下可縮窄或縮減圖像的色域，或 者另選地可用于在色調映射期間或之后修正或調整圖像的色域或范圍。
[0039]在光度學中，亮度的SI單位是坎每平方米(cd/m2)。坎是發光強度的SI單位。相同 單位的非SI術語是"NIT"。勒克斯(lux)是用于測量每單位面積的光通量(流明）的照度和發 光度的SI單位。勒克斯等于一流明每平方米。流明是光通量的SI導出單位，并且是由光源發 出的可見光的度量。
[0040] 自適應視頻處理系統
[0041 ]圖1示出了根據一些實施方案的示例性視頻回放系統中的自適應視頻處理。自適 應視頻處理方法和裝置的實施方案例如可在包括服務器/編碼模塊或流水線110和解碼/顯 示模塊或流水線130的視頻回訪系統中實現。服務器/編碼流水線110和解碼/顯示流水線 130可在相同的設備中實現，或者可在不同的設備中實現。服務器/編碼流水線110可在包括 至少一個視頻源100諸如一個或多個攝像機的設備或系統中實現。解碼/顯示流水線130可 在包括目標顯示面板140并定位在周圍環境190中的設備或系統120中實現。一個或多個人 類查看者180可位于周圍環境190中。系統120可包括或可實施用于顯示面板140的一個或多 個控件160,例如亮度和對比度控件。系統120還可包括一個或多個傳感器150,諸如光傳感 器或相機。周圍環境190例如可以是房屋中的房間（臥室、私室等）、室外設置、辦公樓中的辦 公室或會議室，或者一般來說，具有顯示面板140的系統120可存在于其中的任何環境。周圍 環境190可包括一個或多個光源192,諸如電燈或吊燈、其他人工光源、窗戶和室外環境中的 陽光。需注意，系統120和/或顯示面板可在周圍環境190內移動或重新定位，或者從一個周 圍環境190(例如，房間)移動到另一個周圍環境(例如，另一房間或室外環境）。
[0042]在至少一些實施方案中，服務器/編碼流水線110可從視頻源100(例如，來自包括 服務器/編碼流水線110的設備或系統上的攝像機)接收輸入視頻，根據視頻編碼方法將輸 入視頻轉換為另一格式例如壓縮視頻格式(諸如H. 264/高級視頻編碼(AVC)格式或H. 265高 效視頻編碼(HEVC)格式），并且將經編碼的視頻流式傳輸112至解碼/顯示流水線130。解碼/ 顯示流水線130可接收經編碼的視頻流112并對其進行解碼以生成顯示視頻132以用于顯示 在顯示面板140上。在一些實施方案中，描述編碼的元數據114也可由服務器/編碼流水線 110提供至解碼/顯示流水線130。例如，元數據可包括用于描述對視頻內容所執行的色域映 射和/或色調映射操作的信息。在一些實施方案中，元數據114可被解碼/顯示流水線130用 于處理輸入視頻流112，以生成輸出顯示視頻132內容。
[0043]圖1所示的視頻回放系統可實現如本文所述的一個或多個自適應視頻處理方法和 裝置，其在處理視頻內容并針對目標顯示面板140對該環境設置或環境190中的該視頻內容 進行再現時可將各種信息考慮在內，包括但不限于視頻內容、顯示信息142(例如，顯示面板 140特征、控制輸入162、背光水平等）和環境信息152(例如，環境光照192、查看者180位置 等）。自適應視頻處理方法和裝置可使用從傳感器150、顯示面板140或從其他來源獲取的信 息來調整一個或多個視頻處理功能（例如，噪聲/偽影消減、縮放、銳化、色調映射、色域映 射、幀率轉換、白點校正和/或黑點校正、色彩平衡等），這些視頻處理功能被應用于視頻數 據，以針對目標顯示面板140對適用于顯示面板140的特征和環境190中的周圍查看條件的 視頻進行再現。
[0044] 在一些實施方案中，針對目標顯示面板140的自適應視頻處理可在解碼/顯示流水 線130中實現或通過該解碼/顯示流水線130實現。這些實施方案可被稱為顯示器側自適應 視頻處理系統。在一些實施方案中，針對目標顯示面板140的自適應視頻處理可在服務器/ 編碼流水線110中實現或通過該服務器/編碼流水線110實現。這些實施方案可被稱為服務 器側自適應視頻處理系統。在一些實施方案中，一些自適應視頻處理功能可在將經編碼的 視頻流式傳輸至解碼/顯示流水線130之前由服務器/編碼流水線110來執行，其中附加自適 應視頻處理由解碼/顯示流水線130來執行。
[0045] 包括但不限于本文所述的服務器/編碼流水線110部件和解碼/顯示流水線130部 件的自適應視頻處理方法和裝置的實施方案可例如在包括一個或多個圖像捕獲設備和/或 一個或多個顯示設備的設備或系統中實現。
[0046]圖像捕獲設備可以是包括能夠捕獲數字圖像或視頻的光學傳感器或感光器的任 何設備。圖像捕獲設備可包括但不限于攝像機和靜態圖像相機，以及可捕獲視頻和單一圖 像的圖像捕獲設備。圖像捕獲設備可以是獨立的設備或者可以是集成到其他設備(包括但 不限于智能電話、手機、PDA、平板電腦或平板設備、多功能設備、計算設備、膝上型計算機、 筆記本電腦、上網本、臺式計算機等）中的相機。需注意，圖像捕獲設備可包括適用于小型設 備諸如手機、PDA和平板設備的小外形相機。圖15到19示出了可包括如本文所述的圖像捕獲 設備或相機的設備的非限制性不例。
[0047]顯示器或顯示設備可包括顯示屏或面板，這些顯示屏或面板集成到其他設備中， 該其他設備包括但不限于智能電話、手機、PDA、平板電腦或平板設備、多功能設備、計算設 備、膝上型計算機、筆記本電腦、上網本、臺式計算機等。顯示設備還可包括視頻監視器、投 影儀，或者一般來說，可顯示或投射數字圖像和/或數字視頻的任何設備。顯示器或顯示設 備可使用LCD(液晶顯示器)技術、LH)(發光聚合物顯示器)技術、或LED(發光二極管)技術， 盡管也可使用其他顯示技術。
[0048]自適應視頻處理方法和裝置的實施方案通常被描述為支持對HDR視頻數據進行捕 獲、處理、編碼、分配并顯示給支持HDR的顯示設備。此外，實施方案還可支持廣色域(WCG)成 像。然而，本文所述的自適應視頻處理方法和裝置的實施方案還可應用于不支持HDR成像的 顯示設備。此外，一些實施方案可支持將標準動態范圍（SDR)視頻數據顯示給支持HDR的顯 示設備和不支持HDR成像的顯示設備中的一者或兩者。
[0049]自適應視頻處理方法和裝置的實施方案在本文中通常被描述為處理視頻幀或序 列。然而，代替視頻幀或序列以及其他數字圖像或除此之外，實施方案還可應用于處理單一 圖像或靜態圖像。因此，在本文中使用"視頻"、"視頻幀"、"幀"等時，應當理解，這些術語一 般來說是指數字圖像。
[0050] 圖15到19示出了自適應視頻處理方法和裝置的實施方案可于其中實現的設備的 非限制性示例。包括圖像捕獲設備和/或顯示設備的設備或系統可包括實現處理本文所述 視頻數據的功能的至少一部分的硬件和/或軟件。在一些實施方案中，本文所述功能的一部 分可在一個設備上實現，而其他部分可在另一設備上實現。例如，在一些實施方案中，包括 圖像捕獲設備的設備可實現對經由感光器捕獲的圖像或視頻進行處理和壓縮(即，編碼）的 傳感器流水線，而包括顯示面板或顯示屏的另一設備可實現對經壓縮的圖像進行接收和處 理（即，解碼）以用于顯示給顯示面板或顯示屏的顯示流水線。在一些實施方案中，本文所述 的功能中的至少一些功能可由可用于設備中的片上系統(S0C)的一個或多個部件或模塊來 實現，這些設備包括但不限于多功能設備、智能電話、平板電腦或平板設備和其他便攜式計 算設備諸如膝上型電腦、筆記本電腦和上網本等。圖15示出了示例性S0C，并且圖16示出了 實現S0C的示例性設備。圖17示出了可實現本文所述方法和裝置的示例性計算機系統。圖18 和19示出了可實現本文所述的方法和裝置的示例性多功能設備。
[0051] 顯示器側自適應視頻處理
[0052] 再次參見圖1，在一些實施方案中，針對目標顯示面板140的自適應視頻處理可在 解碼/顯示流水線130中實現或通過該解碼/顯示流水線130實現。這些實施方案可被稱為顯 示器側自適應視頻處理系統。解碼/顯示流水線130可例如在包括目標顯示面板140并定位 在周圍環境190中的設備或系統120中實現。
[0053]圖5示出了根據一些實施方案的用于解碼/顯示流水線中的顯示器側自適應視頻 處理的方法的流程圖。如在圖5的500處所指出的，解碼/顯示流水線可針對目標顯示面板對 經編碼的視頻流進行接收和解碼。例如，來自服務器/編碼流水線的經編碼的HDR視頻數據 可由解碼/顯示流水線接收；目標顯示面板可以是支持HDR的顯示設備。例如可根據壓縮視 頻如H.264/AVC或H.265/HEVC格式來對視頻數據進行編碼。解碼/顯示流水線的解碼器部件 可對經編碼的視頻進行解碼以生成經解碼的HDR視頻內容。
[0054]如在圖5的502處所指出的，可確定經解碼的視頻內容的一個或多個特征。例如，在 一些實施方案中，可分析經解碼的視頻內容以確定視頻的幀內和/或幀間特征，例如亮度特 征(例如，動態范圍）、色彩特征(例如，色彩范圍）、幀間運動、鏡面高光、對比度、亮區和暗區 等。
[0055]如在圖5的504處所指出的，可獲取于目標顯示面板的一個或多個顯示特征。顯示 特征可包括但不限于以下各項中的一者或多者:所測量的響應、顯示格式、顯示動態范圍、 位深度、一個或多個背光水平、白點、黑光泄漏、反射率、局部對比增強或映射、當前顯示控 件設置等。
[0056]如在圖5的506處所指出的，可獲取環境信息。例如，在一些實施方案中，包括顯示 面板的設備可包括可用于從周圍環境采集數據的一個或多個前向傳感器和/或后向傳感器 (例如，相機、光傳感器等）；所采集的數據可被分析以確定一個或多個環境指標。環境指標 可包括但不限于各種環境光照指標和查看者指標諸如查看者相對于顯示面板的位置、顯示 面板的尺寸和距顯示面板的距離。環境光照指標例如可包括有關入射到顯示面板的光、來 自顯示面板的反射光水平的指標，以及查看者/用戶面對的視野(或背景）的指標(例如，亮 度、色彩、白點等）。
[0057]如在圖5的508處所指出的，解碼/顯示流水線可根據內容特征、顯示特征和當前環 境信息來處理經解碼的視頻，以生成適用于顯示面板和當前環境的視頻。在一些實施方案 中，基于內容特征、顯示特征和環境指標，可調整解碼/顯示流水線的一個或多個視頻處理 功能(例如，噪聲/偽影消減、縮放和銳化、幀率轉換、顯示管理、色域和色調映射等），以使經 解碼的HDR視頻內容適用于顯示在目標顯示面板上。如在圖5的510處所指出的，經處理的視 頻可被顯示給目標顯示面板。
[0058]盡管在圖5中未示出，但在一些實施方案中，解碼/顯示流水線可包括使其他數字 信息諸如文本與流式視頻內容復合的復合部件。在一些實施方案中，解碼/顯示流水線可將 輸入視頻轉換為線性色彩空間（例如，線性RGB或YCC色彩空間），以用于在圖5的元件508之 前復合。然后可根據內容特征、顯示特征和當前環境信息來處理復合部件的輸出，以生成適 用于顯示面板和當前環境的視頻。
[0059]參考圖1到圖4對圖5的元件進行更加詳細的描述。
[0060] 再次參見圖1，在顯示器側自適應視頻處理系統的實施方案中，解碼/顯示流水線 130可獲取經編碼的視頻流112、顯示信息142A和環境信息152A并將以下各項中的一者或多 者考慮在內，包括但不限于視頻內容、顯示面板特征、查看者180相對于目標顯示面板的位 置、環境光照192和在執行HDR視頻處理時顯示面板140處的其他周圍環境190條件。可在解 碼/顯示流水線130處從服務器/編碼流水線110接收經編碼的HDR視頻數據112并進行解碼。 在一些實施方案中，可分析經解碼的視頻數據以確定例如亮度特征(例如，動態范圍）、色彩 特征(例如，色彩范圍）、幀間運動、鏡面高光、對比度、亮區和暗區等。基于對視頻內容的分 析，可調整解碼/顯示流水線130的一個或多個視頻處理功能(例如，噪聲/偽影消減、縮放和 銳化、幀率轉換、顯示管理等），以使視頻內容適用于顯示在目標顯示面板140上。在一些實 施方案中，還可考慮目標顯示面板140的一個或多個顯示特征(例如，顯示格式、動態范圍、 位深度、背光水平、白點、當前控件160設置等），從而調整視頻處理功能。
[0061] 在一些實施方案中，替代性地或除此之外，還可根據對由位于目標顯示面板140處 或其附近的一個或多個傳感器150(例如，相機、光傳感器等)所檢測到的顯示面板的一個或 多個當前環境條件的分析來動態地調整視頻處理功能以使顯示視頻動態地適用于當前環 境190。在一些實施方案中，可至少部分地基于由一個或多個傳感器150所檢測到的一個或 多個查看者180特征諸如相對于顯示面板140的位置、距離和查看角度來調整視頻處理功 能。在一些實施方案中，可經由一個或多個傳感器150來獲取有關顯示面板140的環境190的 信息152A諸如環境光線192水平，并且可至少部分地基于所獲取的環境信息152A來調整視 頻處理功能以使顯示視頻適用于周圍環境190。
[0062]在一些實施方案中，可獲取并使用其他信息來調整解碼/顯示流水線130中的視頻 處理，以使顯示視頻以查看者的想法或查看意圖為目標，其可被稱為查看模式。例如，在一 些實施方案中，可使用光照、位置、當日時間、生物識別和/或其他數據來自動確定視頻的查 看模式。所確定的查看模式繼而可用于調整視頻處理功能中的一種或多種視頻處理功能， 以使顯示視頻適用于查看模式。查看模式的范圍可從平靜或輕松查看模式到影片或動態查 看模式。在一些實施方案中，替代性地或除此之外，還可使用用戶輸入(例如，經由顯示面板 控件、遙控器、智能電話應用程序等)來確定或調整查看模式。
[0063] 在一些實施方案中，除了執行上述解碼/顯示流水線130中的顯示器側自適應視頻 處理之外，還可將由系統120所采集的至少一些環境信息152B和/或顯示信息142B向上流式 傳輸至視頻回放系統中的服務器/編碼流水線110。服務器/編碼流水線110繼而可將包括但 不限于顯示面板140特征、查看者180相對于目標顯示面板的位置、環境光照192和在對從來 源100獲取的視頻內容進行處理和編碼時顯示面板140處的其他周圍環境190條件中的一者 或多者考慮在內，以生成經編碼的視頻流112。例如，在一些實施方案中，解碼/顯示流水線 130可用于實時流式傳輸、錄制或視頻捕獲環境，并且系統120可將一個或多個顯示器側指 標142B和152B饋送回到服務器/編碼流水線110,使得流水線110可在處理來自來源100的輸 入視頻內容時相應地調整或調整一個或多個編碼功能，以生成經編碼的視頻流112。
[0064]圖2到4示出了可實現本文所述的自適應視頻處理方法的示例性顯示器側部件和 流水線。
[0065]圖2為圖形化地示出了根據一些實施方案的示例性解碼/顯示流水線處理中的自 適應視頻處理方法的應用程序的框圖。需注意，圖2示出了高功能水平的示例性解碼/顯示 流水線210,其并非旨在進行限制。在該示例中，流水線210實現噪聲偽影消減212、縮放和銳 化214、幀率轉換216和顯示管理218功能。流水線210處理輸入視頻200以生成顯示視頻232 作為輸出。如圖2所示，包括視頻200內容的特征、顯示面板240特征和環境條件(包括但不限 于查看者位置和環境光照）的信息可被輸入到流水線210的一個或多個階段并在該一個或 多個階段處使用，以在當前環境條件下自適應地再現視頻內容，以用于顯示到目標顯示面 板240。在至少一些實施方案中，解碼/顯示流水線210可被配置為處理HDR視頻200輸入，以 生成用于目標顯示面板240的HDR顯示視頻232。然而，替代性地或除此之外，解碼/顯示流水 線210還可被配置為處理SDR視頻200輸入，以生成SDR顯示輸出232。
[0066] 對于HDR視頻處理，可存在需要不同于利用標準（SDR)視頻來完成的某些事情。通 常，對于更明亮的圖像，陰影區或暗區中的噪聲變得更易看見。因此，在HDR視頻處理中，可 能需要解碼/顯示流水線210執行更有力的噪聲/偽影消減212。此外，對于更明亮的圖像和 yi ' dong，在HDR視頻幀中可能存在更多的抖動，這可能導致人眼難以追蹤的模糊外觀。因 此，對于解碼/顯示流水線210中的HDR視頻處理，可能需要以與在SDR視頻處理中不同的方 式執行縮放和銳化214以及幀率轉換216。
[0067] 常規地，視頻處理流水線已經由到各種控件或用戶界面(UI)元件的用戶輸入而受 到控制，并且在再現用于顯示的視頻時，并不動態地自適應于指標諸如視頻內容、顯示特 征、人眼查看距離和角度以及環境光照條件。如圖2所示，解碼/顯示流水線210的實施方案 可利用從輸入視頻200內容、顯示面板240和環境(包括但不限于查看者位置和環境條件諸 如環境光照)采集或生成的指標來使視頻內容動態地適應于在不同查看環境和條件中j'x 顯示。此外，可使用指標來優化視頻處理功能或模塊中的HDR視頻處理，這些視頻處理功能 或模塊包括但不限于噪聲/偽影消減212、縮放和銳化214、幀率轉換216和顯示管理218功能 或模塊。
[0068]參考圖2,輸入視頻200數據可被饋送到內容特征220塊或模塊。模塊220可分析視 頻內容以確定例如動態范圍有多寬、幀間或場景間存在多少運動、色彩范圍、鏡面高光區、 對比度、亮區和暗區等。此外，可獲取用于目標顯示面板240的一個或多個顯示特征230。顯 示特征230可包括但不限于以下各項中的一者或多者;所測量的響應、顯示格式、顯示動態 范圍、位深度、一個或多個背光水平、白點、黑光泄漏、反射率、局部對比增強或映射、當前顯 示控件設置等。至少部分地基于對視頻內容和顯示特征的分析，某些控件可確定并相應地 探究視頻處理模塊中的不同模塊(例如，噪聲/偽影消減212、縮放和銳化214、幀率轉換216 和顯示管理218)來調整輸入視頻200的處理，以生成用于目標顯示面板240的HDR顯示視頻 232〇
[0069] 在HDR視頻處理中考慮的重要因素是人的感知。如果人眼查看距離/角度是已知 的，則可完成可提高查看者體驗的若干事情。因此，設備可包括一個或多個傳感器250和軟 件/硬件(查看者位置260模塊），以用于檢測和分析人類(查看者)位置、距離和查看角度。流 水線210中的一個或多個模塊可利用該信息根據查看者位置來調整對HDR視頻內容的顯示。 例如，在銳化圖像時，如果查看者非常靠近顯示面板240，則圖像可能看起來很糟糕。因此， 如果檢測到查看者距顯示面板240相對較近，則可減輕銳化。
[0070] 除查看者位置之外，其他環境信息包括但不限于環境光照在HDR視頻處理中也可 以很重要。如果環境光照條件是已知的，則可完成可提高查看者體驗的若干事情。因此，設 備可包括一個或多個傳感器250和軟件/硬件(環境條件270模塊），以用于檢測和分析環境 光照條件。流水線210中的一個或多個模塊可利用該信息根據周圍環境來調整對HDR視頻內 容的顯示。例如，在將色調映射和/或色域映射應用于用于顯示的視頻內容時，可基于對當 前環境光照的分析來動態地調整映射。
[0071] 因此，描述了可采集并分析視頻內容、查看者、顯示和環境指標并且使用該信息來 調整流水線210中的輸入HDR視頻200內容的處理以在目標顯示面板240處生成調整到當前 條件的顯示視頻232輸出的解碼/顯示流水線210的實施方案。在解碼/顯示流水線210的一 些實施方案中，可自動執行使顯示適應于當前條件的各種指標的采集和分析以及流水線中 的視頻處理模塊的調而無需人為干預，以動態地、自動地提供改進的或優化的視覺體驗。可 自動檢測并使用條件(例如，查看者位置、環境光線、視頻內容、顯示特征、顯示設置等)的變 化來實時地或近實時地響應性調整對HDR視頻內容的再現和顯示。
[0072]圖3和4示出了可執行視頻內容的顯示器側處理并且可實現參考圖1和2所述的顯 示器側自適應視頻處理方法的實施方案的示例性解碼/顯示流水線的部件。
[0073]圖3示出了根據一些實施方案的可執行自適應視頻處理的示例性解碼/顯示流水 線。系統300可包括但不限于顯示面板340、解碼顯示流水線310、以及一個或多個傳感器 350。解碼/顯示流水線310可包括但不限于解碼器312部件或模塊、視頻管314部件或模塊、 幀率轉換316部件或模塊、顯示管320部件或模塊、以及顯示后端330部件或模塊。參考圖2， 視頻管314可執行噪聲/偽影消減212和縮放/銳化214功能，并且幀率轉換316模塊可執行幀 率轉換功能。如圖2所示的顯示管理218可包括顯示管320部件和顯示后端330部件。圖4示出 了示例性顯示管和顯示后端。
[0074] 參考圖3,可在解碼/顯示流水線310的解碼器312部件處接收經編碼的HDR視頻流 (例如，H. 264/AVC或H. 265/HEVC經編碼的視頻流）。解碼器312可對輸入視頻進行解碼/解壓 縮，以生成被饋送至視頻管314的HDR視頻內容。視頻管314可對視頻內容執行視頻處理任 務，包括但不限于噪聲/偽影消減、縮放、銳化和色彩處理。在一些實施方案中，幀率轉換316 部件可通過在現有幀之間生成一個或多個中間視頻幀來將視頻管314的視頻輸出轉換到較 高幀率。轉換到較高幀率例如可有助于補償可能出現在HDR視頻中的抖動。幀率轉換316部 件的輸出可被饋送到可執行包括但不限于縮放、色彩空間轉換、色域調整和色調映射等視 頻處理任務的顯示管320中。顯示后端330繼而可執行附加視頻處理任務，包括但不限于色 彩(色度)和色調(亮度)調整、背光調整、伽瑪校正、白點校正、黑點校正和時空抖動，以生成 到目標顯示面板340的顯示視頻332輸出。
[0075]如圖3所示，經解壓縮的視頻內容可通過視頻內容分析370模塊處理，以生成視頻 內容信息372。此外，可獲取用于目標顯示面板340的顯示信息342。此外，可例如經由位于顯 示面板340處或其附近的一個或多個傳感器350來獲取環境信息352包括但不限于查看者指 標(例如，位置)和周圍環境指標(例如，環境光照指標）。視頻內容信息372、顯示信息342和/ 或環境信息352可輸入到解碼/顯示流水線310中的一個或多個部件或模塊并由其使用，以 根據該信息來動態地調整由一個或多個模塊所執行的一個或多個視頻處理功能。因此，可 檢測、分析并使用當前條件（例如，查看者位置、環境光線、視頻內容、顯示特征、顯示設置 等)來使對HDR視頻內容的再現和顯示實時地或近實時地動態適應于目標顯示面板340。 [0076]盡管在圖3中未示出，但在一些實施方案中，解碼/顯示流水線310可包括使其他數 字信息諸如文本與流式視頻內容復合的復合部件。在一些實施方案中，解碼/顯示流水線 310可將輸入視頻轉換為線性色彩空間（例如，線性RGB或YCC色彩空間）以用于復合。復合部 件的輸出繼而可適用于本文所述的顯示和周圍環境。
[0077]圖4示出了根據一些實施方案的可執行顯示器側自適應視頻處理的示例性顯示管 420和顯示后端430。圖3所示的視頻管的輸出被饋送到顯示管420中，該顯示管可執行垂直 縮放和水平縮放422以將視頻幀轉換為目標顯示面板分辨率。然后可執行色彩空間轉換 424，以將經縮放的視頻內容從輸入視頻內容的色彩空間（例如，RGB、YCC或XYZ色彩空間)轉 換到另一色彩空間（例如，YCC色彩空間）。然后可對視頻內容執行色域調整426,以將視頻內 容的色彩(色度)部件調整到目標顯示面板的色域。然后可執行另一色彩空間轉換424,以將 視頻內容轉換為顯示后端430的色彩空間（例如，RGB色彩空間）。經顯示管420處理的視頻內 容繼而被提供至顯示后端430。
[0078] 顯示后端430可對視頻內容執行附加的顯示面板特有的視頻處理任務。在顯示后 端430的一些實施方案中，環境自適應像素調整431部件可響應于包括但不限于一個或多個 環境光線指標的環境條件來調整視頻內容中的像素值。在一些實施方案中，環境自適應像 素調整431可涉及例如在YCC色彩空間中分別調整視頻內容的色度（色彩）部件和亮度（亮 度）部件。在一些實施方案中，色域映射和色調映射技術可用于根據環境條件來調整像素 值。例如，可根據環境條件來修改用于色域或色調映射技術的曲線或傳遞函數。
[0079]在顯示后端430的一些實施方案中，動態面板背光調整432部件可根據視頻幀內容 來調整目標顯示面板的背光水平。在一些實施方案中，作為全局背光調整的替代形式，可根 據區域內容來動態地調整針對視頻幀的不同區域的背光水平。例如，針對視頻幀的亮區的 背光水平可高于針對視頻幀的相對較暗區的背光水平。
[0080]在顯示后端430的一些實施方案中，可執行面板伽瑪校正433來調整視頻內容的亮 度，以在目標顯示面板上正確顯示。然后可執行白點校正434,以將視頻內容的白點校正為 目標顯示面板的白點。在顯示后端430的一些實施方案中，然后可將空間（在幀內）和/或時 間（在兩個或更多個幀間）抖動施加于視頻內容，以消減或消除所顯示的視頻內容中的偽影 (例如，帶型）。
[0081]如圖4所示，一個或多個數據采集和分析模塊450可動態地采集并分析視頻內容、 顯示特征和環境條件(例如，環境光線），以生成可輸入到顯示管420和/或顯示后端430中的 一個或多個部件或模塊并由其使用的視頻內容信息472、顯示信息442和/或環境信息452， 以便根據該信息來動態地調整由一個或多個模塊所執行的一個或多個視頻處理功能。 [0082] 使用感知色彩管理的環境自適應再現
[0083]人類視覺系統具有廣勒克斯范圍。然而，在任何給定時間，人類視覺僅適用于該范 圍的一小部分。本文所述的自適應視頻處理方法和裝置的至少一些實施方案可檢測并分析 包括但不限于環境光照的周圍環境條件，以根據當前條件來確定人類視覺的當前范圍，并 且可使目標顯示面板的視頻內容的再現和顯示適用于根據當前條件的范圍。該過程可被稱 為環境自適應再現。在一些實施方案中，可對自適應視頻處理流水線的顯示器側執行環境 自適應再現。例如，在一些實施方案中，環境自適應再現可通過圖1到5所示的解碼/顯示流 水線來實現。
[0084] 圖6A和6B示出了相對于示例性顯示面板的人類感知范圍。圖6A示出了在昏暗環境 中的顯示器的感知范圍。圖6B示出了在較明亮環境中的顯示器的感知范圍。如圖6A中曲線 所示，人類感知是非線性的。然而，人類視覺具有廣勒克斯范圍，從星光（ΠΓ 4勒克斯)到直射 日光（1〇4勒克斯）。然而，在任何給定時間，人類視覺僅適用于該范圍的一小部分并且通常 適應最亮的刺激或對象。在任何給定適應水平，僅存在約256種人類視覺系統可辨別的不同 水平的強度。圖6A示出了相當昏暗環境中的相當明亮的顯示；該顯示相當好地模擬了人類 視覺。垂直軸線表示256個感知水平（強度）。基座區域是難以正確再現的區域。基座區域包 括由于黑色的顯示泄漏以及離開顯示面板的反射光致使顯示器無法實現的灰色陰影，并且 示出了顯示器上在視覺感知上不同于純黑色的黑暗程度。
[0085]圖6B示出了人類感知到較亮環境的映射，在該較亮環境中顯示器僅可激起人類感 知的一部分。曲線的指示為顯示范圍的一部分僅激起不足人類視覺范圍的一半。顯示器的 感知響應不同于其所測量的響應。因此，存在可在顯示器上表示的動態范圍的極限。
[0086]如前所述，在給定適應水平，僅存在約256種人類視覺系統可辨別的不同水平的強 度。環境自適應再現方法的實施方案可檢測并分析包括但不限于環境光照的周圍環境條 件，以根據當前條件來確定人類視覺的當前范圍，并且可使用本文所述的感知色彩管理系 統使目標顯示面板的視頻內容的再現和顯示適用于根據當前條件的范圍。
[0087]在至少一些實施方案中，環境自適應再現可根據色彩外觀模型和色彩管理系統來 執行。色彩管理系統可根據色彩外觀模型來控制包括但不限于相機設備和顯示設備等各種 設備的色彩表示之間的轉換。廣義定義的色彩外觀模型為描述通常可使用三個或四個值或 色彩分量表示色彩的方式的數學模型。色彩外觀模型可限定色彩外觀(例如，亮度(亮度）、 明度、色彩度、色度、飽和度和色調）的尺寸。色彩外觀模型還可限可被施加于色彩分量的定 一種或多種變換或變換函數，諸如色適應變換。色適應通常被定義為用于在不同光照度下 查看物體時補償白點變化的人類視覺系統的動態機制。在色彩外觀模型中，可使用色適應 變換來模擬人類視覺系統的色適應。可用于實施方案中的示例性色彩外觀模型為 CIECAM02,其由國際照明委員會(CIE)技術委員會8-01(用于色彩管理系統的色彩外觀模 型)所公布。
[0088]常規的色彩管理系統可將源（例如，視頻）意圖映射或匹配于測量顯示響應，例如 使用色域(色彩或色度)和伽馬(色調或亮度)映射技術：
[0089] 源_>所測量的顯示
[0090] 然而，如上所述，人類查看者所感知到的顯示的響應可不同于顯示器的所測量的 響應。因此，自適應視頻處理系統中的環境自適應再現方法的實施方案可將附加匹配步驟 添加到映射過程：
[0091] 源-> 所測量的顯示-> 適應性視覺
[0092] 其中適應性視覺為例如由本文所述自適應視頻處理方法和裝置所確定的當前環 境條件(例如，環境光線水平）下的人類感知范圍，并且其中映射（由箭頭所指出的）可包括 色彩外觀模型的變換(例如，色適應變換）。在映射過程中包括該附加步驟的經修改的色彩 管理可被稱為感知色彩管理系統。感知色彩管理系統的色彩外觀模型可被稱為感知色彩模 型或感知模型。
[0093]圖7圖形化地示出了根據一些實施方案的環境自適應再現系統700中的高水平感 知色彩管理。如在常規色彩管理中，可根據顯示信息730來將源視頻內容720A映射702到所 測量的顯示響應范圍，以生成視頻內容720B。然而，應用附加映射704以使顯示響應適用于 所確定的適應性人類視覺范圍，從而根據環境信息740和顯示信息730來生成適用于當前查 看條件的輸出視頻720C。在一些實施方案中，附加映射704可涉及給定環境中的理想人類視 覺(例如，圖7B中的曲線）和顯示面板根據顯示面板的所測量的響應實際表示的一部分(例 如，圖7B中的顯示范圍)之間的差值的倒數的卷積。
[0094] 在一些實施方案中，可在視頻回放系統的顯示器側實現環境自適應再現系統700。 例如，在一些實施方案中，環境自適應再現可通過圖1到5所示的視頻回放系統的解碼/顯示 流水線的一個或多個部件來實現。
[0095]可獲取并饋送到在環境自適應再現系統700中實現的感知色彩管理系統的感知色 彩模型中的信息可包括但不限于顯示信息730(例如各種顯示特征和設置)和環境信息740 (包括但不限于查看者信息和光照信息）。該信息的一部分可為靜態的（例如，顯示特征，諸 如位深度和尺寸），而其他信息可為動態的（例如，當前顯示設置、背光水平、環境光線、反射 光、查看者方位、查看者位置等）。可采集并使用該信息以根據被應用于感知色彩模型的當 前環境條件自適應地再現用于進行顯示的視頻內容720。在一些實施方案中，包括由環境自 適應再現系統700使視頻內容720所適應的顯示面板的設備可包括能夠用于采集用于感知 色彩模型的信息730和740的至少一部分的一個或多個傳感器，例如環境光傳感器、相機、運 動檢測器等。
[0096]下文描述了根據一些實施方案的可獲取并輸入到環境自適應再現系統700中的感 知色彩模型的各種測量、指標或特征。然而，此列表并不旨在進行限制：
[0097] ?顯示器的物理尺寸和其他靜態特征。
[0098] ?測量。可針對一種類型的顯示面板來預測量這些指標或者可針對單個顯示面板 來測量這些指標：
[0099]-顯示面板的所測量的響應-針對每個色彩(例如，RGB)通道的來自源視頻內容的 輸入水平和顯示面板的光輸出水平之間的映射。
[0100]-顯示面板的所測量的本機白點。
[0101 ]-來自顯示面板的所測量的漏光(促成圖6A所示的基座）。
[0102] -離開顯示面板的所測量的發射光(促成圖6A所示的基座）。
[0103] -顯示器的所測量的最大(和最小)背光水平。
[0104] ?環境指標，該環境指標例如由一個或多個傳感器來捕獲或根據由一個或多個傳 感器所捕獲的數據來確定。包括顯示面板的設備還可包括一個或多個傳感器。傳感器可包 括但不限于環境光傳感器、彩色環境光傳感器和相機中的一者或多者。光傳感器和相機可 包括一個或多個后(朝向查看者或用戶）向傳感器和/或一個或多個前(背向查看者或用戶） 向傳感器：
[0105] -當前照射顯示面板的光。這可針對每個色彩通道來確定。
[0106] -從顯示器反射的光量。這可針對每個色彩通道來確定。
[0107] -查看者/用戶所面對的視野或背景的指標(例如，亮度、色彩等）。
[0108] -查看者所適應的白點。
[0109] -一個或多個查看者相對于顯示面板的位置(例如，距離、查看角度等）。在一些實 施方案中，包括顯示面板的設備的面向用戶相機可捕獲查看者的圖像，并且圖像可被分析 以估計從查看者到設備的距離。例如，可對查看者臉部的圖像進行分析以基于所捕獲圖像 中的查看者的眼睛之間的測量距離來確定距離，因為人眼往往相距約同樣距離。所估計的 距查看者的距離例如可用于估計顯示面板對向的視野。
[0110] ?動態確定的顯示指標： Com]-顯示面板的當前背光水平。
[0112] -當前平均像素亮度(實際受照像素）。例如，該指標可用于確定當前顯示視頻內容 的亮度。這可針對每個色彩通道來確定。
[0113] 盡管在圖7中未示出，但在一些實施方案中，除了顯示信息730和環境信息740之 外，環境自適應再現系統還可獲取并使用其他信息來使視頻適應于環境。例如，在一些實施 方案中，環境自適應再現系統700可使顯示視頻以查看者想法或查看意圖為目標，其可被稱 為查看模式。例如，在一些實施方案中，可獲取并使用光照、位置、當日時間、生物識別和/或 其他數據來自動確定視頻內容720的查看模式。所確定的查看模式繼而可被輸入到感知色 彩模型中，以將源視頻內容720調整到查看模式。例如，查看模式的范圍可從平靜或輕松查 看模式到影片或動態查看模式。在一些實施方案中，替代性地或除此之外，還可使用用戶輸 入(例如，通過顯示面板控件、遙控、智能電話應用程序等)來確定或調整視頻內容720的查 看模式。例如，在一些實施方案中，查看者可調整用于"想法"或"意圖"參數的滑塊或開關， 例如以在最放松的"平穩"模式和動態最亮的"影片"模式之間以離散或連續方式在兩個或 更多查看模式之間調整或選擇。
[0114]環境自適應再現系統700的各種實施方案可使用各種圖像處理算法和技術(包括 但不限于色域映射和全局或局部色調映射技術)來對視頻內容720施加再現調整。在一些實 施方案中，環境自適應再現700功能的至少一部分可使用一個或多個圖形處理單元(GPU)來 實現。例如，一些實施方案可實現自定義著色器，該自定義著色器可將根據感知色彩模型所 確定的調整施加于視頻內容720。在一些實施方案中，環境自適應再現700功能的至少一部 分可在包括但不限于自定義硬件的其他硬件中實現或通過其實現。例如，在一些實施方案 中，可使用一個或多個圖像信號處理器(ISP)色彩管來對視頻內容720施加再現調整。
[0115] 在一些實施方案中，可使用一個或多個色彩查找表(CLUT)來將自適應調整中的至 少一部分施加于視頻內容720。例如，在一些實施方案中，三個1D(-維)LUT可被應用于硬件 中，以對視頻內容720施加自適應調整。
[0116] 環境自適應再現系統700的實施方案可基于顯示面板的特征和能力使HDR視頻內 容自動適應于目標顯示面板。
[0117] 環境自適應再現系統700的實施方案可使視頻內容動態地適應于在不同查看環境 中顯示，這可在不同查看環境中和/或在不同環境條件下提供改進的視覺體驗。因此，環境 自適應再現系統700可通過根據用戶查看內容所處環境的變化來自動調整顯示內容，以向 移動設備的用戶提供改進的視覺體驗。
[0118] 通過使顯示面板動態地適應于不同環境和環境條件，環境自適應再現系統700的 實施方案可在一些查看環境中使用更少的背光源，這便能夠例如節省移動設備的電力。在 一些實施方案中，可將背光源映射到感知色彩模型中，這便能夠例如允許環境自適應再現 系統700使得該顯示在適應于不同環境和環境條件的情況下表現得更為類紙化。換句話講， 環境自適應再現系統700能夠使顯示匹配于在相同環境下的紙張的亮度水平，并且跟蹤并 調整來適應查看者環境的白點。
[0119] 在一些實施方案中，由環境自適應再現系統700采集或生成的信息可在視頻處理 流水線中向前（向上流式傳輸)饋送并用于影響環境自適應再現系統700處理視頻內容之前 的視頻處理。例如，參見圖1到3,環境自適應再現可在顯示流水線的顯示管和/或顯示后端 部件中實現或通過其實現。顯示和/或環境信息可向上饋送至顯示流水線的一個或多個部 件或階段(例如，前饋至解碼器、視頻管和/或幀率轉換階段，或前饋至將諸如文本等其他數 字信息與流式視頻內容復合的復合部件)并用于影響顯示流水線的這些上游部件處的視頻 內容處理。
[0120] 在一些實施方案中，參考圖1，由顯示器側環境自適應再現系統700所采集的顯示 和/或環境信息可后饋至服務器/編碼流水線并用于影響在內容流式傳輸到包括目標顯示 面板的設備之前的視頻內容的服務器側處理。例如，在一些實施方案中，顯示和/或環境信 息可指示目標顯示面板的能力不支持在周圍環境中全HDR成像。作為響應，服務器/編碼流 水線可處理輸入HDR內容并將其編碼為可在當前條件下由目標顯示面板顯示的較低動態范 圍。這便可例如在目標顯示面板無法支持在源視頻內容中可用的全動態范圍的情況下節省 傳輸帶寬。
[0121] 顯示器側SDR到HDR轉換
[0122] 再次參見圖1，在一些實施方案中，解碼/顯示流水線130可使用輸入編碼視頻流 112的一個或多個特征來調整一個或多個視頻處理功能以使視頻適應于目標顯示面板140。 例如，在一些實施方案中，目標顯示面板140可支持HDR成像。然而，解碼/顯示流水線130可 接收經編碼標準動態范圍（SDR)視頻數據，以用于顯示到目標面板140。常規地，SDR到HDR處 理已通過將SDR視頻內容線性縮放至HDR目標顯示來執行。然而，HDR成像遠比SDR成像明亮， 并且從SDR視頻內容的常規線性縮放并不產生最佳適用于較高動態范圍的視頻內容;而且， 線性縮放可能產生可見的偽影。例如，鏡面高光區可變暗或不見，暗區可充滿噪聲，并且色 帶或色調帶可見。
[0123] 為了改善由SDR視頻輸入生成的HDR視頻內容的質量，在一些實施方案中，在檢測 到SDR視頻數據時，解碼/顯示流水線130可調整一個或多個視頻處理功能，和/或執行一個 或多個附加處理功能，以將經解碼的SDR視頻輸入轉換為HDR圖像格式，以用于以HDR目標面 板140的較高動態范圍來更好顯示。廣義描述的這些調整可涉及將SDR視頻內容非線性映射 到HDR空間，以改善內容在顯示到目標HDR顯示面板時的質量(例如，亮度）。
[0124] 圖9為根據一些實施方案的用于執行SDR到HDR轉換視頻以生成適用于HDR顯示的 顯示視頻內容的方法的高級流程圖。如在圖9的900處所指出的，解碼/顯示流水線可對經編 碼的SDR視頻流進行接收和解碼用，以用于HDR目標顯示。如在圖9的902處所指出的，解碼/ 顯示流水線可執行一種或多種非線性SDR到HDR轉換技術以使輸入SDR視頻內容適應并擴展 到適用于支持HDR的顯示面板的HDR視頻內容。如在圖9的904處所指出的，可將HDR視頻內容 顯示給HDR顯示面板。參考圖8對圖9的元件進行更加詳細的描述。
[0125] 圖8示出了根據一些實施方案的在SDR輸入視頻中執行SDR到HDR轉換以生成適用 于HDR顯示的顯示視頻內容的示例性解碼/顯示流水線。在至少一些實施方案中，解碼/顯示 流水線810可被配置為處理HDR視頻輸入以生成用于目標顯示面板840的HDR顯示視頻832。 然而，解碼/顯示流水線810可替代地接收SDR視頻800輸入。
[0126] 如圖8所示，解碼/顯示流水線810的實施方案可利用根據輸入SDR視頻800內容所 確定的內容特征820和顯示面板840的顯示特征830來將SDR視頻800輸入轉換為HDR視頻832 輸出，以用于顯示給支持HDR的顯示面板840。在一些實施方案中，解碼/顯示流水線810可包 括視頻處理功能或模塊，包括但不限于解碼器812、視頻管814、幀率轉換816和顯示管理818 功能或模塊。可將內容特征820和顯示特征830提供至這些模塊中的一者或多者并用于調整 一個或多個相應功能，以用于將SDR視頻800輸入轉換為HDR視頻832輸出。
[0127] 可在解碼/顯示流水線810的解碼器812部件處接收經編碼的SDR視頻800流(例如， H.264/AVC或H.265/HEVC經編碼的視頻流）。解碼器312可對輸入視頻進行解碼/解壓縮，以 生成饋送至視頻管814的視頻內容。視頻管814可例如執行噪聲/偽影消減、縮放和銳化。在 一些實施方案中，解碼器812或視頻管814可將輸入SDR視頻800轉換為HDR兼容格式，例如通 過轉換為具有擴展位深度的格式以支持HDR成像。
[0128] 幀率轉換816可通過在現有幀之間生成一個或多個中間視頻幀來將視頻管814的 視頻輸出轉換為較高幀率。轉換為較高幀率例如可有助于補償可能出現在HDR視頻中的抖 動。顯示管理818可包括可執行包括但不限于縮放、色彩空間轉換、色域調整和色調映射的 視頻處理任務的顯示管，以及可執行包括但不限于色彩(色度）和色調（亮度）調整、背光調 整、伽瑪校正、白點校正、黑點校正和時空抖動的附加視頻處理任務的顯示后端，以生成輸 出到支持HDR的目標顯示面板840的HDR顯示視頻832。
[0129] 在實施方案中，可將內容特征820和顯示特征830提供至解碼/顯示流水線810中的 一個或多個模塊并用于調整一個或多個相應的功能，以將SDR視頻800輸入轉換為HDR視頻 832輸出。在從SDR轉換到顯示面板840所支持的較高動態范圍時，各種增強功能可由解碼/ 顯示流水線810基于可改善對視頻內容的顯示的特征來執行。下文描述了在將SDR視頻轉換 為HDR視頻時可執行的增強功能的示例，并且并非旨在進行限制。
[0130]在一些實施方案中，響應于檢測到SDR視頻800內容，內容特征820模塊可分析視頻 內容，以尋找視頻幀中的具有鏡面高光的區域。因此，所檢測到的內容特征可包括輸入視頻 幀中的鏡面高光。解碼/顯示流水線810可減小鏡面高光區的至少一部分的尺寸，和/或增加 鏡面高光區的至少一部分的亮度，以使得鏡面高光區在顯示時看起來更令人印象深刻。
[0131] 在一些實施方案中，輸入SDR視頻800內容中的暗區或陰影區可由解碼/顯示流水 線810來檢測并進行不同地自動處理以用于改善的HDR顯示。例如，解碼/顯示流水線810可 對所檢測到的暗區或陰影區施加較強的降噪，以在顯示到HDR顯示面板840時減少視頻內容 的較暗區域中的噪聲。
[0132] 又如，解碼/顯示流水線810可調整或選擇用于色調映射的色調曲線以使陰影區加 深。色調曲線可為非線性的例如S形色調曲線，以減少暗區中的噪聲并提供比使用常規線性 縮放能夠獲取的更好的對比度。在一些實施方案中，可基于一個或多個所檢測到的內容特 征和/或顯示特征來動態地選擇色調曲線。在一些實施方案中，可檢測有關周圍環境的一個 或多個指標(例如，環境光照指標)并用于確定色調曲線。在一些實施方案中，可選擇針對視 頻幀或幀序列的非線性全局色調曲線。在一些實施方案中，代替全局色調曲線或除此之外， 還可將視頻幀細分為多個區域，并且可動態地選擇針對每個區域的局部色調曲線。
[0133] 在一些實施方案中，可檢測由色彩剪裁（例如，在編碼器側的色調或色域映射期 間）所導致的色彩過渡，并且解碼/顯示流水線810可嘗試重建正確色彩以使色彩過渡平滑。
[0134] 在一些實施方案中，從SDR到HDR(例如，8位SDR到10位HDR)的位深度擴展可由解 碼/顯示流水線810使用嘗試在擴展到較大位深度時通過使圖像內容平滑來消除帶狀偽影 的技術來執行。例如，在一些實施方案中，可分析輸入像素的數據值以確定斜率，并且該斜 率可用于執行到經擴展位深度的非線性擴展，而不是執行到經擴展位深度的線性擴展，以 產生經擴展的位的比使用線性函數所實現的更平滑的再現。
[0135] 服務器側自適應視頻處理
[0136] 再次參見圖1，在一些實施方案中，針對目標顯示面板140的自適應視頻處理可在 服務器/編碼流水線11 〇中實現或通過服務器/編碼流水線11 〇實現。這些實施方案可被稱為 服務器側自適應視頻處理系統。在顯示器側視頻處理流水線不支持HDR/WCG成像、不支持目 標顯示面板的全動態范圍和色域、或以其他方式受限的情況下，服務器側自適應視頻處理 系統的實施方案例如可用于支持支持HDR的顯示面板的高動態范圍(HDR)和廣色域(WCG)視 頻回放。例如，服務器側自適應視頻處理系統的實施方案可用于支持到小型或移動設備或 到可具有有限顯示器側視頻處理能力的傳統設備的HDR和WCG視頻流。
[0137] 圖11示出了根據一些實施方案的其中服務器側編碼流水線生成適用于目標顯示 面板的輸出視頻數據的視頻回放方法的流程圖。如在圖11的1100處所指出的，服務器/編碼 流水線可獲取用于目標顯示面板的視頻內容。例如，服務器/編碼流水線可從視頻源(諸如 包括服務器/編碼流水線的設備或系統上的攝像機)接收輸入視頻，并且可被指示對視頻內 容進行編碼和流式傳輸，以用于顯示在特定的目標顯示面板上。目標顯示面板可與服務器/ 編碼流水線位于相同的設備或系統上，或者另選地可位于不同的設備或系統上。目標顯示 面板可支持高動態范圍(HDR)和廣色域(WCG)成像。
[0138] 盡管未示出，但在一些實施方案中，服務器/編碼流水線可獲取或確定輸入視頻內 容的一個或多個特征。例如，在一些實施方案中，可分析視頻內容以確定例如視頻內容的動 態范圍有多寬、幀間或場景間存在多少運動、色彩范圍、鏡面高光區、對比度、亮區和暗區 等。可使用該內容信息連同其他信息來處理視頻內容，以用于顯示在目標顯示面板上。
[0139] 如在圖11的1102處所指出的，服務器/編碼流水線可獲取用于目標顯示面板的顯 示信息和/或環境信息。顯示信息可指示顯示特征，該顯示特征可包括但不限于以下各項中 的一者或多者:所測量的響應、格式、分辨率、尺寸、動態范圍、位深度、背光水平、白點、當前 顯示控件設置等。環境信息可包括但不限于各種環境光照指標和查看者指標諸如查看者相 對于目標顯示面板的位置、顯示面板的尺寸和距顯示面板的距離。環境光照指標例如可包 括有關入射到顯示面板的光、來自顯示面板的反射光水平的指標，以及查看者/用戶面對的 視野(或背景）的指標(例如，亮度、色彩、白點等）。在一些實施方案中，包括目標顯示面板的 設備可包括可用于從周圍環境采集數據的一個或多個前向傳感器和/或后向傳感器(例如， 相機、光傳感器等）；所采集的數據可被分析以確定之后通過服務器/編碼流水線獲取或提 供至服務器/編碼流水線的一個或多個環境指標。
[0140] 如在圖11的1104處所指出的，服務器/編碼流水線可根據所獲取的信息來將視頻 內容映射到目標顯示面板的動態范圍。在一些實施方案中，服務器/編碼流水線根據色調映 射技術來將視頻內容映射到由所獲取的信息所指示的目標顯示面板的動態范圍。色調映射 技術可根據所獲取的信息來調整。例如，可根據顯示信息來將源數據的動態范圍映射到目 標顯示面板的位深度。又如，在色調映射技術中所使用的色調曲線和/或傳遞函數可基于一 個或多個指標(包括但不限于由環境信息所指示的顯示面板處的當前環境光照指標)來修 改或調整。在一些實施方案中，可至少部分地基于顯示信息和/或環境信息來選擇針對服務 器/編碼流水線中所處理的視頻幀或幀序列的非線性全局色調曲線。在一些實施方案中，代 替全局色調曲線或除此之外，還可將視頻幀細分為多個區域，并且可至少部分地基于顯示 信息和/或環境信息來動態地選擇針對每個區域的局部色調曲線。
[0141] 如在圖11的1106處所指出的，服務器/編碼流水線可根據所獲取的信息來將視頻 內容映射到目標顯示面板的色域。在一些實施方案中，服務器/編碼流水線根據色域映射技 術來將視頻內容映射到由所獲取的信息所指示的目標顯示面板的色域。該色域映射技術可 根據所獲取的信息來調整。例如，可根據顯示信息來將源數據的色域映射到目標顯示面板 的位深度。又如，可根據顯示信息中所指示的由顯示面板所支持的特定色域來選擇曲線、傳 遞函數和/或查找表。又如，在色域映射技術中所使用的曲線、傳遞函數和/或查找表可基于 一個或多個指標(包括但不限于環境信息所指示的顯示面板處的當前環境光照指標)來修 改或調整。
[0142] 如在圖11的1108處所指出的，服務器/編碼流水線可對視頻內容進行編碼并將經 編碼的視頻內容傳輸至與目標顯示面板相關聯的解碼/顯示流水線。服務器/編碼流水線例 如可根據壓縮視頻如H.264/AVC或H.265/HEVC格式來對視頻數據進行編碼，以用于傳送至 目標顯示面板。經編碼的視頻內容例如可被寫入到存儲器，以供與目標顯示面板相關聯的 解碼/顯示流水線訪問，經由有線或無線網絡連接提供或流式傳輸至與目標顯示面板相關 聯的解碼/顯示流水線，或以其他方式傳送至與目標顯示面板相關聯的解碼/顯示流水線。
[0143] 如在圖11的1110處所指出的，解碼/顯示流水線對視頻內容進行解碼并顯示。由于 到由目標顯示面板所支持的動態范圍和色域的顯示面板特有的色調和色域映射在服務器/ 編碼側執行，因此解碼/顯示流水線可無需任何更改或修改來支持HDR和/或WCG成像。
[0144] 需注意，服務器/編碼流水線可應用圖11所示的方法來根據顯示面板的特定特征 和/或環境來將相同視頻內容映射到兩個或更多個不同的目標顯示面板。例如，服務器/編 碼流水線可根據顯示器特有信息來調整視頻處理和編碼功能，以使視頻內容適應于支持不 同位深度、色彩空間、色域和/或動態范圍的目標顯示面板。還需注意，圖11和其他流程圖和 作業圖并非旨在進行限制。例如，在圖11所示視頻回放方法的一些實施方案中，元素1106 (色域映射)可在元素1104(動態范圍映射)之前發生。
[0145] 參考圖1和10對圖11的元素進行更加詳細的描述。
[0146] 再次參見圖1，在服務器側自適應視頻處理系統的實施方案中，服務器/編碼流水 線110可將從源100獲取的視頻內容映射到目標顯示面板140。例如，視頻內容可以是從圖像 傳感器或相機獲取的HDR和WCG視頻內容。在一些實施方案中，在將視頻內容映射到目標顯 示面板140中，服務器/編碼流水線110根據色域映射技術來將視頻內容映射到目標顯示面 板140的色域，并根據色調映射技術來將視頻內容映射到目標顯示面板140的動態范圍。在 執行映射中，服務器/編碼流水線110可考慮目標顯示面板140的視頻內容、能力和特征，并 且目標顯示面板140處的有關環境190的信息包括但不限于光照192和查看者180信息中的 一者或多者。
[0147] 可由服務器/編碼流水線110用于將視頻內容映射到目標顯示面板140的信息的至 少一部分可通過包括目標顯示面板140和解碼/顯示流水線130的設備或系統120來捕獲。系 統120可將所捕獲的信息提供至包括服務器/編碼流水線110的設備或系統。例如，包括目標 顯示面板1140的系統120還可包括可用于檢測環境條件諸如環境光照和查看者位置的一個 或多個傳感器150(相機、光傳感器等）。系統120例如可經由有線或無線網絡連接來將用于 描述當前環境條件的信息提供至實現服務器/編碼流水線110的遠程設備、系統或服務器。 然而，需注意，服務器/編碼流水線110和解碼/顯示流水線130可在相同設備或系統上實現。
[0148] 在一些實施方案中，目標顯示面板140可支持以某一位深度(例如，10位）的HDR和 WCG成像，并且服務器/編碼流水線110可根據目標顯示面板140處的一個或多個當前環境因 素諸如環境光照192和查看者180位置來以顯示面板140所支持的位深度來將視頻內容映射 到動態范圍和色域。服務器/編碼流水線110對所映射的視頻內容進行編碼并將經編碼的內 容發送至用于目標顯示面板140的解碼/顯示流水線130,該解碼/顯示流水線對視頻內容進 行解碼并顯示給目標顯示面板140。
[0149] 服務器側自適應視頻處理例如可為一種用于通過網絡或到支持HDR和WCG的目標 系統120和顯示面板140的連接從服務器系統獲取HDR、WCG視頻內容以用于顯示的有效而相 對簡單的方法，這是因為在解碼/顯示130側上可無需特別的映射。由于到由目標顯示面板 140所支持的動態范圍和色域的顯示面板特有的色調和色域映射在服務器/編碼110側上執 行，因此解碼/顯示流水線130可無需任何更改或修改來支持HDR和/或WCG成像。還需注意， 服務器/編碼流水線110可根據顯示面板140的特定特征和/或環境來將相同的視頻內容映 射到兩個或更多個不同的目標顯示面板140。
[0150] 圖10示出了根據一些實施方案的其中服務器側編碼流水線生成適用于目標顯示 面板的輸出視頻數據的示例性視頻回放系統。在示例性視頻回放系統中，服務器/編碼1000 流水線產生廣色域(WCG)和高動態范圍（HDR)的輸出數據，其中至少部分地根據從解碼/顯 示1050側獲取的信息映射到在服務器/編碼1000側上執行的顯示色域和動態范圍。示例性 視頻回放方法和系統可涉及以WCG和HDR的H. 265/HEVC編碼，以用于分配給至少一個目標顯 示面板，其中顯示器側解碼和處理無需針對目標顯示面板的特別色域或色調映射。
[0151] 圖10示出了包括一個或多個部件的服務器/編碼1000模塊或流水線和包括一個或 多個部件的解碼/顯示1050模塊或流水線。在該示例中，將解碼/顯示1050流水線和目標HDR 顯示面板1090被示出為在系統1040上實現。在一些實施方案中，服務器/編碼1000和解碼/ 顯示1050中的一者或兩者可在片上系統（SOC)上實現。在一些實施方案中，服務器/編碼 1000和解碼/顯示1050可在相同設備、系統和/或SOC上實現。在一些實施方案中，服務器/編 碼1000和解碼/顯示1050可在不同設備、系統或SOC上實現。在一些實施方案中，一個或多個 服務器/編碼1000流水線可在設備或系統上實現;服務器/編碼1000流水線可被配置為對視 頻進行編碼并將其流式傳輸至一個或多個目標設備或系統，每個設備或系統實現至少一個 解碼/顯示1050流水線和至少一個目標顯示面板1090。
[0152] 在該實施方案中，目標顯示面板1090的色域映射和色調映射由服務器/編碼1000 流水線來執行，其中由目標顯示面板1090所支持的HDR和WCG的視頻編碼流(VES) 1012在編 碼1000側上被生成并傳送至解碼1050側(例如，至HEVC解碼1052部件），以用于解碼和顯示。 服務器/編碼流水線1000可從包括目標顯示面板1090的系統1040獲取顯示信息1092和/或 環境信息1042。
[0153] 對服務器/編碼1000流水線的輸入視頻內容例如可以16位的位深度在(線性)CIE 1931XYZ色彩空間中被解碼。映射部件1002可向輸入線性XYZ視頻施加12位電光轉換函數 (E0TF)操作，以將16位輸入數據映射到12位輸入視頻數據，例如映射到12位RGB色彩空間。 盡管未示出，但在一些實施方案中，服務器/編碼1000流水線可分析輸入視頻內容，以確定 一個或多個內容特征，例如視頻內容的動態范圍有多寬、幀間或場景間存在多少運動、色彩 特征(例如，色彩范圍）、鏡面高光區、對比度、亮區和暗區等。可使用該內容信息連同顯示信 息1092和/或環境信息來處理視頻內容，以用于顯示在目標顯示面板1090上。
[0154] 面板特有的映射1004部件繼而可根據從系統1040獲取的顯示信息1092和/或環境 信息來將12位RGB視頻數據映射到目標顯示面板1090的色彩空間（例如，10位RGB)。還可將 輸入視頻內容的特征用于映射1004。映射1004例如可涉及執行色域映射，以將輸入視頻內 容的色域映射到顯示面板1090的色域，以及執行色調映射以將輸入視頻內容的動態范圍映 射到顯示面板1090的動態范圍。
[0155] 色域映射技術可根據從系統1040所獲取的信息來調整。例如，可根據顯示信息 1092來將源數據的色域映射到目標顯示面板的位深度。又如，可根據顯示信息1092中所指 示的、顯示面板所支持的特定色域來選擇曲線、傳遞函數和/或查找表。又如，在色域映射技 術中所使用的曲線、傳遞函數和/或查找表可基于一個或多個指標(包括但不限于環境信息 1042所指示的顯示面板處的當前環境光照指標)來修改或調整。
[0156]色調映射技術還可根據從系統1040所獲取的信息來調整。例如，可根據顯示信息 1092來將源數據的動態范圍映射到目標顯示面板的位深度。又如，在色調映射技術中所使 用的色調曲線和/或傳遞函數可基于一個或多個指標(包括但不限于環境信息1042所指示 的顯示面板處的當前環境光照指標)來修改或調整。在一些實施方案中，可至少部分地基于 顯示信息1092和/或環境信息1092來選擇針對服務器/編碼流水線中所處理的視頻幀或幀 序列的非線性全局色調曲線。在一些實施方案中，代替全局色調曲線或除此之外，還可將視 頻幀細分為多個區域，并且可至少部分地基于顯示信息1092和/或環境信息1092來動態地 確定或以其他方式選擇針對每個區域的局部色調曲線。
[0157] 在一些實施方案中，面板特有的映射1004可至少部分地由圖像信號處理器（ISP) 來執行。在一些實施方案中，ISP的一個或多個部件(例如，3D色彩查找表(CLUT))可用于執 行面板特有的映射1004。然而，替代地或除此之外，面板特有的映射1004還可由一個或多個 GHJ來執行或在一個或多個GPU中執行。
[0158] 在一些實施方案中，RGB到YCC 1006部件可將10位RGB輸出轉換為10位YCC格式以 用于編碼。H.265/HEVC編碼器部件1010對10位YCC視頻數據進行編碼，從而以10位的位深度 生成由目標顯示面板1090所支持的HDR和WCG的HEVC VES 1012。
[0159] 在解碼1050處，HEVC解碼部件1052對HEVC壓縮視頻流1012進行解碼，以在YCC色彩 空間生成10位數據。可對數據執行超分辨率技術1054,然后可將10位YCC數據傳送至顯示管 1058以用于最終處理以生成以該位深度、目標HDR顯示面板1090的色域和動態范圍的顯示 輸出數據，例如1 〇位RGB數據。
[0160]需注意，圖10中所示的各種視頻格式、色彩空間、位深度等以舉例的方式給出并且 并非旨在進行限制。例如，可將不同于CIE 1931XYZ的其他色彩空間用于輸入視頻。又如，在 一些實施方案中，可根據不同于265/HEVC格式的其他編碼格式來執行編碼和解碼。又如，月艮 務器/編碼流水線1000將視頻內容映射1004到的目標顯示面板1090的色彩空間可以是多種 色彩空間中的任一者，包括但不限于各種RGB、Rec.709色彩空間、P3DCI D65色彩空間和 Rec. 2020色彩空間。
[0161] 非線性顯示器亮度調整
[0162] 描述了顯示器亮度調整裝置和方法的實施方案，其中顯示器的平均亮度可使用非 線性函數例如分段線性函數按比例增加或減小。非線性縮放可例如響應于由圖1所示的一 個或多個傳感器所檢測到的環境光線水平而自動被執行，但也可響應于對圖1所示控件160 的用戶調整例如經由亮度旋鈕、滑塊或按鈕，或者經由圖形用戶界面(GUI)亮度控制而被應 用。非線性亮度調整可全局地執行，或者可針對圖像或顯示面板的局部區域執行。
[0163] 圖14為根據至少一些實施方案的非線性亮度調整方法的流程圖。如在圖14的1400 處所示的，可將數字內容(例如，視頻內容)顯示到目標顯示面板。然而，需注意，替代性地或 除此之外，也可將其他數字圖像顯示到顯示面板。顯示面板可以某亮度水平和對比度水平 來顯示內容。顯示面板可以但不一定是支持高動態范圍（HDR)的顯示設備，并且數字內容可 以是HDR內容。
[0164] 如在圖14的1402處所示的，可例如通過顯示面板的或包括面板的設備的亮度調整 模塊來獲取用于目標顯示面板的顯示信息和/或環境信息。在一些實施方案中，顯示信息可 包括對顯示面板的亮度水平設置的指示。在一些實施方案中，顯示器的亮度水平可根據對 控件的用戶調整來設定，該控件例如物理亮度旋鈕、滑塊或按鈕，或者圖形用戶界面(GUI) 亮度控件。在一些實施方案中，環境信息可包括一個或多個環境光照指標，并且顯示器的亮 度水平可根據一個或多個環境光照指標來確定或調整。如在圖14的1404處所示的，可根據 信息來確定對顯示器亮度水平的調整。例如，如果用戶向上或向下移動亮度滑塊，則可根據 該移動來確定亮度水平的對應變化。又如，如果環境光照變得更暗或更亮，則可根據環境光 照的變化來確定亮度水平的對應變化。例如，如果環境光線變亮，則可能需要增加顯示器亮 度。相反地，在昏暗光照條件下，可能需要降低顯示器亮度。
[0165] 如在圖14的1406處所示的，然后可根據非線性函數按比例增加或減小顯示器亮 度，以調整顯示器的亮度水平。例如，在一些實施方案中，可將非線性函數施加于輸入信號， 以使用查找表來生成根據當前亮度水平所調整的輸出信號;然而，也可使用其他技術。在一 些實施方案中，可將輸入信號分成亮度分量和色度分量，并且可將非線性函數施加于信號 的亮度分量。施加于輸入信號以生成輸出信號的示例性非線性函數在圖13中示出。在施加 非線性函數來降低亮度的情況下，輸出信號的對比度可以不被降低，使得動態范圍和高光 區得以保持。
[0166] 在一些實施方案中，可使用全局非線性函數來全局地調整顯示器亮度。在一些實 施方案中，可針對顯示器的兩個或更多個區域來分別調整顯示器亮度，其中在不同區域可 能將不同的非線性函數或非線性函數的變型施加于信號。
[0167] 參考圖12和13對圖14的元件進行更加詳細的描述。
[0168] 顯示器亮度調整技術通常使用線性函數按比例增加或減小亮度，使得平均亮度和 對比度以系統比率同時變化。例如，圖12示出了縮放系數為0.5的亮度調整的線性輸入輸出 關系。軸X為輸入信號，并且軸y為輸出信號，并且該兩者被標準化為[0，1]。對應的線性公式 為：
[0169] y = kx
[0170] 圖12所示的線性亮度調整的問題在于在降低平均亮度的情況下對比度也降低。因 此，所顯示的圖像/視頻變得沒那么清晰。本文所述的顯示器亮度調整裝置和方法的實施方 案可實現非線性(例如，分段線性)亮度調整函數，其中亮度調整僅改變平均值，而保持最大 動態范圍不變。非線性亮度調整函數的非限制性示例性實施方案在圖13中示出，其示出了 根據一些實施方案的亮度調整函數的輸入輸出關系。將圖13與圖12中直線進行比較，亮度 調整函數為具有參數T0到T3的分段線性函數。在圖13中，T0為0，T1設定為0.9,并且T2設定 為0.95,并且Τ3為1。需注意，斜率從(Τ0，Τ1)增至(Τ1，Τ2)，并且再次從(Τ1，Τ2)增至（Τ2， Τ3)。然而如，需注意，這些值為示例性的而并非旨在進行限制。在圖13所示的該示例性分段 非線性函數中，對應的公式為：
[0171] y = kox 當 0〈 = x〈Ti
[0172] y = ki(x-Ti)+koTi 當 Τι〈 = χ〈Τ2
[0173] y = k2(x-T2)+ki(T2-Ti)+koTi 當T2〈 = x〈 = 1
[0174] 在至少一些實施方案中，在施加非線性函數諸如圖13所示的分段線性函數以按比 例降低亮度的情況下，輸出信號的對比度可不被降低，使得動態范圍和高光區得以保持。圖 12所示的線性縮放可對圖像質量產生不利影響。例如，在執行如圖12所示的線性調整的情 況下，動態范圍通常也按比例減小。因此，代替執行如圖12所示的線性調整，實施方案可使 用圖13所示的非線性縮放函數僅按比例降低平均亮度，而不相應地降低對比度和動態范 圍，從而保持高光區。盡管圖13示出了分段線性縮放函數，但也可使用其他非線性函數諸如 二次函數或曲線。
[0175] 如上所述，在施加非線性函數諸如圖13所示的分段線性函數以按比例降低亮度的 情況下，輸出信號的對比度可不被降低，使得動態范圍和高光區得以保持。然而，在一些情 況下，對比度可能需要與亮度一樣按比例降低;然而，對比度不像亮度降低得那么多和/或 那么快，以有助于保持顯示圖像的動態范圍。換言之，相比于圖12所示的平均亮度和對比度 以相同比例變化的線性縮放技術，使用圖13所示的非線性亮度縮放技術的實施方案，對比 度不受對亮度調整的影響或響應于亮度調整而受影響程度與亮度不同。
[0176] 在一些實施方案中，例如響應于由圖1所示的一個或多個傳感器所檢測到的環境 光線水平的變化，亮度的非線性縮放以及可能的對比度的非線性縮放可根據本文所述的環 境自適應再現方法自動執行。在一些實施方案中，代替自動縮放或除此之外，非線性縮放可 響應于對圖1所示控件160的用戶調整例如經由亮度旋鈕、滑塊或圖形用戶界面(GUI)亮度 控件而施加。
[0177] 如圖13所示，在一些實施方案中，可使用分段線性函數。然而，也可使用其他函數， 例如曲線函數、二次函數等。然而，不論使用何種類型函數，圖13中的通用曲線形狀通常可 被保持。在該形狀下，在信號的開始處，斜率緩慢或低并變快或變陡；該形狀例如可有助于 保持圖像中的高光區。然而，需注意，在一些實施方案中，可使用其他通用曲線形狀。
[0178] 在一些實施方案中，代替使用全局非線性縮放函數或除此之外，還可在顯示屏、圖 像或視頻幀的不同區域中施加并改變非線性縮放函數。在一些實施方案中，可根據同一非 線性縮放函數來全局地調整圖像中的所有亮度值。然而，在一些實施方案中，代替使用全局 調整或除此之外，還可執行局部亮度調整。在非線性縮放函數的局部調整中，可施加不同非 線性模型或函數，或可在圖像或顯示器的不同區域中進行不同地施加。
[0179]本文所述顯示器亮度調整技術的實施方案例如可在包括一個或多個顯示設備的 設備或系統中實現。顯示器或顯示設備可包括被集成到其他設備中的顯示屏或面板，該其 他設備包括但不限于智能電話、手機、PDA、平板電腦或平板設備、多功能設備、計算設備、膝 上型計算機、筆記本電腦、上網本、臺式計算機等。顯示設備還可包括視頻監視器、投影儀， 或者一般來說，可顯示或投射數字圖像和/或數字視頻的任何設備。顯示器亮度調整技術例 如可針對具有背光區域調光的顯示器(包括但不限于LED(發光二極管）、0LED(有機發光二 極管)或IXD(液晶顯示)技術的顯示器)來實現。
[0180] 非線性亮度調整方法例如可在顯示設備或其他設備或裝置的亮度調整模塊或部 件中實現。圖15到19示出了非線性顯示器亮度調整模塊或方法的實施方案可在其中實現的 設備的非限制性示例。顯示設備或包括顯示設備的設備或系統可包括實現本文所述的非線 性顯示器亮度控制功能的至少一部分的硬件和/或軟件(例如，亮度調整模塊）。在一些實施 方案中，顯示設備或包括顯示面板或顯示屏的設備可例如根據本文所述的自適應視頻處理 方法來實現顯示流水線，該顯示流水線接收并處理(即，解碼)壓縮圖像諸如視頻圖像，以用 于顯示給面板或屏幕，并且顯示流水線的一個或多個部件可實現非線性顯示器亮度調整的 本文所述功能的至少一部分。在一些實施方案中，顯示流水線的顯示后端部件可實現非線 性顯示器亮度調整功能。在一些實施方案中，非線性顯示器亮度調整功能可在顯示后端的 亮度調整模塊或部件中實現。圖3和4示出了可實現本文所述的非線性顯示器亮度調整功能 的示例性顯示流水線和顯示后端。
[0181] 在一些實施方案中，非線性顯示器亮度調整的本文所述功能的至少一部分可由可 用于設備中的片上系統(S0C)的一個或多個部件或模塊來實現，這些設備包括但不限于多 功能設備、智能電話、平板電腦或平板設備、以及其他便攜式計算設備諸如膝上型電腦、筆 記本電腦和上網本等。
[0182] 示例性設備和裝置
[0183] 圖15到19示出了本文所述的各種數字視頻或圖像處理和顯示方法和裝置可在其 中實現或利用其實現的設備和裝置的非限制性實施方案。圖15示出了示例性S0C，并且圖16 示出了實現SOC的示例性設備。圖17示出了可實現本文所述方法和裝置的示例性計算機系 統。圖18和19示出了可實現本文所述方法和裝置的示例性多功能設備。
[0184] 示例性片上系統(S0C)
[0185] 現轉到圖15,片上系統（S0C)8000的一個實施方案的框圖可用于實施方案中。S0C 8000被圖示為耦接到存儲器8800。如名字所暗示的，S0C 8000的部件可集成到作為集成電 路"芯片"的單個半導體襯底上。在一些實施方案中，這些部件可在系統中的兩個或更多個 分立芯片上實施。然而，在本文中將使用S0C 8000作為一個示例。在例示的實施方案中，S0C 8000的部件包括中央處理單元(CPU)復合體8020、片上外圍部件8040A-8040C (更簡單地說， "外圍設備"）、存儲器控制器(MC)8030和通信結構8010。部件8020、8030、8040A-8040B可全 部耦接到通信結構8010。存儲器控制器8030可在使用期間耦接到存儲器8800,并且外圍設 備8040B可在使用期間耦接到外部接口 8900。在所示實施方案中，CPU復合體8020包括一個 或多個處理器(P)8024和二級(L2)高速緩存8022。
[0186] 外圍設備8040A-8040B可以是被包括在S0C 8000中的附加硬件功能的任何集合。 例如，外圍設備8040A-8040B可包括視頻外圍設備，諸如被配置為處理來自相機或其他圖像 傳感器的圖像捕捉數據的圖像信號處理器、被配置為在一個或多個顯示設備上顯示視頻數 據的顯示控制器、圖形處理單元(GPU)、視頻編碼器/解碼器或編解碼器、縮放器、旋轉器、混 合器等。該外圍設備可包括音頻外圍設備，諸如麥克風、揚聲器、至麥克風和揚聲器的接口、 音頻處理器、數字信號處理器、混合器等。外圍設備可包括用于S0C 8000外部的各種接口 8900的外圍設備接口控制器(例如外圍設備8040B)，該外圍設備包括接口諸如通用串行總 線(USB)、外圍部件互連(PCI)(包括PCI高速(PCIe))、串行和并行端口等等。外圍設備可包 括聯網外圍設備諸如媒體訪問控制器(MAC)。可包括任何一組硬件。
[0187] CPU復合體8020可包括用作S0C 8000的CPU的一個或多個CPU處理器8024。系統的 CPU包括執行系統諸如操作系統的主要控制軟件的一個或多個處理器。通常，由CPU在使用 期間執行的軟件可控制系統的其他部件，以實現所期望的系統功能。處理器8024還可執行 其他軟件諸如應用程序。應用程序可提供用戶功能，并且可依賴于操作系統來進行低級設 備控制。因此，處理器8024也可被稱為應用處理器。CPU復合體8020還可包括其他硬件，諸如 L2高速緩存8022和/或至系統的其他部件的接口（例如至通信結構8010的接口）。通常，處理 器可包括被配置為執行在由處理器實施的指令集架構中定義的指令的任何電路和/或微 碼。響應于執行指令而由處理器操作的指令和數據通常可被存儲在存儲器8800中，盡管某 些指令可被定義為也用于對外圍設備進行直接處理器訪問。處理器可涵蓋在具有作為片上 系統(S0C 8000)或其他集成水平的其他部件的集成電路上實現的處理器內核。處理器還可 包括分立的微處理器、處理器內核和/或集成到多芯片模塊具體實施中的微處理器、被實施 為多個集成電路的處理器等等。
[0188] 存儲器控制器8030通常可包括用于從S0C 8000的其他部件接收存儲器操作并用 于訪問存儲器8800以完成存儲器操作的電路。存儲器控制器8030可被配置為訪問任何類型 的存儲器8800。例如，存儲器8800可以是靜態隨機存取存儲器(SRAM)、動態RAM(DRAM)諸如 同步的DRAM(SDRAM)，包括雙倍數據率(DDR、DDR2、DDR3等)DRAM。可支持低功率/移動型式的 DDR DRAM(例如，LroDR、mDDR等）。存儲器控制器8030可包括存儲器操作隊列，以用于對這些 操作進行排序(并且可能重新排序），并將這些操作呈現至存儲器8800。存儲器控制器8030 還可包括用于存儲等待寫到存儲器的寫數據和等待返回至存儲器操作的源的讀數據的數 據緩沖器。在一些實施方案中，存儲器控制器8030可包括用于存儲最近訪問的存儲器數據 的存儲器高速緩存。例如，在SOC具體實施中，存儲器高速緩存可通過在預期很快要再次訪 問的情況下避免從存儲器8800重新訪問數據來降低SOC中的功率消耗。在一些情況下，存儲 器緩存也可被稱為系統高速緩存，其與私有高速緩存(諸如L2高速緩存8022或處理器8024 中的高速緩存)不同，該私有高速緩存只服務于某些部件。此外，在一些實施方案中，系統高 速緩存不需要位于存儲器控制器8030內。
[0189] 在一個實施方案中，存儲器8800可以芯片上芯片配置或封裝上封裝配置來與S0C 8000-起被封裝。也可使用S0C 8000和存儲器8800的多芯片模塊配置。此類配置可比至系 統中其他部件(例如向端點16A-16B)的傳輸相對更安全(在數據可觀測性方面）。因此，受保 護的數據可未經加密地駐留在存儲器8800中，而受保護的數據可被加密以在S0C 8000與外 部端點之間進行交換。
[0190] 通信結構8010可以是用于在S0C 8000的部件間進行通信的通任何信互連器和協 議。通信結構8010可為基于總線的，包括共享總線配置、交叉開關配置、和具有橋的分層總 線。通信結構8010也可基于分組，并且可以是具有橋的分層、交叉開關、點到點、或其他互連 器。
[0191] 需注意，S0C 8000的部件數量（以及圖15所示部件，諸如CPU復合體8020內的子部 件數量)可根據不同實施方案而不同。可存在比圖15所示數量更多或更少的每個部件/子部 件。
[0192] 圖16為系統9000的一個實施方案的框圖，該系統包括耦接到外部存儲器8800和一 個或多個外部外圍設備9020的S0C 8000的至少一個示例。提供向S0C 8000供應供電電壓以 及向存儲器8800和/或外圍設備9020供應一個或多個供電電壓的功率管理單元(PMU)9010。 在一些實施方案中，可包括SOC 8000的多于一個示例(也可包括多于一個存儲器8800)。
[0193] 根據系統9000的類型，外圍設備9020可包括任何期望的電路。例如，在一個實施方 案中，系統9000可以是移動設備（例如個人數字助理(PDA)、智能電話等），并且外圍設備 9020可包括用于各種類型的無線通信的設備，諸如wifi、藍牙、蜂窩、全球定位系統等。外圍 設備9020還可包括附加存儲裝置，該附加存儲裝置包括RAM存儲裝置、固態存儲裝置或磁盤 存儲裝置。外圍設備9020可包括用戶界面設備(諸如包括觸摸顯示屏或多點觸摸顯示屏的 顯示屏）、鍵盤或其他輸入設備、麥克風、揚聲器等。在其他實施方案中，系統9000可以是任 何類型的計算系統(例如臺式個人計算機、膝上型電腦、工作站、網絡機頂盒等）。
[0194] 外部儲存器8800可包括任何類型的存儲器。例如，外部存儲器8800可以是SRAM、動 態RAM(DRAM)(諸如同步DRAM(SDRAM))、雙倍數據速率(DDR、DDR2、DDR3等）SDRAM、RAMBUS DRAM、低功率版本的DDR DRAM(例如LPDDR、mDDR等）等等。該外部存儲器8800可包括存儲器 設備可被安裝到的一個或多個存儲器模塊，諸如單列存儲器模塊(SIMM)、雙列存儲器模塊 (DMM)等。另選地，外部存儲器8800可包括以芯片上芯片配置或封裝上封裝具體實施被安 裝在S0C 8000上的一個或多個存儲器設備。
[0195] 示例性計算機系統
[0196] 圖17示出了可被配置為執行上文所述的任意或所有實施方案的示例性計算機系 統2900。在不同的實施方案中，計算機系統2900可以是各種類型的設備中的任何設備，包括 但不限于:個人計算機系統、臺式計算機、膝上型電腦、筆記本電腦、平板電腦、一體式電腦、 平板設備或上網本計算機、大型計算機系統、手持式計算機、工作站、網絡計算機、相機、機 頂盒、移動設備、消費設備、應用服務器、存儲設備、視頻記錄設備、外圍設備(諸如交換機、 調制解調器、路由器）、或一般性的任何類型的計算設備或電子設備。
[0197] 可在一個或多個計算機系統2900中執行本文所述各種實施方案，該計算機系統 2900可與各種其他設備進行交互。需注意，根據各種實施方案，上文相對于圖1到圖16描述 的任何部件、動作或功能性可實現于被配置作為圖17的計算機系統2900的一種或多種計算 機上。在所示實施方案中，計算機系統2900包括經由輸入/輸出（I/O)接口 2930耦接到系統 存儲器2920的一個或多個處理器2910。計算機系統2900還包括耦接到I/O接口 2930的網絡 接口 2940、以及一個或多個輸入/輸出設備或部件2950，諸如光標控件2960、鍵盤2970、一個 或多個顯不器2980、一個或多個相機2990和一個或多個傳感器2992(包括但不限于光傳感 器和運動檢測器）。在一些情況下，可設想實施方案可使用計算機系統2900的單個示例來實 現，而在其他實施方案中，多個此類系統或者構成計算機系統2900的多個節點可被配置為 作為實施方案的不同部分或示例的主機。例如，在一個實施方案中，一些元素可經由計算機 系統2900的與實現其他元素的那些節點不同的一個或多個節點來實現。
[0198] 在各種實施方案中，計算機系統2900可以是包括一個處理器2910的單處理器系 統、或者是包括幾個處理器2910(例如兩個、四個、八個、或另一適當數量）的多處理器系統。 處理器2910可以是能夠執行指令的任何合適的處理器。例如，在各種實施方案中，處理器 2910可以是實現多種指令集架構（ISA)(諸如1829、？〇?6沖(：、3?41^、或[?3 134、或任何其 他合適的ISA)中的任何指令集架構的通用處理器或嵌入式處理器。在多處理器系統中，每 個處理器2910通常可以但并非必須實現相同的ISA。
[0199] 系統存儲器2920可被配置為存儲可被處理器2910訪問的程序指令2922和/或數 據。在各種實施方案中，系統存儲器2920可使用任何適當的存儲器技術來實現，諸如靜態隨 機存取存儲器(SRAM)、同步動態RAM(SDRAM)、非易失性存儲器/閃存存儲器、或任何其他類 型的存儲器。在例示的實施方案中，程序指令2922可被配置為實現本文所述功能中的任一 功能。另外，存儲器2920可包括本文所述的信息或數據結構中的任一者。在一些實施方案 中，程序指令和/或數據可被接收、發送或存儲在獨立于系統存儲器2920或計算機系統2900 的不同類型的計算機可訪問介質上或類似的介質上。盡管將計算機系統2900描述為實施前 面各圖的功能框的功能，但可經由此類計算機系統來實施本文描述的任何功能。
[0200] 在一個實施方案中，I/O接口 2930可被配置為協調設備中的處理器2910、系統存儲 器2920、和任何外圍設備（包括網絡接口 2940或其他外圍設備接口，諸如輸入/輸出設備 2950)之間的I/O通信量。在一些實施方案中，I/O接口 2930可執行任何必要的協議、定時或 其他數據轉換，以將來自一個部件(例如系統存儲器2920)的數據信號轉換為適用于由另一 個部件(例如處理器2910)使用的格式。在一些實施方案中，I/O接口 2930可包括對例如通過 各種類型的外圍設備總線(諸如外圍部件互連(PCI)總線標準或通用串行總線(USB)標準的 變型)所附接的設備的支持。在一些實施方案中，I/O接口 2930的功能例如可被劃分到兩個 或更多個單獨部件中，諸如北橋和南橋。此外，在一些實施方案中，I/O接口2930(諸如至系 統存儲器2920的接口）的一些或所有功能可被直接并入到處理器2910中。
[0201] 網絡接口 2940可被配置為允許在計算機系統2900和附接到網絡2985的其他設備 (例如承載器或代理設備)之間、或者在計算機系統2900的節點之間交換數據。在各種實施 方案中，網絡2985可包括一種或多種網絡，包括但不限于:局域網（LAN)(例如以太網或企業 網）、廣域網(WAN)(例如互聯網）、無線數據網、某種其他電子數據網絡、或它們的某種組合。 在各種實施方案中，網絡接口2940例如可支持經由有線或無線通用數據網絡諸如任何適當 類型的以太網網絡的通信;經由電信/電話網絡諸如模擬語音網絡或數字光纖通信網絡的 通信;經由存儲區域網絡諸如光纖信道SAN或經由任何其他適當類型的網絡和/或協議的通 {目。
[0202]在一些實施方案中，輸入/輸出設備2950可包括一個或多個顯示終端、鍵盤、鍵區、 觸摸板、掃描設備、語音或光學識別設備、或適用于由一個或多個計算機系統2900輸入或訪 問數據的任何其他設備。多個輸入/輸出設備2950可存在于計算機系統2900中，或者可分布 在計算機系統2900的各個節點上。在一些實施方案中，類似的輸入/輸出設備可與計算機系 統2900分開，并且可通過有線或無線連接(諸如通過網絡接口 2940)與計算機系統2900的一 個或多個節點進行交互。
[0203] 如圖17所示，存儲器2920可包括可由處理器執行以實現上述任何元件或動作的程 序指令2922。在一個實施方案中，程序指令可實現上述方法。在其他實施方案中，可包括不 同的元件和數據。需注意，數據可包括上述任何數據或信息。
[0204]本領域的技術人員應當理解，計算機系統2900僅僅是示例性的，而并非旨在限制 實施方案的范圍。特別地，計算機系統和設備可包括可執行所指出的功能的硬件或軟件的 任意組合，包括計算機、網絡設備、互聯網設備、個人數字助理、無線電話、尋呼機等等。計算 機系統2900還可被連接到未示出的其他設備或者反之作為獨立的系統進行操作。此外，由 所示出的部件所提供的功能在一些實施方案中可被組合在更少的部件中或者被分布在附 加部件中。類似地，在一些實施方案中，一些所示出的部件的功能可不被提供，和/或可還有 其他附加功能可供使用。
[0205] 本領域的技術人員還將認識到，雖然各種項目被示出為在被使用期間被存儲在存 儲器中或存儲裝置上，但是為了存儲器管理和數據完整性的目的，這些項目或其部分可在 存儲器和其他存儲設備之間進行傳輸。或者，在其他實施方案中，這些軟件組件中的一些或 全部軟件組件可在另一設備上的存儲器中執行，并且經由計算機間通信來與所示出的計算 機系統進行通信。一些或全部系統部件或數據結構也可(例如作為指令或結構化數據)被存 儲在計算機可訪問介質或便攜式制品上，以由合適的驅動器讀取，其多種示例在上文中被 描述。在一些實施方案中，存儲在與計算機系統2900分開的計算機可訪問介質上的指令可 經由傳輸介質或信號(諸如電信號、電磁信號、或數字信號)被傳輸到計算機系統2900,該傳 輸介質或信號經由通信介質(諸如網絡和/或無線鏈路)來傳送。各種實施方案可進一步包 括在計算機可訪問介質上接收、發送或存儲根據以上描述所實現的指令和/或數據。一般來 講，計算機可訪問介質可包括非暫態計算機可讀存儲介質或存儲器介質，諸如磁或光介質， 例如盤或DVD/CD-R0M、易失性或非易失性介質，諸如RAM (例如SDRAM、DDR、RDRAM、SRAM等）、 ROM等。在一些實施方案中，計算機可訪問介質可包括傳輸介質或信號，諸如經由通信介質 諸如網絡和/或無線鏈路來傳輸的電氣信號、電磁信號或數字信號。
[0206] 多功能設備示例
[0207] 圖18示出了根據一些實施方案的便攜式多功能設備的框圖。在一些實施方案中， 該設備是還包含其他功能諸如PDA、相機、視頻捕獲和/或回放，和/或音樂播放器功能的便 攜式通信設備諸如移動電話。便攜式多功能設備的示例性實施方案包括但不限于來自 Apple Inc(Cupertino,California)的iPhone?.設備、iP〇dTouch?.設備和iPad'?設備。也 可使用其他便攜式電子設備，諸如具有觸敏表面(例如，觸摸屏顯示器和/或觸控板)的膝上 型計算機、移動電話、智能電話、平板設備或平板電腦。還應當理解的是，在一些實施方案 中，該設備并非便攜式通信設備，而是具有觸敏表面(例如，觸摸屏顯示器和/或觸摸板）的 臺式計算機。在一些實施方案中，設備是具有取向傳感器(例如游戲控制器中的取向傳感 器）的游戲計算機。在其他實施方案中，該設備并非便攜式通信設備，而是相機和/或攝像 機。
[0208] 在下面的討論中，描述了一種包括顯示器和觸敏表面的電子設備。然而應當理解， 電子設備可包括一個或多個其他物理用戶接口設備，諸如物理鍵盤、鼠標和/或操作桿。
[0209] 該設備通常支持各種應用程序，諸如以下應用程序中的一個或多個應用程序:繪 圖應用程序、呈現應用程序、文字處理應用程序、網站創建應用程序、盤編輯應用程序、電子 表格應用程序、游戲應用程序、電話應用程序、視頻會議應用程序、電子郵件應用程序、即時 消息應用程序、健身支持應用程序、照片管理應用程序、數字相機應用程序、數字視頻攝像 機應用程序、web瀏覽應用程序、數字音樂播放器應用程序和/或數字視頻播放器應用程序。
[0210] 可在設備上執行的各種應用程序可使用至少一個共用的物理的用戶界面設備諸 如觸敏表面。觸敏表面的一種或多種功能以及被顯示在設備上的對應信息對于各個應用程 序可被調整和/或是不同的，和/或在對應應用程序內可被調整和/或是不同的。這樣，設備 的共用物理架構(諸如觸敏表面)可利用對于用戶直觀且透明的用戶界面來支持各種應用 程序。
[0211] 設備2100可具有存儲器2102(其可包括一個或多個計算機可讀存儲介質）、存儲器 控制器2122、一個或多個處理單元(CPU)2120、外圍設備接口 2118、RF電路2108、音頻電路 2110、揚聲器2111、觸敏顯示系統2112、麥克風2113、輸入/輸出（I/O)子系統2106、其他輸入 控制設備2116、和外部端口 2124。設備2100可包括一個或多個光學傳感器或相機2164。這些 部件可通過一條或多條通信總線或信號線2103進行通信。
[0212] 應當理解，設備2100只是便攜式多功能設備的一個示例，并且設備2100可具有比 所示出的更多或更少的部件，可組合兩個或更多個部件，或者可具有這些部件的不同配置 或布置。圖18中所示的各種部件可以硬件、軟件或硬件和軟件組合來實施，包括一個或多個 信號處理電路和/或專用集成電路。
[0213] 存儲器2102可包括高速隨機存取存儲器并且還可包括非易失性存儲器，諸如一個 或多個磁盤存儲設備、閃存存儲器設備、或其他非易失性固態存儲器設備。設備2100的其他 部件(諸如CPU 2120和外圍設備接口2118)對存儲器2102的訪問可由存儲器控制器2122來 控制。
[0214] 外圍設備接口 2118可被用于將設備的輸入外圍設備和輸出外圍設備耦接到CPU 2120和存儲器2102。該一個或多個處理器2120運行或執行被存儲在存儲器2102中的各種軟 件程序和/或指令集，以執行設備2100的各種功能并處理數據。
[0215] 在一些實施方案中，外圍設備接口2118、CPU 2120、和存儲器控制器2122可在單個 芯片諸如芯片2104上實現。在一些其他實施方案中，它們可在單獨的芯片上實現。
[0216] RF(射頻）電路2108接收和發送也被稱為電磁信號的RF信號。RF電路2108將電信號 轉換為電磁信號/將電磁信號轉換為電信號，并且經由電磁信號來與通信網絡以及其他通 信設備進行通信。RF電路2108可包括用于執行這些功能的熟知的電路，包括但不限于天線 系統、RF收發器、一個或多個放大器、調諧器、一個或多個振蕩器、數字信號處理器、編碼器/ 解碼器(編解碼器)芯片組、用戶身份模塊（SIM)卡、存儲器等等。RF電路2108可通過無線通 信與網絡以及其他設備進行通信，該網絡諸如互聯網（也被稱為萬維網(WWW))、內聯網和/ 或無線網絡(諸如蜂窩電話網絡、無線局域網(LAN)和/或城域網(MAN))。無線通信可使用多 種通信標準、協議和技術中的任何類型，包括但不限于全球移動通信系統(GSM)、增強數據 GSM環境(EDGE)、高速下行鏈路分組接入(HSDPA)、高速上行鏈路分組接入(HSUPA)、寬帶碼 分多址(W-CDMA)、碼分多址(CDMA)、時分多址(TDMA)、藍牙、無線保真(Wi-Fi)(例如，IEEE 802.11a、IEEE 802.11b、IEEE 802.11g和/或IEEE 802·11η)、互聯網語音協議（VoIP)、Wi-MAX、電子郵件協議(例如，互聯網消息訪問協議（IMAP)和/或郵局協議(POP))、即時消息（例 如，可擴展消息處理現場協議（XMPP)、用于即時消息和現場利用擴展的會話發起協議 (SMPLE)、即時消息和到場服務（MPS))、和/或短消息服務(SMS)、或者包括在本文獻提交 日還未開發出的通信協議的其他任何適當的通信協議。
[0217] 音頻電路2110、揚聲器2111和麥克風2113提供用戶與設備2100之間的音頻接口。 音頻電路2110從外圍設備接口 2118接收音頻數據，將音頻數據轉換為電信號，并將電信號 傳輸到揚聲器2111。揚聲器2111將電信號轉換為人類可聽的聲波。音頻電路2110還接收由 麥克風2113根據聲波轉換的電信號。音頻電路2110將電信號轉換為音頻數據，并將音頻數 據傳輸到外圍設備接口2118以用于處理。音頻數據可由外圍設備接口 2118從存儲器2102 和/或RF電路2108進行檢索和/或被傳輸至存儲器102和/或RF電路108。在一些實施方案中， 音頻電路2110還包括耳麥插孔。耳麥插孔提供音頻電路2110與可移除的音頻輸入/輸出外 圍設備之間的接口，該外圍設備諸如僅輸出的耳機或者具有輸出（例如，單耳耳機或雙耳耳 機)和輸入(例如，麥克風)兩者的耳麥。
[0218] I/O子系統2106將設備2100上的輸入/輸出外圍設備諸如觸摸屏2112和其他輸入 控制設備2116耦接到外圍設備接口 2118。1/0子系統2106可包括顯示控制器2156和用于其 他輸入控制設備2116的一個或多個輸入控制器2160。該一個或多個輸入控制器2160從其他 輸入控制設備2116接收電信號/將電信號發送到其他輸入控制設備116。該其他輸入控制設 備2116可包括物理按鈕(例如，下壓按鈕、搖臂按鈕等）、撥號盤、滑動開關、操縱桿、點擊式 轉盤等等。在一些另選實施方案中，一個或多個輸入控制器2160可耦接到(或不耦接到）以 下各項中的任一者:鍵盤、紅外端口、USB端口、和指向設備諸如鼠標。該一個或多個按鈕可 包括用于揚聲器2111和/或麥克風2113的音量控制的增大/減小按鈕。該一個或多個按鈕可 包括下壓按鈕。
[0219] 觸敏顯示器2112提供設備和用戶之間的輸入接口和輸出接口。顯示控制器2156從 觸摸屏2112接收電信號和/或將電信號發送至觸摸屏112。觸摸屏2112向用戶顯示視覺輸 出。視覺輸出可包括圖形、文本、圖標、視頻、以及它們的任意組合（統稱為"圖形"）。在一些 實施方案中，一些視覺輸出或全部的視覺輸出可對應于用戶界面對象。
[0220]觸摸屏2112具有基于觸覺和/或觸感接觸來接受來自用戶的輸入的觸敏表面、傳 感器或傳感器組。觸摸屏2112和顯示控制器2156(與存儲器2102中的任何相關聯的模塊和/ 或指令集一起)檢測觸摸屏2112上的接觸(和該接觸的任何移動或中斷），并且將所檢測到 的接觸轉換為與顯示在觸摸屏2112上的用戶界面對象(例如，一個或多個軟鍵、圖標、網頁 或圖像)的交互。在一個示例性實施方案中，觸摸屏2112和用戶之間的接觸點對應于用戶的 手指。
[0221] 觸摸屏2112可使用LCD(液晶顯示器)技術、LPD(發光聚合物顯示器)技術、或LED (發光二極管)技術，但是在其他實施方案中可使用其他顯示技術。觸摸屏2112和顯示控制 器2156可使用現在已知的或以后將開發出的多種觸摸感測技術中的任何觸摸感測技術以 及其他接近傳感器陣列或用于確定與觸摸屏2112的一個或多個接觸點的其他元件來檢測 接觸及其任何移動或中斷，該多種觸摸感測技術包括但不限于電容性技術、電阻性技術、紅 外技術和表面聲波技術。在示例性實施方案中，使用投射式互電容感測技術，諸如從Apple Inc. (Cupertino,California)的 iPh〇neK、iP〇clT〇uchK ^iPacT 發現的技術。
[0222] 觸摸屏2112可具有超過100dpi的視頻分辨率。在一些實施方案中，觸摸屏具有約 160dpi的視頻分辨率。用戶可使用任何合適的物體或附加物諸如觸筆、手指等等來與觸摸 屏2112接觸。在一些實施方案中，用戶界面被設計用于主要與基于手指的接觸和手勢工作， 由于手指在觸摸屏上的接觸區域較大，因此這可能不如基于觸筆的輸入精確。在一些實施 方案中，設備將基于手指的粗略輸入轉譯為精確的指針/光標位置或命令以執行用戶所期 望的動作。
[0223] 在一些實施方案中，除了觸摸屏2112之外，設備2100可包括用于激活或去激活特 定功能的觸摸板(未示出）。在一些實施方案中，觸摸板是設備的觸敏區域，該觸敏區域與觸 摸屏不同，其不顯示視覺輸出。觸摸板可以是與觸摸屏2112分開的觸敏表面，或者是由觸摸 屏形成的觸敏表面的延伸部分。
[0224] 設備2100還包括用于為各種部件供電的電力系統2162。電力系統2162可包括電力 管理系統、一個或多個電源(例如，電池、交流電(AC))、再充電系統、電力故障檢測電路、功 率轉換器或逆變器、電源狀態指示器(例如，發光二極管(LED))和與便攜式設備中的電力的 生成、管理和分配相關聯的任何其他部件。
[0225] 設備2100還可包括一個或多個光學傳感器或相機2164。圖18示出了耦接到I/O子 系統2106中的光學傳感器控制器2158的光學傳感器。光學傳感器2164例如可包括電荷親合 器件(CXD)或互補金屬氧化物半導體(CMOS)光電晶體管或感光器。光學傳感器2164從環境 接收通過一個或多個透鏡而投射的光，并且將光轉換為表示圖像的數據。結合成像模塊 2143(也稱為相機模塊），光學傳感器2164可捕獲靜態圖像和/或視頻序列。在一些實施方案 中，至少一個光學傳感器可位于設備2100的后部上，與位于該設備的前部上的觸摸屏顯示 器2112相背對。在一些實施方案中，觸摸屏顯示器可用作靜態和/或視頻圖像采集的取景 器。在一些實施方案中，替代性地或此外，至少一個光學傳感器還可位于設備的前部。
[0226] 設備2100還可包括一個或多個接近傳感器2166。圖18示出了耦接到外圍設備接口 2118的接近傳感器2166。作為另外一種選擇，接近傳感器2166可耦接到I/O子系統2106中的 輸入控制器2160。在一些實施方案中，當多功能設備被放置在用戶耳朵附近時(例如，當用 戶打電話時），該接近傳感器關閉并禁用觸摸屏2112。
[0227] 設備2100還可包括一個或多個取向傳感器2168。在一些實施方案中，該一個或多 個取向傳感器包括一個或多個加速度計(例如一個或多個線性加速度計和/或一個或多個 旋轉加速度計）。在一些實施方案中，該一個或多個取向傳感器包括一個或多個陀螺儀。在 一些實施方案中，該一個或多個取向傳感器包括一個或多個磁力儀。在一些實施方案中，該 一個或多個取向傳感器包括全球定位系統(GPS)、全球導航衛星系統(GLONASS)、和/或其他 全球導航系統接收器中的一者或多者。GPS、GLONASS、和/或其他全球導航系統接收器可用 于獲取關于設備2100的位置和取向（例如縱向或橫向）的信息。在一些實施方案中，該一個 或多個取向傳感器包括取向傳感器/旋轉傳感器的任何組合。圖18示出了耦接到外圍設備 接口 2118的該一個或多個取向傳感器2168。或者，該一個或多個取向傳感器2168可耦接到 I/O子系統2106中的輸入控制器2160。在一些實施方案中，信息基于對從這一個或多個取向 傳感器接收的數據的分析而在觸摸屏顯示器上被顯示在縱向視圖或橫向視圖中。
[0228] 在一些實施方案中，設備2100還可包括一個或多個其他傳感器(未示出），包括但 不限于環境光傳感器和運動檢測器。這些傳感器可耦接到外圍設備接口 2118,或者另選地 可耦接到I/O子系統2106中的輸入控制器2160。例如，在一些實施方案中，設備2100可包括 可用于從設備2100的環境采集環境光照指標的至少一個前向（背向用戶）和至少一個后向 (朝向用戶)光傳感器以用于視頻和圖像捕獲、處理和顯示應用。
[0229]在一些實施方案中，被存儲在存儲器2102中的軟件部件包括操作系統2126、通信 模塊2128、接觸/運動模塊(或指令集)2130、圖形模塊2132、文本輸入模塊2134、全球定位系 統(GPS)模塊2135、以及應用程序2136。此外，在一些實施方案中，存儲器2102存儲設備/全 局內部狀態2157。設備/全局內部狀態2157包括以下各項中的一者或多者:活動應用程序狀 態，該活動應用程序狀態用于指示哪些應用程序(如果有的話）當前是活動的；顯示狀態，該 顯示狀態用于指示什么應用程序、視圖或其他信息占據觸摸屏顯示器2112的各個區域;傳 感器狀態，該傳感器狀態包括從設備的各個傳感器和輸入控制設備2116獲取的信息；和關 于設備位置和/或姿態的位置信息。
[0230] 操作系統2126(例如，〇3^丨11、1^^(：、1^冊乂、1^1乂、03乂、11冊013、或嵌入式操作系 統諸如VxWorks)包括用于控制和管理一般系統任務(例如，存儲器管理、存儲設備控制、電 力管理等)的各種軟件部件和/或驅動器，并且有利于各種硬件和軟件部件之間的通信。
[0231] 通信模塊2128促進通過一個或多個外部端口 2124來與其他設備進行通信，并且還 包括用于處理由RF電路2108和/或外部端口 2124所接收的數據的各種軟件部件。外部端口 2124(例如，通用串行總線(USB)、火線等)適用于直接耦接到其他設備或者間接地通過網絡 (例如，互聯網、無線LAN等)進行親接。在一些實施方案中，外部端口是與iPod(Apple Inc. 的商標)設備上所使用的30針連接器相同的或類似的和/或與其兼容的多針(例如，30針)連 接器。
[0232] 接觸/運動模塊2130可檢測與觸摸屏2112(結合顯示控制器2156)和其他觸敏設備 (例如，觸摸板或物理點擊式轉盤)的接觸。接觸/運動模塊2130包括多個軟件部件以用于執 行與接觸的檢測相關的各種操作，諸如確定是否已發生接觸(例如，檢測手指按下事件）、確 定是否存在接觸的移動并在觸敏表面上跟蹤該移動（例如，檢測一個或多個手指拖動事 件）、以及確定接觸是否已終止(例如，檢測手指抬起事件或者接觸中斷）。接觸/運動模塊 2130從觸敏表面接收接觸數據。確定接觸點的移動可包括確定接觸點的速率(量值）、速度 (量值和方向）、和/或加速度(量值和/或方向的改變），接觸點的移動由一系列接觸數據來 表示。這些操作可施加于單個觸點(例如，一個指狀觸點)或多個同時的觸點（例如，"多點觸 摸"/多個指狀觸點）。在一些實施方案中，接觸/運動模塊2130和顯示控制器2156檢測觸摸 板上的接觸。
[0233] 接觸/運動模塊2130可檢測用戶的手勢輸入。觸敏表面上的不同手勢具有不同的 接觸圖案。因此，可通過檢測具體接觸圖案來檢測手勢。例如，檢測單指輕擊手勢包括檢測 手指按下事件，然后在與手指按下事件相同的位置(或基本上相同的位置)處(例如，在圖標 位置處)檢測手指抬起(抬離)事件。作為另一個示例，在觸敏表面上檢測手指輕掃手勢包括 檢測手指按下事件，然后檢測一個或多個手指拖動事件，并且隨后檢測手指抬起(抬離)事 件。
[0234] 圖形模塊2132包括用于在觸摸屏2112或其他顯示器上渲染和顯示圖形的多個軟 件部件，其包括用于改變被顯示圖形的強度的部件。如本文所用，術語"圖形"包括可被顯示 給用戶的任何對象，非限制性地包括文本、網頁、圖標(諸如包括軟鍵的用戶界面對象）、數 字圖像、視頻、動畫等。
[0235] 在一些實施方案中，圖形模塊2132存儲用于表示待使用圖形的數據。每個圖形可 被分配有對應的代碼。圖形模塊2132從應用程序等接收指定待顯示的圖形的一個或多個代 碼，在必要的情況下還一起接收坐標數據和其他圖形屬性數據，然后生成屏幕圖像數據以 輸出至顯示控制器2156。
[0236] 可作為圖形模塊2132的部件的文本輸入模塊2134提供用于在需要文本輸入的多 種應用程序中輸入文本的軟鍵盤。
[0237] GPS模塊2135確定設備的位置并提供了在各種應用程序中使用的這種信息(例如， 提供至用于基于位置的撥號的電話模塊2138;提供至相機模塊2143作為圖片/視頻元數據； 以及提供至提供基于位置的服務諸如地圖/導航桌面應用程序）。
[0238] 應用程序2136可包括但不限于以下模塊(或指令集）中的一者或多者或者其子集 或超集：
[0239] ?電話模塊2138;
[0240] ?視頻會議模塊2139;
[0241] ?用于靜態圖像和/或視頻圖像的相機模塊2143;
[0242] ?圖像管理模塊2144;
[0243] ?瀏覽器模塊2147;
[0244] ?搜索模塊2151;
[0245] ?視頻和音樂播放器模塊2152,其可由視頻播放器模塊和音樂播放器 [0246]模塊構成;和/或
[0247] ?在線視頻模塊2155。
[0248] 可被存儲在存儲器2102中的其他應用程序2136的示例包括但不限于其他文字處 理應用程序、其他圖像編輯應用程序、繪圖應用程序、呈現應用程序、通信/社交媒體應用程 序、地圖應用程序、支持JAVA的應用程序、加密、數字權益管理、語音識別、和語音復制。
[0249] 結合RF電路2108、音頻電路2110、揚聲器2111、麥克風2113、觸摸屏2112、顯示控制 器2156、接觸模塊2130、圖形模塊2132、和文本輸入模塊2134，電話模塊2138可用于輸入與 電話號碼對應的字符序列、訪問地址簿中的一個或多個電話號碼、修改已輸入的電話號碼、 撥打相應的電話號碼、進行會話以及當會話完成時斷開或掛斷。如上所述，無線通信可使用 多個通信標準、協議和技術中的任一者。
[0250] 結合RF電路2108、音頻電路2110、揚聲器2111、麥克風2113、觸摸屏2112、顯示控制 器2156、光學傳感器2164、光學傳感器控制器2158、接觸/運動模塊2130、圖形模塊2132、文 本輸入模塊2134和電話模塊2138,視頻會議模塊2139包括用于根據用戶指令發起、進行和 終止用戶與一個或多個其他參與方之間的視頻會議的可執行指令。
[0251] 結合觸摸屏2112、顯示控制器2156、一個或多個光學傳感器2164、光學傳感器控制 器2158、接觸/運動模塊2130、圖形模塊2132和圖像管理模塊2144,相機模塊2143包括用于 以下操作的可執行指令:捕獲靜態圖像或視頻(包括視頻流)并且將它們存儲到存儲器2102 中、修改靜態圖像或視頻的特征、或從存儲器2102刪除靜態圖像或視頻。
[0252] 結合觸摸屏2112、顯示控制器2156、接觸/運動模塊2130、圖形模塊2132、文本輸入 模塊2134、和相機模塊2143,圖像管理模塊2144包括用于排列、修改(例如，編輯）、或以其他 方式操控、加標簽、刪除、呈現(例如，在數字幻燈片或相冊中）、以及存儲靜態圖像和/或視 頻圖像的可執行指令。
[0253] 結合RF電路2108、觸摸屏2112、顯示系統控制器2156、接觸/運動模塊2130、圖形模 塊2132和文本輸入模塊2134,瀏覽器模塊2147包括用于根據用戶指令來瀏覽互聯網（包括 搜索、鏈接至、接收、和顯示網頁或其部分，以及鏈接至網頁的附件和其他文件）的可執行指 令。
[0254] 結合觸摸屏2112、顯示系統控制器2156、接觸/運動模塊2130、圖形模塊2132和文 本輸入模塊2134,搜索模塊2151包括用于根據用戶指令來搜索存儲器2102中的匹配一個或 多個搜索條件(例如，一個或多個用戶指定的搜索詞）的文本、音樂、聲音、圖像、視頻和/或 其他文件的可執行指令。
[0255] 結合觸摸屏2112、顯示系統控制器2156、接觸/運動模塊2130、圖形模塊2132、音頻 電路系統2110、揚聲器2111、RF電路系統2108、和瀏覽器模塊2147,視頻和音樂播放器模塊 2152包括允許用戶下載和回放以一種或多種文件格式(諸如MP3或AAC文件)存儲的所記錄 的音樂和其他聲音文件的可執行指令，以及用于顯示、呈現或以其他方式回放視頻(例如， 在觸摸屏2112上或在經由外部端口 2124連接的外部顯示器上）的可執行指令。在一些實施 方案中，設備2100可包括MP3播放器諸如iPod(Apple Inc.的商標)的功能。
[0256] 結合觸摸屏2112、顯示系統控制器2156、接觸/運動模塊2130、圖形模塊2132、音頻 電路2110、揚聲器2111、RF電路2108、文本輸入模塊2134和瀏覽器模塊2147,在線視頻模塊 2155包括指令，該指令允許用戶訪問、瀏覽、接收(例如，通過流式傳輸和/或下載）、回放(例 如在觸摸屏上或在經由外部端口2124所連接的外部顯示器上），以及以其他方式管理一種 或多種視頻格式諸如H. 264/AVC格式或H. 265/HEVC格式的在線視頻。
[0257] 上述所識別的每個模塊和應用程序對應于用于執行上述一種或多種功能以及在 本申請中所描述的方法(例如，本文中所述的計算機實現的方法和其他信息處理方法)的一 組可執行指令。這些模塊(即指令集)不必被實現為獨立的軟件程序、過程或模塊，并因此在 各種實施方案中可組合或以其他方式重新布置這些模塊的各種子集。在一些實施方案中， 存儲器2102可存儲上述模塊和數據結構的子集。此外，存儲器2102可存儲上文沒有描述的 附加模塊和數據結構。
[0258] 在一些實施方案中，設備2100是唯一地通過觸摸屏和/或觸摸板來執行設備上的 預定義的一組功能的操作的設備。通過使用觸摸屏和/或觸摸板作為用于設備2100的操作 的主要輸入控制設備，可減少設備2100上的物理輸入控制設備(諸如下壓按鈕、撥號盤等 等)的數量。
[0259] 可唯一地通過觸摸屏和/或觸摸板執行的預定義的一組功能包括在用戶界面之間 進行導航。在一些實施方案中，觸摸板在被用戶觸摸時將設備2100從可被顯示在設備2100 上的任何用戶界面導航到主界面菜單、home菜單或根菜單。在此類實施方案中，觸摸板可被 稱為"菜單按鈕"。在一些其他實施方案中，菜單按鈕可以是物理下壓按鈕或者其他物理輸 入控制設備，而不是觸摸板。
[0260] 圖19示出了根據一些實施方案的具有觸摸屏2112的便攜式多功能設備2100。觸摸 屏可在用戶界面(UI)2200內顯示一個或多個圖形。在設備2100的至少一些實施方案中，用 戶可通過例如利用一個或多個手指2202(在附圖中未必按比例繪制)或者利用一個或多個 觸控筆2203 (在附圖中未必按比例繪制）在圖形上作出手勢來選擇這些圖形中的一個或多 個圖形。
[0261] 設備2100還可包括一個或多個物理按鈕，諸如"home"按鈕或菜單按鈕2204。如前 所述，菜單按鈕2204可被用于導航到可在設備2100上執行的一組應用程序中的任何應用程 序2136。作為另外一種選擇，在一些實施方案中，菜單按鈕可被實現為被顯示在觸摸屏2112 上的⑶I中的軟鍵。
[0262] 在一些實施方案中，設備2100包括觸摸屏2112、home按鈕/菜單按鈕2204、用于對 設備開關機和鎖定設備的下壓按鈕2206、一個或多個音量調整按鈕2208、用戶身份模塊 (SH0卡槽2210、耳麥接口 2212、和對接/充電外部端口 2124。下壓按鈕2206可用于通過按下 按鈕并在預定義時間間隔內使按鈕保持在按下狀態來打開/關閉設備上的電源；用于通過 按下按鈕并在經過預定義時間間隔之前釋放按鈕來鎖定設備;并且用于解鎖設備或啟動解 鎖過程。在另選的實施方案中，設備2100還可通過麥克風2113來接受用于激活或去激活一 些功能的語音輸入。
[0263] 設備2100還可包括一個或多個相機2164。相機2164例如可包括電荷耦合器件 (CCD)或互補金屬氧化物半導體(CMOS)光電晶體管或感光器。相機2164從環境接收通過一 個或多個透鏡而投射的光，并且將光轉換為表示圖像或視頻幀的數據。在一些實施方案中， 至少一個相機2164可位于設備2100的與位于該設備的前部上的觸摸屏顯示器2112相背對 的后部上。在一些實施方案中，替代性地或此外，至少一個相機2164還可位于具有觸摸屏顯 示器2112的設備的前部，使得在用戶在觸摸屏顯示器2112上觀看其他視頻會議參與者的同 時可獲取該用戶的圖像以用于視頻會議。在一些實施方案中，至少一個相機2164可位于設 備2100的前部上，并且至少一個相機2164可位于設備2100的后部上。在一些實施方案中，觸 摸屏顯示器2112可用作靜態圖像和/或視頻序列采集應用的取景器和/或用戶界面。
[0264]設備2100可包括可用于捕獲、處理、轉換、壓縮、解壓縮、存儲、修改、傳輸、顯示并 以其他方式管理和操作通過相機2164捕獲或以其他方式采集(例如，通過網絡接口）的靜態 圖像和/或視頻幀或視頻序列的視頻和圖像處理硬件和/或軟件，包括但不限于視頻編碼和 或/解碼部件、編解碼器、模塊或流水線。在一些實施方案中，設備2100還可包括可用于從設 備2100的環境中采集環境光照或其他指標的一個或多個光傳感器或其他傳感器，以便在視 頻和圖像捕獲、處理和顯示中使用。
[0265]在不同的實施方案中，本文所述的方法可在軟件、硬件或它們的組合中實現。此 外，可改變方法的框的次序，可對各種要素進行添加、重新排序、組合、省略、修改等。對于受 益于本公開的本領域的技術人員，顯然可作出各種修改和改變。本文所述的各種實施方案 旨在為例示的而非是限制性的。許多變型、修改、添加和改進是可能的。因此，可以為本文中 描述為單個示例的部件提供多個示例。各種部件、操作和數據存儲裝置之間的界限在一定 程度上是任意性的，并且在具體例示性配置的上下文中例示了特定操作。設想了可落在所 附權利要求的范圍內的功能的其他分配。最后，被呈現為示例性配置中的分立部件的結構 和功能可被實現為組合結構或部件。這些和其他變型、修改、添加和改進可落在所附權利要 求所限定的實施方案的范圍內。
【主權項】
1. 一種系統，包括： 一個或多個傳感器，所述一個或多個傳感器被配置為檢測一個或多個環境條件； 顯不面板;和 解碼流水線，所述解碼流水線被配置為： 接收經編碼的視頻數據； 對所述經編碼的視頻數據進行解碼以生成視頻內容； 根據所述視頻內容的一個或多個特征、所述顯示面板的一個或多個特征、以及由所述 一個或多個傳感器所檢測到的一個或多個當前環境條件來處理所述視頻內容，以生成適用 于在所述當前環境條件下在所述顯示面板上查看的視頻內容；以及 將經處理的視頻內容輸出至所述顯示面板以用于顯示。2. 根據權利要求1所述的系統，其中所述解碼流水線被配置為根據一個或多個視頻處 理技術來處理所述視頻內容，其中所述視頻處理技術中的至少一種視頻處理技術根據所述 當前環境條件被調整，以生成適用于在所述當前環境條件下在所述顯示面板上查看的所述 視頻內容。3. 根據權利要求2所述的系統，其中所述視頻處理技術包括以下各項中的一者或多者： 降噪、偽影消減、縮放、銳化、幀率轉換、色彩空間轉換、色域調整、動態背光調整、面板伽馬 校正、黑點校正、 或白點校正。4. 根據權利要求1所述的系統，其中為了處理所述視頻內容，所述解碼流水線被配置為 將色域映射應用于所述視頻內容，以將所述視頻內容的色彩分量映射到所述顯示面板的色 彩空間和位深度中，并且其中所述解碼流水線被配置為根據所述當前環境條件來調整被應 用于所述視頻內容的所述色域映射，以生成適用于在所述當前環境條件下在所述顯示面板 上查看的所述視頻內容。5. 根據權利要求1所述的系統，其中為了處理所述視頻內容，所述解碼流水線被配置為 將色調映射應用于所述視頻內容，以將所述視頻內容的亮度映射到所述顯示面板的色彩空 間和位深度中，并且其中所述解碼流水線被配置為根據所述當前環境條件來調整被應用于 所述視頻內容的所述色調映射，以生成適用于在所述當前環境條件下在所述顯示面板上查 看的所述視頻內容。6. 根據權利要求1所述的系統，其中為了處理所述視頻內容，所述解碼流水線被配置 為： 根據所述顯示面板特征來確定所述顯示面板的測量的響應亮度范圍； 根據所述當前環境條件來確定適用的人類視覺亮度范圍； 將所述視頻內容映射到所述測量的響應亮度范圍，以生成中間視頻內容；以及 將所述中間視頻內容映射到所述適用的人類視覺亮度范圍，以生成適用于在所述當前 環境條件下在所述顯示面板上查看的所述視頻內容。7. 根據權利要求1所述的系統，其中所述解碼流水線被進一步配置為分析所述視頻內 容以確定所述一個或多個視頻內容特征，其中所述視頻內容特征包括所述視頻內容的動態 范圍和色彩特征。8. 根據權利要求1所述的系統，其中所述環境條件包括環境光照指標和人類查看者相 對于所述顯示面板的位置。9. 根據權利要求1所述的系統，其中所述顯示面板特征包括所述顯示面板的一個或多 個測量的特征，其中所述測量的特征包括以下各項中的一者或多者:所述顯示面板的測量 的響應、本機白點、漏光、 反射光、或背光水平。10. 根據權利要求1所述的系統，其中所述顯示面板特征包括以下各項中的一者或多 者:所述顯示面板的色域、動態范圍、位深度、或物理尺寸。11. 根據權利要求1所述的系統，其中所述視頻內容為標準動態范圍（SDR)視頻內容或 高動態范圍（HDR)，其中所述顯示面板為支持高動態范圍（HDR)的顯示面板，并且其中所述 經處理的視頻內容為HDR視頻內容。12. 根據權利要求1所述的系統，還包括編碼流水線，所述編碼流水線被配置為： 從視頻源接收視頻數據； 獲取目標顯示面板的一個或多個特征； 根據所述視頻數據的一個或多個特征、所述一個或多個目標顯示面板特征、以及用于 指示所述目標顯示面板處的當前環境條件的一個或多個環境指標來處理所述視頻數據，以 根據由所述環境指標所指示的所述當前環境條件來生成適用于所述目標顯示面板特征的 視頻內容； 根據壓縮視頻格式對適用的視頻內容進行編碼，以生成經編碼的視頻數據；以及 將所述經編碼的視頻數據提供至與所述目標顯示面板相關聯的解碼流水線。13. 根據權利要求1所述的系統，還包括亮度調整模塊，所述亮度調整模塊被配置為： 獲取有關影響顯示面板亮度的一個或多個條件的信息； 根據所獲取的信息來確定對所述顯示面板的亮度水平的調整；以及 根據非線性亮度調整函數按比例增加或減小所述顯示面板亮度，以根據所獲取的信息 來調整所述顯示面板的所述亮度水平； 其中顯示面板對比度不受所述顯示面板亮度的非線性縮放的影響。14. 一種方法，包括： 由在設備上實現的解碼模塊執行： 接收經編碼的視頻數據； 對所述經編碼的視頻數據進行解碼以生成視頻內容； 確定所述視頻內容的一個或多個特征； 確定目標顯示面板的一個或多個特征； 獲取一個或多個當前環境條件； 根據一個或多個視頻處理技術來處理所述視頻內容，其中所述處理包括根據所述視頻 內容特征、所述顯示面板特征、以及所述當前環境條件來調整所述視頻處理技術中的一種 視頻處理技術，以生成適用于在所述當前環境條件下在所述目標顯示面板上查看的視頻內 容；以及 將經處理的視頻內容提供至所述目標顯示面板以用于顯示。15. 根據權利要求14所述的方法，其中所述視頻處理技術包括將所述視頻內容映射到 所述目標顯示面板的色彩空間和位深度中的色域映射技術和色調映射技術，并且其中處理 所述視頻內容包括根據所述當前環境條件來調整被應用于所述視頻內容的所述色域映射 和所述色調映射，以生成適用于在所述當前環境條件下在所述顯示面板上查看的所述視頻 內容。16. 根據權利要求14所述的方法，其中處理所述視頻內容包括： 將所述視頻內容映射到所述目標顯示面板的測量的響應亮度范圍， 以生成中間視頻內容；以及 根據所述當前環境條件來將所述中間視頻內容映射到適用的人類視覺亮度范圍，以生 成適用于在所述當前環境條件下在所述顯示面板上查看的所述視頻內容。17. 根據權利要求14所述的方法，其中所述環境條件包括環境光照指標和人類查看者 相對于所述顯示面板的位置。18. 根據權利要求14所述的方法，其中所述視頻內容為標準動態范圍（SDR)視頻內容或 高動態范圍（HDR)視頻內容中的一者，其中所述顯示面板為支持HDR的顯示面板，并且其中 所述經處理的視頻內容為HDR視頻內容。19. 一種裝置，包括： 編碼流水線，所述編碼流水線被配置為對以高動態范圍表示的輸入視頻數據進行編碼 以生成經編碼的視頻數據;和 解碼流水線，所述解碼流水線被配置為： 對經編碼的視頻數據進行解碼以生成視頻內容； 獲取一個或多個當前環境條件； 根據所述視頻內容的一個或多個特征、所述顯示面板的一個或多個特征、以及所述當 前環境條件來處理所述視頻內容， 以生成適用于在所述當前環境條件下在所述顯示面板上查看的視頻內容；以及 將經處理的視頻內容輸出至所述目標顯示面板以用于顯示。20. 根據權利要求19所述的裝置，其中為了處理所述視頻內容，所述解碼流水線被配置 為根據所述視頻內容特征、所述顯示面板特征、以及所述當前環境條件來將所述視頻內容 映射到所述目標顯示面板的色彩空間和位深度中，以生成適用于在所述當前環境條件下在 所述顯示面板上查看的所述視頻內容。
【文檔編號】G09G5/10GK106030503SQ201580010103
【公開日】2016年10月12日
【申請日】2015年2月25日
【發明人】K·I·格林鮑姆, 過海濤, 潘昊, G·科泰, 白英俊
【申請人】蘋果公司