<listing id="vjp15"></listing><menuitem id="vjp15"></menuitem><var id="vjp15"></var><cite id="vjp15"></cite>
<var id="vjp15"></var><cite id="vjp15"><video id="vjp15"><menuitem id="vjp15"></menuitem></video></cite>
<cite id="vjp15"></cite>
<var id="vjp15"><strike id="vjp15"><listing id="vjp15"></listing></strike></var>
<var id="vjp15"><strike id="vjp15"><listing id="vjp15"></listing></strike></var>
<menuitem id="vjp15"><strike id="vjp15"></strike></menuitem>
<cite id="vjp15"></cite>
<var id="vjp15"><strike id="vjp15"></strike></var>
<var id="vjp15"></var>
<var id="vjp15"></var>
<var id="vjp15"><video id="vjp15"><thead id="vjp15"></thead></video></var>
<menuitem id="vjp15"></menuitem><cite id="vjp15"><video id="vjp15"></video></cite>
<var id="vjp15"></var><cite id="vjp15"><video id="vjp15"><thead id="vjp15"></thead></video></cite>
<var id="vjp15"></var>
<var id="vjp15"></var>
<menuitem id="vjp15"><span id="vjp15"><thead id="vjp15"></thead></span></menuitem>
<cite id="vjp15"><video id="vjp15"></video></cite>
<menuitem id="vjp15"></menuitem>

視頻編解碼系統中結合參考線和幀內預測模式的新型幀內預測方法和裝置與流程

文檔序號:41262680發布日期:2025-03-14 12:35閱讀:11來源:國知局
本發明涉及視頻編解碼系統。具體地,本發明涉及在視頻編解碼系統中透過組合幀內預測模式和一個或多個參考線而使用聯合預測模式的色度幀內預測。
背景技術
::1、通用視頻編碼(vvc)是由itu-t視頻編碼專家組(vceg)的聯合視頻專家組(jvet)和iso/iec運動圖像專家組(mpeg)共同制定的最新國際視頻編碼標準,該標準已作為iso標準發布:iso/iec?23090-3:2021,信息技術-沉浸式媒體的編碼表示-第3部分:通用視頻編碼,2021年2月發布。vvc是在其前身hevc(high?efficiency?video?coding)通過添加更多的編解碼工具來提高編解碼效率,還可以處理各種類型的視頻源,包括3維(3d)視頻信號。2、圖1a說明了包含循環處理的示例性自適應幀間/幀內視頻編碼系統。對于幀內預測,預測數據是根據當前圖片中先前編碼的視頻數據導出的。對于幀間預測112,在編碼器側執行運動估計(me)并且基于me的結果執行運動補償(mc)以提供從其他圖片和運動數據導出的預測數據。開關114選擇幀內預測110或幀間預測112并且所選擇的預測數據被提供給加法器116以形成預測誤差,也稱為殘差。預測誤差然后由變換(t)118和隨后的量化(q)120處理。變換和量化的殘差然后由熵編碼器122編碼以包括在對應于壓縮視頻數據的視頻比特流中。與變換系數相關聯的比特流然后與輔助信息(例如與幀內預測和幀間預測相關聯的運動和編碼模式)以及其他信息(例如與應用于底層圖像區域的環路濾波器相關聯的參數)一起打包。與幀內預測110、幀間預測112和環內濾波器130相關聯的輔助信息被提供給熵編碼器122,如圖1a所示。當使用幀間預測模式時,也必須在編碼器端重構一個或多個參考圖片。因此,經變換和量化的殘差由逆量化(iq)124和逆變換(it)126處理以恢復殘差。然后在重構(rec)128處將殘差加回到預測數據136以重構視頻數據。重構的視頻數據可以存儲在參考圖片緩沖器134中并用于預測其他幀。3、如圖1a所示,輸入的視頻數據在編碼系統中經過一系列處理。由于一系列處理,來自rec128的重構視頻數據可能會受到各種損害。因此,環路濾波器130經常在重構視頻數據被存儲在參考圖片緩沖器134中之前應用于重構視頻數據以提高視頻質量。例如,可以使用去塊濾波器(df)、樣本自適應偏移(sao)和自適應環路濾波器(alf)。可能需要將環路濾波器信息合并到比特流中,以便解碼器可以正確地恢復所需的信息。因此,環路濾波器信息也被提供給熵編碼器122以合并到比特流中。圖1a中,環路濾波器130在重構樣本被存儲在參考圖片緩沖器134中之前被應用于重構視頻。圖1a中的系統旨在說明典型視頻編碼器的示例性結構。它可能對應于高效視頻編碼(hevc)系統、vp8、vp9、h.264或vvc。4、如圖1b所示,解碼器可以使用與編碼器相似或相同的功能塊,除了變換118和量化120之外,因為解碼器只需要逆量化124和逆變換126。替代熵編碼器122,解碼器使用熵解碼器140將視頻比特流解碼為量化的變換系數和所需的編碼信息(例如ilpf信息、幀內預測信息和幀間預測信息)。解碼器側的幀內預測150不需要執行模式搜索。相反,解碼器僅需要根據從熵解碼器140接收的幀內預測信息生成幀內預測。此外,對于幀間預測,解碼器僅需要根據從熵解碼器140接收的幀間預測信息執行運動補償(mc152)而無需運動估計。5、根據vvc,類似于hevc,輸入圖片被劃分為稱為ctu(編碼樹單元)的非重迭方形塊區域。每個ctu都可以劃分為一個或多個較小尺寸的編碼單元(cu)。生成的cu分區可以是正方形或矩形。此外,vvc將ctu劃分為預測單元(pu),作為應用預測過程的單元,例如幀間預測、幀內預測等。6、vvc標準合并了各種新的編碼工具以進一步提高超過hevc標準的編碼效率。與本發明相關之編解碼工具如下所述。7、使用樹狀結構對ctu進行分區8、在hevc中,透過使用表示為編碼樹的四元樹(qt)結構將ctu分割成cu以適應各種局部特征。是否使用幀間(時間)預測或幀內(空間)預測對圖片區域進行編碼的決定是在葉cu層級做出的。根據pu分裂類型,每個葉cu可以進一步分裂為1個、2個或4個pu。在一個pu內部,應用相同的預測過程,并且相關信息在pu的基礎上傳輸到解碼器。在應用基于pu分割類型的預測處理獲得殘差塊之后,葉cu可以根據與cu的編碼樹類似的另一四叉樹結構被劃分為變換單元(tu)。hevc結構的關鍵特征之一是它具有包括cu、pu和tu的多個分區概念。9、圖2示出了采用四叉樹和嵌套多類型樹編碼塊結構將ctu劃分為多個cu,其中粗體塊邊緣表示四叉樹劃分,其余邊緣表示多類型樹劃分。具有嵌套多類型樹分區的四叉樹提供了由cu組成的內容自適應編碼樹結構。cu的大小可以與ctu一樣大,或以亮度樣本為單位小至4×4。對于4:2:0色度格式的情況,最大色度cb尺寸是64×64,最小尺寸色度cb由16個色度樣本組成。10、在vvc中,最大支持的亮度變換大小為64×64,最大支持的色度轉換大小為32×32。當cb的寬度或高度大于最大變換寬度或高度時,cb會自動在水平和/或垂直方向上分割以滿足該方向上的變換尺寸限制。11、為具有嵌套多類型樹編碼樹方案的四叉樹定義了以下參數。這些參數由sps(序列參數集)語法元素指定,并且可以透過圖片頭語法元素進一步細化。12、–ctu大小:四叉樹的根節點大小13、–minqtsize:允許的最小四元樹葉節點大小14、–maxbtsize:允許的最大二元樹根節點大小15、–maxttsize:允許的最大三叉樹根節點大小16、–maxmttdepth:四叉樹葉分裂多類型樹所允許的最大層次深度17、–mincbsize:允許的最小編碼塊節點大小18、在具有嵌套多類型樹編碼樹結構的四叉樹的一個范例中,ctu大小設定為128×128亮度樣本,具有兩個對應的64×64塊4:2:0色度樣本,minqtsize設定為16×16,maxbtsize設定為128×128,maxttsize設定為64×64,mincbsize(寬度與高度)設定為4×4,maxmttdepth設定為4。四元樹分區應用于ctu先產生四叉樹的葉節點。四叉樹葉節點的尺寸可以從16×16(即,minqtsize)到128×128(即,ctu尺寸)。如果葉qt節點是128×128,則由于大小超過了maxbtsize和maxttsize(即64×64),因此它不會被二元樹進一步分割。否則,葉qdtree節點可以透過多類型樹進一步劃分。因此,四叉樹葉節點也是多類型樹的根節點,其多類型樹深度(mttdepth)為0。當多類型樹深度達到maxmttdepth(即4)時,被認為不再進行進一步分裂。當多類型樹節點的寬度等于mincbsize時,不再考慮進一步的水平分割。類似地,當多類型樹節點的高度等于mincbsize時,不再考慮進一步的垂直分裂。19、在vvc中,編碼樹方案支持亮度和色度具有單獨的塊樹結構的能力。對于p和b切片,一個ctu中的亮度和色度ctb必須共享相同的編碼樹結構。然而,對于i切片,亮度和色度可以具有單獨的塊樹結構。當應用分離塊樹模式時,透過一種編碼樹結構將亮度ctb劃分為cu,并且透過另一種編碼樹結構將色度ctb劃分為色度cu。這意味著i切片中的cu可以由亮度分量的編碼塊或兩個色度分量的編碼塊組成,而p或b切片中的cu始終由所有三個色彩分量的編碼塊組成,除非圖片是單色。20、幀內色度劃分與預測限制21、在典型的硬件視頻編碼器和解碼器中,當圖片具有較小的幀內塊時,由于相鄰幀內塊之間的樣本處理數據依賴性,處理吞吐量會下降。幀內塊的預測子產生需要來自相鄰塊的頂部和左邊界重構樣本。因此,幀內預測必須逐塊順序處理。22、在hevc中,最小的幀內cu是8x8亮度樣本。這最小幀內cu的亮度分量可以進一步分割成4個4x4亮度幀內預測單元(pu),但最小幀內cu的色度分量不能再分割。因此,當處理4x4色度幀內塊或4x4亮度幀內塊時,會出現最壞情況的硬件處理吞吐量。在vvc中,為了提高最壞情況下的吞吐量,透過限制色度樣本的分區,不允許小于16個色度樣本(大小為2x2、4x2和2x4)的色度幀內cb和寬度小于4個色度樣本(大小為2xn)的幀內色度cb。23、在單編碼樹中,最小色度幀內預測單元(scipu)被定義為色度塊大小大于或等于16個色度樣本并且具有至少一個小于64個亮度樣本的子亮度塊的編碼樹節點,或者色度塊大小不為2xn且至少有一個子亮度塊4xn亮度樣本的編碼樹節點。要求在每個scipu中,所有cb都是幀間的,或者所有cb都是非幀間的,即幀內或幀內塊復制(ibc)。在非幀間scipu的情況下,也要求非幀間scipu的色度不應被進一步分割且scipu的亮度被允許進一步分割。這樣,尺寸小于16個色度樣本或尺寸為2xn的小色度幀內cb被去除。此外,在非幀間scipu的情況下不應用色度縮放。這里,沒有用信號通知附加語法,可以透過scipu中的第一個亮度cb的預測模式來導出scipu是否是非幀間的。如果當前切片是i-slice或當前scipu進一步分割一次后其中有4x4亮度分區,則推斷scipu的類型為非幀間(因為vvc中不允許幀間4x4);否則,在解析scipu中的cu之前,先透過一個標志來指示scipu的類型(幀間或非幀間)。24、對于幀內圖片中的雙樹,透過分別停用4xn和8xn色度分割區的垂直二元和垂直三元分割來刪除2xn幀內色度塊。尺寸為2x2、4x2和2x4的小色度塊也透過分割限制被刪除。25、此外,透過考慮圖片寬度和高度為max(8,mincbsizey)的倍數,考慮對圖片尺寸的限制,以避免圖片角落的2x2/2x4/4x2/2xn幀內色度塊。26、具有67種幀內預測模式的幀內模式編碼27、為了捕獲自然視頻中呈現的任意邊緣方向,vvc中的方向幀內模式的數量從hevc中使用的33個擴展到65個。hevc中沒有的新方向模式在圖3中被描繪為虛線箭頭、平面和dc模式保持不變。這些更密集的方向幀內預測模式適用于所有塊大小以及亮度和色度幀內預測。28、在vvc中,針對非正方形塊,幾種傳統的角度幀內預測模式被自適應地替換為廣角(wide-angle)幀內預測模式。29、在hevc中,每個幀內編碼塊具有正方形形狀并且其每條邊的長度是2的冪。因此,不需要除法運算來使用dc模式生成幀內預測子。在vvc中,塊可以具有矩形形狀,這在一般情況下需要對每個塊使用除法運算。為了避免dc預測的除法操作,只有較長的邊用于計算非方形塊的平均值。30、為了保持最可能模式(mpm)列表生成的復雜度較低,通過考慮兩個可用的相鄰幀內模式,使用具有6個mpm的幀內模式編碼方法。構建mpm列表考慮以下三個方面:31、–默認幀內模式32、–相鄰幀內模式33、–導出的幀內模式。34、統一的6-mpm列表用于幀內塊,而不管是否應用mrl和isp編碼工具。mpm列表是基于左側和上方相鄰塊的幀內模式構建的。假設左邊的模式記為left,上方塊的模式記為above,則統一的mpm列表構造如下:35、–當相鄰塊不可用時,其幀內模式默認設置為平面。36、–如果left和above兩種模式都是非角度模式:37、–mpm列表→{平面,dc,v,h,v-4,v+4}38、–如果left和above模式之一是角度模式,另一個是非角度模式:39、–將模式max設置為left和above中的較大模式40、–mpm列表→{平面,max,max-1,max+1,max–2,max+2}41、–如果left和above都是有角度的并且它們不同:42、–將模式max設置為left和above中的較大模式43、–如果max-min=1,44、·mpm列表→{平面,left,above,min-1,max+1,min-2}45、-否則,如果max-min大于或者等于62:46、·mpm列表→{平面,left,above,min+1,max-1,min+2}47、–否則,如果max-min=2:48、·mpm列表→{平面,left,above,min+1,min-1,max+1}49、–否則:50、·mpm列表→{平面,left,above,min-1,-min+1,max-1}51、–如果left與above都是角度模式并且相同:52、–mpm列表→{平面,left,left-1,left+1,left-2,left+2}53、此外,mpm索引碼字的第一個二進制碼(bin)是cabac上下文編碼的。總共使用了三個上下文,對應于當前幀內塊是啟用mrl、啟用isp還是正常幀內塊。54、在6mpm列表生成過程中,修剪用于去除重復的模式,使得只有獨特的模式可以被包括到mpm列表中。對于61種非mpm模式的熵編碼,使用截斷二進制代碼(truncated?binarycode,tbc)。55、非方形塊的廣角幀內預測56、常規角度幀內預測方向被定義為順時針方向從45度到-135度。在vvc中,幾種傳統的角度幀內預測模式被自適應地替換為非方形塊的廣角幀內預測模式。替換的模式使用原始模式索引發出信號,原始模式索引在解析后重新映像到廣角模式的索引。幀內預測模式總數不變,即67,幀內模式編碼方式不變。57、為了支持這些預測方向,分別如圖4a和圖4b所示定義了長度為2w+1的頂部參考和長度為2h+1的左側參考。58、廣角方向模式中替換模式的數量取決于塊的縱橫比。替換的幀內預測模式如表1所示。59、表1–被廣角模式取代的幀內預測模式60、61、在vvc中,支持4:2:2、4:4:4以及4:2:0色度格式。4:2:2色度格式的色度導出模式(derived?mode,dm)推導表最初是從hevc移植的,將條目數從35擴展到67,以與幀內預測模式的擴展保持一致。由于hevc規范不支持-135°以下和45°以上的預測角度,亮度幀內預測模式從2到5映像到2。因此,4:2:2色度格式的色度dm推導表更新方式是替換映像表條目的一些值,以更精確地轉換色度塊的預測角度。62、色度dm模式63、對于色度dm模式,直接繼承覆蓋當前色度塊中心位置的對應(并置)亮度塊的幀內預測模式。64、4抽頭插值濾波器和參考樣本平滑65、利用四抽頭幀內插值濾波器來提高方向幀內預測精度。在hevc中,使用兩抽頭線性插值濾波器來產生方向預測模式下的幀內預測塊(即,排除平面和dc預測子)。在vvc中,兩組4抽頭if取代了hevc中的低精度線性內插,其中一組是基于dct的插值濾波器(dctif),另一組是4抽頭平滑插值濾波器(sif)。dctif的建構方式與hevc和vvc中色度分量運動補償所使用的方式相同。sif是將2抽頭線性插值濾波器與[1?2?1]/4濾波器進行卷積而獲得的。66、根據幀內預測模式,執行以下參考樣本處理:67、–定向幀內預測模式分為以下組別之一:68、·a組:垂直或水平模式(hor_idx、ver_idx),69、·b組:代表非分數角的方向模式(-14、-12、-10、-6、2、34、66、72、76、78、80)和平面模式,70、·c組:剩余方向模式;71、–如果定向幀內預測模式被分類為屬于a組,則不對參考樣本套用濾波器來產生預測樣本;72、–否則,如果模式屬于b組且該模式是方向模式,且以下所有條件都為真,則可以套用[1,2,1]參考樣本濾波器(取決于mdis條件)來參考樣本以根據所選方向將這些濾波后的值進一步復制到幀內預測子中,但不套用插值濾波器:73、·refidx等于0(無mrl)74、·tu大小大于3275、·亮度76、·無isp阻止77、–否則,如果模式被分類為屬于c組,mrl(多參考線)索引等于0,且當前塊不是isp塊,則僅將內部參考樣本插值濾波器應用于參考樣本以產生根據選定方向落入參考樣本之間的分數或整數位置的預測樣本(不執行參考樣本濾波)。插值濾波器類型確定如下:78、·將mindistverhor設定為等于min(abs(predmodeintra-50),abs(predmodeintra-18))79、·設定ntbs等于(log2(w)+log2(h))>>180、·設定intrahorverdistthres[ntbs],如下表2所示:81、表2–intrahorverdistthres[ntbs]表82、83、–如果mindistverhor大于intrahorverdistthres[ntbs],則使用sif進行內插84、–否則,使用dctif進行內插85、解碼器端幀內模式導出(decoder-side?intra?mode?derivation,dimd)色度模式86、dimd色度模式采用dimd推導方法,基于第二相鄰行和列中的相鄰重構y、cb和cr樣本推導當前塊的色度幀內預測模式,如圖5所示。在圖5中,區域510、520和530對應于并置y塊、當前cb塊和當前cr塊。區域510、520和530外部的圓圈對應于相應的相鄰重構樣本。灰色圓圈表示確定dimd梯度的樣本位置。具體地,針對當前色度塊的每個并置的重構亮度樣本以及重構的cb和cr樣本計算水平梯度和垂直梯度,以構建hog。接著采用直方圖幅度值最大的幀內預測模式對當前色度塊進行色度幀內預測。87、當從dimd色度模式導出的幀內預測模式與從dm模式導出的幀內預測模式相同時,使用直方圖幅度值第二大的幀內預測模式作為dimd色度模式。88、以信號傳送cu等級標志以指示是否套用建議的dimd色度模式,如表3所示。89、表3.所提出方法中intra_chroma_pred_mode的二值化過程90、91、根據此方法,dm模式和四種默認模式可以與mmlm_lt模式融合,如下所示:92、pred=(w0*pred0+w1*pred1+(1<<(shift-1)))>>shift,(1)93、其中pred0是應用non-lm模式所獲得的預測子,pred1是應用mmlm_lt模式所獲得的預測子,pred是當前色度塊的最終預測子。兩個權重w0和w1由相鄰色度塊的幀內預測模式決定,且shift設定等于2。具體地,當上、左相鄰塊均采用lm模式編碼時,{w0,w1}={1,3};當上、左相鄰塊皆采用非lm模式編碼時,{w0,w1}={3,1};否則,{w0,w1}={2,2}。94、對于語法設計,如果選擇非lm模式,則以信號傳送一個標志以指示是否套用融合。且所提出的融合僅適用于i切片。95、具有融合功能的dimd色度模式96、dimd色度模式和色度幀內預測融合模式結合。具體地,應用所描述的dimd色度模式,并且對于i切片,dm模式、四種默認模式和dimd色度模式可以使用所描述的權重與mmlm_lt模式融合,而對于非i切片,僅dimd色度模式可以使用相同的權重與mmlm_lt模式融合。97、跨分量線性模型(cclm)預測98、為了減少跨分量冗余,vvc中使用跨分量線性模型(cclm)預測模式,根據同一cu的重構亮度樣本,使用線性模型來預測色度樣本,如下:99、predc(i,j)=α·recl′(i,j)+β?????????????????????????????????(2)100、其中pred_c(i,j)表示cu中的預測色度樣本,rec_l'(i,j)表示同一cu的下采樣重構亮度樣本。101、cclm參數(α和β)是透過最多四個相鄰色度樣本及其對應的下采樣亮度樣本導出的。假設當前色度塊尺寸為w×h,則w'和h'設定為102、當套用lm_la(即同時使用左側和上方模板)模式時,w'=w,h'=h;103、當采用lm_a(即僅使用上方模板)模式時,w’=w+h;104、當套用lm_l(即僅使用左側模板)模式時,h’=h+w。105、上方模板也稱為頂部模板,且lm_la和lm_a也可以稱為lm_lt和lm_t模式。有時,這些模式也稱為cclm_lt、cclm_l和cclm_t模式。它們也可以簡稱為lm模式。上面相鄰的位置記為s[0,-1]…s[w'-1,-1],左相鄰位置記為s[-1,0]…s[-1,h'-1]。然后選取四個樣本為106、s[w'/4,-1],s[3*w'/4,-1],s[-1,h'/4],s[-1,3*h'/4],當lm模式被應用并且上方和左側的相鄰樣本都可用;107、s[w'/8,-1],s[3*w'/8,-1],s[5*w'/8,-1],s[7*w'/8,-1],當應用lm-a模式或只有上方相鄰樣本可用;108、s[-1,h'/8],s[-1,3*h'/8],s[-1,5*h'/8],s[-1,7*h'/8],當應用lm-l模式或只有左側相鄰樣本可用。109、所選位置的四個相鄰亮度樣本被下采樣并比較四次以找到兩個較大的值:x0a和x1a,以及兩個較小的值:x0b和x1b。它們對應的色度樣本值表示為y0a,y1a,y0b和y1b。然后xa,xb,ya和yb導出為:110、xa=(x0a+x1a+1)>>1;111、xb=(x0b+x1b+1)>>1;112、ya=(y0a+y1a+1)>>1;113、yb=(y0b+y1b+1)>>1114、(3)115、最后,根據以下等式獲得線性模型參數α和β。116、117、β=yb-α·xb??(5)118、圖6給出了lm_la模式(線性模式_左側與上方)涉及的左上方樣本和當前塊樣本的位置示例。圖6顯示了n×n色度塊610、相應的2n×2n亮度塊620及其相鄰樣本(顯示為實心圓)的相對樣本位置。119、計算參數α的除法運算是通過查找表實現的。為了減少存儲表所需的內存,diff值(最大值和最小值之間的差)和參數α用指數表示法表示。例如,diff由一個4位有效部分和一個指數來近似。因此,對于16個有效數值,1/diff的表被簡化為16個元素,如下所示:120、divtable?[?16]?=?{?0,?7,?6,?5,?5,?4,?4,?3,?3,?2,?2,?1,?1,?1,?1,?0?}?(6)121、這將有利于降低計算的復雜性以及存儲所需表格所需的內存大小。122、除了上部模板和左模板可以一起用于計算線性模型系數外,它們還可以在其他2種lm模式中交替使用,稱為lm_a和lm_l模式。123、在lm_a模式下,僅使用上部模板計算線性模型系數。為了獲得更多樣本,將上方模板擴展為(w+h)個樣本。在lm_l模式下,只使用左模板計算線性模型系數。為了獲得更多樣本,將左模板擴展為(h+w)個樣本。124、在lm_la模式下,左側和上方模板用于計算線性模型系數。125、為了匹配4:2:0視頻序列的色度樣本位置,將兩種類型的下采樣濾波器應用于亮度樣本,以在水平和垂直方向上實現2:1的下采樣率。下采樣濾波器的選擇由sps級別標志指定。兩個下采樣濾波器如下,分別對應“類型-0”和“類型-2”內容。126、recl′(i,j)=[recl(2i-1,2j-1)+2·recl(2i-1,2j-1)+recl(2i+1,2j-1)+recl(2i-1,2j)+2·recl(2i,2j)+recl(2i+1,2j)+4]>>3???????????????(7)127、recl′(i,j)=recl(2i,2j-1)+recl(2i-1,2j)+4·recl(2i,2j)+recl(2i+1,2j)+recl(2i,2j+1)+4]>>3?????????????????????????(8)128、請注意,當上參考線(line)位于ctu邊界時,只有一條亮度線(幀內預測中的一般線緩沖區)用于進行下采樣。129、該參數計算作為解碼過程的一部分執行,而不僅僅是作為編碼器搜索操作。因此,沒有語法用于將α和β值傳送給解碼器。130、對于色度幀內模式編碼,總共允許8種幀內模式用于色度幀內模式編碼。這些模式包括五種傳統幀內模式和三種跨分量線性模型模式(lm_la,lm_l,與lm_a}。色度模式信令和推導過程如表4所示。色度模式編碼直接取決于相應亮度塊的幀內預測模式。由于在i切片中啟用了用于亮度和色度分量的單獨塊劃分結構,所以一個色度塊可以對應于多個亮度塊。因此,對于色度導出(chroma?dm)模式,直接繼承復寫當前色度塊中心位置的對應亮度塊的幀內預測模式。131、表-4–當cclm使能時,從亮度模式導出色度預測模式132、133、134、如表5所示,無論sps_cclm_enabled_flag的值,使用一單獨的二進制表。135、表5–色度預測模式之統一二進制表136、137、在表5中,第一個二進制碼表示它是常規(0)還是cclm模式(1)。如果是lm模式,則下一個二進制碼表示是否為lm_la(0)。如果不是lm_la,則下一個二進制碼表示是lm_l(0)還是lm_a(1)。對于這種情況,當sps_cclm_enabled_flag為0時,可以在熵編碼之前丟棄相應intra_chroma_pred_mode的二值化表的第一個二進制碼。或者,換句話說,第一個二進制碼被推斷為0,因此未被編碼。此單個二值化表用于sps_cclm_enabled_flag等于0和1的情況。表5中的前兩個二進制碼使用其自己的上下文模型進行上下文編碼,其余二進制碼進行旁路編碼。138、此外,為了減少雙樹中的亮度色度延遲,當64x64亮度編碼樹節點使用不分區(notsplit)(并且isp不用于64x64?cu)或qt進行分區時,32x32/32x16色度編碼中的色度cu樹節點可以通過以下方式使用cclm:139、–如果32x32色度節點不分區或分區qt分區,則32x32節點中的所有色度cu都可以使用cclm;140、–如果32x32色度節點采用水平bt劃分,32x16子節點不分區或使用垂直bt分區,則32x16色度節點中的所有色度cu都可以使用cclm。141、在所有其他亮度和色度編碼樹分區條件下,cclm不允許用于色度cu。142、多模型cclm(mmlm)143、在jem(j.chen、e.alshina、g.j.sullivan、j.-r.ohm和j.boyce,聯合探索測試模型7的算法描述,文件jvet-g1001,itu-t/iso/iec聯合視頻開發小組(jvet),2017年7月),提出了多模型cclm模式(multiple?model?cclm?mode,mmlm),用于使用兩個模型從整個cu的亮度樣本預測色度樣本。在mmlm中,將當前塊的相鄰亮度樣本和相鄰色度樣本分為兩組,每組作為訓練集推導線性模型(即針對特定組推導特定的α和β)。此外,當前亮度塊的樣本也基于與相鄰亮度樣本的分類相同的規則進行分類。144、圖7顯示了將相鄰樣本分為兩組的示例。閾值計算為相鄰重構亮度樣本的平均值。rec′l[x,y]<=閾值的相鄰樣本被分類為第1組;而rec′l[x,y]>閾值的相鄰樣本被分類為第2組。145、146、自感知濾波器估計(self-aware?filter?estimation)cclm147、公開了一種自感知濾波器估計cclm(safe-cclm)方法,以探索多個下采樣濾波器的優點,而無需用信號發送濾波器索引。使用safe-cclm,預先定義了n個候選亮度下采樣濾波器。當應用safe-cclm時,首先以與ecm相同的方式為每個候選濾波器匯出亮度和色度分量之間的線性模型。其次,使用測試區域中的每個線性模型計算預測值,該測試區域包括一列左相鄰樣本和一行上方相鄰樣本。第三,為每個候選濾波器計算重構樣本與其在測試區域中的相應預測值之間的sad(絕對差和)成本。最后,選擇sad成本最小的候選濾波器作為下采樣濾波器,并對當前塊進行cclm預測。當cclm被指示用于塊時,用信號發送safe-cclm標志以進一步指示是否應用safe-cclm。148、使用safe-cclm,預先定義了n個候選亮度下采樣濾波器。如圖8所示,4:2:0顏色格式的下采樣濾波過程執行為149、rec'l(x,y)={c0recl(2x-1,2y)+c1recl(2x,2y)+c2recl(2x+1,2y)+150、c3recl(2x-1,2y+1)+c4recl(2x,2y+1)+c5recl(2x+1,2y+1)+4}>>3,151、其中recl(x,y)和rec'l(x,y)是位置(x,y)處下采樣濾波之前和之后的重構亮度樣本,{c0,c1,c2,c3,c4,c5}是濾波系數。需要說明的是,當前ecm中{c0,c1,c2,c3,c4,c5}被設定為{1,2,1,1,2,1}。safe-cclm預先定義了n個具有不同系數的候選亮度采樣濾波器。152、圖9示出了safe-cclm的流程圖。首先,當應用safe-cclm時,以與每個候選濾波器的ecm中相同的方式匯出當前塊910的亮度和色度分量之間的線性模型。其次,使用測試區域中的每個線性模型計算預測值,該測試區域包括一列左相鄰樣本和一行上方相鄰樣本。第三,針對每個濾波器候選計算重構色度樣本和它們在測試區域(區域912和914)中的對應預測值之間的sad成本。最后,選擇具有最小sad成本的濾波器候選(920)作為下采樣濾波器以對當前塊執行cclm預測。153、當cclm被指示用于塊時,用信號發送safe-cclm標志以進一步指示是否應用safe-cclm。154、根據safe-cclm,對于n=32,濾波器候選集列于表6中。155、表6.n=32時的濾波候選集156、157、158、雖然cclm模式可以提高編碼效率,但需要開發技術來進一步提高色度幀內預測的效率。技術實現思路1、公開了一種用于視頻編解碼的方法和裝置。根據該方法,接收與當前塊相關聯的輸入數據,其中輸入數據包括要在編碼器側編碼的當前塊的像素數據或與要在解碼器側解碼的當前塊相關聯的已編碼數據。確定一聯合預測候選集合,其中每個聯合預測候選對應于來自一組幀內預測模式候選的幀內預測模式和來自一組參考線候選的一個或多個參考線中的一個或多個參考樣本的組合。從聯合預測候選集合中確定目標聯合預測候選。透過使用包括目標聯合預測候選的一個或多個預測子來對當前塊進行編碼或解碼。2、在一實施例中,所述一或多個參考樣本包括當前塊的一或多個不相鄰的鄰近線中的一或多個預測樣本或一或多個重構樣本。在一實施例中,所述一或多個參考樣本進一步包括當前塊的相鄰線中的一或多個預測樣本或一或多個重構樣本。3、在一個實施例中,指示來自聯合預測候選集合的目標聯合預測候選的索引在編碼器側用信號發送或在解碼器側解析。4、在一個實施例中,根據與聯合預測候選集合的成員相關聯的成本測量將一組索引對應到該聯合預測候選集合。在一個實施例中,成本測量對應于聯合預測候選集合的成員的邊界匹配成本或模板匹配成本。在一個實施例中,根據成本測量對聯合預測候選集合進行重新排序,并且將最短碼字分配給具有最小成本測量的目標索引。在一個實施例中,指示當前塊的聯合預測候選集合中的目標聯合預測候選的目標索引在編碼器側用信號發送或在解碼器側解析。在一個實施例中,將具有最小成本測量的前k個聯合預測候選映像到索引集合,并且k是正整數。在一個實施例中,當k等于1時,在編碼器側不用信號發送指示當前塊的聯合預測候選集合中的目標聯合預測候選的目標索引,或在解碼器側推斷目標索引。5、在一個實施例中,該組幀內預測模式候選包括所有可用的幀內預測模式或所述所有可用的幀內預測模式的子集。6、在一個實施例中,根據當前塊的塊大小來確定幀內預測模式候選組、參考線候選組或兩者。7、在一個實施例中,目標聯合預測候選被用來取代原始的幀內預測。在一個實施例中,目標聯合預測候選是否用于替換原始幀內預測是根據用信號發送的語法來啟用還是停用,或者是隱式確定的。8、在另一實施例中,在目標聯合預測候選和原始幀內預測之間選擇最終幀內預測。在一個實施例中,目標聯合預測候選是否用于替換原始幀內預測是根據用信號發送的語法來啟用還是停用,或者是隱式確定的。9、在一個實施例中,目標聯合預測候選用于對當前塊的色度塊進行編碼或解碼,并且用于色度mrl(多參考線)預測的幀內預測模式候選組包括平面、垂直、水平、dc、一個或更多lm模式、色度dm、dimd色度模式、對角線(dia)、vdia(67種幀內預測模式中的模式66)或其任意組合。當前第1頁12當前第1頁12
當前第1頁1 2 
網友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
韩国伦理电影