一種深度圖像空洞的自動填充方法與流程

本發明涉及深度圖像空洞填充技術，從彩色圖像的結構相似性出發，求解空洞像素點的多尺度結構相似性，將空洞像素分為平滑區域空洞像素和非平滑區域空洞像素，并針對不同的空洞像素，采用不同的填充算法。在平滑區域空洞的填充過程中，利用最短距離聚類算法對深度圖像的像素深度進行聚類，并將像素間的結構相似性作為權重，對空洞像素的深度進行求解；對于非平滑區域像素，利用一階泰勒逼近算法，結合雙邊濾波權重項的設計，求解平滑區域空洞像素深度值。

背景技術：

深度圖像的出現為各類計算機視覺的應用開辟了新的道路，并在物體識別，三維重建等應用中發揮著重要的作用。近年來，深度圖像的空洞填充備受關注，其目的是可以利用填補后的深度圖像中的深度數據,為三維重建等過程提供有效的數據。由于深度圖像的空洞含有很多重要的信息，提取這些信息，并將它們增強到三維重建的過程中，從而在重建過程中獲取真實感細節，這樣可以克服三維重建后部分細節信息丟失問題。目前深度圖像的空洞填充技術的研究雖然取得了一些成果，但是如何充分利用深度圖像對應的彩色圖像增強空洞邊緣細節信息，仍然是研究中亟待解決的關鍵問題。

技術實現要素：

本發明的目的是提供一種深度圖像空洞的自動填充方法，該方法能夠實現空洞的有效填充，可以在空洞填充過程中增強空洞處物體邊緣的細節，克服填充后物體邊緣細節突出的問題。

本發明的目的是這樣實現的：

一種深度圖像空洞的自動填充方法，特點是：對Kinect設備采集的深度圖像中存在的空洞進行自動填充，具體包括以下步驟：

步驟1：將空洞分為平滑區空洞和非平滑區空洞

為了將空洞分為平滑區域空洞和非平滑區域空洞,首先,計算圖像中任意像素與其周圍鄰域像素的結構相似性，然后，再根據多尺度結構相似性，將圖像中空洞分為平滑區域空洞和非平滑區域空洞。

具體地，利用公式(1)計算圖像中任意空洞像素p與它的任意3×3鄰域中的像素q_i(i＝1,2...8)的結構相似性SSIM(p,q_i)；其中p的3×3鄰域記為B₁,q_i的3×3鄰域記為B_i；

SSIM(p,q_i)＝[l(B₁,B_i)]^α·[c(B₁,B_i)]^β·[s(B₁,B_i)]^γ (1)

其中α，β，γ是預設的權重，設為α＝1，β＝1，γ＝1；l(B₁,B_i)是亮度比較函數,計算為：

c(B₁,B_i)是對比度比較函數,計算為：

s(B₁,B_i)是結構比較函數,計算為：

其中，和分別是B₁和B_i中所有像素灰度的平均值，和分別是B₁和B_i中所有像素灰度的方差,σ是B₁和B_i之間像素灰度的協方差；

其中C₁＝(K₁L)²,C₂＝(K₂L)²,K₁是常量0.01,K₂是常量0.02,L是常量255；

然后,計算多尺度結構相似性；具體地,利用B₁中各個像素的結構相似性計算p點的多尺度結構相似性MSSIM_p：

其中N表示p點鄰域彩色圖像中像素的個數；

利用預設閾值ε，將空洞像素分為平滑區域空洞像素和非平滑區域空洞像素；若滿足MSSIM_p>ε，那么p為平滑區空洞像素；若MSSIM<ε,那么p為非平滑區空洞像素；

步驟2：對于深度圖像中任意平滑區空洞進行填充

首先，利用最短距離算法對所有像素的深度進行聚類；對于深度圖像中任意兩個非空洞像素X和Y,如果它們滿足公式(6)，那么將它們聚為同一類；

|d_X-d_Y|<T (6)

其中d_X表示像素X的深度值，d_Y表示像素Y的深度值，T表示兩像素間深度差異的閾值。空洞像素p的深度F利用公式(7)計算；

E_i是有效像素q_i的深度,n表示p點鄰域中有效像素的個數；

步驟3：對于深度圖像中任意非平滑區空洞進行填充

對于非平滑區域空洞像素點的填充，利用p點的鄰域B₁中有效像素q_i進行求解，求解公式如下：

其中表示有效像素q_i深度的梯度,w(p,q_i)代表權重項，其計算為：

w(p,q_i)＝w_d(p,q_i)w_c(p,q_i)w_m(p,q_i) (9)

其中w_d(p,q_i)，w_c(p,q_i)以及w_m(p,q_i)分別是距離權重項、顏色權重項和多尺度結構相似性權重項；它們的計算分別為：

其中符號||·||²表示2-范式；x表示p點的坐標，y表示q_i點的坐標；表示當前像素p與域像素q_i歐式距離的方差；表示像素p的鄰域像素灰度的方差，是像素p的鄰域像素多尺度結構相似性的方差；I_p和分別表示彩色圖像中像素p和像素q_i的灰度值；表示q_i點的多尺度結構相似性。

本發明利用深度圖像，能夠實現空洞的有效填充，能在空洞填充過程中增強空洞處物體邊緣的細節，克服填充后物體邊緣細節突出的問題，進一步實施例證明了本發明的實驗效果，實現深度圖像空洞的有效填充，適用于包括Kinect獲取的深度圖像等。

附圖說明

圖1為本發明實施例Kinect獲取的深度聚類結果圖；

圖2為本發明實施例Kinect獲取的深度圖像空洞填補結果圖。

實施例

下面結合附圖對于發明進一步說明。

本實施例采用Kinect獲取的深度數據進行實驗。在Windows7操作系統的PC機上進行實驗，硬件配置是1.80GHzCore^TMi5-3337U CPU、4GB RAM。實驗平臺是VS2010。

本發明對Kinect設備采集的深度圖像中存在的空洞,采用以下步驟進行處理,即可以實現空洞的自動填充。

步驟1：將空洞分為平滑區空洞和非平滑區空洞

為了將空洞分為平滑區域空洞和非平滑區域空洞,首先,計算圖像中任意像素與其周圍鄰域像素的結構相似性,然后,再根據多尺度結構相似性,將圖像中空洞分為平滑區域空洞和非平滑區域空洞。具體地,利用公式(1)計算圖像中任意空洞像素p與它的任意3×3鄰域中的像素q_i(i＝1,2...8)的結構相似性SSIM(p,q_i)。其中p的3×3鄰域記為B₁,q_i的3×3鄰域記為B_i。

SSIM(p,q_i)＝[l(B₁,B_i)]^α·[c(B₁,B_i)]^β·[s(B₁,B_i)]^γ (1)

其中α，β，γ是預設的權重，設為α＝1，β＝1，γ＝1。l(B₁,B_i)是亮度比較函數,計算為：

c(B₁,B_i)是對比度比較函數,計算為:

s(B₁,B_i)是結構比較函數,計算為:

其中，和分別是B₁和B_i中所有像素灰度的平均值,和分別是B₁和B_i中所有像

素灰度的方差,σ是B₁和B_i之間像素灰度的協方差。

其中C₁＝(K₁L)²,C₂＝(K₂L)²,K₁是常量0.01,K₂是常量0.02,L是常量255。

然后,計算多尺度結構相似性。具體地,利用B₁中各個像素的結構相似性計算p點的多尺度結構相似性MSSIM_p：

其中N表示p點鄰域彩色圖像中像素的個數。

進一步利用預設閾值ε，將空洞像素分為平滑區域空洞像素和非平滑區域空洞像素。具體地，如果滿足MSSIM_p>ε，那么p為平滑區空洞像素；如果MSSIM<ε,那么p為非平滑區空洞像素。

步驟2：對于深度圖像中任意平滑區空洞進行填充

首先，利用最短距離算法對所有像素的深度進行聚類；對于深度圖像中任意兩個非空洞像素X和Y,如果它們滿足公式(6)，那么將它們聚為同一類；

|d_X-d_Y|<T (6)

其中d_X表示像素X的深度值，d_Y表示像素Y的深度值，T表示兩像素間深度差異的閾值。空洞像素p的深度F利用公式(7)計算。

E_i是有效像素q_i的深度,n表示p點鄰域中有效像素的個數。

步驟3：對于深度圖像中任意非平滑區空洞進行填充

對于非平滑區域空洞像素點的填充，利用p點的鄰域B₁中有效像素q_i進行求解，求解公式如下：

其中表示有效像素q_i深度的梯度,w(p,q_i)代表權重項，其計算為：

w(p,q_i)＝w_d(p,q_i)w_c(p,q_i)w_m(p,q_i) (9)

其中w_d(p,q_i)，w_c(p,q_i)以及w_m(p,q_i)分別是距離權重項、顏色權重項和多尺度結構相似性權重項。它們的計算分別為：

其中符號||·||²表示2-范式；x表示p點的坐標，y表示q_i點的坐標；表示當前像素p與鄰域像素q_i歐式距離的方差；表示像素p的鄰域像素灰度的方差，是像素p的鄰域像素多尺度結構相似性的方差。I_p和分別表示彩色圖像中像素p和像素q_i的灰度值；表示q_i點的多尺度結構相似性。

本發明利用深度圖像，能在空洞填充過程中增強物體邊緣的細節，能夠實現空洞的有效填充，克服填充后物體邊緣細節填充不準確的問題，進一步實例證明了本發明的實驗效果，實現深度圖像空洞邊緣的有效填充，適用于包括Kinect獲取的深度圖像。

圖1是利用Kinect采集的深度圖像進行聚類的結果。在圖1中,左圖是利用Kinect采集得到的帶有空洞的深度圖像,右圖是利用該方法處理時,得到的深度圖像聚類的結果,從圖中的深度聚類結果可以明顯看出，利用本發明對深度圖像進行深度聚類結果的有效性。

圖2是本發明實施例對深度圖像的空洞進行填充的結果圖，在圖2中,左圖是利用Kinect采集得到的帶有空洞的深度圖像,右圖是利用該方法處理得到的填充后的深度圖像,在深度圖像的自動分類結果中得到的結果圖，從圖中的結果可以看出，填充深度圖結果邊緣細節突出。