檢測和跟蹤可變形對象的方法

專利名稱：檢測和跟蹤可變形對象的方法
技術領域：
本發明通常涉及對象檢測，并且更特別地涉及可變形對象的檢測和跟蹤。
背景技術：
本申請要求于2005年8月3日提交的美國臨時申請No.60/705,061的優先權，在此引入該申請作為參考。
如本領域所公知的那樣，常常希望從其它對象的背景和/或從噪聲的背景中檢測和分割對象。例如，一種應用是在MRI中，其中希望對患者的解剖學特征(諸如患者的脊椎)進行分割。在其它情況下，可能希望對移動的、可變形的解剖學特征(諸如心臟)進行分割。
在1988年，Osher和Sethian在題為“Fronts propagation with curvaturedependent speedAlgorithms based on Hamilton-Jacobi formulations”(J.of Comp.Phys.，7912-49，1988年)的論文中介紹了水平集(the level set)方法，需要注意的是，水平集方法的前身由Dervieux和Thomasset在題為“A finite elementmethod for the simulation of Raleigh-Taylor instability”(Springer Lect.Notes inMath.，771145-158，1979年)的論文中被提出作為通過演變適當的嵌入函數φ:Ω×
→R來隱含地在域ΩRn中傳播(propagate)超曲面C(t)的方法，其中C(t)＝{x∈Ω|φ(x，t)＝0}。(1)通常，嵌入函數是在圖像平面的每個點x處所定義的實數值的高度函數\phi(x)，以至于等高線C與該平面中的所有點x相對應，其中\phi(x)＝0C＝{x|\phi(x)＝0}。
這也是隱含地表示等高線C的方式。除了對等高線C起作用(移動等高線等)以外，還對函數\phi起作用。移動\phi的值將隱含地移動“所嵌入的”等高線。這也是為何將\phi(x)稱作“嵌入函數”的原因，該“嵌入函數”將該等高線嵌入為其零水平或者值為0的等值線來。
因此，通過對較高維數的嵌入函數的演變進行建模的部分微分方程來替代傳播顯式邊界點的普通微分方程。這種方法的主要優點是眾所周知的首先，隱式邊界表達并不取決于特定的參數化，在傳播期間不需要介紹控制點重組機制(control point re-gridding mechanism)。其次，演變嵌入函數允許極好地對拓撲變化進行建模，這些拓撲變化諸如分離和合并所嵌入的邊界。在形狀建模和形狀的統計學習的環境中，統計學習的屬性允許構造在嵌入函數上所定義的形狀不相似度量，這些嵌入函數可以處理變化拓撲的形狀。第三，公式(1)的隱式表達通常概括為三維或者更多維的超曲面。為了強加等高線和其嵌入函數之間的唯一的對應關系，可以將φ約束為帶符號的距離函數，也就是，|φ|＝1基本上是處處都成立的。
在90年代早期，Malladi等人在題為“A finite element method for thesimulation of Raleigh-Taylor instability”(Springer Lect.Notes in Math.，771145-158，1979年)的論文、Caselles等人在題為“Geodesic active contour”(Proc.IEEE Intl.Conf.on Comp.Vis.，第694-699頁，Boston，USA，1995年)的論文、Kichenassamy等人在題為“Gradient flows and geometric active contour models”(IEEE Intl.Conf.on Comp.Vis.，第810-815頁，1995年)的論文、以及Paragios和Deriche在題為“Geodesic active regions and level set methods for supervised texturesegmentation”(Int.J.of Computer Vision，46(3)223-247，2002年)的論文中最先提出水平集方法在圖像分割中的首次應用。Mumford-Shah函數(參見題為“Optimal approximations by piecewise smooth functions and associated variationalproblems”(Comm.Pure Appl.Math.，42577-685，1989[14])的論文)的水平集實現由Chan和Vese獨立提出，參見題為“Active contours without edges”(IEEETrans.Image Processing，10(2)266-277，2001年)的論文，以及Tsai等人在題為“Model-based curve evolution technique for image segmentation”(Comp.VisionPatt.Recog.，第463-468頁，Kauai，Hawaii，2001年)的論文中提出。
近年來，為了處理不足的低水平信息，研究人員已經提出了把統計形狀知識引入基于水平集的分割方法中。雖然這些先驗已被表明強烈改進相似對象的分割，但是到目前為止，焦點已集中在恰好(in time)是靜態的統計形狀先驗(也就是，什么是“先驗”)上。然而，在跟蹤可變形對象的環境中，明顯的是，隨著時間的過去，某些輪廓(諸如，MRI應用程序中的心臟跳動的人的那些輪廓，或者其它應用程序中的行走的人的輪廓)可能會變得或多或少有些相似。Leventon等人在題為“Geometry and prior-based segmentation”(T.Pajdla andV.Hlavac編輯的European Conf.On Computer Vision，volume 3024 of LNCS，第50-61頁，Prague，2004年春天)的論文中提出了通過對訓練形狀集合進行主成分分析(PCA)來對嵌入函數進行建模，以及將適當的驅動項增加到水平集發展方程中，Tsai等人在題為“Curve evolution implementation of the Mumford-Shahfunctional for image segmentation，de-noising，interpolation，and magnification”(IEEETrans.on Image Processing，10(8)1169-1186，2001年)的論文中建議直接在最初一些固有模式的子空間內執行優化。Rousson等人(參見“Shape priors for level setrepresentations”(A.Heyden等人編輯的Proc.of the Europ.Conf.on Comp.Vis.，volume 2351 of LNCS，第78-92頁，Copenhagen，2002年5月春天，Berlin)以及“Implicit active shape models for 3d segmentation in MRI imaging”(MICCAI，第209-216頁，2004年))建議在變化水平上引入形狀信息，而Chen等人(參見“Using shape priors in geometric active contours in a variational framework”(Int.J.of Computer Vision，50(3)315-328，2002年))通過給出嵌入函數的零水平來直接對等高線強加形狀約束。最近，Riklin-Raviv等人(參見European Conf.OnComputer Vision，volume 3024 of LNCS，第50-61頁，Prague，2004年春天)提出通過以各種角度切割帶符號的距離函數來引入射影不變性。
在上述著作中，顯示統計學習的形狀信息，以處理由于噪聲、混亂和阻塞而在輸入圖像中丟失的或者易誤解的信息。研究形狀先驗來對給定圖像中的相似形狀的對象進行分割。然而，盡管可以將這些形狀先驗用于圖像序列中的跟蹤對象，參見[Cremers等人的“Nonlinear shape statistics in Mumford-Shah basedsegmentation”(A.Heyden等人編輯的Europ.Conf.On Comp.Vis.，volume 2351of LNCS，第93-108頁，Copenhagen，2002年5月，春天)]、[Moelich and Chan的“Tracking objects with the Chan-Vese algorithm”(Technical Report 03-14，Computational Applied Mathematics，UCLA，Los Angeles，2003年)]和[Cremers等人的“Kernel density estimation and intrinsic alignment for knowledge-drivensegmentationTeaching level sets to walk”(Pattern Recognition，volume 3175 ofLNCS，第36-44頁，2004年春天)]，這些先驗仍不太適合這項任務，因為這些先驗忽略了輪廓的時間相干性，該時間相干性表征很多變形形狀。
當隨著時間的變化跟蹤三維可變形對象時，在給定時刻，明顯地不是所有的形狀都完全相似。例如，行走的人的規則采樣的圖像展示連續輪廓的典型圖案。類似地，以恒定速度旋轉的剛性三維對象的投影通常不是來自統計形狀分布的獨立樣本。替代地，可以期望最終的輪廓集合來包括強的時間相關。

發明內容
根據本發明，提供了一種方法，用于檢測和跟蹤具有連續變化特性的可變形對象，其中，該方法研究嵌入函數的連續變化特性的時間統計形狀模型，該嵌入函數代表來自先驗運動的對象；以及接著通過最大化概率，對于將來的、出現不期望的現象時的對象的連續運動應用模型，該概率為所研究的統計形狀模型匹配出現不期望的現象時的對象的連續運動的概率。
根據本發明的其它特征，一種方法產生邊界形狀對象的先驗觀察的嵌入函數的時間演變(time evolution)的動態模型，這樣的對象具有可觀測的、連續變化的邊界形狀；以及隨后將這樣的模型用于以后關于這樣形狀的對象的概率推斷。
該方法研究了隱式表達的對象形狀的時間統計形狀模型。特別地，依賴給定時間的形狀概率是以前觀察的對象的形狀的函數。
在一個實施例中，將動態形狀模型集成到貝葉斯(Bayesian)框架內的分割過程中，以進行基于水平集的圖像序列分割。
在一個實施例中，通過針對水平集函數的部分微分方程來獲得最優化。最優化包括界面的演變，該界面的演變由當前圖像的強度信息以及先驗動態形狀來進行驅動，先驗的動態形狀依賴于在先幀上所獲得的分割。
利用這樣的方法，與現有的利用統計學形狀先驗進行的分割方法相比，最終的分割不僅僅類似于之前所學習的形狀，而是這些分割也與從樣本序列中所估計的時間相關相一致。由此得到的分割過程可以處理大量的噪聲和堵塞，因為該分割過程利用了關于時間形狀一致性的先驗知識，并且因為該分割過程隨著時間的變化聚集來自輸入圖像的信息(而不是獨立地處理每個圖像)。
研究針對隱式表達的形狀的動態模型和基于貝葉斯框架將這些模型集成到圖像序列分割中動用了各種領域中的很多先驗工作。動態系統的理論和時間序列分析在所述文獻中具有很長的傳統(例如參見[A.Papoulis的“Probability，Random Variables，and Stochastic Processes”(McGraw-Hill，New York，1984年)])。其中，Blake、Isard及同事針對顯式形狀表達研究自回歸模型[A.Blake and M.Isard的“Active Contours”(London，1998年春天)]。在這些著作中，基于從強度圖像中所提取的邊緣信息，通過粒子過濾獲得成功的跟蹤結果。然而，此處，本發明方法以三種方式不同于上述方法●此處，動態模型是針對隱式表達的形狀。因此，動態形狀模型可以自動地處理變化拓撲的形狀。該模型一般擴展到較高維數(例如，三維形狀)，因為該模型并不需要處理確定點對應的組合問題和與顯式形狀表達相關聯的控制點重組的問題。
●由[Zhu，Yuille 1996，Chan，Vese 1999]啟示地，根據本發明的方法將輸入圖像的強度信息集成在統計學公式中。這導致了基于區域的跟蹤方案，而不是基于邊緣的跟蹤方案。統計學公式意味著，相對于假定的強度模型，該方法最優地利用輸入信息。本方法并不依賴于啟發式定義的圖像邊緣特征的預計算。然而，假定的概率強度模型是非常簡單的(即高斯(Gaussian)分布)。可以應用對象和背景的強度、顏色或者紋理的更復雜的模型。
●通過梯度下降而不是通過隨機采樣技術來解決變量設置中的貝葉斯后驗優化。雖然這將本發明所使用的算法限制到僅僅跟蹤最相似的假設上(而不是多種假設)，但是本方法促進到較高維數形狀表達的擴展，而不必急劇增加采樣方法固有的計算復雜度。
最近，Goldenberg等人[Goldenberg、Kimmel、Rivlin、和Rudzsky的PatternRecognition，381033-1043，2005年7月]成功地將PCA應用到對準的形狀序列，以對周期性的形狀運動進行分類。盡管這項工作也集中在表征移動的隱式表達的形狀上，但該工作與本發明的不同之處在于，這些形狀不是由水平集嵌入函數表示的(而是通過二進制掩模來表示)，該工作并不利用自回歸模型，并且該工作集中于預分割的形狀序列的特性分類，而不是集中于利用動態形狀先驗來分割或者跟蹤。


在后面的附圖和下面的說明中闡述了本發明的一個或者多個實施例的詳細描述。可以很明顯地從說明書和附圖、以及從權利要求中得到本發明的其它特征、目的和優點。
圖1示出訓練輪廓集合的低維近似，頂部的輪廓是手動分割的，而底部輪廓是由其根據本發明的嵌入函數的PCA來近似的；
圖2是自相關函數，該自相關函數被用來驗證根據本發明的自回歸模型，以最初四個形狀模式來繪制相關聯的剩余物的自相關函數；圖3是形狀模式，初始形狀序列(左)和根據本發明的由統計學習的二階馬爾可夫(Markov)鏈合成的序列(右)示出第一、第二和第六形狀固有模式的時間演變；圖4是通過根據本發明的過程所產生的行走序列，在嵌入函數中由統計學習的二階馬爾可夫模型產生樣本輪廓；圖5示出了具有增長噪聲數量的來自圖像序列的樣本；圖6示出了使用25％噪聲的靜態形狀先驗的根據本發明的分割；圖7示出了使用50％噪聲的動態形狀先驗的根據本發明的分割；圖8示出了使用50\％噪聲的動態形狀先驗的根據本發明的分割；圖9示出了使用75％噪聲的動態形狀先驗的根據本發明的分割；圖10示出了使用90％噪聲的動態形狀先驗的根據本發明的分割；圖11示出了根據本發明對分割準確度進行定量評估；圖12示出了根據本發明在存在阻塞時的跟蹤；圖13是根據本發明的過程的流程圖；以及圖14是統計學地產生的嵌入表面以及由合成表面的零水平線給出的輪廓，該表面是從根據本發明的二階自回歸模型中采樣獲得的。隱式公式允許嵌入的輪廓改變拓撲結構(底部左邊的圖像)。
各個圖中的相同的參考符號表示相同的元件。
具體實施例方式
現在參考圖13，示出用于檢測和跟蹤可變形對象的方法的流程圖。此外，為了舉例說明本方法的例子，對象為行走的人。然而，應當理解，該方法可用于其它的可變形對象，該可變形對象包括諸如跳動的人的心臟的解剖學對象。
在討論圖13中的步驟之前，將介紹基于水平集的圖像序列分割的貝葉斯公式。首先，將討論嵌入函數的空間中的常用公式，接著描述低維數子空間中的在計算上有效的公式。
2.1常用公式下面，形狀被定義為以某個轉換組為模的封閉的二維輪廓集合，通過具有參數矢量θ的Tθ來表示該集合中的元素。取決于應用程序，這些轉換組可以是剛體轉換、相似或者仿射轉換或者更大的轉換組。根據方程(1)，由嵌入函數φ隱含地表達該形狀。因此，將由φ(Tθx)給出感興趣的對象，其中該轉換Tθ作用于網格，這導致隱式表達的輪廓的相應轉換。此處，由于可能想使用不同模型來表達和學習其相應的時間演變，所以故意地將形狀φ與轉換參數θ相分離。
假設從圖像序列中給出連續的圖像ItΩ→R，其中I1:t表示不同時刻的圖像集合{I1，I1，...，It}。使用貝葉斯公式(所有的表達式以I1:t-1為條件)，通過相對于嵌入函數φt和轉換參數θt來最大化條件概率P(φt,θt|I1:t)=P(It|φt,θt,I1:t-1)P(φt,θt|I1:t-1)P(It|I1:t-1)---(2),]]>可解決對當前幀It進行分割的問題。(在無窮維數空間上對概率分布進行建模通常是未解決的問題，該問題包括定義適當的度量和可積分性的問題。因此，函數φ可被認為是有限維數的近似，該近似通過采樣規則網格上的嵌入函數來獲得)。出于簡潔的原因，將不討論貝葉斯方法的詮釋。在此處，足夠有能力說，貝葉斯框架可被視為概率設置中的圖像形成過程的逆過程。
公式(2)中的分母并不取決于所估計的數量，并且因此可以在最大化時將其忽略。此外，可以使用以下切普曼—科爾莫戈羅夫(Chapman-Kolmogorov)[A.Papoulis的Probability，Random Variables，and Stochastic Processes(McGraw-Hill，New York，1984年)]公式來改寫分子中的第二項P(φt，θt|I1:t-1)＝∫P(φt，θt|φ1:t-1，θ1:t-1)P(φ1:t-1，θ1:t-1|I1:t-1)dφ1:t-1dθ1:t-1(3)下面，為了簡化公式(2)中的表達式，進行若干假設，這導致計算上更可行的估計問題●假設圖像I1:t是相互獨立的P(It|φt，θt，I1:t-1)＝P(It|φt，θt)(4)●●假設感興趣的形狀的強度和背景的強度是具有未知的均值μ1、μ2和方差σ1、σ2的兩個高斯分布的獨立樣本。因此，上面的數據項可被寫為
P(It|φt,θt)=Πxφt(Tθtx)≥012πσ1exp(-(It(x)-μ1)22σ12)Πxφt(Tθtx)<012πσ2exp(-(It(x)-μ2)22σ22)]]>∝exp(-∫Ω((It-μ1)22σ12+logσ1)Hφt(Tθtx)+((It-μ2)22σ22+logσ2)(1-Hφt(Tθtx))dx),]]>●其中介紹了海維賽德(Heaviside)階梯函數Hφ≡H(φ)來表示區域，其中φ是正的(Hφ＝1)或者負的(Hφ＝0)。其中，也提出了相關的強度模型，參見D.Mumford和J.Shah的“Optimal approximations bypiecewise smooth functions and associated variational problems”(Comm.Pure Appl.Math.，42577-685，1989年)、S.C.Zhu和A.Yuille的“Region competitionUnifying snakes，region growing”、和Bayes的“MDLfor multiband image segmentation”(IEEE PAMI，18(9)884-900，1996年)以及T.F.Chan和L.A.Vese的“Active contours without edges”(IEEETrans.Image Processing，10(2)266-277，2001年)。聯合地利用形狀φt和轉換θt來估計模型參數μi和σi。通過當前形狀內部和外部的強度It的均值和方差來給出其最優值μ1=1a1∫ItHφtdx,σ12=1a1∫It2Hφtdx-μ12,]]>其中a1＝∫Hφtdx (5)●以及類似地對于μ2和σ2，利用(1-Hφt)替代Hφt。為了保持符號表示簡單，這些參數沒有被顯示為動態變量的部分。
●為了避免考慮公式(3)中的所有可能的中間形狀φ1:t-1和轉換θ1:t-1的計算負擔，假定以前狀態的分布強烈地在相應分布的最大值附近取峰值P(φ1:t-1,θ1:t-1|I1:t-1)≈δ(φ1:t-1-φ^1:t-1)δ(θ1:t-1-θ^1:t-1),---(6)]]>●其中(φ^i,θ^i)=argmaxP(φi,θi|I1:i-1)]]>是對針對過去的幀所獲得的形狀和轉換的估計，以及δ(.)表示狄拉克(Dirac delta)函數。這個近似的可替換的調整如下假設由于存儲器的限制，跟蹤系統不能存儲所獲得的圖像，但是該系統僅僅存儲形狀和轉換的過去的估計。接著，時刻t的推斷問題縮小到相對于嵌入函數φt和轉換參數θt最大化條件分布的問題P(φt,θt|It,φ^1:t-1,θ^1:t-1)∝P(It|φt,θt)P(φt,θt|φ^1:t-1,θ^1:t-1).---(7)]]>
●這等同于以參見公式(6)的近似為條件的參見公式(2)的原始推斷問題。
●這篇論文的主要貢獻是以在前的形狀和轉換為條件來對形狀φt和轉換θt上的聯合先驗進行建模。為此，考慮兩個近似在第一步中假設形狀和轉換是相互獨立的，也就是，P(φt，θt|φ1:t-1，θ1:t-1)＝P(φt|φ1:t-1)P(θt|θ1:t-1)，以及假設轉換參數上的均勻先驗，也就是，P(θt|θ1:t-1)＝常數。這是對Rathi等人的最近工作的互補，參見Y.Rathi、N.Vaswani、A.Tannenbaum和A.Yezzi的“Particle filtering forgeometric active contours and application to tracking deforming objects(IEEEInt.Conf.on Comp.Vision and Patt.Recognition，2005年)，他們提出了針對這些轉換參數的時間模型，而在形狀上沒有強加任何特定的模型。
在第二步中，在考慮形狀和轉換之間的耦合的情況下考慮形狀和轉換參數的聯合分布P(φt，θt|φ1:t-1，θ1:t-1)的更常用的情況。實驗結果證實，在處理阻塞時，這導致更好的性能。
2.2有限維數的公式當從樣本數據中估計(7)中的條件概率 時，需要還原嵌入函數的有限維數近似。眾所周知，如果模型和數據的維數低，則可以更可靠地估計統計學模型。接著在子空間內以低維數公式重算貝葉斯推斷，該子空間由樣本形狀集合的最主要的固有模式來生成(span)。接著以雙重方式來利用訓練序列首先，該訓練序列用來限定其中要執行估計的低維數子空間。接著，在這個子空間內，過程使用該訓練序列來學習針對隱式形狀的動態模型。
令{φ1，...，φN}為訓練形狀的時間序列。假設所有訓練形狀φi是帶符號的距離函數。然而，固有模式的任意線性組合通常不產生帶符號的距離函數。雖然所提出的統計形狀模型支持接近于訓練形狀(并且因此接近于帶符號的距離函數的集合)的形狀，并不是所考慮的子空間中取樣的所有形狀都與帶符號的距離函數相對應。令φ0表示平均形狀以及ψ1，...，ψn表示n個最大的固有模式，其中n＜＜N。該過程接著將每個訓練形狀近似為φi(x)=φ0(x)+Σj=1nαijψj(x),---(8)]]>其中
aij＝(φi-φ0，ψj)≡∫(φi-φ0)ψjdx。 (9)已經成功地將這樣的基于PCA的水平集函數的表達應用到統計形狀先驗的結構中，參見M.Leventon、W.Grimson、和O.Faugeras的“Statistical shapeinfluence in geodesic active contours”(CVPR，volume 1，第316-323頁，Hilton HeadIsland，SC，2000年)，A.Tsai、A.Yezzi、W.Wells、C.Tempany、D.Tucker、A.Fan、E.Grimson和A.Willsky的“Model-based curve evolution technique for imagesegmentation”(Comp.Vision Patt.Recog.，第463-468頁，kauai，Hawaii，2001年)，M.Rousson、N.Paragios和R.Deriche的“Implicit active shape models for 3dsegmentation in MRI imaging”(MICCAI，第209-216頁，2004年)以及M.Rousson和D.Cremers(M.Rousson和D.Cremers，MICCAI，volume 1，第757-764頁，2005年)，“Efficient kernel density estimation of shape and intensity priors for level setsegmentation”(MICCAI，2005年)。下面，將最初n個固有模式的矢量表示為ψ＝(ψ1，...，ψn)。因此，通過n維形狀矢量ai＝(ai1，...，ain)將每個樣本形狀φi進行近似。類似地，通過以下形式的形狀矢量對任意形狀φ進行近似aφ＝(φ-φ0，ψ)。
(10)圖1示出了來自行走的人的序列的輪廓集合以及他們對最初6個固有模式的近似。雖然這個近似肯定是缺少形狀的一些詳細信息的粗略近似，仍足以找到它們。更特別地，圖1的上半部中的六個輪廓序列來自于根據圖13的步驟100的手動跟蹤，而圖1的下半部中的六個輪廓是如圖13的步驟102中那樣的PCA近似。因此，圖1示出了訓練輪廓集合的低維近似。根據圖13的步驟100進行手動分割的輪廓(圖1的頂部)是底部輪廓，這些底部輪廓由其嵌入函數(圖1的底部)的最初6個主成分(PCA)(參見公式(8))來近似。
類似于在前面部分中給出的推導，這個子空間內的圖像序列分割的目標被闡述如下從圖像序列中給出連續的圖像ItΩ→R，并且給出在以前的圖像I1:t-1上所獲得的分割a1:t-1和轉換 該過程相對于形狀參數at和轉換參數θt最大化以下條件概率P(αt,θt|It,α1:t-1,θ^1:t-1)=P(It|αt,θt)P(αt,θt|α1:t-1,θ^1:t-1)P(It|α1:t-1,θ^1:t-1).---(11)]]>該條件概率被建模為
P(αt,θt|α1:t-1,θ^1:t-1),---(12)]]>該條件概率以針對在以前圖像上所獲得的形狀和轉換的參數估計為條件構成了用于觀察時刻t的特定形狀at和特定轉換θt的概率。
3.動態統計形狀模型已經研究出很多理論來對在時域上相關的時間序列數據進行建模。其中，在[A.Blake和M.Isard的Active Contours.London，1998年春天]中提出了對可變形狀進行建模的動態系統的應用程序。此處，該過程學習隱式表達的形狀的動態模型。為了簡化所述討論，首先集中在形狀變形的動態模型上。換句話說，假設轉換參數上的均勻分布和僅對條件分布P(αt|α1:t-1)進行建模。
3.1變形的動態模型再次參考圖13，在步驟100中，以任何傳統的方式獲得具有例如順序地改變振動特性的可變形對象的手動分割的圖像序列。更特別地，如在上面的部分2.2中所描述的那樣，令{φ1，...，φN}為訓練形狀的時間序列。針對圖1中的行走的人的例子顯示結果，在圖1中示出白色背景上的黑色訓練形狀和每個形狀的水平集函數。如在部分2.2中所描述的那樣，令φ0表示平均形狀，以及ψ1，...，ψn表示n個最大的固有模式，其中n＜＜N。
在步驟102，該過程使用水平集函數的PCA)表達來計算主成分，將其稱為如在下面的公式(9)和(10)中那樣的形狀矢量。在圖1的下面6個訓練形狀(此處為6個輪廓)中示出了輪廓序列的PCA表達。注意，因為PCA中的近似，最后一個可以觀察，在上部的集合中的6個輪廓中的最后一個中的右腳比下部6個形狀中的最后一個中的相應的最后一個輪廓具有更尖的腳趾。
因此，根據PCA，該過程接著近似如在上面的公式(8)和(9)中給出的每個訓練形狀。
在步驟104中，該過程估計針對形狀矢量序列的動態(自回歸)模型。這在下面的公式(13)中被示出。圖3示出輸入序列的形狀矢量(左)和利用該模型所合成的序列的形狀矢量(右)。更特別地，圖3是模型比較；原始形狀序列(頂部)和由統計學習的二階馬爾可夫鏈合成的序列(底部)展示相似的振動特性和振幅調制。這些曲線示出了第一、第二和第六形狀固有模式的時間演變。
圖5示出了來自具有增加的噪聲的圖像序列的樣本。圖5是來自具有增加的噪聲量的序列的圖像，此處為來自具有25％、50％和90％噪聲的序列中的樣本輸入幀，其中90％的噪聲意味著由從均勻分布中采樣的隨機強度替代所有像素的90％。
更特別地，該過程研究表示來自先驗運動的對象(此處為行走的人)的嵌入函數的振動特性的時間統計形狀模型。
仍然更特別地，該過程通過k階馬爾可夫鏈([Neumaier，Schneider 2001年])來近似水平集函數序列的形狀矢量at≡aφt]]>來學習可變形狀的時間動態特性，也就是at＝μ+A1at-1+A2at-2+...+Akat-k+η， (13)其中，η是具有協方差∑的零均值高斯噪聲。因此，通過相應的k階自回歸模型給出以在以前的時間步驟中所觀察的形狀為條件的形狀概率P(αt|α1:t-1)∝exp(-12vTΣ-1v),---(14)]]>其中v≡αt-μ-A1αt-1-A2αt-2...-Akαt-k(15)在所述文獻中已經提出了各種各樣的方法來估計模型參數，該模型參數由均值μ∈Rn以及平移和噪聲矩陣A1，...，Ak，∑∈Rn×n給出。此處，該過程應用在[A.Neumaier and T.Schneider的“Estimation of parameters and eigenmodes ofmultivariate autoregressive models”(ACMT.Mathematical Software，27(1)27-57，2001年]中提出的階梯式最小平方算法。已經設計出不同的測試來量化模型配合的準確度。針對模型準確度的兩個已建立的標準是Akaike的最終預測誤差(參見H.Akaike的“Autoregressive model fitting for control”(Ann.Inst.Statist.Math.，23163-180，1971年))和Schwarz的貝葉斯標準(參見G.Schwarz的“Estimating the dimension of a model”(Ann.Statist.，6461-464，1978年)。使用高達8階的動態模型，根據Schwarz的貝葉斯標準發現，可以由二階自回歸模型最好地近似使用該過程的訓練序列。
從151個連續輪廓的訓練序列中，估計二階自回歸模型的參數。通過繪制與每個所建模的固有模式相關聯的剩余物的自相關函數(參見圖2)，接著評估這個模型。這些曲線表明，這些剩余物實質上是不相關的。因此，利用圖2中所示的自相關函數，通過繪制與最初四個形狀模式相關聯的剩余物的自相關函數，可以驗證在圖13的步驟104中所提供的自回歸模型。顯然地，這些剩余物在統計學上是相關的。
另外，根據公式(13)，所估計的模型參數允許該過程合成行走序列。為了移除對初始條件的依賴性，廢棄了最初數百個樣本。圖3示出了輸入序列(左邊)和合成序列(右邊)中的第一、第二和第六固有模式的時間演變。顯然，二階模型捕獲振動特性中的一些關鍵元素。根據步驟104(圖13)，左邊的原始形狀序列和右邊的由統計學習的二階馬爾可夫鏈所合成的序列展示相似的振動特性和振幅調制。這些曲線表明第一、第二和第六形狀固有模式的時間演變。原始形狀序列(左邊)和由統計學習的二階馬爾可夫鏈(右邊)所合成的序列展示相似的振動特性和振幅調制。這些曲線表明第一、第二和第六形狀固有模式的時間演變。
當所合成的序列捕獲行走的人的特征運動時，圖4表明，單獨合成的輪廓在一切情況下并不是模仿的有效形狀。認為，期望從強烈壓縮所表示的輸入序列的模型中得到這些限制代替在256×256網格上所限定的151個形狀，該模型僅僅保留平均形狀φ0、6個固有模式ψ和由6維均值和3個6×6矩陣給出的自回歸模型參數。對應于壓縮到原始大小的4.6％，總計458851個參數，而不是9895936個參數。雖然在[A.Blake and M.Isard的Active Contours，London，1998年春天]之前已經研究出使用自回歸模型的動態形狀模型的合成，仍應注意的是，形狀的合成是基于隱式表達。更特別地，圖4示出了由該過程所產生的合成生成的行走序列。通過在嵌入函數上的統計學習的二階馬爾可夫模型來產生樣本輪廓，參見公式(13)。雖然馬爾可夫模型捕獲行走的人的多個典型振動特性，并不是所有所生成的樣本與可允許的形狀相對應，比較在底部右側的最后兩個輪廓。然而如在部分5中所描述的那樣，該模型足夠精確地來適當約束分割過程。圖4示出了由過程合成產生的行走序列。嵌入函數上的統計學習的二階馬爾可夫模型產生樣本輪廓，參見公式(13)。雖然馬爾可夫模型捕獲行走的人的多個典型振動特性，并不是所有所產生的樣本與可允許的形狀相對應，比較底部右側的最后兩個輪廓。然而，如將在部分5中所描述的那樣，該模型可以足夠準確地來適當約束分割過程。
參考圖14，示出統計合成的嵌入函數的序列，并且也示出由相應表面的零水平線給出的所導致的輪廓。特別地，這個隱式表達允許合成變化拓撲的形狀。例如，圖14的左下部上的輪廓包括兩個輪廓。通過從二階自回歸模型中采樣獲得的嵌入表面統計地產生序列，并且由合成表面的零水平線給出輪廓。隱式公式允許嵌入的輪廓改變拓撲(左下部的圖像)。
3.2變形和轉換的聯合動態特性在前面的部分中，介紹了自回歸模型來捕獲隱式表達的形狀的時間動態特性。為此，在執行動態模型的學習之前，去除與諸如平移和旋轉的轉換相對應的自由度。因此，學習僅僅并入變形模式，而忽略了關于姿勢和位置的所有信息。例如，圖4中的合成形狀表明“在現場”行走的行走的人。
通常，期望將變形參數at和轉換參數θt緊密地耦合起來。捕獲形狀和轉換的聯合動態特性的模型明顯地比忽略轉換的模型更強大。然而，該過程學習對于平移、旋轉和其它轉換來說是不變的動態形狀模型。為此，可以利用這樣的事實轉換形成了組，這意味著通過應用遞增的轉換Δθt=Tθtx=TΔθtTθt-1x,]]>可以從以前的轉換θt-1中獲得在時刻t的轉換θt。取代學習絕對轉換θt的模型，該過程簡單地學習更新轉換Δθt(例如，平移和旋轉中的變化)的模型。通過構造，這種模型相對于所建模的形狀的整體姿勢或位置是不變的。
為了對轉換和變形進行聯合建模，對于學習序列中的每個訓練形狀，該過程簡單地獲得變形參數ai和轉換變化Δθi，以及將在公式(14)和(15)中給出的自回歸模型配合到組合矢量αt=αtΔθt.]]>在行走的人的情況下，發現，如在靜止的情況下那樣，二階自回歸模型給出了最好的模型配合。根據這個模型的合成允許產生行走的人的輪廓，該輪廓類似于圖4中所示的輪廓，但是該輪廓從任意的(用戶專用的)起始位置開始，在空間前進。
4.可變分割中的動態形狀先驗從圖像序列中給出圖像It，以及給出具有形狀參數a1:t-1和轉換參數θ1:t-1的以前分割的形狀的集合，跟蹤的目的是相對于形狀at和轉換θt最大化條件概率方程(11)。這可以通過最小化其負對數來執行，該負對數(等于常數)通過以下形式的能量來給出E(αt，θt)＝Edata(αt，θt)+vEshape(αt，θt)。(17)介紹另外的權重v，以允許先驗和數據項之間的相對加權。特別地，如果強度信息與假設不相一致(對象和背景的高斯強度分布)，優選的是較大的權重v。通過下式來給出數據項Edata(αt,θt)=∫Ω((It-μ1)22σ12+logσ1)Hφαt,θt+((It-μ2)22σ22+logσ2)(1-Hφαt,θt)dx---(18)]]>其中，為了符號表示簡化，介紹下面的表達式φαt,θt≡φ0(Tθtx)+αtTψ(Tθtx),---(19)]]>以表示利用變形參數at所生成和利用參數θt所轉換的形狀的嵌入函數。
使用自回歸模型方程(14)，通過下式給出形狀能量Eshape(αt,θt)=12vTΣ-1v,---(20)]]>在公式(15)中定義了v。為了引入在部分1中所介紹的變形和轉換的聯合模型，上面的v的表達式需要通過相對轉換Δθ來增強v≡αtΔθt-μ-A1αt-1Δθ^t-1-A2αt-2Δθ^t-2...-Akαt-kΔθ^t-k,---(21)]]>其中，μ和Ai表示統計學習的均值和針對變形和轉換的聯合空間的平移矩陣，而k是模型階數。在實驗中，選擇模型階數k＝2。
很容易表明，可以將二階自回歸模型解釋為時間離散衰減的諧波振蕩器的隨機版本。因此，適合對實質上振動的形狀變形進行建模。然而，發現，較高階自回歸模型提供質量上類似的結果。
計算測試序列的最佳分割，這與所學習的動態模型相一致。這可通過找到最大化方程(11)中的條件概率的形狀矢量來完成。通過執行這個概率的負對數上的梯度下降來實現最大化。這在方程(22)中示出。直觀地，這個過程使形狀變形，以致該形狀既與當前圖像又與動態模型的預測最匹配。在圖9、10、11和13中示出了每個測試圖像的最佳形狀。
通過最小化能量公式(17)來完成利用動態形狀先驗跟蹤圖像序列I1:t上的感興趣對象。使用梯度下降策略，這導致下面的微分公式，以估計形狀矢量atdat(τ)dτ=-∂Edata(at,θt)∂at-v∂Eshape(at,θt)θat---(22)]]>其中，相對于物理時刻t，τ表示人造(artificial)演變時刻。通過下式給出數據項∂Edata∂at=⟨ψ,δ(φat)((It-μ1)22σ12-(It-μ2)22σ22+logσ1σ2)⟩,]]>以及通過下式給出形狀項∂Eshape∂at=∂v∂atΣ-1v=1n000Σ-1v,---(23)]]>其中，v在公式(21)中給出，以及1n為對形狀成分v上的投影進行建模的n維單元矩陣，其中n是形狀模式的數目。這兩項以如下方式影響形狀演變第一項根據兩個高斯強度模型來繪制形狀以分離圖像強度。由于形狀矢量at中的變量通過固有模式ψ影響形狀，所以數據項是這些固有模式上的投影。第二項引起形狀矢量at朝最相似的形狀的緩和，如由動態模型所預測的那樣，該動態模型基于針對以前的時間幀所獲得的形狀矢量和轉換參數。
類似地，通過演變由下式給出的相應的梯度下降方程來獲得相對于轉換參數θt的最小化dθt(τ)dτ=-∂Edata(at,θt)∂θt-v∂Eshape(at,θt)∂θt---(24)]]>其中，通過下式給出數據項∂Edata(at,θt)∂θt=⟨▿ψd(Tθtx)dθt,δ(φat)[(It-μ1)22σ12-(It-μ2)22σ22+logσ1σ2]⟩,---(25)]]>以及通過下式給出來自先驗的驅動項∂Eshape∂θt=∂v∂θtΣ-1v=d(Δθt)dθt0001sΣ-1v,---(26)]]>其中，如上所述，形狀先驗貢獻朝向由動態模型所預測的最相似轉換的驅動力。方程(11)中的塊對角矩陣簡單地對在公式(21)中所定義的聯合矢量v的s個轉換成分上的投影進行建模。
5.實驗結果5.1動態與靜態統計形狀先驗下面，將介紹在前面出于基于水平集的跟蹤的目的而介紹的動態統計形狀先驗。
根據該過程，為了構建形狀先驗，并且如在圖13的步驟100中所指出的那樣，獲得(這個例子中的)行走的人的序列的手動分割、將該序列居中并且對每個形狀進行二進制化。接著，在圖13中的步驟102中，該過程確定與每個形狀和所計算的主要6個固有模式相關聯的帶符號的距離函數{φi}i＝1..N的集合。將每個訓練形狀投影到這些固有模式上，在步驟104中，該過程獲得形狀矢量序列{ai∈R6}i＝1..N。該過程通過計算平均矢量μ、平移矩陣A1，A2∈R6×6和方程(14)中示出的噪聲協方差∑∈R6×6而將二階多元自回歸模型配合到這個序列上。接著，該過程比較通過不利用動態統計形狀先驗和利用動態統計形狀先驗的6維子空間中的分割所獲得的噪聲序列的分割。
不利用動態先驗進行的分割與利用最初一些固有模式的子空間中的靜態均勻先驗所獲得的分割相一致，如在A.Tsai、A.Yezzi、W.Wells、C.Tempany、D.Tucker、A.Fan、E.Grimson和A.Willsky的“Model-based curve evolution techniquefor image segmentation”(Comp.Vision Patt.Recog.，第463-468頁，Kauai，Hawaii，2001年)中所提出的那樣。雖然對于靜態形狀先驗存在可替換的模型(例如，M.Leventon、W.Grimson、和O.Faugeras的“Statistical shape influencein geodesic active contours”(CVPR，volume 1，第316-323頁，Hilton HeadIsland，SC，2000年)中的高斯模型或者D.Cremers、S.J.Osher、和S.Soatto的“Kerneldensity estimation and intrinsic alignment for knowledge-drivensegmentationTeaching level sets to walk”(Pattern Recognition，volume 3175 ofLNCS，第36-44頁，2004年春天)以及M.Rousson和D.Cremers[MICCAI，volumel，第757-764頁]中的非參數化靜態模型)，在實驗中仍發現，當所有這些模型用于圖像序列分割(參見圖7)時，所有這些模型展示質量上類似的限制，因為這些模型沒有利用時間形狀相關，所以這些模型趨于開始局部最小化。
在步驟108中，該過程接著通過最大化概率來對于將來的、出現不期望的現象時的對象的連續運動應用該模型，該概率為所研究的統計形狀模型匹配出現不期望的現象時的對象的連續運動的概率。
因此，參考圖5，示出了來自具有25％、50％、75％和90％噪聲的序列的樣本輸入幀。(需要注意的是，噪聲意味著，所有像素的25％由從均勻分布中所采樣的隨機強度所替代。需要引起注意的是，我們的算法很容易處理均勻噪聲，盡管該噪聲的概率公式是基于高斯噪聲的假設的。)圖6示出利用具有25％噪聲的序列上的均勻靜態形狀先驗所獲得的分割集合。圖6示出使用25％噪聲的靜態形狀先驗進行的分割。將水平集演變約束到低維子空間允許處理某一數量的噪聲。雖然，在存在中等噪聲時，不利用動態先驗進行的分割是成功的，圖7仍示出，當增加噪聲水平時，不利用動態先驗進行的分割可能崩潰。圖7示出了使用50\％噪聲的靜態形狀先驗進行的分割。使用靜態(均勻)形狀先驗，分割方案不能處理更大數量的噪聲。在最初一些幀之后，該分割開始局部最小化。由于靜態形狀先驗不能及時提供預測，所以這些先驗具有開始在以前圖像上所獲得的形狀估計的趨勢。更特別地，圖6示出了利用具有25％噪聲的行走序列上的靜態形狀先驗進行的分割。將水平集演化約束到低維子空間上允許處理某一數量的噪聲，并且圖7示出了利用具有50％噪聲的行走序列上的靜態形狀先驗進行的分割。僅僅使用靜態形狀先驗，分割方案不能處理更大數量的噪聲。
圖8示出與圖7中的序列相同的序列的分割，該分割利用從二階自回歸模型中導出的動態統計形狀先驗來獲得。圖8示出了使用50％噪聲的動態形狀先驗進行的分割。與圖7中所示的利用靜態先驗進行的分割相比，(使用二階自回歸模型的)動態先驗強加關于形狀演變的時間動態特征的統計學習的信息，以處理丟失的或者易誤解的低水平信息。
圖9和10示出統計形狀先驗提供了好的分割，平均具有90％的噪聲。明顯地，利用動態形狀的時間統計結果允許使得分割過程對于丟失的和易誤解的信息非常穩定。更特別地，圖8示出使用基于二階自回歸模型的動態統計形狀先驗進行的分割。與圖7中的分割相比，該先驗強加關于形狀演變的時間動態特征的統計學習的信息，以處理易誤解的低水平信息，并且圖9示出利用動態統計形狀先驗進行的跟蹤，以處理更大數目的噪聲。輸入圖像被90％的噪聲破壞了。然而，統計學習的動態形狀模型允許解釋低水平信息。這些實驗證實，跟蹤方案確實可以與人類觀察者的能力相競爭。圖9示出利用75％噪聲的動態形狀先驗進行的跟蹤。統計學習的動態形狀模型允許解釋低水平信息。圖10示出利用90\％噪聲的動態形狀先驗的跟蹤。在圖11的左側示出相對于地面實況的定量評估指出，我們的跟蹤方案確實可以與人類觀察者的能力相競爭，在人類觀察者失敗的地方提供了可靠的分割。由于利用動態形狀先驗進行的分割過程隨著時間的變化累積圖像信息(和存儲器)，所以最初一些幀上的分割結果是不準確的。
5.2噪聲穩定性的定量評估為了對分割的準確度進行量化，使用原始測試序列的手動分割。接著，定義下面的誤差度量ϵ=∫(Hφ(x)-Hφ0(x))2dx∫Hφ(x)dx+∫Hφ0(x)dx,---(27)]]>其中，H也是海維賽德階梯函數，φ0是真正的分割，以及φ是所估計的分割。這個誤差與由每個分割的區域進行劃分的設置對稱差值的相對區域(也就是，兩個分割的并集減去其交集)相對應。雖然存在分割準確度的各種度量，針對這種度量決定分割準確度，因為該準確度呈現定義明確的范圍0≤ε≤1內的值，其中ε＝0對應于完美的分割。
圖11的左側根據噪聲水平示出了在測試序列上平均的分割誤差。使用變形和轉換的動態形狀先驗(部分3.3)，同時利用初始位置的估計初始化分割過程。該曲線表明幾件事情首先，針對低于60％的噪聲水平，誤差保持相當恒定。這是由于這樣的事實將先驗的權重v設置成針對所有實驗的固定值(理論上，對于較低的噪聲，可以使用較小的權重)。因此，大約5％的剩余誤差來自于所估計的動態模型和真正的序列之間的差異，累積由主成分近似和自回歸模型的近似所引入的誤差。其次，如所期望的那樣，對于更大的噪聲值，誤差增加。(特別是90％噪聲處的)單調性的偏差很可能影響統計學波動。與關于行走的平移成分的先驗知識相結合的初始姿勢估計導致了這樣的事實即使在100％噪聲的情況下，該誤差仍低于隨機分割的誤差。圖11示出了分割準確度的量化評估。針對增長數目的噪聲(左邊)和變化的行走速度(右邊)，繪制相對分割誤差。即使對于100％噪聲，分割誤差仍很好地維持在1以下，因為該過程結合了初始位置的良好的估計和平移運動的模型。右邊的曲線示出，對于低于所學習的速度v0的行走速度v，(具有70％噪聲的)分割誤差保持低，而對于較快的行走序列，準確度慢慢降低。然而，即使對于為所學習的行走速度的5倍的序列，利用動態先驗進行的分割在性能上優于利用靜態先驗進行的分割。
5.3對于頻率和幀頻變化的穩走性給定在最后一些幀上所獲得的分割，動態形狀先驗介紹了關于某些輪廓如何類似的先驗知識。假定，該過程已經從固定行走速度v0的序列中學習了行走的人的動態模型。顯然，所估計的模型將被調整到這個特定的行走速度。然而，當在實踐中應用這樣的模型時，不能保證，測試序列中的人將正好以相同的速度行走。同樣地，不能確保(即使行走速度是相同的)照相機的幀頻是相同的。為了在實踐中更有用，所提出的先驗對于行走頻率和幀頻中的變化必須穩定。
為了驗證這個穩定性，或者通過丟棄某些幀(為了加速步法)或者通過復制幀(因而減慢步法)來合成不同行走速度的測試序列。圖11的右側示出在方程(27)中所定義的分割誤差ε，該分割誤差在具有70％噪聲和以下速度的測試序列上平均，該速度可以從訓練序列速度的1/5變化到原始速度的5倍。雖然減慢序列不影響準確度，但是一旦速度增加，準確度將逐漸降低。然而，分割過程對于速度中的這樣的激烈變化是非常穩定的。這種穩定性的原因是雙重的首先，貝葉斯公式允許以這樣一種方式組合模型預測和輸入數據，該方式是分割過程恒定地適于即將進來的輸入數據。其次，自回歸模型僅僅依賴于最后的一些所估計的輪廓，以產生當前幀的形狀概率。不能假設長的范圍的時間一致性并且能因此處理具有變化的行走速度的序列。實驗表明，即使對于為原始行走序列的5倍的序列，利用動態模型進行的分割優于利用靜態模型進行的分割。這并不令人驚訝與靜態模型相比，動態模型提供時間形狀演變的預測。即使這種預測對于完全不同的行走速度來說可能是次佳的，但仍允許增強分割過程。
5.4變形和轉換的聯合動態特性在部分3.2中，介紹動態模型來捕獲變形和轉換參數的聯合演變。在迄今為止所示的任務上，發現純的變形模型以及變形和轉換的聯合模型來提供類似的分割結果。雖然聯合模型提供了關于轉換參數的先驗，這些參數在給定的時刻是非常類似的，純的變形模型需要單獨地從這些數據中估計這些參數。
作為最后的例子，產生分割任務，其中，由于明顯的阻塞，轉換參數不能可靠地從數據中被估計出來。測試序列表明一個人從右邊走到左邊，并且阻塞障礙物從左邊移動到右邊，通過80％的噪聲進行破壞。圖12的頂行示出利用動態形狀先驗所獲得的分割捕獲了變形和轉換。即使行走的輪廓被完全阻塞，該模型仍能夠產生行走到左邊的輪廓，并且一旦圖形再次出現時，模型與圖像數據相適配。
在另一方面，圖12的底行示出利用動態模型進行的相同幀的分割，該動態模型僅僅并入形狀變形。由于沒有假定關于平移的知識，分割過程需要完全依賴于圖像信息，以便估計轉換參數。因此，明顯的阻塞誤導了分割過程。當圖形再次從障礙物之后出現的時候，該過程結合由行走到左邊的人和由移動到右邊的障礙物所提供的關于平移的矛盾的信息。一旦感興趣的圖形丟失了，先驗僅僅產生“在現場”行走的人的輪廓的“幻覺”，參見右下部的最后一幅圖像。盡管“失敗”的實驗，仍相信，這個結果最好地解釋了，動態模型和圖像信息如何被融合在圖像序列分割的貝葉斯公式內。圖12示出存在阻塞時的跟蹤。輸入序列表明，行走到左邊的人被移動到右邊的障礙物阻塞了。雖然利用動態先驗產生了頂行，該動態先驗結合了變形和轉換，但底行使用僅僅捕獲變形成分的動態先驗。由于后者并不提供平移運動的預測，所以平移的估計純粹基于圖像數據。一旦人從障礙物后重新出現時，阻塞將其誤導，并且不能恢復。
6.結論利用上面所述的過程，動態統計形狀模型被用于隱式表達的形狀。與針對隱式形狀的現有的形狀模型相比，這些模型捕獲表征變形形狀特征的時間相關，該變形形狀諸如行走的人的連續的輪廓。這種動態形狀模型說明以下事實在給定的時刻觀察特定的形狀的概率取決于在之前的時刻觀察到的形狀。
為了構造統計形狀模型，該過程將馬爾可夫鏈和自回歸模型的概念擴展到隱式表達的形狀的域中。因此，最終的動態形狀模型允許處理變化拓撲的形狀。此外，這些模型很容易地被擴展到更高維數的形狀(也就是表面)。
所估計的動態模型允許合成任意長度的形狀序列。對于行走的人的情況，驗證了所估計的動態模型的準確度，將輸入序列的動態形狀演變與各種形狀固有模式的合成序列的形狀演變進行比較，并且證實剩余物在統計學上是不相關的。盡管在所有的情況下所合成的形狀與有效的形狀不對應，仍然可以使用動態模型來以支持相似形狀演變的方式約束分割和跟蹤過程。
為此，針對基于水平集的圖像序列分割，已研究貝葉斯公式，這允許強統計學習的動態模型強加為分割過程的形狀先驗。和很多現有的跟蹤方法相比，自回歸模型作為統計先驗被集成在變化的方法中，該方法可以通過局部梯度下降(而不是通過隨機優化方法)來最小化。
實驗結果證實，在存在大量噪聲時，當跟蹤行走的人時，動態形狀先驗在性能上優于靜態形狀先驗。如所提供的那樣，根據噪聲定量評估分割準確度。此外，發現基于模型的分割過程對幀頻和行走速度中的大(直至5倍的)變化是非常穩定的。進而，當跟蹤行走的人通過明顯的阻塞時，變形和轉換的聯合空間中的動態先驗被表明在性能上由于純基于變形的先驗。
已經描述了本發明的多個實施例。然而，很容易理解，在不偏離本發明的精神和范圍的情況下可以進行各種修改。因此，其它的實施例在下面的權利要求的范圍內。
權利要求
1.一種用于檢測和跟蹤具有連續變化特性的可變形對象的方法，該方法包括研究嵌入函數的連續變化特性的時間統計形狀模型，所述嵌入函數表示來自先驗運動的對象；以及接著通過最大化概率，對于將來的、出現不期望的現象時的對象的連續運動應用所述模型，所述概率為所研究的統計形狀模型匹配出現不期望的現象時的對象的連續運動的概率。
2.一種方法，其包括產生邊界形狀對象的先驗觀察的嵌入函數的時間演變的動態模型，這樣的對象具有可觀察的、連續變化的邊界形狀；以及隨后將這樣的模型用于以后關于這樣的形狀的對象的概率推斷。
3.一種用于檢測和跟蹤具有連續變化特性的可變形對象的方法，該方法包括研究嵌入函數的連續變化特性的時間統計形狀模型，所述嵌入函數表示來自先驗運動的對象，這個過程包括研究手動分割的圖形序列，該圖形序列表明對象的訓練形狀和所述形狀中的每一個形狀的水平集函數；計算形狀矢量序列，該形狀矢量序列包括水平集函數的主成分表達；估計形狀矢量序列的動態模型；以及確定具有與匹配所述動態模型的最大概率的形狀矢量序列之一。
4.如權利要求3所述的方法，其中，估計所述動態模型包括針對形狀矢量序列使用自回歸模型。
5.如權利要求3所述的方法，其中，所述最大概率確定包括最大化條件概率。
6.如權利要求3所述的方法，其中，所述最大概率確定包括在條件概率的負對數上執行梯度下降。
7.如權利要求3所述的方法，其中，估計所述動態模型包括根據αt＝μ+A1αt-1+A2αt-2+…+Akαt-k+η通過k階馬爾可夫鏈來近似水平集函數序列的形狀矢量αt≡αφt,]]>其中，η是具有協方差∑的零均值高斯噪聲。
8.如權利要求6所述的方法，其中，給定來自圖像序列的連續圖像It:Ω→R，并且給定在以前的圖像I1:t-1上所獲得的分割α1:t-1和轉換 最大概率確定包括相對于形狀矢量αt和轉換參數θt，最大化條件概率P(αt,θt|It,α1:t-1,θ^1:t-1)=P(It|αt,θt)P(αt,θt|α1:t-1,θ^1:t-1)P(It|α1:t-1,θ^1:t-1),(11)]]>其中，所述條件概率被建模為P(αt,θt|α1:t-1,θ^1:t-1),...(12)]]>所述條件概率以在以前圖像上所獲得的形狀和轉換的參數估計為條件構成了用于觀察時刻t的特定形狀αt和特定轉換θt的概率。
9.如權利要求6所述的方法，其中，在條件概率的負對數上執行梯度下降包括使用梯度下降策略，這導致下面的微分方程，以估計形狀矢量αtdαt(τ)dτ=-∂Edata(αt,θt)∂αt-v∂Eshape(αt,θt)∂αt...(22)]]>其中，相對于物理時刻t，τ表示人造演變時刻。
全文摘要
一種用于檢測和跟蹤具有連續變化特性的可變形對象的方法包括研究嵌入函數的振動特性的時間統計形狀模型，該嵌入函數表示來自先驗運動的對象；以及接著通過最大化概率來對于將來的、出現不期望的現象時的對象的連續運動應用該模型，該概率為所研究的統計形狀模型匹配出現不期望的現象時的對象的連續運動的概率。
文檔編號A61B5/117GK1908963SQ20061015924
公開日2007年2月7日 申請日期2006年8月3日 優先權日2005年8月3日
發明者D·克雷默斯 申請人:美國西門子醫療解決公司