在圖像中交互式調焦的系統、方法和媒體的制作方法
【專利說明】在圖像中交互式調焦的系統、方法和媒體 互相參照的相關申請
[0001] 本申請要求2012年4月26日提交的美國臨時申請No. 61/638,974的權益，該申 請的全部內容并入本文作為參考。 陳沭關于聯盟發起的研究或發展
[0002] 本發明是由根據海軍研究辦公室（Office of Naval Research)授予的批準號 (Grant Nos. )Ν00014-11-1-0285 和 N00014-08-1-0929 以及國防高等研究計畫署（Defense Advanced Research Projects Agency)授予的批準號 W911NF-10-1-0214 的政府支持所作 出的。所述政府對本發明具有一定的權利。
技術領域
[0003] 本公開主題涉及在圖像中進行交互式調焦的系統、方法和媒體。
【背景技術】
[0004] 圖像的景深（DOF)是景象中的物體在該景象的圖像上可清晰顯現的景象深度范 圍。在大多數成像應用中，從民用數字攝影到光學顯微術，我們都希望控制好被捕捉圖像的 景深。隨著景深的增大，越來越多的景象能夠得到清晰呈現，這對于捕捉大景深圖像最好不 過了。然而，一些傳統的增大景深的手段，例如減小相機的孔徑，都有其局限性。例如，孔徑 越小，到達圖像傳感器（或膠片）的光線就越少，則需要的曝光時間越長，這會降低信噪比， 進而由于相機抖動和/或捕捉對象移動而使圖像模糊不清。而且，隨著像素尺寸的減小（和 /或隨著傳感器分辨率的下降），受圖像中散焦模糊影響的像素增多，進而使圖像的景深減 小。同時，每個像素接受的光線減小也會使信噪比下降。這種景深與信噪比之間的平衡是 成像技術中一個長期存在的根本局限。
[0005] 圖像景深的另外兩個局限是：（1)許多相機只能捕捉一個與景象范圍對應的有限 景深；（2)圖像景深通常是固定不變的，用戶在捕捉圖像后無法更改景深。由于景深的單一 性和固定性，只有處于景深內的物體才能清晰顯現，景象中處于景深之外的物體有一定程 度的模糊。例如，這就使使用者無法捕捉一張相機近處物體（如幾英寸到幾英尺遠）和相 機遠處物體（如數英尺到數十英尺遠）都清晰的圖像，使用者只能讓其中一個物體清晰顯 現。
[0006] 因此，需要一種可以對于多景深在對圖像內進行交互式調焦的機制，并且該機制 能夠提供具有擴展景深的圖像。
【發明內容】
[0007] 根據本公開主題的不同實施例，提供了在圖像中進行交互式調焦的系統、方法和 媒體。
[0008] 本公開主題的一些實施例，提供了在圖像中進行交互式調焦的系統，該系統包括： 透鏡；圖像傳感器；和硬件處理器，其設置用于：使圖像傳感器在預定時間段內捕捉多個圖 像，其中，這些圖像中的各個圖像代表不同時間點的景象；改變這些圖像中至少一對圖像之 間的景深；把這些圖像按照捕捉順序連接，形成一個連續聚焦體積；根據連續聚焦體積計 算出表現各個圖像聚焦部分的空間一時間聚焦圖像；以及根據連續聚焦體積和空間一時間 聚焦圖像計算出空間一時間指數圖，該空間一時間指數圖從這些圖像中識別出景象中各個 位置的聚焦圖像。
[0009] 根據本公開主題的一些實施例，提供了進行交互式調焦的方法，所述方法包括：使 用硬件處理器在預定時間段內捕捉多個圖像，其中，所述多個圖像中的每個圖像代表不同 時間點的景象；使這些圖像中至少一對圖像之間的捕捉這些圖像時的景深發生改變；將這 些圖像按捕捉順序連接，形成一個連續聚焦體積；根據連續聚焦體積計算出表現每個圖像 聚焦部分的空間一時間聚焦圖像；以及根據連續聚焦體積和空間一時間聚焦圖像計算出空 間一時間指數圖，該空間一時間指數圖從這些圖像中識別出景象中各個位置的聚焦圖像。 [0010] 根據本公開主題的一些實施例，提供了含有計算機可執行指令的非瞬時計算機可 讀媒體，所述指令由硬件處理器執行時，使硬件處理器執行交互式調焦方案，所述方案包 括：在預定時間段內捕捉多個圖像，其中，每個圖像代表不同時間點的景象；使這些圖像中 至少一對圖像之間的捕捉這些圖像時的景深發生改變；將這些圖像按捕捉順序連接，形成 一個連續聚焦體積；根據連續聚焦體積計算出表現每個圖像聚焦部分的空間一時間聚焦圖 像；以及根據連續聚焦體積和空間一時間聚焦圖像計算出空間一時間指數圖，該空間一時 間指數圖從這些圖像中識別出景象中各個位置的聚焦圖像。
[0011] 根據本公開主題的一些實施例，提供了進行交互式調焦的系統，所述系統包括：透 鏡；圖像傳感器；使圖像傳感器在預定時間段內捕捉多個圖像的裝置，其中，這些圖像中的 各個圖像代表不同時間點的景象；改變這些圖像中至少一對圖像之間景深的裝置；把這些 圖像按照捕捉順序連接起來形成一個連續聚焦體積的裝置；根據連續聚焦體積計算出表現 各個圖像聚焦部分的空間一時間聚焦圖像的裝置；以及根據連續聚焦體積和空間一時間聚 焦圖像計算出空間一時間指數圖的裝置，所述空間一時間指數圖從這些圖像中識別出景象 中各個位置的聚焦圖像。
[0012] 在一些實施例中，所述改變景深的裝置包括改變透鏡與圖像傳感器之間距離的裝 置。
[0013] 在一些實施例中，所述改變鏡頭與圖像傳感器之間距離的裝置包括使圖像傳感器 相對于透鏡移動的致動器驅動裝置。
[0014] 在一些實施例中，所述改變鏡頭與圖像傳感器之間距離的裝置包括使透鏡相對于 圖像傳感器移動的致動器驅動裝置。
[0015] 在一些實施例中，改變景深的裝置包括改變透鏡焦距的裝置。
[0016] 在一些實施例中，改變景深的裝置包括沿光軸方向移動第二透鏡的裝置，其中，第 二透鏡沿光軸方向設置于透鏡與圖像傳感器之間。
[0017] 在一些實施例中，連續聚焦體積中的各個圖像的景深與相鄰的一個或多個圖像的 景深基本上是連續的。
[0018] 在一些實施例中，這些圖像的景深交集為空集。
[0019] 在一些實施例中，所述系統還包括使這些圖像以一預定幀頻得到捕捉的裝置。
[0020] 在一些實施例中，所述系統還包括根據以下參數中至少一個參數以一恒定速率改 變透鏡與圖像傳感器之間距離的裝置：預定幀頻；圖像傳感器的像素尺寸；以及透鏡的光 圈值。
[0021] 根據本公開主題的一些實施例，提供了進行交互式調焦的系統，該系統包括：硬件 處理器，其設置用于：向使用者顯示景象圖像，其中，該圖像是一個連續聚焦體積中景象的 代表，所述連續聚焦體積包含多個在不同時間點捕捉的該景象的圖像，其中，這些圖像以多 個不同景深捕捉；接收使用者對圖像中一點的選定，其中，從多個圖像之中選定一個圖像向 使用者顯示，所選定的圖像為景象中的一個物體在使用者選定點處聚焦的圖像。
[0022] 根據本公開主題的一些實施例，提供了進行交互式調焦的方法，所述方法包括：向 使用者顯示景象圖像，其中，該圖像是一個連續聚焦體積中景象的代表，所述連續聚焦體積 包含多個在不同時間點捕捉的該景象的圖像，其中，這些圖像以多個不同景深捕捉；接收使 用者對圖像中一點的選定；從多個圖像之中選定一個圖像向使用者顯示，其中，所選定的圖 像為景象中的一個物體在使用者選定點處聚焦的圖像。
[0023] 根據本公開主題的一些實施例，提供了含有計算機可執行指令的非瞬時計算機可 讀媒體，所述指令由硬件處理器執行時，使硬件處理器執行交互式調焦方案，所述方案包 括：向使用者顯示景象圖像，其中，該圖像是一個連續聚焦體積中景象的代表，所述連續聚 焦體積包含多個在不同時間點捕捉的該景象的圖像，其中，這些圖像以多個不同景深捕捉； 接收使用者對圖像中一點的選定，其中，從多個圖像之中選定一個圖像向使用者顯示，所選 定的圖像為景象中的一個物體在使用者選定點處聚焦的圖像。
[0024] 根據本公開主題的一些實施例，提供了對圖像進行交互式調焦的方法，所述方法 包括：用硬件處理器接收在不同時間點捕捉的景象的多個圖像，其中，所述多個圖像中的每 個圖像代表景象的不同景深；將這些圖像按捕捉順序連接，形成一個連續聚焦體積；根據 連續聚焦體積計算出表現各個圖像聚焦部分的空間一時間聚焦圖像；以及根據連續聚焦體 積和空間一時間聚焦圖像計算出空間一時間指數圖，該空間一時間指數圖從這些圖像中識 別出景象中各個位置的聚焦圖像。
[0025] 根據本公開主題的一些實施例，提供了對圖像進行交互式調焦的方法，所述方法 包括：使用硬件處理器接收多個在不同時間點捕捉的景象圖像，其中，所述多個圖像中的每 個圖像代表景象的不同景深；將這些圖像按捕捉順序連接，形成一個連續聚焦體積；對于 連續聚焦體積中的每個點（x，y，PO) : (a)設定連續聚焦體積中的點P等于PO ;(b)選定一個 以點P為中心的錐體；（C)找出錐體中聚焦程度最高的點Q ; (d)確定Q是否等于P ; (e)重 復步驟（b)至（d)，直到確定Q等于P ;以及（f)設定等于Q的點（X，y, PO)的深度。
[0026] 根據本公開主題的一些實施例，提供了對圖像進行交互式調焦的方法，所述方法 包括：使用硬件處理器接收多個在不同時間點捕捉的景象圖像，其中，所述多個圖像中的每 個圖像代表景象的不