成像單元和系統的制作方法
【專利摘要】提供一種成像單元和系統。使用同一圖像傳感器針對3D對象捕獲二維(2D)圖像和進行三維(3D)深度測量。激光器用光斑點掃描對象的表面，圖像傳感器中的像素陣列檢測所述光斑以使用三角法來生成對象的3D深度輪廓。像素陣列中的各像素行形成對應的激光掃描線的極線。時間戳時間戳提供所捕獲光斑的像素位置和激光器的各個掃描角度之間的對應關系，以消除三角法中的任何不確定性。圖像傳感器中的模數轉換器(ADC)作為時間?數字(TDC)轉換器來操作，以生成時間戳。在板上提供時間戳校準電路，以記錄像素陣列中的各像素列的傳播延遲并且向3D深度測量期間產生的時間戳值提供必要的校正。
【專利說明】
成像單元和系統
[00011 本申請是2015年9月1日提交的美國專利申請No. 14/842,822的部分連續案并且要 求其優先權權益，該美國專利申請要求共同受讓的2015年4月20日提交的美國臨時申請 No.62/150,252和2015年6月19日提交的美國臨時申請No.62/182,404的權益，這些申請的 全部公開內容通過引用全部包含于此。本申請還要求2015年11月9日提交的美國臨時申請 No. 62/253，123的優先權權益，該美國臨時申請的公開內容通過引用全部包含于此。
技術領域
[0002] 本公開總體上涉及圖像傳感器。更具體地，而非限制地，本公開中公開的創造性方 面的特定實施例指向使用激光點掃描和互補型金屬氧化物半導體(CMOS)圖像傳感器在基 于三角法的系統和深度測量的方法中對三維(3D)對象進行的時間戳校準，CMOS圖像傳感器 也用于3D對象的二維(2D)成像。
【背景技術】
[0003] 三維(3D)成像系統正越來越多地用于各種各樣的應用，例如，諸如工業生產、視頻 游戲、計算機圖形、機器人手術、消費者顯示、監控錄像、3D建模、房地產銷售等。
[0004] 現有的3D成像技術可包括例如基于飛行時間（time-of-f light，T0F)的距離成像、 立體視覺系統和結構光(SL)方法。
[0005] 在TOF方法中，基于已知的光速來求解與3D對象的距離一通過針對圖像中的各點 測量光信號在相機和3D對象之間行進所花費的往返時間。TOF相機可使用無掃描儀方法用 各激光或光脈沖來拍攝整個場景。TOF方法的一些示例應用可包括高級汽車應用(諸如，基 于實時的距離圖像的主動行人安全或預碰撞檢測），該應用用于在工業機器視覺中在諸如 用視頻游戲控制臺與游戲進行互動期間跟蹤人的移動，從而將對象分類并且幫助機器人尋 找物品(諸如，傳送帶上的物品）等等。
[0006] 在立體成像或立體視覺系統中，使用相互水平移位的兩個相機得到場景的兩個不 同視圖或場景中的3D對象。通過比較這兩個圖像，可得到針對3D對象的相對深度信息。在諸 如機器人的領域中，立體視覺對于提取自主系統/機器人附近的3D對象的相對位置的有關 信息而言是極其重要的。機器人的其他其他應用包括對象識別，在對象識別中，立體深度信 息允許機器人系統分開遮擋的圖像分量，機器人原本不能將這些圖像分量區分成兩個單獨 對象一諸如，在一個對象的前方的另一個對象部分或完全遮擋了其他前一對象。3D立體顯 示器還可用于娛樂和自動化系統。
[0007] 在SL方法中，可使用投影光圖案和用于成像的相機來測量對象的3D形狀。在SL方 法中，光的已知圖案一常常是柵格或水平桿或平行條的圖案一被投影到場景上或場景中的 3D對象上。投影圖案在照射到3D對象的表面時會發生變形或位移。這種變形可允許SL視覺 系統計算對象的深度和表面信息。因此，將窄帶光投影到3D表面上可產生從與投影儀的視 角不同的其他視角來看可能會失真的照射線，并且可用于被照射的表面形狀的幾何重構。 基于SL的3D成像可用于不同應用，例如，諸如由警察機關拍攝3D場景中的指紋、生產過程期 間的部件的流水線檢查、用于人體形狀的現場測量或人皮膚的微結構的衛生保健等。
【發明內容】
[0008] 在一個實施例中，本公開指向一種方法，所述方法包括：（i)使用光源沿著掃描線 執行三維(3D)對象的一維（ID)點掃描，其中，點掃描將一系列光斑投影到3D對象的表面上； (ii)選擇圖像傳感器中的像素行，其中，圖像傳感器具有布置成形成像平面的二維(2D)陣 列的多個像素，其中，選擇的像素行在像平面上形成掃描線的極線的至少一部分；（iii)針 對選擇的像素行中的像素，感測所述一系列光斑中的對應光斑的像素特定檢測；（iv)響應 于感測到對應光斑的像素特定檢測，生成針對對應光斑的時間戳值；（V)針對與選擇的像素 行中的像素關聯的2D陣列中的列，將列特定校正值應用于時間戳值，以得到校正后的時間 戳值，其中，列特定校正值表示像素特定檢測的感測和選擇的像素行中的像素的像素特定 輸出達到預定義閾值的時間之間的列特定傳播延遲;和(vi)基于校正后的時間戳值和光源 用于投影對應光斑的掃描角來確定與3D對象表面上的對應光斑的距離。
[0009] 在另一個實施例中，本公開指向一種成像單元，該成像單元包括：（i)光源，可操作 為沿著掃描線對3D對象執行ID點掃描，其中，點掃描將一系列光斑投影到3D對象的表面上； 以及（ii)圖像傳感器單元。圖像傳感器單元包括：（i)布置成形成像平面的2D像素陣列的多 個像素，其中，2D像素陣列中的像素行形成掃描線的極線的至少一部分，其中，所述像素行 中的各像素與2D像素陣列中的各個列關聯，其中，所述像素行中的各像素可操作為檢測所 述一系列光斑中的對應的光斑；（ii)多個模數轉換器(ADC)單元，其中，各ADC單元與所述像 素行中的各個像素關聯并且可操作為響應于由所述各個像素進行的對應光斑的像素特定 檢測，針對所述各個像素生成像素特定時間戳值；以及(iii)處理單元，結合到所述多個ADC 單元。在圖像傳感器單元中，處理單元可操作為執行以下：（i)針對與所述像素行中的各個 像素關聯的2D陣列中的列，將列特定校正值應用于像素特定時間戳值，以得到校正后的時 間戳值，其中，列特定校正值表示像素特定檢測和所述各個像素的像素特定輸出達到預定 義閾值的時間之間的列特定傳播延遲；以及（ii)基于校正后的時間戳值和光源用于投影對 應光斑而使用的掃描角，確定在3D對象的表面上與對應光斑的距離。
[0010] 在其他實施例中，本公開指向一種系統，所述系統包括：⑴光源；（ii)布置成2D像 素陣列的多個像素；（iii)多個ADC單元；（iv)用于存儲程序指令的存儲器;和(V)結合到存 儲器和所述多個ADC單元的處理器。在所述系統中，光源可操作為沿著掃描線來執行3D對象 的ID點掃描，其中，點掃描將一系列光斑投影到3D對象的表面上。另外，在所述系統中，2D像 素陣列形成像平面，其中，2D像素陣列中的像素行形成掃描線的極線的至少一部分。所述像 素行中的各像素與所述系統中的2D像素陣列中的各個列關聯，其中，所述像素行中的各像 素可操作為檢測所述一系列光斑中的對應光斑。所述系統中的各ADC單元與所述像素行中 的各個像素關聯并且可操作為響應于由所述各個像素進行的對應光斑的像素特定檢測來 生成針對所述各個像素的像素特定時間戳值。在所述系統中，處理器被構造成執行(存儲器 中存儲的)程序指令，由此，處理器可操作為執行以下：（i)針對與所述像素行中的各個像素 關聯的2D像素陣列中的列，將列特定校正值應用于像素特定時間戳值，以得到校正后的時 間戳值，其中，列特定校正值表示像素特定檢測和所述各個像素的像素特定輸出達到預定 義閾值的時間之間的列特定傳播延遲，以及（ii)基于校正后的時間戳值和光源用于投影對 應光斑而使用的掃描角，確定在3D對象的表面上與對應光斑的距離。
【附圖說明】
[0011] 在下面的部分中，將參照附圖中示出的示例性實施例來描述本公開的創造性方 面，其中：
[0012] 圖1不出根據本公開的一個實施例的系統的高度簡化的部分布局；
[0013] 圖2示出根據本公開的一個實施例的圖1中的系統的示例性操作布局；
[0014] 圖3描繪根據本公開的一個實施例的示出可如何執行3D深度測量的示例性流程 圖；
[0015] 圖4是根據本公開的一個實施例的可如何針對3D深度測量來執行點掃描的示例性 圖示；
[0016] 圖5示出根據本公開的一個實施例的針對被掃描的光斑的示例性時間戳；
[0017] 圖6示出根據本公開的一個實施例的圖1至圖2中的圖像傳感器的圖像處理單元中 的2D像素陣列和相關處理電路的一部分的示例性電路細節；
[0018] 圖7A是根據本公開的一個實施例的圖像傳感器單元的示例性布局；
[0019] 圖7B示出根據本公開的一個實施例的用于3D深度測量的示例性CDS+ADC單元的架 構細節；
[0020] 圖8是示出根據本公開的特定實施例的用于在3D操作模式下生成基于時間戳的像 素特定輸出的、圖1至圖2的系統中的不同信號的示例性時序的時序圖；
[0021] 圖9示出根據本公開的一個實施例的示出可在3D深度測量期間如何校正時間戳值 的示例性流程圖；
[0022]圖10是根據本公開的一個實施例的時間戳校準單元的示例性布局；
[0023] 圖11是根據本公開的特定實施例的示出用于確定列特定傳播延遲的與圖11的校 準單元關聯的不同信號的示例性時序的時序圖；以及
[0024] 圖12描繪了根據本公開的一個實施例的圖1至圖2中的系統的整體布局。
【具體實施方式】
[0025] 在下面的詳細描述中，為了提供對本公開的徹底理解，闡述眾多具體細節。然而， 本領域的技術人員應該理解，可在沒有這些具體細節的情況下實踐所公開的創造性方面。 在其他情形下，沒有詳細描述熟知的方法、程序、組件和電路，以免模糊本公開。另外，可實 現所描述的創造性方面來執行任何成像裝置或系統（例如，包括智能電話、用戶設備(UE)、 膝上型計算機等）中的低電力3D深度測量。
[0026] 貫穿本說明書，參考"一個實施例"或"實施例"意指與實施例結合起來描述的特定 的特征、結構、或特性被包括在本公開的至少一個實施例中。因此，貫穿本說明書中的各個 地方出現的短語"在一個實施例中"或"在實施例中"或"根據一個實施例"（或具有類似意義 的其他其他短語)不一定都是指同一實施例。此外，特定的特征、結構、或特性可按任何合適 方式在一個或多個實施例中進行組合。另外，根據本文中的討論背景，單數術語可包括其復 數形式，復數術語可包括其單數形式。類似地，用連字符連接的術語(例如，"二-維"、"預先-確定"、"像素-特定"等)可偶爾與其沒有用連字符連接的形式(例如，"二維"、"預定"、"像素 特定"等)互換地使用，并且大寫條目可與其非大寫形式互換地使用。這些偶爾可互換的使 用不應當被視為彼此不一致。
[0027] 在開始之前要注意，術語"結合"、"操作地結合"、"連接"、"電連接"等可在本文中 互換地使用，以總體上表示以操作方式電地/電子地連接的狀況。類似地，當第一實體將信 息信號(無論是包含地址、數據還是控制信息)發送到第二實體和/或從第二實體接收(無論 是通過有線還是無線手段)信息信號而不用顧及這些信號的類型(模擬或數字)時，第一實 體被認為與一個第二實體(或多個第二實體）"通信"。還要注意，這里示出和討論的各種圖 (包括組件圖）只是用于說明的目的，并不按比例進行繪制。類似地，僅用于說明的目的而示 出各種波形圖和時序圖。
[0028] 除非明確地這樣定義，否則這里使用的術語"第一"、"第二"等被用作在它們之后 的名詞的標簽，并不隱含著任何類型的排序(例如，空間、時間、邏輯等）。此外，可在兩個或 多個圖中使用相同的參考標號來表示具有相同或類似功能的部件、組件、塊、電路、單元或 模塊。然而，這樣的使用僅為了簡化說明和便于討論;并不意味著這些組件或單元的構造或 架構細節對于所有實施例是相同的，或者這些共同引用的部件/模塊是用于實現本公開的 特定實施例的教導的唯一方式。
[0029]這里觀察到，之前提到的3D技術有許多缺點。例如，基于TOF的3D成像系統會需要 高電力來操作光學或電子快門。這些系統通常在幾米至幾十米的范圍內操作，但對于短距 離的測量，這些系統的分辨率降低，從而使大約1米距離內的3D成像幾乎是不切實際的。因 此，對于主要以近距離拍攝照片的基于蜂窩電話的相機應用而言，TOF系統可能不是所期望 的。TOF傳感器還會需要大像素大小(通常大于7μπι)的特定像素。這些像素也會容易受環境 光的影響。
[0030] 立體成像方法通常只適用于紋理表面。它的計算復雜度高，因為需要匹配特征并 且找到對象的立體圖像對之間的對應關系。這需要高系統電力，而這不是諸如智能電話中 的需要省電的理想屬性。此外，立體成像需要兩個標準大小的高比特分辨率傳感器連同兩 個鏡頭，使得整個組件并不適合裝置不動產受青睞的便攜式裝置(如蜂窩電話或平板）中的 應用。
[0031] SL方法引入距離不確定性，并且還需要高系統電力。對于3D深度測量，SL方法會需 要具有多個圖案的多個圖像一這些全都增加了計算復雜度和功耗。此外，SL成像還會需要 具有高比特分辨率的標準大小的圖像傳感器。因此，基于結構光的系統會不適于智能電話 中的低成本、低電力、小型圖像傳感器。
[0032]相比于以上提到的3D技術，本公開的特定實施例提供了在諸如智能電話、平板、UE 等便攜式電子裝置上實現低電力的3D成像系統。依照本公開的特定實施例的2D成像傳感器 可用可見光激光掃描來拍攝2D RGB(紅色、綠色、藍色）圖像和3D深度測量。這里要注意，盡 管以下的討論會頻繁提到作為點掃描的光源的可見光激光和作為圖像/光拍攝裝置的2D RGB傳感器，但這種提到只是出于說明和討論一致性的目的。以下討論的基于可見激光和 RGB傳感器的示例可發現具有相機的低電力、消費者級的移動電子裝置(例如，諸如智能電 話、平板或UE)中的應用。然而，要理解，本公開的教導不限于以下提到的基于可見激光-RGB 傳感器的示例。相反地，根據本公開的特定實施例，可使用諸如以下的2D傳感器和激光光源 (用于點掃描）的許多不同組合來執行基于點掃描的3D深度測量和環境光反射方法，例如： (i)具有可見光激光源的2D顏色(RGB)傳感器，其中，激光源可以是紅色(R)、綠色(G)、或藍 色(B)光激光、或者產生這些光的組合的激光源；（ii)具有含紅外（IR)截止濾波器的2D RGB 顏色傳感器的可見光激光；（iii)具有2D IR傳感器的近紅外(NIR)激光；（iv)具有2D NIR傳 感器的NIR激光；（V)具有2D RGB傳感器(不帶IR截止濾波器）的NIR激光；（vi)具有2D RGB傳 感器（不帶NIR截止濾波器）的NIR激光；（vii)具有可見或NIR激光的2D RGB-IR傳感器； (viii)具有可見或NIR激光的2D RGBW(紅色、綠色、藍色、白色)傳感器;等等。
[0033]在3D深度測量期間，整個傳感器可作為結合激光器掃描的二元傳感器來操作，以 重構3D內容。在特定實施例中，傳感器的像素大小可以小至Ιμπι。此外，由于更小的比特分辨 率而導致根據本公開的特定實施例的圖像傳感器中的模數轉換器(ADC)單元會需要比傳統 3D成像系統中的高比特分辨率傳感器所需的處理能力明顯低得多的處理能力。因為需要的 處理能力更小，所以根據本公開的3D成像模塊會需要低系統電力，因此，非常適于包括在如 智能電話的低電力裝置中。
[0034] 在特定實施例中，本公開將三角法和用激光光源進行的點掃描用于用一組線傳感 器進行的3D深度測量。使用極面幾何學，對激光掃描平面和成像平面進行取向。根據本公開 的一個實施例的圖像傳感器可使用時間戳消除三角方法中的不確定性，從而減少深度計算 量和系統電力。可提供板上時間戳校準單元來補償因與傳感器像素的不同列的讀出鏈關聯 的信號傳播延遲中的變化造成的時間戳抖動和誤差。相同的圖像傳感器一也就是說，圖像 傳感器中的各像素一可用于正常2D(RGB顏色或非RGB)成像模式以及3D激光掃描模式。然 而，在激光掃描模式下，圖像傳感器中的ADC的分辨率減小為二進制輸出（僅1比特分辨率）， 從而提高集成圖像傳感器和相關處理單元的芯片中的讀出速度并且降低功耗一例如，由于 ADC單元中的轉換而導致的功耗。此外，點掃描方法可允許系統一次完成所有測量，從而降 低深度測量的延遲并且減少運動模糊。
[0035] 如之前指出的，在特定實施例中，整個圖像傳感器可用于使用例如環境光進行的 常規2D RGB顏色成像以及使用可見激光掃描進行的3D深度成像。同一相機單元的這種兩用 可節省移動裝置的空間和成本。此外，在某些應用中，相比于近紅外(NIR)激光，3D應用的可 見激光對于用戶的眼睛安全而言會更好。傳感器在可見光譜中可比在NIR光譜中具有更高 量子效率，導致光源的功耗更低。在一個實施例中，兩用圖像傳感器可在2D成像的線性操作 模式下工作一如同常規2D傳感器。然而，對于3D成像，傳感器可在適中光照條件下以線性模 式工作并且在強環境光下以對數模式工作，以便于通過強環境光的反射來持續使用可見激 光源。此外，例如，當用于RGB傳感器的IR截止濾波器的通帶帶寬不夠窄時，就NIR激光而言， 也會需要環境光反射。
[0036] 圖1示出根據本公開的一個實施例的系統15的高度簡化的部分布局。如所示出的， 系統15可包括與處理器或主機19結合并且通信的成像模塊17。系統15還可包括結合處理器 19以存儲從成像模塊17接收的信息內容(例如，諸如圖像數據）的存儲器模塊20。在特定實 施例中，整個系統15可被包封在單個集成單路（IC)或芯片中。可供選擇地，模塊17、19和20 中的每個可在單獨芯片中實現。此外，存儲器模塊20可包括不止一個存儲器芯片，處理器模 塊19也可包括多個處理芯片。在任何情況下，關于圖1中的模塊封裝細節以及它們如何在單 個芯片中或者使用多個分立芯片來制造或實現與當前討論無關，因此，在這里不提供這些 細節。
[0037]系統15可以是依照本公開的教導而針對2D和3D相機應用所構造的任何低電力的 電子裝置。系統15可以是便攜式的或非便攜式的。例如，系統15的便攜式形式的一些示例可 包括普及的消費者電子配件，諸如移動裝置、蜂窩電話、智能電話、用戶設備(UE)、平板、數 字相機、膝上型或臺式計算機、電子智能手表、機器對機器(M2M)通信單元、虛擬現實(VR)設 備或模塊、機器人等。另一方面，系統15的非便攜式形式的一些示例可包括：電子游戲室中 的游戲控制臺、交互式視頻終端、汽車、機器視覺系統、工業機器人、VR設備、駕駛員側安裝 的車載相機(例如，用于監測駕駛員是否醒著)等。例如，依照本公開的教導提供的3D成像功 能可用于許多應用，諸如虛擬現實設備上的虛擬現實應用、在線聊天/游戲、3D短信、使用產 品3D圖像搜索在線或本地(基于裝置的）目錄/數據庫以得到產品相關信息(例如，一條食物 項目的卡路里含量）、機器人和機器視覺應用、諸如自主駕駛應用的汽車應用等。
[0038]在本公開的特定實施例中，成像模塊17可包括光源22和圖像傳感器單元24。如以 下參照圖2更詳細討論的，在一個實施例中，光源22可以是可見激光器。在其他實施例中，光 源可以是NIR激光器。圖像傳感器單元24可包括如圖2所示的像素陣列和輔助處理電路并且 也在以下進行了討論。
[0039] 在一個實施例中，處理器19可以是CPU，CHJ可以是通用微處理器。在這里的討論 中，為了便于討論，可互換地使用術語"處理器"和"CPU"。然而，要理解，作為CPU的替代或補 充，處理器19可包含任何其他類型的處理器，例如，諸如微控制器、數字信號處理器(DSP)、 圖形處理單元(GPU)、專用應用集成電路(ASIC)處理器等。此外，在一個實施例中，處理器/ 主機19可包括不止一個CPU，CPU可在分布式處理環境中進行操作。處理器19可被構造成根 據特定指令集架構（ISA)(例如，諸如x86指令集架構(32位或64位版本）、PowerPC? ISA、 或依賴于RISC(精簡指令集計算機）ISA的MIPS(不帶互鎖流水線級的微處理器)指令集架 構)來執行指令并且處理數據。在一個實施例中，處理器19可以是具有除了 CPU功能之外的 功能的片上系統(SoC)。
[0040]在特定實施例中，存儲器模塊20可以是動態隨機存取存儲器(DRAM)(例如，諸如同 步DRAM (SDRAM))、基于DRAM的三維堆疊(3DS)存儲器模塊(例如，諸如高帶寬存儲器(HBM)模 塊）、或混合存儲器立方體(HMC)存儲器模塊。在其他實施例中，存儲器模塊20可以是固態驅 動器(SSD)、非3DS DRAM模塊、或任何其他基于半導體的存儲系統，例如，諸如靜態隨機存取 存儲器（SRAM)、相變隨機存取存儲器（PRAM或PCRAM)、電阻型隨機存取存儲器（RRAM或 ReRAM)、導電橋接RAM(CBRAM)、磁性RAM(MRAM)、自旋轉移扭矩MRAM(STT-MRAM)等。
[0041 ]圖2不出根據本公開的一個實施例的圖1中的系統15的不例性操作布局。系統15可 用于得到3D對象(諸如3D對象26)的深度信息（沿著Z軸），該3D對象可以是獨立對象或者場 景(未示出）內的對象。在一個實施例中，可基于從圖像傳感器單元24接收的掃描數據，用處 理器19來計算深度信息。在另一個實施例中，可用圖像傳感器單元24本身（例如，諸如圖7A 的實施例中的圖像傳感器單元)來計算深度信息。在特定實施例中，可通過處理器19使用深 度信息作為3D用戶界面的部分以使系統15的用戶能夠與對象的3D圖像交互或者使用對象 的3D圖像作為在系統15上運行的游戲或其他應用的部分。依照本公開的教導的3D成像也可 用于其他目的或應用，并且可應用于基本上任何場景或3D對象。
[0042]在圖2中，取X軸作為沿著裝置15的前方的水平方向，Y軸是垂直方向（在這個視圖 中在頁面外），Z軸沿對象26被成像的大體方向上遠離裝置15的方向延伸。針對深度測量，模 塊22和24的光軸可平行于Z軸。也可使用其他光學布置來實現這里描述的原理，這些替代布 置被認為在本公開的范圍內。
[0043]光源模塊22可如與對應的虛線30-31關聯的示例性箭頭28-29所示地照射3D對象 26,虛線30-31表不可用于對光學視場內的3D對象26進行點掃描的光束或光學福射的照射 路徑。可使用光學福射源執行對象表面的逐行點掃描，在一個實施例中，光學福射源可以是 由激光控制器34操作和控制的激光光源33。可在激光控制器34的控制下借助投影光學器件 35在貫穿3D對象26表面的X-Y方向上對來自激光光源33的光束進行點掃描。如以下參照圖4 至圖5更詳細討論的，點掃描可將光斑沿著掃描線投影到3D對象的表面上。投影光學器件可 以是聚焦鏡頭、玻璃/塑料表面、或將來自激光光源33的激光束聚集到對象26的該表面上的 點或斑的其他柱形光學元件。在圖2的實施例中，凸形結構被示出為聚焦鏡頭35。然而，可為 投影光學器件35選擇任何其他合適的鏡頭設計。對象26可布置在來自光源33的照射光被投 影光學器件35聚焦為光斑的聚焦位置。因此，在點掃描中，可通過來自投影光學器件35的聚 焦光束順序地照射3D對象26的表面上的點或窄的區域/斑。
[0044]在特定實施例中，光源(或照射源)33可以是發射可見光的二極管激光器或發光二 極管（LED)、NIR激光器、點光源、可見光譜中的單色照射源（例如，諸如白燈和單色儀的組 合）、或任何其他類型的激光光源。激光器33可被固定在裝置15的外殼內的一個位置，但可 在X-Y方向上旋轉。激光器33可(例如，由激光控制器34)進行X-Y尋址以執行3D對象26的點 掃描。在一個實施例中，可見光可以基本上是綠光。可使用反射鏡(未不出）將來自激光光源 33的可見光照射投影到3D對象26的表面上，或者點掃描可以完全無反射鏡。在特定實施例 中，光源模塊22可包括比圖2的示例性實施例中示出的組件更多或更少的組件。
[0045]在圖2的實施例中，被對象26的點掃描反射的光可沿著箭頭36-37和虛線38-39所 指示的收集路徑行進。光收集路徑可在從激光光源33接收照射時，攜帶被對象26的表面反 射或散射的光子。這里要注意，使用圖2中的實心箭頭和虛線的各種傳播路徑的描繪(也適 用于圖4至圖5中）只是出于說明目的。該描繪不應該被理解為示出任何實際的光學信號傳 播路徑。實際上，照射和收集信號的路徑可不同于圖2中示出的路徑，并且可不像圖2中的圖 示中一樣清晰定義。
[0046]可借助圖像傳感器單元24中的收集光學器件44將從被照射對象26接收的光聚焦 到2D像素陣列42的一個或多個像素上。如同投影光學器件35,收集光學器件44可以是聚焦 鏡頭、玻璃/塑料表面、或將從對象26接收的反射光聚集到2D陣列42中的一個或多個像素上 的其他柱形光學元件。在圖2的實施例中，凸形結構被示出為聚焦鏡頭44。然而，可為收集光 學器件44選擇任何其他合適的鏡頭設計。此外，為了便于說明，在圖2中（以及在圖6中）只示 出3X3像素陣列。然而，要理解，現代像素陣列包含數千或甚至數百萬的像素。像素陣列42 可以是RGB像素陣列，在RGB像素陣列中，不同像素可收集不同顏色的光信號。如之前提到 的，在特定實施例中，像素陣列42可以是任何2D傳感器，例如，諸如具有IR截止濾波器的2D RGB傳感器、2D IR傳感器、2D NIR傳感器、2D RGBW傳感器、2D RWB(紅色、白色、藍色）傳感 器、多層CMOS有機傳感器、2D RGB-IR傳感器等。如隨后更詳細討論的，系統15可使用相同的 像素陣列42進行對象26(或包含對象的場景）的2D RGB顏色成像以及對象26的3D成像(涉及 深度測量）。隨后，參照圖6討論像素陣列42的另外的架構細節。
[0047]像素陣列42可將接收到的光子轉換成對應的電信號，然后，由相關的圖像處理單 元46處理這些電信號，以確定對象26的3D深度圖像。在一個實施例中，圖像處理單元46可使 用三角法進行深度測量。隨后，參照圖4討論三角方法。圖像處理單元46還可包括用于控制 像素陣列42的操作的相關電路。隨后在以下討論的圖7A至圖7B中示出示例性的圖像處理和 控制電路。
[0048]處理器19可控制光源模塊22和圖像傳感器單元24的操作。例如，系統15可具有模 式開關(未示出），用戶能控制模式開關從2D成像模式切換成3D成像模式。當用戶使用模式 開關選擇2D成像模式時，處理器19可啟動圖像傳感器單元24,但可不啟動光源模塊22,因為 2D成像可使用環境光。另一方面，當用戶使用模式開關來選擇3D成像時，處理器19可啟動模 塊22、24二者（如以下討論的）。從圖像處理單元46接收的處理后的圖像數據可被處理器19 存儲在存儲器20中。處理器19還可在裝置15的顯示屏(未示出）上顯示用戶選擇的2D或30圖 像。處理器19可用軟件或固件來編程，以執行這里描述的各種處理任務。可供選擇地或另外 地，處理器19可包括用于執行其功能中的一些或全部的可編程硬件邏輯電路。在特定實施 例中，存儲器20可存儲使處理器19能夠執行其功能的程序代碼、查找表和/或暫時計算結 果。
[0049]圖3描繪根據本公開的一個實施例的示出可如何執行3D深度測量的示例性流程圖 50。可通過系統15中的單個模塊或模塊或系統組件的組合來執行圖3中示出的各種步驟。在 這里的討論中，僅通過舉例將特定任務描述為正被特定模塊或系統組件執行。其他模塊或 系統組件也可被適當構造以執行這些任務。
[0050] 在圖3中，在塊52,系統15(更具體地講，處理器19)可使用光源(諸如，圖2中的光源 模塊22)沿著掃描線執行3D對象(諸如，圖2中的對象26)的一維（ID)點掃描。作為點掃描的 部分，光源模塊22可被例如處理器19構造成以逐行方式將一系列光斑投影到3D對象26的表 面上。在塊54,系統15中的像素處理單元46可選擇圖像傳感器中的像素行(諸如，圖2中的2D 像素陣列42)。圖像傳感器42具有布置成形成像平面的2D陣列的多個像素，并且在一個實施 例中，所選擇的像素行在像平面上形成掃描線的極線(在塊52)。以下，參照圖4提供對極線 幾何的簡要討論。在塊56,可通過處理器19操作地構造像素處理單元46,以使用像素行中的 對應像素來檢測各光斑。這里觀察到，例如，諸如當被照射斑反射的光被收集光學器件44聚 焦到兩個或多個相鄰像素上時，可由單個像素或不止一個像素檢測被照射光斑反射的光。 另一方面，被兩個或多個光斑反射的光可被收集于2D陣列42中的單個像素。以下討論的基 于時間戳的方法消除了通過同一像素對兩個不同光斑進行成像或者通過兩個不同像素對 單個光斑進行成像而導致的深度計算相關不確定性。在塊58,通過處理器19進行合適構造 的圖形處理單元46可響應于一系列光斑(在塊52的點掃描中）中的對應光斑的像素特定檢 測(在塊56)來生成像素特定輸出。因此，在塊60,圖像處理單元46可至少基于像素特定輸出 (在塊58)和光源投影對應光斑所使用的掃描角度(在塊52)來確定3D對象的表面上與對應 光斑的3D距離(或深度）。參照圖4,更詳細地討論深度測量。
[0051] 圖4是根據本公開的一個實施例的可如何針對3D深度測量來執行點掃描的示例性 圖示。在圖4中，使用描繪激光在X方向（具有角度"β"）和Y方向（具有角度"α"）上的角運動的 箭頭62、64示出激光光源33的X-Y旋轉能力。在一個實施例中，激光控制器34可基于從處理 器19接收的掃描指令/輸入來控制激光光源33的X-Y旋轉。例如，當用戶選擇3D成像模式時， 處理器19可指示激光控制器34開始面對投影光學器件35的對象表面的3D深度測量。作為響 應，激光控制器34可通過激光光源33的X-Y移動來開始對象表面的ID X-Y點掃描。如圖4中 所示，激光光源33可通過將光斑沿著ID水平掃描線投影來點掃描對象26的表面一用圖4中 的虛線標識其中兩條掃描線Sr 66和Sr+i 68。因為對象26的表面彎曲，所以光斑70-73可在 圖4中形成掃描線Sr 66。為了便于說明和清楚，未使用參考標號來標識構成掃描線SR+1 68 的光斑。激光器33可沿著行R、R+1等掃描對象26, 一次一個光斑一例如，以從左至右的方向。 "R"、"R+1"等的值是參照2D像素陣列42中的像素的行，因此，這些值是已知的。例如，在圖4 中的2D像素陣列42中，使用參考標號"75"來標識像素行"R"并且使用參考標號"76"來標識 行"R+Γ。要理解，從多個像素行中選擇行"R"和"R+Γ僅是出于說明目的。
[0052]包含2D像素陣列42中的像素行的平面可被稱為像平面，而包含掃描線（如線Sr和 SR+1)的平面可被稱為掃描平面。在圖4的實施例中，使用極線幾何對像平面和掃描平面取 向，使得2D像素陣列42中的各行像素 R、R+1等形成對應掃描線Sr。!^等的極線。當（掃描線 中的）照射斑在像平面上的投影可沿著作為行"R"本身的線而形成不同光斑時，像素"R"的 行可被認為與對應的掃描線"Sr"成極線。例如，在圖4中，箭頭78示出通過激光器33的光斑 71的照射，而箭頭80示出光斑71正被聚焦鏡頭44沿著箭頭"R"75成像或投影。盡管在圖4中 未示出，但觀察到，將通過行"R"中的對應像素對光斑70-73均進行成像。因此，在一個實施 例中，激光光源33和像素陣列42的物理布置(諸如，位置和取向）可以使得對象26的表面上 的掃描線上被照射的光斑可被像素陣列42中的對應行中的像素捕獲或者檢測一該行像素 由此形成掃描線的極線。盡管在圖4中未示出，但這里觀察到，在一個實施例中，掃描線一諸 如，掃描線Sr-可以不是筆直的，而可以是彎曲或傾斜的。例如，當激光器33和像素陣列42 之間誤對準時可導致這種并非完美的激光掃描線。誤對準可以是由于組裝在系統15中的各 種部件的機械/物理容差的限制或者由于這些部件的布置或最終組裝中的任何矛盾而導致 的。在彎曲/傾斜的掃描線的情況下，（像素陣列42中）兩個或多個像素行可共同形成彎曲掃 描線的極線。換句話講，在特定實施例中，單行像素可只形成極線的一部分。在任何情況下， 本公開的教導保持可應用，而不管像平面中的單行像素或多行像素組是否形成對應掃描線 的極線。然而，為了便于說明并且在不損失概括性的情況下，以下的討論可主要是指單行像 素形成整條極線的構造。
[0053]要理解，2D像素陣列42中的像素可布置成行和列。被照射光斑可被像素陣列42中 的對應行和列所引用。例如，在圖4中，掃描線Sr中的光斑71被指定為"XR, i"，表明可通過像 素陣列42中的第"R"行第"i"列(C1)將光斑71成像。用虛線82指示列C 1。可類似地標識其他照 射光斑。如之前闡明的，被兩個或多個光斑反射的光可被一行中的單個像素接收，或者可供 選擇地，被單個光斑反射的光可被一行像素中的不止一個像素接收。隨后討論的基于時間 戳的方法可消除源自這多個或重疊投影的深度計算中的不確定性。
[0054]在圖4的圖示中，具有參考標號"84"的箭頭表示光斑71從沿著裝置15前方的X軸 (諸如，圖2中示出的X軸)起算的深度或距離"Z"（沿著Z軸）。在圖4中，具有參考標號"86"的 虛線表示此軸，該軸可被可視化為包含在也包含投影光學器件35和收集光學器件44的垂直 平面中。然而，為了方便說明三角方法，激光光源33在圖4中被示出為在X軸86上，而不被示 出為在投影光學器件35上。在基于三角法的方法中，可使用以下等式來確定"Z"的值：
[0055] …⑴
[0056]在圖4中也示出以上等式（1)中提到的參數。基于裝置15的物理構造，等式（1)右手 側的參數的值可以是預定的。在等式（1)中，參數"h"是收集光學器件44和圖像傳感器(假設 是在收集光學器件44后方的垂直平面上)之間的距離(沿著Z軸）；參數"d"是與圖像傳感器 24關聯的激光光源33和收集光學器件44之間的偏移距離；參數"q"是收集光學器件44和檢 測對應光斑的像素之間的偏移距離一這里，用與Xr,:71關聯的列匕來表示檢測/成像像素 "i"；參數"Θ"是所考慮的光斑(這里，是光斑71)的光源的掃描角度或光束角度。可供選擇 地，參數"q"也可被認為是在像素陣列42的視場內的光斑的偏移。
[0057]從等式（1)中看到，只有參數"Θ"和"q"對于給定點掃描而言是變量；由于裝置15的 物理幾何形狀，其他參數"h"和"d"基本上是固定的。因為行"R"75是掃描線Sr的極線的至少 一部分，所以水平方向上的圖像移位可反映出對象26的深度差或深度分布，如由正被成像 的不同光斑的參數"q"的值表示的。如隨后在以下討論的，根據本公開的特定實施例的基于 時間戳的方法可用于找到所捕獲光斑的像素位置和激光光源33的對應掃描角度之間的對 應關系。換句話講，時間戳可表示參數"q"和"Θ"的值之間的關聯性。因此，通過(用參數"q" 表示的）成像光斑的對應位置和掃描角度"Θ"的已知值，可使用三角法等式（1)來確定與該 光斑的距離。
[0058] 這里觀察到，在包括例如授予Brown等人的美國專利申請公開No. US2001/1002763 的相關文獻中，描述用于距離測量的三角法的使用。Brown公開中的與基于三角法的距離測 量相關的討論的全部內容以引用方式包含于本文中。
[0059] 圖5示出根據本公開的一個實施例的針對被掃描光斑的示例性時間戳。隨后，例 如，諸如參照圖8的討論來提供生成各個時間戳的額外細節。相比于圖4,在圖5的實施例中， 收集光學器件44和激光器33被示出成偏移布置，反映了這些組件如圖2的實施例中所示的 實際的物理幾何形狀。舉例來說，掃描線66與對應的光斑70-73-起在圖5中示出，如之前提 到的，對應光斑70-73可以是基于由稀疏激光點光源33對對象表面進行從左至右的點掃描 來投影的。因此，如所示出的，可在時間常數"ti"投影第一光斑70，可在時間常數"t 2"投影第 二光斑71，等等。可通過像素行"R" 75中的各個像素90-93來檢測這些光斑/對光斑進行成 像一像素行"R"75是如之前討論的掃描線Sr的極線。在一個實施例中，當檢測光斑時由各像 素收集到的電荷可以是模擬電壓的形式，該模擬電壓可被輸出到圖像處理單元46用于如以 下討論的像素特定深度的確定。模擬像素輸出(Pixout)被共同用圖5中的箭頭95指示。
[0060] 如圖5所示，行R中的各檢測像素90-93可具有關聯的列號一這里，列(^至04。此外， 在圖4中看到，各像素列C 1G = Idd等)具有與等式（1)中的參數"q"關聯的值。因此，當針 對檢測像素90-93生成像素特定時間戳ti-tK如隨后在以下更詳細討論的）時，時間戳可提 供像素列號進而參數"q"的像素特定值的指示。另外，在一個實施例中，使用像素陣列42中 的像素進行的逐斑點檢測可允許圖像處理單元46將各時間戳與對應的照射斑點進而斑點 特定掃描角"Θ" "聯系"起來一因為可適當地控制激光器33來以具有斑點特定掃描角"Θ"的 預定值的期望順序來照射各斑點。因此，時間戳提供了所捕獲激光斑點的像素位置及其各 個掃描角之間的對應關系一以針對從像素陣列42接收的各像素特定信號的等式（1)中的參 數"q"和"Θ"的值的形式。如之前討論的，通過等式（1)中的參數"q"的值反映的像素陣列42 中的掃描角度的值和被檢測的斑點的對應位置可允許針對該光斑進行深度確定。以此方 式，可生成針對像素陣列42的視場內的對象26表面的3D深度映射。
[0061]圖6示出根據本公開的一個實施例的圖1至圖2中的圖像傳感器24的2D像素陣列42 和圖像處理單元46中的關聯處理電路的一部分的示例性電路細節。如之前指出的，僅為了 便于說明，像素陣列42被示出為具有布置為3X3陣列的9個像素100-108;實際上，像素陣列 可包含多行多列的成千上萬或者數百萬的像素。在一個實施例中，各像素100-108可具有如 圖6中所示的相同構造。在圖6的實施例中，2D像素陣列42是互補型金屬氧化物半導體 (CMOS)陣列，其中，各像素是四晶體管鉸接光電二極管(4T PPD)像素。為了便于說明，只有 像素108的組成電路元件以參考標號標記。下面對像素108的操作的討論同等地適用于其他 像素101-107,因此，這里并沒有描述每個像素的操作。
[0062]如所示出的，4T PPD像素108(和類似的其他像素101-107)可包括如圖示連接的鉸 接光電二極管(Pro)IlO和四個N溝道金屬氧化物半導體場效應晶體管(匪0S)111-114。在一 些實施例中，像素100-108可由P溝道金屬氧化物半導體場效應晶體管(PMOS)或其他不同類 型的電荷轉移器件形成。晶體管111可像傳輸門（TG)、浮動擴散(FD)晶體管一樣操作。廣義 地，4T pro像素108可如下地進行操作：首先，pro 110可將入射光子轉換成電子，從而將光 學輸入信號轉換成電荷域中的電信號。然后，傳輸門111可被"閉合"以將所有來自PPD 110 的光生電子轉移到浮動擴散。電荷域中的信號因此被轉換成電壓域，以便后續進行處理和 測量。可隨后使用晶體管114將浮動擴散處的電壓作為像素輸出信號傳輸到模數轉換器 (ADC)并且將其轉換成適于后續處理的數字信號。以下，參照圖8的討論提供關于像素輸出 (PIXOUT)生成和處理的更多細節。
[0063]在圖6的實施例中，圖像處理單元46中的行解碼器/驅動器116被示出為提供三個 不同信號，以控制像素陣列42中的像素的操作來生成列特定像素輸出信號117-119。在圖5 的實施例中，輸出95可總體表示這些PIXOUT信號117-119。可使行選擇(RSEL)信號有效，以 選擇合適的像素行。在一個實施例中，待選擇行是正被激光光源33投影的（光斑的）當前掃 描線的極線。行解碼器/驅動器116可例如從處理器19經由行地址/控制輸入126接收待選擇 行的地址或控制信息。在本討論中，假設行解碼器/驅動器116選擇包含像素108的像素行。 像素陣列42中的各像素行中的晶體管(諸如，晶體管114)可如所示出地連接到各個RSEL線 122-124。復位(RST)信號可被施加到所選擇行中的像素，以將這些像素復位成預定的高電 壓電平。每個行特定RST信號128-130在圖6中示出并且參照圖8中的波形進行更詳細的說 明。各像素中的晶體管(諸如，晶體管112)可如所示地接收相應的RST信號。可使傳輸(TX)信 號有效，以開始傳輸用于后續處理的像素特定輸出電壓(PIX0UT)。在圖6中示出各行特定TX 線132-134。諸如晶體管111的傳輸門晶體管可接收如圖6中所示的各個TX信號。
[0064]如之前提到的，在本公開的特定實施例中，可使用2D陣列42和圖像傳感器單元24 中的其余組件進行2D RGB(或非RGB)成像以及3D深度測量。因此，如圖6中所示，圖像傳感器 單元24可包括像素列單元138,像素列單元138包括將在2D和3D成像期間使用的相關雙采樣 (CDS)電路以及列特定ADC-每個像素列一個ADC。像素列單元138可接收PIXOUT信號117-119并且處理它們，以生成可用于生成2D圖像或者可用于得到3D深度測量的數字數據輸出 (Dout)信號140。像素列單元138還可在PIXOUT信號117-119的處理期間接收參考輸入142和 斜坡輸入143。隨后在以下提供單元138的操作的更多細節。在圖6的實施例中，列解碼器單 元145被示出為結合到像素列單元138。列解碼器145可針對將結合給定的行選擇(RSEL)信 號而選擇的列例如從處理器19接收列地址/控制輸入147。列的選擇可以是順序的，從而允 許從通過對應RSEL信號而選擇的行中的各像素順序接收像素輸出。處理器19可以獲知光斑 的當前投影掃描線，因此，可提供合適的行地址輸入以選擇形成當前掃描線的極線的像素 行并且還可提供適合的列地址輸入，使像素列單元138能夠從所選擇行中的各個像素接收 輸出。
[0065]這里觀察到，盡管這里的討論主要集中在根據本公開的教導的用于2D和3D成像的 圖6中示出的4T pro像素設計，但在其他實施例中可在像素陣列42中使用不同類型的像素。 例如，在一個實施例中，像素陣列42中的各像素可以是省去了傳輸門晶體管一如圖6中的4T PH)設計中的晶體管111 一的3T像素。在其他實施例中，也可使用IT像素或2T像素。在其他實 施例中，像素陣列42中的各像素可具有共用晶體管像素構造，在該構造中，可在兩個或多個 相鄰像素之間共用晶體管和讀出電路。在共用晶體管的像素構造中，各像素可具有至少一 個光電二極管和一個傳輸門晶體管;可在兩個或多個像素之間共用其余晶體管。這種共用 晶體管像素的一個示例是兩個像素使用5個晶體管(T)從而得到2.5T/像素構造的2共用（1 X2)2.5T像素。可用于像素陣列42中的共用晶體管像素的另一個示例是1X4的4共用像素， 其中，4個像素共用讀出電路，但每個像素具有至少一個光電二極管和一個TX (傳輸門）晶體 管。可依照本公開的教導，針對2D和3D成像合適地實現與這里列出的像素構造不同的其他 像素構造。
[0066]圖7Α是根據本公開的一個實施例的圖像傳感器單元(諸如，圖6中的圖像傳感器單 元24)的示例性布局。為了簡明，這里只提供對圖7Α中的架構的簡要討論;隨后參照圖8和圖 10至圖11提供更相關的操作細節。在圖7Α的實施例中，除了2D像素陣列42之外的各種組件 塊可形成圖2中的像素控制單元46的部分。如所示出的，圖7Α中的圖像傳感器單元24可包括 行解碼器單元149和行驅動器單元150,行解碼器單元149和行驅動器單元150二者共同包括 圖6中的行解碼器/驅動器116。盡管在圖7Α中未示出，但行解碼器單元149可例如從處理器 19接收行地址輸入(如圖6中示出的輸入126)，并且對輸入進行解碼以使行驅動器單元150 將適合的RSEL、RST和TX信號提供到由行解碼器149選擇/解碼的行。行驅動器單元150還可 例如從處理器190接收控制信號(未示出），以構造行驅動器150針對RSEURST和TX信號施加 適合的電壓電平。在圖7Α中的圖像傳感器24中，列ADC單元153可表示圖6中的像素列單元 138。為了便于說明，在圖7Α中，來自行驅動器150的各種行特定驅動器信號一諸如RSEURST 和TX信號一共同使用單個參考標號"155"來標注。類似地，所有列特定像素輸出(pixout)--如圖6中的像素輸出117-119-共同使用單個參考標號"157"來標注。列ADC單元153可(從參 考信號發生器159)接收像素輸出信號157和參考輸入142和斜坡信號143,以用像素的列對 應的列特定ADC生成像素特定輸出。隨后，參照圖8更詳細地討論3D成像。在一個實施例中， 如圖6中的像素列單元138的情況下一樣，ADC單元153可包括CDS的電路，以生成作為像素的 復位電平和接收的信號電平之間的差的CDS輸出（未示出）。在特定實施例中，可將3D深度值 與2D圖像進行組合，以生成對象的3D圖像。
[0067]列ADC單元153可包括2D陣列42中的各像素列的單獨的ADC。每個列特定ADC可將各 個斜坡輸入143(來自信號發生器163)與像素輸出信號157-起接收。在一個實施例中，斜坡 信號發生器163可基于從參考信號發生器159接收的參考電壓電平來生成斜坡輸入143 ^DC 單元153中的每個列特定ADC可處理接收的輸入來生成對應的數字數據輸出（Dout)信號 140 ^DC單元153可從列解碼器145接收關于哪列ADC輸出將被讀出并且被發送到Dout總線 140的信息，并且還可接收針對給定行選擇哪列來接收適合的像素輸出的信息。盡管在圖7A 中未示出，但列解碼器單元145可例如從處理器19接收列地址輸入(如圖6中的輸入147)，并 且對輸入進行解碼以使列ADC單元153能夠選擇適合的像素列。在圖7A的實施例中，解碼后 的列地址信號使用參考標號"165"來共同標識。
[0068]可由數字處理塊167來處理來自ADC單元的數字數據輸出140。在一個實施例中，對 于2D RGB成像模式而言，各ADC特定數據輸出140可以是與各個像素收集到的實際光電荷基 本上對應的多比特數字值。另一方面，在3D深度測量模式下，各ADC特定數據輸出140可以是 表示當各個像素檢測到其對應光斑時的時刻的時間戳值。隨后，更詳細地討論根據本公開 的教導的這個時間戳方法。數字處理塊167可包括提供時序產生、圖像信號處理（ISP)(例 如，諸如針對2D成像模式的數據輸出140的處理）、針對3D成像模式的深度計算等等的電路。 就這點而言，數字處理塊167可結合到接口單元168以提供處理后的數據作為輸出170，例 如，以使處理器19能夠在裝置15的顯示屏(未示出）上渲染3D對象26的2D RGB/非RGB圖像或 3D深度圖像。接口單元168可包括用于支持生成數字處理塊167中的時序生成功能的時鐘信 號的鎖相環(PLL)單元。此外，接口單元168還可包括移動產業處理器接口（MIPI)，移動產業 處理器接口（MIPI)針對數字塊167生成的數據提供與裝置15中的其他組件或電路元件的產 業標準硬件和軟件接口。MIPI規范支持大范圍的移動產品并且提供移動裝置的相機、顯示 屏、電力管理、電池接口等的規范。MIPI標準化接口可在移動裝置的外圍（諸如，智能電話的 相機或顯示屏）和移動裝置的應用處理器之間產生提高的可操作性，移動裝置的應用處理 器可不來自與提供外圍的一個售賣方(或多個售賣方)相同的售賣方。
[0069] 在圖7A的實施例中，時間戳校準單元171被示出為結合到列ADC單元153,以將適合 的校準信號172提供到各個列特定ADC，使每個列特定ADC單元能夠在3D測量模式下生成表 示像素特定時間戳值的輸出。盡管在圖7A中未示出，但要理解，在特定實施例中，校準單元 171也可結合到數字塊167用于支持時間戳校準相關處理。參照圖8至圖11更詳細地討論時 間戳方法和相關校準的方面。
[0070] 圖7B示出根據本公開的一個實施例的用于3D深度測量的示例性⑶S+ADC單元175 的架構細節。為了便于討論，單元175在以下可被稱為"ADC單元"，然而，要理解，除了ADC功 能之外，單元175還可包括⑶S功能。在圖7B中，電容器176表示⑶S單元的簡化形式。在一個 實施例中，2D像素陣列42中的各像素列可具有與ADC單元175類似的列特定、單斜率ADC單 元。換句話講，給定列中的各像素可共用同一ADC單元，如ADC單元17 5。因此，在圖6的實施例 中，在像素列單元138中可存在三個ADC單元一每個列一個ADC。在特定實施例中，列特定ADC 單元175可以是圖7A中的列ADC單元153的部分。如所示出的，圖7B的實施例中的ADC 175可 包括與二元計數器181和線存儲器單元183串聯連接的兩個運算跨導放大器(OTA) 177、179。 為了便于說明，在圖7B中只示出對于OTA 177、179的反相（一）和非反相(+ )電壓輸入;沒有 示出偏置輸入和電源連接。要理解，OTA是放大器，其差分輸入電壓產生輸出電流。因此，OTA 可被視為電壓控制的電流源。偏置輸入可用于提供用于控制放大器跨導的電流或電壓。第 一 OTA 177可從⑶S單元176接收來自像素(諸如，圖6中的像素108)的像素輸出電壓的⑶S形 式，該像素是使用從列解碼器145接收的列編號在啟用的行中選擇的。像素輸出信號的CDS 形式可被稱為"PIX_CDS"信號。OTA 177還可從斜坡信號發生器163(圖7A)接收Vramp電壓 143。OTA 177可在像素輸出電壓157降至Vramp電壓143以下時生成輸出電流，如以下參照圖 8討論的。OTA 177的輸出可在被施加到二元計數器181之前經第二OTA 179過濾。在一個實 施例中，二元計數器181可以是接收時鐘(Clk)輸入185并且基于在第一OTA 177生成輸出電 流時被觸發的預定時間期間被計數的時鐘周期來生成時間戳值186的10位紋波計數器。在 圖7B中的實施例的背景下，Clk輸入185可以是由裝置15中的PLL單元168或其他時鐘發生器 (未示出）生成的系統級時鐘或圖像傳感器特定時鐘。像素特定時間戳值186可根據像素的 列編號（列#)被存儲在線存儲器183中，隨后作為Dout信號140被輸出到數字處理塊167。可 從圖7A中示出的列解碼器單元145接收列編號輸入165。
[0071]在特定實施例中，可使用RGB顏色模型進行移動裝置(例如，諸如圖1至圖2中的裝 置15)上的圖像的感測、呈現和顯示。在RGB顏色模型中，可用各種方式將具有三原色(紅色、 綠色和藍色）的光信號相加，以在最終圖像中產生寬顏色陣列。可在2D RGB成像中使用⑶S 方法來以允許消除不期望偏差的方式來測量電子值(諸如，像素/傳感器輸出電壓）。例如， 可在每個列特定ADC單元(如ADC單元175)中采用CDS單元(如CDS單元176)來執行相關雙采 樣。在CDS中，可將像素的輸出測量兩次一一次在已知條件下，一次在未知條件下。然后，可 從在未知條件下測得的值中減去在已知條件下測得的值，以生成與正測量的物理量具有已 知關系的值一這里，光電荷表示圖像信號的像素特定部分。使用CDS，可通過在各集成時間 段的末尾從像素的信號電壓中消除像素的參考電壓(例如，諸如像素被復位后的像素電壓） 來減少噪聲。因此，在CDS中，在像素的電荷作為輸出傳輸之前，對復位值進行取樣。在像素 的電荷被傳輸之后，從值中"推導出"參考值。
[0072] 這里觀察到，在特定實施例中，ADC單元175可用于2D成像以及3D深度測量二者。然 而，在圖7B中沒有示出這種共用構造的所有輸入。在共用情況下，對于2D成像而言，對應 Vramp信號也會是不同的。
[0073]圖8是示出根據本公開的特定實施例的時序圖190,時序圖190示出用于在3D操作 模式下生成基于時間戳的像素特定輸出的、圖1至圖2的系統15中的不同信號的示例性時 序。如之前所闡述的，在特定實施例中，可使用同一圖像傳感器24中的所有像素進行2D以及 3D成像。
[0074]簡言之，如之前參照圖4至圖5討論的，激光光源33可沿著像素陣列42的行"R"75對 3D對象26進行點掃描一一次一個光斑一其中，"R"基于其與掃描線Sr66的極線關系是已知 的。在掃描一行之后，對另一行重復掃描操作。當激光投影下一個光斑時，可通過行R中的對 應像素對之前投影的光斑進行成像。來自行R中所有像素的像素特定輸出可被讀出到數字 處理塊167(圖7A)中的深度處理電路/模塊。
[0075]為了生成像素特定輸出，需要使用RSEL信號來初始地選擇對應行。在圖8的背景 下，假設圖6中的行解碼器/驅動器116通過使RSEL信號122有效成為"高"電平（如圖8中所 示)來選擇包含像素106-108的像素行。因此，將所有像素106-108-起選擇。為了便于討論， 針對也在圖6至圖7中示出的信號、輸入或輸出，在圖8中使用相同的參考標號。初始地，可使 用RST線128將所選擇行中的所有像素106-108復位成高電壓。像素的"復位"電平可表示不 存在對應光斑的像素特定檢測。在根據本公開的一個實施例的3D模式下，可在預定時間內 使RST信號128釋放其高電平，以便于像素106-108所接收的光電子的集成，從而得到對應像 素輸出(Pixout)信號117-119-其中兩個在圖8中示出并且隨后在以下進行討論。PIXOUT 1 信號119表示被像素108供應到對應ADC單元的輸出，并且使用帶圖案的虛線 示出。PIXOUT 2信號118表示被像素107供應到對應ADC單元的輸出，并且使用帶圖案 "..............."的虛線示出。這里要注意，在一個實施例中，其他RST線一如圖6中的線129- 130-可針對未選擇的行保持高或"導通"以防止出現光暈。這里要注意，嚴格意義上說，圖8 中的PIXOUT信號118-119(和圖11中的類似像素輸出信號）可在被作為PIX_CDS信號施加到 第一 OTA-如圖7B中的OTA 177-之前在各個列特定ADC單元(諸如，圖7B中的ADC單元175) 中被CDS單元(例如，諸如圖7B中的CDS單元176)略微修改。然而，為了簡化說明并且為了便 于討論，圖8和圖11中的PIXOUT信號被當作各個PIX_CDS信號（未示出）的代表并且被視為已 經被直接"輸入"到各個OTA 177。
[0076]在復位之后，當像素中的光電二極管接收入射亮度(例如，諸如被投影到3D對象26 的表面上的光斑反射的光中的光電子)時，光電二極管可生成對應的光電流。入射光的像素 檢測可被稱為"0N事件"，而入射光的強度的減小可產生"OFF事件"。響應于ON事件生成的光 電流可將像素輸出電壓(PIXOUT)從其初始復位電平開始減小。像素因此用作換能器，用于 將接收到的亮度/光信號轉換成對應的電子(模擬）電壓，該電壓通常被指定為圖6至圖8和 圖10至圖11中的PIXOUT信號。各像素可被獨立讀取，并且優選地按照通過激光源投影對應 光斑的順序。模擬像素輸出信號可被對應列ADC轉換成數字值。在2D成像模式下，ADC可用作 模數轉換器并且生成多比特輸出。然而，如以下討論的，在3D深度測量模式下，ADC可用作時 間-數字轉換器(TDC)并且生成表示像素檢測到光斑的時間的時間戳值。
[0077]再參照圖8,在完成像素復位(RST 128高）之后，也可在RST釋放之前復位與像素 106-108關聯的列ADC。然而，傳輸(TX)信號132可保持高吞吐量。可使用公共ADC復位信號或 各ADC特定的復位信號來復位ADC。在圖8的實施例中，示出公共ADC_RST信號192已被暫時有 效(成為高電平），以復位列ADC單元153(圖7A)中的列特定ADC(如ADC 175)。在一個實施例 中，在復位像素之后，可將ADC復位成預定的二進制值，諸如二進制"0"或其他已知的數。在 圖8中，分別通過信號AD⑶UT 1(或ADC輸出"A"）和AD⑶UT 2(或ADC輸出"B"）中的"字段" 194-195示出與像素108和107關聯的ADC的這些復位值。這里要注意，只有當討論圖8中示出 的ADC輸出時，這里才為了方便而使用術語"字段"。要理解，ADC輸出可實際上沒有同時由所 有這些"字段"組成，但可以是根據信號處理的ADC當前階段的特定數字值一如果ADC被復 位，則其輸出可以是二進制"〇"；如果觸發ADC對時鐘脈沖計數，則其輸出可以是計數值，如 圖8中的3D深度測量的情況;或者如果使用ADC進行2D顏色成像，則其輸出可以是表示圖像 信號的多比特值。因此，僅用這些"字段"描繪圖8中的ADC輸出信號，以示出ADC在向最終輸 出前進時可在內部生成的不同數字值。在圖8中，使用參考標號"197"來表示代表與像素108 關聯的ADC的輸出的ADCOUT 1信號并且使用參考標號"198"來表示代表與像素107關聯的 ADC的輸出的ADCOUT 2信號。當在存儲器讀取期間由列解碼器選擇各個ADC時，輸出197-198 中的每個可作為Dout信號140(圖6至圖7)出現。在復位之前，ADC輸出197-198可具有如由字 段199-200中的注釋"X"指示的未知值。
[0078]在復位ADC之后，可在像素復位信號128和ADC復位信號192釋放之后，通過將斜坡 輸入(Vramp) 143無效成預定義的電壓電平來啟用預定的閾值。在圖8的實施例中，RAMP輸入 143是所有列特定ADC公共的，從而向各ADC提供相同的Vramp電壓。然而，在其他實施例中， 可通過單獨的ADC特定斜坡輸入向兩個或多個ADC施加不同Vramp值。此外，在特定實施例 中，Vramp閾值可以是可編程參數，從而允許它根據期望是可變的。在閾值(RAMP信號）啟用 之后，像素特定ADC可等待對應的像素的"ON事件"，之后啟動它們的二元計數器一如圖7B中 的計數器181。
[0079]與2D成像模式的情況下的多位輸出相反，在3D深度測量模式下，各ADC可生成單位 輸出（表示二進制"0"或"Γ )。因此，在RGB傳感器的情況下，在3D模式下可實際上忽略RGB像 素陣列42中的像素接收的任何顏色信息。在像素沒有檢測到任何入射光的情況下，對應 ADCOUT信號可保持二進制"0"值。因此，沒有任何ON事件的列可針對其各自的ADCOUT信號一 直具有數字值"〇"（或其他已知數）。然而，如之前所述的，當像素被入射光照射時，其PIX 0UT 線可開始從其復位電平下降一如圖8中的PIXOUT 1和PIXOUT 2信號的向下斜坡所指示的。 假設讀取像素電荷是從首先接收電荷的像素開始的，如例如圖5中示出的，這種讀取可從行 中的最右像素開始并且結束于最左像素，其中，""是最早的時刻并且"t 4"是最晚的時刻。 因此，在圖8的實施例中，可在讀取像素107的輸出（PIX0UT 2)之前讀取像素108的輸出 (PIX0UT 1)。逐漸下降的PIXOUT 1-到達Vramp閾值143,單位ADCOUT 1就可從二進制"0"快 速翻轉成二進制"1"。然而，對應ADC可記錄位翻轉(從"0"到"1"）的時間，而不是輸出位"Γ 的時間。換句話講，與像素108關聯的ADC可通過啟動ADC中的二元計數器(如在ADCOU 1中的 "上數"字段202所指示的）來被用作時間-數字轉換器。在"上數"時間段期間，ADC中的計數 器可對CLK信號185中的時鐘脈沖進行計數，CLK信號185可被應用于如例如圖7B中示出的各 ADC。用圖8中的計數器時鐘1信號204示出被計數的時鐘脈沖，并且可提供計數值(在"上數" 字段中）作為像素108的像素特定輸出。可針對像素107收集的電荷在與像素107關聯的ADC 發生類似計數，如圖8中的計數器時鐘2信號205所指示的。可通過各個ADC將像素特定計數 值(在"上數"字段207中）提供為針對像素107的像素特定輸出。在掃描一行中的所有像素之 后，可對另一行重復逐像素電荷收集操作，而來自更早掃描的行的輸出被讀取到數字塊167 中的深度計算單元。
[0080] 各ADC輸出可有效地表示提供由被激光光源33照射的對象表面上的光斑的像素檢 測的時間指示的各個"時間戳"值。"時間戳"可被認為捕獲像素的光到達時間。在一個實施 例中，可由數字處理塊167針對檢測到的光斑從ADC單元接收的(計數時鐘脈沖的)計數值生 成時間戳值。例如，數字塊167可通過將計數值與內部系統時間或其他參考時間聯系來生成 時間戳。時間戳是在接收端生成的，因此不一定表示當光源投影對應光斑時的精確時間。然 而，時間戳值可允許數字塊167創建帶時間戳的光斑之間的時間相關性，從而允許數字塊 167以用時間相關性所指定的時間上的次序來確定與帶時間戳的光斑的距離一首先確定與 最早照射的光斑的距離，以此類推，直到確定與最后照射的光斑的距離。在一個實施例中， 時間戳方法還可幫助解決如隨后討論的由于多個光斑對同一像素成像而引發的不確定 性。。
[0081] 例如，諸如當在已經過去預定時間段之后再次使斜坡信號143有效時，所有基于 ADC的計數器可同時停止。在圖8中，用虛線210指示標示針對像素電荷集成的預定時間段結 束的斜坡信號143的轉換。RSEL 122和RST 128信號還可隨著斜坡信號143的電平改變(在線 210處)而基本上同時轉變它們的狀態。這里觀察到，在一個實施例中，所有基于ADC的計數 器可在線210復位。在另一個實施例中，可在選擇用于讀取像素電荷的下一行像素之前的任 何時間復位所有基于ADC的計數器。盡管在掃描一行像素結束時復位ADC計數器，但由于針 對可保持全局化和連續運行的內部系統時間或其他參考時間源的時間戳值的關系創建，像 素陣列42中的各像素的時間戳值可保持不同。
[0082]這里觀察到，在圖8的實施例中，更晚掃描的像素(諸如，像素107)可具有比更早掃 描的像素(諸如，像素108)更小的ADC輸出。因此，如所示出的，ADCOUT 2可具有比AD⑶UT 1 更小的計數值(或更少數量的計數的時鐘脈沖）。可供選擇地，在另一個實施例中，例如，當 各ADC特定計數器在像素復位時開始計數并且在檢測到"0N事件"時停止計數時一例如，諸 如當像素的像素輸出信號降至低于給定閾值(Vramp)時一更晚掃描的像素可具有比更早掃 描的像素更大的ADC輸出。
[0083]這里要注意，圖6至圖8和圖11中示出的電路和波形是基于各列上升計數器的單斜 率ADC。然而，要理解，可根據設計選擇，用上升計數器或下降計數器來實現時間戳方法。此 外，也可使用具有全局計數器的單斜率ADC。例如，在一個實施例中，作為使用個體的基于列 的計數器的替代，所有列ADC可共用全局計數器(未示出）。在該情況下，ADC可被構造成使得 各ADC中的列存儲器(如圖7B中的線存儲器183)可鎖存全局計數器的輸出，以當基于列的比 較器單元(未示出）檢測到"0N事件"時（例如，諸如當它首次感測到相應像素輸出信號降至 低于斜坡閾值143時），生成適合的ADC特定輸出。
[0084] 這里觀察到，當沿著對象的表面掃描一行光斑時，被掃描對象的兩個或多個不同 斑點可被成像在同一像素上。這些斑點可在同一掃描線或者可在相鄰掃描線上。當穿過對 象表面掃描多個斑點時，這種重疊成像可對斑點和像素 ON事件的相關性產生負面影響，因 此，會造成深度測量的不確定性。例如，從之前提到的等式（1)看到，深度測量與掃描角度 (Θ)和成像光斑的像素位置相關一如等式（1)中的參數"q"給出的。因此，如果對于給定光斑 而言掃描角度不是正確已知的，則深度計算可不精確。類似地，如果兩個或多個光斑具有相 同"q"值，則深度計算也可變得不確定。根據本公開的特定實施例的基于時間戳的方法可用 于保持所捕獲光斑的像素位置和激光光源的對應掃描角度之間的正確相關性。換句話講， 時間戳可表示參數"q"和"Θ"的值之間的關聯性。因此，如果兩個光斑落到同一像素或列上 (從數據輸出角度來看），則時間戳方法中的時間-數字轉換可允許成像系統一這里，數字處 理塊167(圖7B)-創建這兩個斑點之間的時間相關性，以識別在時間上首先接收了哪個光 斑。在不使用時間戳的系統（例如，諸如之前討論的立體視覺系統或使用結構光方法的系 統）中不容易實現這種相關性。因此，這些系統可需要執行大量數據搜索和像素匹配來解決 對應問題。
[0085] 在一個實施例中，當通過同一像素對多個光斑進行成像時，可將這些光斑的時間 戳進行比較，以識別最早接收的光斑并且可只針對該光斑計算距離，同時忽略在同一像素 后續接收的所有光斑。因此，在這個實施例中，最早接收的光斑的時間戳可被當作對應像素 的像素特定輸出。可供選擇地，在另一個實施例中，可針對時間上最后接收的光斑計算距 離，同時忽略通過同一像素成像的所有其他光斑。在任一種情況下，針對深度計算可忽略第 一個光斑和最后一個光斑之間接收的任何光斑。數學上，通過光源投影的光斑的掃描時間 可以被給定為t(0)、t(l)、…、t(n)，其中，t(i+l)_t(i)=d(t)(常數）。像素/列輸出可被給 定為a(0)、a(l)、…、a(n)，a(0)、a(l)、···、a(n)是ON事件的時間戳并且a(i)-直在t(i)之 后，但在a(i + l)之前。如果a(i)和a(k)(i矣k)碰巧與同一像素/列關聯，則其中只有一個可 被如之前討論地保存，以消除深度計算中的任何不確定。基于掃描時間和輸出時間（用時間 戳表示的）之間的時間關系，處理單元(諸如，數字塊167)可找出丟失了哪些輸出點。盡管處 理單元不能夠恢復丟失位置，但通過可用輸出點進行的深度計算可足以提供對象的可接受 的3D深度輪廓。這里要注意，在一個實施例中，兩個不同像素還可以將同一光斑的各自部分 成像。在該實施例中，基于從這兩個像素輸出的時間戳值的接近度，處理單元可推斷出，可 由兩個不同像素對單個光斑進行了成像。為了解決任何不確定性，處理單元可使用時間戳 來找到各個位置值"q"的"平均"，并且使用等式（1)中的"q"的平均值來計算這種"共用"光 斑的3D深度。
[0086] 從以上討論中觀察到，根據本公開的特定實施例的使用三角法進行的基于時間戳 的3D深度測量允許ADC作為具有僅僅單個位的低分辨率的二元比較器進行操作，從而消耗 相當少的ADC中的轉換功率，因此，節省了系統電力。另一方面，傳統3D傳感器中的高比特分 辨率ADC會需要更多處理電力。此外，相比于需要用大量的處理電力來搜索和匹配像素數據 以解決不確定性的傳統成像方法，基于時間戳的不確定分辨率還可節省系統電力。因為由 于單個成像步驟中的所有點掃描光斑的成像/檢測，導致可通過一次掃描來執行所有深度 測量，所以也減少了延遲。在特定實施例中，像素陣列中的各像素可以是單個存儲像素，因 此，可達到小至1微米(μπι)的大小。在單個存儲像素設計中，每個像素可只存在一個光電二 極管和一個結型電容器(如圖6中的晶體管111)來集成并且存儲光電子。另一方面，具有含 多個電容器的一個光電二極管的像素可不減小成如此小的大小，多個電容器用于存儲在不 同時間到來的光電子。因此，根據本公開的特定實施例的具有小傳感器的低電力3D成像系 統可有助于其容易在移動應用中（例如，諸如在智能電話或平板中的相機中）實現。
[0087] 如之前所提到的，諸如圖1至圖2中的圖像傳感器單元24的相同圖像傳感器可用于 根據本公開的一個實施例的2D成像和3D深度測量二者。這種雙模式圖像傳感器可以是例如 移動電話、智能電話、膝上型計算機或平板上的相機系統的部分，或者作為工業機器人或VR 設備中的相機系統的部分。在特定實施例中，在裝置上可存在模式開關，以允許用戶在傳統 2D相機模式或使用如之前討論的深度測量的3D成像模式之間選擇。在傳統2D相機模式下， 在特定實施例中，用戶可拍攝場景的彩色(RGB)圖像或快照或場景內的特定3D對象。然而， 在3D模式下，用戶能夠基于以之前討論的方式執行基于點掃描的深度測量的相機系統產生 對象的3D圖像。在任一種模式下，同一圖像傳感器可全部用于執行期望的成像。換句話講， 圖像傳感器中的各像素可用于任一種應用一 2D或3D成像。
[0088] 也如之前提到的，可使用時間戳來找到等式（1)中給出的以下兩個參數之間的對 應關系:成像光斑的像素位置(q)和激光源的對應掃描角度(Θ)。因此，時間戳中的抖動或誤 差可減少時間戳的最小可分辨時間（或時間分辨率）。這樣進而可減少可在一行時間內掃描 的激光光斑的數量，從而可導致深度圖像的幀頻和空間分辨率減小。例如，像素電荷收集和 后續處理可降低可生成時間戳的速度。在特定實施例中，時間戳生成會花費數微秒，而可明 顯更快地(例如，以納秒為單位)執行激光掃描。因此，一個或多個時間戳中的誤差或抖動可 導致進一步的處理延遲，并且還會需要用更慢的激光掃描來適應校正時間戳誤差或生成無 誤差時間戳所需的時間。假設分配相同的時間來掃描3D對象上的各行，降低激光掃描速度 的需要可導致在給定掃描持續時間內可沿著一個像素行掃描的激光斑點的數量減少。這樣 可進而減小對象的3D深度圖像的空間分辨率。
[0089] 會因不同的列特定讀取鏈的傳播延遲的變化而造成時間戳抖動和誤差。圖7B中的 ADC單元175示出示例性的讀取鏈。在某些實施例中，線存儲器塊183(圖7B)可不被視為列特 定"讀取鏈"的部分。然而，在這里的討論中，使用術語"列特定讀取鏈"來表示使用圖7B中的 參考標號"175"標識的完整ADC構造。如之前討論的，在特定實施例中，2D像素陣列42中的各 像素列可與對應列特定讀取鏈(如ADC單元175)關聯。由于組件的電流布局、不同互連件的 長度、裝置不匹配、處理差異和兩個同樣形成的半導體電路組件在操作期間會不一定表現 相同的現實可能性，導致各列特定讀取鏈會遭遇各自傳播延遲的變化。換句話講，因為對于 各列而言傳播延遲會有所不同，所以像素陣列42中的各列像素在像素電荷收集和處理期 間一從像素的光電二極管對光的感測到時間戳值的最終輸出一會遭遇略有不同的傳播延 遲。在特定實施例中，術語"傳播延遲"可以是指亮度的像素特定檢測的感測（由像素的光電 二極管進行的）和當對應PIXOUT信號達到預定義閾值時之間的時間。可在啟用像素時一例 如，諸如當由RSEL信號(例如，圖8中的RSEL信號122)選擇像素行時一"感測"亮度的像素特 定檢測。啟用像素會導致在像素的列特定讀取鏈的輸入處(如讀取鏈175中的像素輸出輸入 157)接收到對應PIXOUT信號。在特定實施例中，"預定義閾值"可以是Vramp輸入(諸如，圖7B 和圖8中的Vramp信號143)的有效值。如之前提到的，當逐漸下降的PIXOUT信號達到Vramp閾 值時，可登記"0N事件"。在一個實施例中，時間戳生成可開始于ON事件發生時，例如，如在圖 8的實施例中所示。然而，在另一個實施例中，時間戳生成可在ON事件發生時結束，例如，如 之前提到的基于全局計數器的計數方法的情況。可供選擇地，基于列的計數器(諸如，圖7B 中的計數器181)可被構造成當對應像素啟動時開始計數并且當像素輸出信號達到Vramp閾 值時停止計數。
[0090] 當列特定讀取鏈的傳播延遲不一致時，這些延遲變化可造成時間戳誤差和不匹 配。例如，如果用于更晚掃描的光斑的列特定傳播延遲比更早掃描的光斑的列特定傳播延 遲更短，則列特定傳播延遲的差異會導致更晚掃描的光斑具有比更早掃描的光斑更大的時 間戳值。在該情況下，用于圖像重構的光斑的基于時間戳的排序會有誤差。因此，在某些實 施例中可能期望的是提供用于糾正因各個列特定讀取鏈的傳播延遲中的不匹配造成的時 間戳抖動/誤差的時間戳校準。圖9至圖11中的實施例提供了可如何執行這種時間戳校準而 不增大列讀取電路的帶寬或功耗的示例。
[0091] 圖9示出根據本公開的一個實施例的示例性流程圖215，示例性流程圖215示出可 如何在3D深度測量期間校正時間戳值。如圖3的實施例中一樣，可通過系統15中的單個模塊 或模塊或系統組件的組合來執行圖9中示出的各種步驟。在這里的討論中，僅僅舉例來說， 特定任務被描述為通過特定模塊或系統組件來執行。然而，其他模塊或系統組件可被合適 地構造成也執行這些任務。
[0092] 在圖9中，塊217中的操作類似于圖3中的塊52中的操作。換句話講，在圖9中的塊 217，系統15 (更具體地，處理器19)可使用光源(諸如，圖2中的光源模塊22)沿著掃描線對3D 對象(諸如，圖2中的對象26)執行ID點掃描。作為點掃描的部分，可例如通過處理器19將光 源模塊22構造成以逐行方式將一系列光斑投影到3D對象26的表面上。在塊219,系統15中的 像素處理單元46可選擇圖像傳感器(諸如，圖2中的2D像素陣列42)中的像素行。圖像傳感器 42具有布置成形成像平面的2D陣列的多個像素，并且在一個實施例中，選擇的像素行在像 平面上形成掃描線(在塊217)的極線的至少一部分。在塊221，對于選擇的像素行中的像素， 處理器19可將像素處理單元46可操作地構造成感測一系列光斑中的對應光斑的像素特定 檢測。如之前提到的，在一個實施例中，這種"感測"可指的是當傳感器的光電二極管檢測從 對應光斑接收到的亮度時，啟動像素來收集由光電二極管產生的電荷。像素特定PIXOUT信 號可表示響應于接收到的亮度而生成的這種像素特定電荷。響應于在塊221感測對應光斑 的像素特定檢測，如在塊223指出的，像素處理單元46-如由處理器19合適構造的一可生成 對應光斑的時間戳值。主要參照圖7B和圖8在之前已經討論了時間戳生成方面。在塊225,對 于與選擇的像素行(塊219、221)中的像素關聯的2D陣列42中的列，圖像處理單元46可將列 特定校正值應用于(在塊223中產生的）時間戳值，以得到校正后的時間戳值。如塊225指出 的，在一個實施例中，列特定校正值表示感測像素特定檢測(塊221)和當選擇的像素行中的 像素的像素特定輸出（PIXOUT)達到預定義閾值(諸如，Vramp閾值)時之間的列特定傳播延 遲。可針對選擇的像素行中的各像素的輸出，得到這種校正后的時間戳值，以糾正因各個列 特定讀取鏈的傳播延遲的不匹配造成的時間戳抖動/誤差。因此，在塊227,圖像處理單元46 可至少基于校正后的時間戳值(在塊225)并且基于光源投影對應光斑(在塊217)所使用的 掃描角度，確定與3D對象表面上的對應光斑的3D距離(或深度）。如之前指出的，時間戳可提 供成像光斑的像素位置(q)和激光源的對應掃描角（Θ)之間所需的對應性。在圖4中示出在 等式（1)中的用于基于三角法深度測量的這些和其他參數。
[0093]圖10是根據本公開的一個實施例的時間戳校準單元（諸如，圖7A中的校準單元 171)的示例性布局230。為了便于說明，在圖10中只示出校準單元171的相關電路細節。如以 下更詳細討論的，校準單元171可用于記錄各像素列的傳播延遲。在圖7A的實施例中，可將 這些記錄值提供到數字塊167,以校正(如Dout線140表示的）列ADC單元153所獲取的時間戳 值。在特定實施例中，校準單元171記錄的列特定傳播延遲可表示列特定校正值，數字塊167 可將列特定校正值與各個時間戳值相加或相減，以得到用于構造正被點掃描的對象26的3D 深度輪廓的校正后的時間戳值。
[0094] 如圖10中所示，校準單元171可包括多個像素232-1、232-2、…、232-N(被統稱為參 考標號"232"）。如圖6中的實施例，圖10中的各像素232被示出為是4T PPD像素。然而，在其 他實施例中，像素232也可如之前參照圖6的實施例中的像素的討論所提到的具有不同類 型一諸如，3T像素、2T像素等。類似地，作為NMOS晶體管的替代，在一些實施例中，像素232可 由PMOS晶體管或者其他不同類型的電荷轉移器件形成。為了便于說明，在圖10中示出的像 素布局中省去如圖6中示出的那些偏置和其他連接細節。然而，使用像素232-N作為示例，要 注意，在圖10中，可將復位(RST)信號施加到類似于晶體管234的各匪OS晶體管的柵極并且 可將傳輸(TX)信號施加到類似于晶體管235的各晶體管的柵極。圖10的實施例中的RST信號 和TX信號的功能可類似于之前已經參照圖6和圖8討論的那些信號。
[0095]要注意，在特定實施例中，可通過使像素232與像素陣列42中的像素基本上相同來 提高時間戳校準的準確性。這可包括使用相同的半導體制造工藝和材料來構造校準單元 171中的像素232和2D陣列42中的像素，以便將結構差異或架構差異最小化。
[0096]在一個實施例中，像素232的總數"N"可等于2D陣列42中的像素行的"啟用"部分中 的像素的數量。這里，假設2D陣列42中的各像素行的啟用部分包含相同數量的像素。"啟用" 部分可以是指在激光掃描期間從對象26實際上接收光的那些像素并且對應PIXOUT信號從 這些像素被接收和處理以進行3D深度計算。在另一個實施例中，圖10中的"N"的值可等于像 素陣列42中的總列數一每個列一個校準像素232。例如，可使用校準像素232-1來確定與圖6 中的像素102、105、108的列關聯的傳播延遲，可使用校準像素232-2來確定針對圖6中的像 素101、104、107的列的傳播延遲，等等。如圖10中所示，所有像素232可布置成行一類似于圖 6中的2D陣列42的像素行。然而，在某些實施例中，考慮到對像素232的僅用于校準目的而不 是在3D深度測量期間的限制使用，這種基于行的配置可不必要。因此，像素232的行可以是 額外像素行，而可以不是2D陣列42的部分并且可僅用于產生用于時間戳校準的校正值。
[0097]相比于圖6和圖8中的實施例，可不用單行選擇信號(如圖6和圖8中的RSEL信號)在 圖10的實施例中選擇像素232的整行。替代地，可使用像素特定時鐘D觸發器(DFF)以控制的 方式獨立地選擇各像素232。因此，校準單元171被示出為包括多個DFF 237-1、237-2、···、 237-N-各DDF將各選擇信號（SEL)提供到其關聯像素。如圖10中所示，可存在"N"個獨立SEL 信號一SEL 1至SEL N(不參照圖10中的參考標號來獨立標識，但在圖11中標識）。如前，使用 像素232-N作為示例，要注意，在圖10中，可將像素特定SEL信號施加于類似于晶體管238的 各NMOS晶體管的柵極。為了便于說明，沒有使用參考標號在圖10中標識這樣的各晶體管。如 所示出的，可使用時鐘(CLK)輸入240來記錄各DFF的時間。在一個實施例中，CLK輸入240可 與圖7B中的Clk輸入185相同。在該情況下，CLK輸入240可以是系統級時鐘或PLL單元168(圖 7A)生成的圖像傳感器特定時鐘或裝置15中的其他時鐘發生器(未示出）。在另一個實施例 中，CLK信號240可以針對校準單元171被本地生成并且可不被其他系統組件全局地使用或 共用。在一個實施例中，CLK信號240的頻率可等于激光掃描的頻率一也就是說，激光光源33 (圖2) "詢問"或者點掃描3D對象26所用的頻率。在另一個實施例中，CLK信號240的頻率可不 同于激光詢問頻率。
[0098] 如以下參照圖11討論的，除了CLK輸入240之外，校準單元171還可接收設置(SET) 輸入242，用于將各DFF 237的輸出初始地設置成邏輯"高"或"Γ值。當針對系統/裝置15執 行時間戳校準時，可通過數字塊167(圖7A)提供SET輸入242。在另一個實施例中，可通過單 元171中的適合的數字邏輯(未示出）在校準單元171內本地生成SET信號242。如所示出的， 校準單元171中的各像素232還可接收用于偏置像素晶體管構造的VPIX信號244。使用像素 232-N作為示例，觀察到，在圖10中，偏置電壓VPIX可被提供到類似于晶體管234的各NMOS晶 體管的漏極端。在一個實施例中，VPIX信號244可以是偏置所有像素一像素232以及像素陣 列42中的像素一的系統級供應電壓。在另一個實施例中，VPIX電壓244可在例如校準單元 171內本地生成并且只被施加到像素232。
[0099] 在選擇和啟用時，各像素232可提供像素特定輸出（PIXOUT)。在圖10中，分別使用 參考標號246-248來標識三個這種像素特定輸出PIXOUT UPIX0UT 2和PIXOUT N。可使用列 特定讀取鏈175來處理這些輸出，以確定像素陣列42中的各列的傳播延遲。換句話講，向圖 7B中的各列特定讀取鏈175的像素輸出輸入157可以是多路復用信號:在常規2D/3D成像期 間，像素輸出輸入157可以是從像素陣列42中的列接收的列特定像素輸出信號;然而，在時 間戳校準過程期間，像素輸出輸入157可以是從像素232中的與讀取鏈175關聯的一個像素 232接收的PIXOUT信號。因此，可共用各列特定讀取鏈(或ADC單元）175的電路硬件來處理來 自與讀取鏈關聯的列的列特定像素輸出信號以及來自校準像素232中的與該列關聯的校準 像素232的PIXOUT信號。通過在列ADC單元138(圖6)或153(圖7A)中使用與那些用于處理來 自像素陣列42中的像素的像素輸出的讀取鏈相同的讀取鏈，時間戳校準處理可有效地"模 仿"或"模擬"硬件中的各列特定傳播延遲以確定列特定時間戳校正值。
[0100] 圖11是根據本公開的特定實施例的時序圖255,時序圖255示出與圖11的校準單元 171關聯的用于確定列特定傳播延遲的不同信號的示例性時序。如以下討論的，可使用校準 單元171中的各像素-DFF對來以控制的方式處理像素輸出以確定校準像素特定(進而像素 的各列特定)傳播延遲。例如，在制造圖像傳感器單元24時，或者在操作溫度存在改變或供 應電壓超過預定義容差余量的任何時間，可確定這些列特定傳播延遲。可使用可被包括作 為系統15的部分的適合的傳感器(未示出）來感測這種溫度或電壓變化。在特定實施例中， 如此確定的延遲值可被存儲在圖像傳感器單元24中一例如，在圖像傳感器單元24的數字塊 167(圖7A)中。可隨后使用存儲的列特定傳播延遲的值來校正/調節針對列中的像素(2D陣 列42中）產生的時間戳值。例如，在圖6的背景下，在3D深度測量期間，可使用針對像素102、 105、108的列確定的列特定傳播延遲來糾正針對像素102、105、108產生的時間戳值中的誤 差。可針對其他像素列使用相同方法。
[0101] 為了便于討論，在圖10中示出的信號、輸入或輸出的相同參考標號也用于圖11。在 特定實施例中，可按以下方式記錄各列的傳播延遲：
[0102] (1)初始地，可通過使用SET線242將高電壓提供到所有DFF 237的設置（"S"）輸入， 將所有DFF 237的輸出設置成邏輯"高"狀態(或二進制"Γ值）。施加到校準單元171中的像 素的RST信號和TX信號(未示出）可在整個校準過程中保持高電平。
[0103] (2)在設置DFF 237之后，時鐘信號CLK240可導通以記錄用于通過各個讀取鏈175 進行處理的各像素232的輸出的時間。在一個實施例中，時鐘信號CLK 240可以是已經運行 的時鐘并且可不需要導通，但它可在DFF 237被設置之后應用到DFF 237。各校準像素232可 在被選擇時被獨立地讀取。由于記錄DFF 237的時間，導致像素（或列）選擇信號一也就是 說，通過各個DFF 237輸出的信號SEL 1至SEL N-可逐一地轉為邏輯"低"狀態（或二進制 "〇"值）。在圖11中示出三個示例性的SEL信號258-260的被記錄的轉變。在一個實施例中，當 校準像素的各自SEL信號變低時，該校準像素可被視為"啟用"。這種啟用的時刻可被稱為開 始時間（"Ts"）。分別使用參考標號262-264在圖11中標識與對應的SEL信號258-260關聯的 這樣三個時刻Ts l、Ts 2和Ts N。在一個實施例中，例如，可使用之前提到的全局計數器方 法來記錄各時刻Ts。例如，圖10至圖11中的像素特定SEL信號的高至低轉變可觸發校準單元 171中的存儲器(未示出）、或圖7B中的線存儲器183、或數字塊167中的另一個存儲器或存儲 單元(未示出），以將全局計數器的輸出作為對應"Ts"參數的值進行鎖存。例如，通過在使 SET信號242有效和各SEL信號的高至低轉變之間出現的時鐘脈沖的數量進行計數，可使用 圖7B中的時鐘185來生成各Ts時刻的計數值。這里觀察到，如果CLK信號240是也用于在全局 計數器中產生計數值的全局時鐘并且如果CLK信號240的頻率等于激光掃描頻率，則可能不 需要記錄Ts值，因為CLK 240此時模擬實際激光掃描事件并且例如當處理器19(圖1至圖2) 將圖像傳感器單元24合適地構造成同步掃描和捕獲光斑時激光詢問頻率通過數字塊167可 以已經是已知的。
[0104] (3)當從DFF 237輸出的選擇(SEL)信號變低(或變"OFF")時，對應的PIXOUT線可隨 著線路下降，從高變低。如之前指出的，當像素被入射光照射時，像素的PIXOUT線可開始從 其高電平下降，如三個示例性像素輸出一圖11中的PIXOUT 1信號246、PIX0UT 2信號247和 PIXOUT N信號248-的向下斜率指示的。像素輸出信號的高電平可表示它在沒有檢測到光 時的復位電平。PIXOUT 1信號246可以是從像素232-1接收的并且使用具有圖案 的虛線來示出。PIXOUT 2信號247可以是從像素232-2接收的并且使用直線 來示出。PIXOUT N信號248可以是從像素232-N接收的并且使用具有圖案"..............."的虛 線來示出。當各光電二極管檢測來自任何光源的環境光時，可生成像素輸出。因此，在校準 階段期間，可不必執行激光點掃描來生成針對像素232中的光電二極管的光信號。通過來自 各像素特定DFF的SEL信號的控制的生成來順序并記錄地生成PIXOUT信號可被認為是"模 擬"激光掃描事件（其中，類似地從2D像素陣列42中的選擇的像素行中的像素收集像素輸 出）。
[0105] (4)可將各PIXOUT信號246-248與各個列特定讀取鏈175中的預定閾值電壓電平進 行比較。在圖11的實施例中，RAMP信號266被示出為提供這種閾值電平。RAMP信號266可與圖 7B和圖8中的Vramp輸入143相同。如之前參照圖8提到的，在特定實施例中，可通過使斜坡輸 入(Vramp)143有效成為預定義電壓電平來啟用預定閾值。在圖11中，RAMP信號266示出這種 預定義電壓電平。對于各PIXOUT信號246-248，各個讀取鏈中的計數器單元181 (圖7B)中的 比較器(未示出）可將PIXOUT信號與RAMP信號266的預定義閾值進行比較并且當PIXOUT信號 達到RAMP信號266的閾值電壓時可檢測在這里被稱為結束時間（"Te"）的時刻。在圖11中，分 別使用參考標號268-270來標識這樣的三個時刻Tel、Te2和TeN。在特定實施例中，Te值可被 記錄或存儲在校準單元171中的存儲器(未示出）中、圖7B中的列計數器181或線存儲器183 中、或數字塊167中的另一個存儲器或存儲單元(未示出）中。觀察到，在與圖8中示出的時間 戳產生方法類似的時間戳產生方法的情況下，各時刻Te 268-270可指示對應時間戳的產生 的開始。另一方面，在計數操作與啟用校準像素基本上同時開始或者在計數操作取決于之 前提到的基于全局時鐘的方法的實施例中，各時刻Te268-270可指示對應時間戳的產生的 結束。在校準階段中，在某些實施例中，由列特定讀取鏈(諸如，讀取鏈175)生成的任何時間 戳值可被忽略。
[0106] (5)為了得到列的傳播延遲，可從"Te"參數的列特定值中減去"Ts"參數的列特定 值。換句話講，在特定實施例中，可通過(Te i-Ts i)的值來給出第i列的列特定傳播延遲。在 特定實施例中，傳播延遲可被測得是二進制計數值或者時鐘周期一例如，如圖7B中的時鐘 185的計數器時鐘的時鐘周期一的數量，或者參照CLK信號240確定的時序值。這里要注意， 當在時刻"Ts"將計數操作與啟用校準像素232基本上同時開始時(例如，如之前指出的使用 全局計數器時鐘），當對應PIXOUT信號達到Vramp閾值266時一也就是說，當出現各自的"Te" 時刻時，可終止針對各校準像素232的計數操作。在該情況下，在計數操作終止時針對各校 準像素而生成的計數值可提供2D像素陣列42中的各像素列的列特定傳播延遲或時間戳校 正值。在特定實施例中，依照本公開的教導確定的列特定傳播延遲的值可被存儲/記錄在存 儲器(例如，諸如數字塊167(圖7A)中的存儲器或存儲單元(未示出））中。如之前指出的，可 例如在制造圖像傳感器單元24時，或者在操作溫度存在變化或供應電壓超過預定義容差余 量時的任何時間確定這些列特定傳播延遲。在特定實施例中，測量列特定傳播延遲的上述 方法可重復多次并且針對特定像素列的各個結果的平均可被計算為該像素列的列特定傳 播延遲的值。然后，可將這個評價值用于對該像素列中的像素進行后續時間戳校正。
[0107] (6)在由各個像素列（在像素陣列42中）的像素進行3D測量期間，可使用各列特定 傳播延遲的記錄值作為列特定校正值來校準(或校正)真實激光事件的時間戳。如之前提到 的，在特定實施例中，可通過圖7A中示出的數字邏輯塊167執行這種時間戳校準/校正。在某 些實施例中，時間戳校正可涉及將列特定傳播延遲的記錄值與各列中的像素(像素陣列42 中）的像素特定時間戳值相加(或相減）。在其他實施例中，時間戳校正可涉及當將列特定傳 播延遲的記錄值應用于像素特定時間戳值時，使用一些權重或比例因子。
[0108] 如之前提到的，在特定實施例中，CLK信號240的頻率可等于激光詢問頻率。在該情 況下，時鐘信號模擬實際激光掃描事件，因此，只會需要將"Te"參數的值記錄在例如列特定 計數器181(圖7B)中。另一方面，如果CLK信號240的頻率不同于激光詢問頻率，則可用全局 計數器(未示出）記錄"Ts"值并且可將"Te"值記錄在各個列計數器(如圖7B中的計數器181) 中。觀察到，列計數器(如計數器181)可具有有限的比特分辨率。因此，所得的計數值可具有 換行問題。在某些實施例中，可通過將列計數器的完全計數中的一個或多個相加來解決這 個問題。假設計數開始于"〇"，計數器的完全計數可表示計數器的最大計數加"Γ。例如，10 位二元計數器(諸如，圖7B中的計數器181)可只計數十進制的0至1023。因此，這種計數器的 完全計數是1023+1 = 1024。如果使用具有有限比特分辨率的這種計數器對"Ts"和"Te"參數 的值進行計數，則會出現換行問題，因為在某些情形下，計數器會生成"Ts"參數的值，達到 其完全計數，然后將自身復位，之后繼續進行計數，以生成"Te"參數的值。在該情況下，"Ts" 的計數值可大于對應"Te"的計數值(例如，Ts = 1000且Te = 100 )，由此，當從Te中減去Ts以 得到傳播延遲時，產生負數結果。為了避免由于計數器的換行問題導致的這種負數結果，在 一個實施例中，可首先將計數器的完全計數(這里，1024的值)與"Te"相加，然后從中減去對 應"Ts"的計數值。在這里的示例中，這個加法運算將提供1124-1000 = 124的正確的傳播延 遲。
[0109] 圖12描繪根據本公開的一個實施例的圖1至圖2中的系統15的整體布局。因此，為 了便于參考和討論，在圖1至圖2和圖12中，針對共同的系統組件/單元使用相同的參考標 號。
[0110] 如之前所討論的，成像模塊17可包括圖2、圖6、圖7A至圖7B和圖10的示例性實施例 中示出的硬件來實現依照本公開的創造性方面的2D成像、3D深度測量和時間戳校準。處理 器19可被構造成接口于多個外部裝置。在一個實施例中，成像模塊17可用作輸入裝置，該輸 入裝置將數據輸入一以像素事件數據(例如，諸如圖7A中的處理后的數據輸出170)的形式 提供到處理器19,用于進一步處理。處理器19還可從可作為系統15的部分的其他輸入裝置 (未示出）接收輸入。這些輸入裝置的一些示例包括計算機鍵盤、觸摸板、觸摸屏、操縱桿、物 理或虛擬"可點擊按鈕"、和/或計算機鼠標/指示裝置。在圖12中，處理器19被示出為結合到 系統存儲器20、外圍存儲單元274、一個或多個輸出裝置276和網絡接口單元278。在圖12中， 顯示單元被示出為輸出裝置276。在一些實施例中，系統15可包括所示出裝置的不止一個實 例。系統15的一些示例包括計算機系統（臺式或膝上型）、平板計算機、移動裝置、蜂窩電話、 視頻游戲單元或控制臺、機器對機器(M2M)通信單元、機器人、汽車、虛擬現實設備、無狀態 "瘦"客戶端系統、汽車的行車記錄儀或后視相機系統、或任何其他類型的計算或數據處理 裝置。在各種實施例中，圖12中示出的所有組件可被容納在單個外殼內。因此，系統15可被 構造為獨立式系統或者任何合適的形狀參數。在一些實施例中，系統15可被構造為客戶端 系統而非服務器系統。
[0111] 在特定實施例中，系統15可包括不止一個處理器(例如，分布式處理構造）。當系統 15是多處理器系統時，可存在處理器19的不止一個實例或者可存在經由各自接口（未示出） 與處理器19結合的多個處理器。處理器19可以是片上系統(SoC)和/或可包括不止一個中央 處理單元(CPU)。
[0112] 如之前提到的，系統存儲器20可以是任何基于半導體的存儲系統（例如，諸如 01^1、31^1、？1^1、1?^1、081^1、]\?^1、31'1'-]\?^1等）。在一些實施例中，存儲器單元20可包括 與一個或多個非3DS存儲器模塊結合的至少一個3DS存儲器模塊。非3DS存儲器可包括雙倍 數據率或雙倍數據率2、3、或4同步動態隨機存取存儲器(DDR/DDR2/DDR3/DDR4SDRAM)、或 Rambus? DRAM、閃存存儲器、各種類型的只讀存儲器(ROM)等。另外，在一些實施例中，系 統存儲器20可包括多種不同類型的半導體存儲器，而不是單類型存儲器。在其他實施例中， 系統存儲器20可以是非暫時性數據存儲介質。
[0113] 在各種實施例中，外圍存儲單元274可包括對于磁性、光學、磁-光學、或固態存儲 介質(諸如硬盤驅動器、光盤(諸如，致密盤(CD)或數字通用盤(DVD))、非易失性隨機存取存 儲器(RAM)裝置等）的支持。在一些實施例中，外圍存儲單元274可包括諸如磁盤陣列（可以 是合適的RAID(獨立磁盤冗余陣列）構造)或存儲區網絡（SAN)的更復雜存儲裝置/系統，并 且外圍存儲單元274可經由標準外圍接口（諸如，小型計算機系統接口（SCSI)、光纖信道接 口、Firewire? (IEEE 1394)接口、基于外圍組件接口Express(PCI Express?)標準的接口、 基于通用串行總線(USB)協議的接口、或其他合適接口）結合到處理器19。各種這樣的存儲 裝置可以是非暫時性數據存儲介質。
[0114]顯示單元276可以是輸出裝置的示例。輸出裝置的其他示例包括圖形/顯示裝置、 計算機屏幕、警報系統、CAD/CAM(計算機輔助設計/計算機輔助加工)系統、視頻游戲站、智 能電話顯示屏、或任何其他類型的數據輸出裝置。在一些實施例中，諸如成像模塊17的輸入 裝置和諸如顯示單元276的輸出裝置可經由I/O或外圍接口結合到處理器19。
[0115] 在一個實施例中，網絡接口 278可與處理器19通信，以使系統15能夠結合到網絡 (未示出）。在另一個實施例中，網絡接口278可全部不存在。網絡接口278可包括用于將系統 15連接到網絡一無論有線或無線一的任何合適裝置、介質和/或協議內容。在各種實施例 中，網絡可包括局域網(LAN)、廣域網(WAN)、有線或無線以太網、電信網絡、或其他合適類型 的網絡。
[0116] 系統15可包括板上電源單元280,用于向圖12中示出的各種系統組件供電。電源單 元280可接納電池或者可連接到AC電源插座。在一個實施例中，電源單元280可將太陽能或 其他可再生能源轉換成電力。
[0117] 在一個實施例中，成像模塊17可與插入任何個人計算機(PC)或膝上型電腦的高速 接口（例如，諸如通用串行總線2.0或3.0(USB 2.0或3.0)接口或以上)集成。例如，諸如系統 存儲器20的非暫時性計算機可讀數據存儲介質或諸如CD/DVD的外圍數據存儲單元可存儲 程序代碼或軟件。成像模塊17中的處理器19和/或數字處理塊167(圖7A)可被構造成執行程 序代碼，由此裝置15可進行操作，以執行如上討論的2D成像和3D深度測量(和相關時間戳校 準）（例如，諸如之前參照圖1至圖11討論的操作）。例如，在某些實施例中，在執行程序代碼 時，處理器19和/或數字塊167可合適地構造(或啟用）相關電路組件(諸如，校準單元171和 讀取鏈175)，以在這些組件的幫助下依照本公開的教導來適合地執行時間戳校準。程序代 碼或軟件可以是專有軟件或開源軟件，在由諸如處理器19和/或數字塊167的適合的處理實 體執行時，所述專有軟件或開源軟件可使處理實體能夠執行時間戳校準、使用它們精確的 時序獲取像素事件，處理它們，用各種格式渲染它們，并且以2D和/或3D格式顯示它們。如之 前指出的，在某些實施例中，成像模塊17中的數字處理塊167可執行像素事件信號的處理中 的一些處理，之后像素輸出數據被發送到處理器19,用于進一步的處理和顯示。在其他實施 例中，處理器19還可執行數字塊167的功能，在這種情況下，數字塊167可以不是成像模塊17 的部分。
[0118] 在之前的描述中，出于說明和非限制的目的，闡述具體細節(諸如，特定的架構、波 形、接口、技術等），以提供對所公開技術的徹底理解。然而，本領域的技術人員將清楚，可在 脫離這些具體細節的其他實施例中實踐所公開技術。也就是說，本領域的技術人員將能夠 設想到盡管未在這里明確描述或示出但實施了所公開技術的原理的各種布置。在一些情形 下，省略了對公知裝置、電路和方法的具體描述，以便不用不必要的細節模糊所公開技術的 描述。這里詳述的所公開技術的原理、方面和實施例的的所有陳述及其具體示例旨在涵蓋 其結構等同物和功能等同物二者。另外，這些等同物旨在包括當前已知的等同物以及未來 開發的等同物(例如，諸如執行相同功能的開發的任何元件，而不管結構如何)二者。
[0119] 因此，例如，本領域的技術人員將理解，這里的框圖（例如，圖1至圖2中）可表示實 施技術原理的說明性電路或其他功能單元的概念觀點。類似地，將理解，圖3和圖9中的流程 圖表示可由處理器(例如，圖12中的處理器19和/或圖7A中的數字塊167)基本上執行的各種 處理。舉例來說，這種處理器可包括通用處理器、專用處理器、傳統處理器、數字信號處理器 (DSP)、多個微處理器、與DSP核關聯的一個或多個微處理器、控制器、微控制器、專用集成電 路(ASIC)、現場可編程門陣列(FPGA)電路、任何其他類型的集成電路(IC)、和/或狀態機。還 可由這種處理器在硬件和/或軟件中提供在圖1至圖11的背景下的上述功能中的一些或全 部功能。
[0120] 當某些創造性方面需要基于軟件的處理時，這種軟件或程序代碼可存在于計算機 可讀數據存儲介質中。如之前指出的，這種數據存儲介質可以是外圍存儲器274的部分，或 者可以是圖像傳感器單元24的系統存儲器20或任何內部存儲器(未示出）的部分、或處理器 19的內部存儲器(未示出）。在一個實施例中，處理器19或數字塊167可執行存儲在這種介質 上用于執行基于軟件的處理的指令。計算機可讀數據存儲介質可以是包含以上提到的用于 通用計算機或處理器執行的計算機程序、軟件、固件、或微代碼的非暫時性數據存儲介質。 計算機可讀存儲介質的示例包括R〇M、RAM、數字寄存器、高速緩存存儲器、半導體存儲器裝 置、諸如內部硬盤的磁性介質、磁帶和可移動盤、磁-光介質、以及諸如CD-ROM盤和DVD的光 學介質。
[0121] 根據本公開的創造性方面的成像模塊17或包括這種成像模塊的系統15的替代實 施例可包括負責提供額外功能的額外組件，包括以上識別的任何功能和/或支持依照本公 開的教導的解決方案所必需的任何功能。盡管以上在特定組合中描述了特征和元件，但可 在沒有其他特征和元件的情況下單獨地使用各個特征或元件或者在有或沒有其他特征的 情況下以各種組合來使用各特征或元件。如之前提到的，可通過使用硬件(諸如，電路硬件） 和/或能夠以（以上提到的)計算機可讀數據存儲介質上存儲的編碼指令或微代碼形式執行 軟件/固件的硬件來提供這里討論的各種2D和3D成像功能。因此，這些功能和示出的功能塊 將被理解為是由硬件實現和/或由計算機實現的，因此是由機器實現的。
[0122] 以上描述了可使用相同圖像傳感器(也就是說，圖像傳感器中的所有像素)來拍攝 3D對象的2D圖像和針對對象的3D深度測量二者的系統和方法。圖像傳感器可以是移動裝置 (例如，諸如智能手機）中的相機的部分。可使用激光光源用光斑對對象的表面進行點掃描， 然后，可通過圖像傳感器中的像素陣列檢測這些光斑，以使用三角法生成對象的3D深度輪 廓。在3D模式下，激光器可將一系列光斑沿著掃描線投影到對象的表面上。可使用像素陣列 中的像素行來檢測被照射的光斑，使得該行形成掃描線的極線。被檢測的光斑可被時間戳 記，以去除三角法中的任何不確定性，因此，減少了深度計算量和系統電力。時間戳還可提 供捕獲的激光光斑的像素位置和激光光源的各掃描角之間的對應關系，以使用三角法確定 深度。圖像傳感器中的ADC單元可作為時間-數字(TDC)轉換器來操作，以生成時間戳。為了 提高3D相機系統的性能，可在板上提供時間戳校準電路，以記錄像素陣列中的各像素列的 傳播延遲并且對3D深度測量期間生成的時間戳值提供必要的校正。
[0123]如本領域的技術人員將認識到的，可在廣泛范圍的應用內修改和變化本申請中描 述的創造性構思。因此，取得專利權的主題的范圍不應該限于以上討論的具體示例性教導 中的任一個，而是由權利要求書進行限定。
【主權項】
1. 一種成像單元，包括： 光源，操作為沿著掃描線執行三維(3 D)對象的一維（1D)點掃描，其中，點掃描將一系列 光斑投影到3D對象的表面上；以及 圖像傳感器單元，包括： 多個像素，布置成形成像平面的二維(2D)像素陣列，其中，2D像素陣列中的像素行形成 掃描線的極線的至少一部分，其中，所述像素行中的各像素與2D像素陣列中的各個列關聯， 其中，所述像素行中的各像素被操作為檢測所述一系列光斑中的對應光斑， 多個模數轉換器(ADC)單元，其中，各ADC單元與所述像素行中的各個像素關聯并且被 操作為響應于由所述各個像素進行的對應光斑的像素特定檢測，針對所述各個像素生成像 素特定時間戳值，以及 處理單元，結合到所述多個ADC單元，其中，處理單元被操作為執行以下： 針對與所述像素行中的各個像素關聯的2D像素陣列中的列，將列特定校正值應用于像 素特定時間戳值，以得到校正后的時間戳值，其中，列特定校正值表示像素特定檢測和所述 各個像素的像素特定輸出達到預定義閾值的時間之間的列特定傳播延遲，以及 基于校正后的時間戳值和光源用于投影對應光斑而使用的掃描角，確定在3D對象的表 面上與對應光斑的距離。2. 根據權利要求1所述的成像單元，其中，2D像素陣列是互補型金屬氧化物半導體 (CMOS)陣列，其中，所述像素行中的各像素是以下像素中的一個： 四晶體管(4T)像素； 三晶體管(3T)像素； 兩晶體管(2T)像素； 一晶體管（1T)像素； 共用晶體管像素； IX 22共用像素；以及 IX 44共用像素。3. 根據權利要求1所述的成像單元，其中，光源是以下光源中的一個： 激光光源； 可見激光光源； 近紅外激光光源； 點光源； 單色照射光源；以及 X-Y可尋址光源。4. 根據權利要求1所述的成像單元，其中，圖像傳感器單元還包括： 校準單元，操作地結合到所述多個ADC單元和處理單元，以在硬件中模擬列特定傳播延 遲，以在生成像素特定時間戳值之前確定列特定校正值。5. 根據權利要求1所述的成像單元，其中，圖像傳感器單元還包括： 校準單元，結合到所述多個ADC單元和處理單元，其中，校準單元包括針對與所述各個 像素關聯的列的列特定校準像素，其中，校準像素是除了2D像素陣列中的各個像素之外的 像素， 其中，以下適用： 校準單元被操作為啟用校準像素并且以記錄與來自與校準像素關聯的所述各個像素 的輸出的時間相同的方式來記錄校準像素的輸出的時間； 所述多個ADC單元中的一個被操作為記錄啟用校準像素的第一時刻并且記錄校準像素 的輸出達到預定義閾值的第二時刻；以及 處理單元被操作為從第二時刻中減去第一時刻，以得到列特定校正值。6. 根據權利要求5所述的成像單元，其中，校準單元被操作為執行以下操作中的一個： 使用與光源在執行1D點掃描的過程中所使用的掃描頻率相等的第一時鐘頻率來記錄 校準像素的輸出的時間；以及 使用不同于掃描頻率的第二時鐘頻率來記錄校準像素的輸出的時間。7. 根據權利要求1所述的成像單元，其中，圖像傳感器單元還包括： 校準單元，結合到所述多個ADC單元和處理單元，其中，校準單元包括針對與所述各個 像素關聯的列的列特定校準像素，其中，校準像素是除了2D像素陣列中的各個像素之外的 像素， 其中，以下適用： 校準單元被操作為啟用校準像素并且以記錄與來自與校準像素關聯的所述各個像素 的輸出的時間相同的方式來記錄校準像素的輸出的時間； 所述多個ADC單元中的一個被操作為與啟用校準像素同時地開始計數操作并且當校準 像素的輸出達到預定義閾值時終止計數操作；以及 處理單元被操作為選擇在計數操作終止時生成的計數值作為列特定校正值。8. 一種系統，包括： 光源，操作為沿著掃描線執行三維(3 D)對象的一維（1D)點掃描，其中，點掃描將一系列 光斑投影到3D對象的表面上； 多個像素，布置成形成像平面的二維(2D)像素陣列，其中，2D像素陣列中的像素行形成 掃描線的極線的至少一部分，其中，所述像素行中的各像素與2D像素陣列中的各列關聯，其 中，所述像素行中的各像素被操作為檢測所述一系列光斑中的對應光斑； 多個模數轉換器(ADC)單元，其中，各ADC單元與所述像素行中的各個像素關聯并且被 操作為響應于由所述各個像素進行的對應光斑的像素特定檢測，生成針對所述各個像素的 像素特定時間戳值； 存儲器，用于存儲程序指令；以及 處理器，結合到存儲器和所述多個ADC單元，其中，處理器被構造成執行程序指令，由 此，處理器被操作為執行以下： 針對與所述像素行中的各個像素關聯的2D像素陣列中的列，將列特定校正值應用于像 素特定時間戳值，以得到校正后的時間戳值，其中，列特定校正值表示像素特定檢測和所述 各個像素的像素特定輸出達到預定義閾值的時間之間的列特定傳播延遲，以及 至少基于校正后的時間戳值和光源用于投影對應光斑的掃描角，確定3D對象的表面上 的與對應光斑的距離。9. 根據權利要求8所述的系統，其中，2D像素陣列是互補型金屬氧化物半導體(CMOS)陣 列，其中，所述像素行中的各像素是以下像素中的一個： 四晶體管(4T)像素； 三晶體管(3Τ)像素； 兩晶體管(2Τ)像素； 一晶體管（1Τ)像素； 共用晶體管像素； IX 22共用像素；以及 IX 44共用像素。10. 根據權利要求8所述的系統，其中，光源是以下光源中的一個： 激光光源； 可見光光源； 點光源； 單色照射光源；以及 Χ-Υ可尋址光源。11. 根據權利要求8所述的系統，還包括： 校準單元，操作地結合到所述多個ADC單元和處理器，以在硬件中模擬列特定傳播延 遲，以確定列特定校正值。12. 根據權利要求8所述的系統，還包括： 校準單元，結合到所述多個ADC單元和處理器，其中，校準單元包括針對與所述各個像 素關聯的列的列特定校準像素，其中，校準像素是除了2D像素陣列中的各個像素之外的像 素， 其中，在執行程序指令時，處理器被操作為還執行以下： 構造校準單元，以啟用校準像素并且以記錄與來自與校準像素關聯的各個像素的輸出 的時間相同的方式來記錄校準像素的輸出的時間； 構造所述多個ADC單元中的一個，以記錄啟用校準像素的第一時刻并且記錄校準像素 的輸出達到預定義閾值的第二時刻；以及 從第二時刻中減去第一時刻，以得到列特定校正值。13. 根據權利要求12所述的系統，其中，記錄第二時刻的ADC單元被操作為執行以下操 作中的一個： 在第二時刻發生時，開始生成對應的時間戳；以及 在第二時刻發生時，結束生成對應的時間戳。14. 根據權利要求12所述的系統，其中，校準單元被操作為執行以下操作中的一個： 接收用于記錄校準像素的輸出的時間的第一時鐘信號，其中，第一時鐘信號具有與光 源在執行1D點掃描的過程中的掃描頻率相等的第一時鐘頻率;以及 接收用于記錄校準像素的輸出的時間的第二時鐘信號，其中，第二時鐘信號具有與掃 描頻率不同的第二時鐘頻率。15. 根據權利要求8所述的系統，還包括： 校準單元，結合到所述多個ADC單元和處理器，其中，校準單元包括針對與所述各個像 素關聯的列的列特定校準像素，其中，校準像素是除了2D像素陣列中的各個像素之外的像 素， 其中，在執行程序指令時，處理器被操作為還執行以下： 構造校準單元，以啟用校準像素并且以記錄與來自與校準像素關聯的各個像素的輸出 的時間相同的方式來記錄校準像素的輸出的時間； 構造所述多個ADC單元中的一個，以在啟用校準像素之前或與啟用校準像素同時地開 始計數操作并且當校準像素的輸出達到預定義閾值時終止計數操作；以及 選擇在計數操作結束時生成的計數值作為列特定校正值。16.根據權利要求8所述的系統，其中，所述系統是以下中的一個： 移動裝置； 智能電話； 平板計算機； 計算單元； 用戶設備(UE); 汽車； 虛擬現實設備；以及 機器人。
【文檔編號】H04N13/02GK106067954SQ201610248656
【公開日】2016年11月2日
【申請日】2016年4月20日 公開號201610248656.4, CN 106067954 A, CN 106067954A, CN 201610248656, CN-A-106067954, CN106067954 A, CN106067954A, CN201610248656, CN201610248656.4
【發明人】王一兵, 伊利亞·奧維先尼科夫
【申請人】三星電子株式會社