成像對于許多機器人應用至關重要，能讓機器人執行基本任務，躲避障礙物，進行導航以及確保基本安全。 顯然，提供成像的方式是采用低成本視頻攝像頭，或者再好點，使用兩個攝像頭實現立體視野和深度感知。 但后者存在一些缺點。

使用雙攝像頭實現三維成像會增加功耗和空間需求，同時也會使外形尺寸和制造工藝變得復雜，并且增加成本。 由于三維成像是從基本“協助”單元到自主駕駛車輛應用的主流，因此設計人員需要比簡單添加更多攝像頭更好的替代方案。

為此，設計人員正在越來越多地使用替代方案，這些方案在封裝、成本、功耗、數據縮減和整體性能方面存在優勢。 這些替代方案中就有飛行時間 (ToF) 成像系統（通常又稱為光探測和測距，或稱作 LIDAR）。 這些成像系統可采用紅外 (IR) 成像（通常稱為熱成像）作為輔助手段。

從 IR 談起

紅外電磁波的波長比可見光譜紅端的電磁波更長；IR 波段的波長通常被認為在 700 nm (0.7 μm) 到 1 mm (1000 μm) 之間。 簡單的說，這些波長表示物體的熱輻射。 通過恰當的 IR 成像系統，此 IR“熱圖”被轉換為可見光圖像，通常含有添加的偽色，以突出相對溫度（圖 1）。

圖 1：水從水龍頭進入浴缸時的紅外圖像；注意，為更好地顯示溫差而使用了“偽色”。 （感謝 FLIR Systems, Inc. 提供圖片）

注意，該 IR 成像不同于 IR 傳感。 感測是一種用于檢測，或者甚至是測量熱源的非接觸方法，例如人員經過作為報警系統一部分的被動紅外 (PIR) 傳感器，或者監測到管道過熱；沒有類似圖像的細節或者圖像分辨率。

為何使用 IR 來替代，或者用于補充傳統的可見光成像？ 有多個理由：

• 當感興趣的物體融入到背景中，無論是故意隱藏或只是巧合，這時 IR 就能發揮其價值

• IR 能幫助定位視野中的人員或溫血動物

• 在尋找造成局部發熱的常見故障時，如過熱的管道、蒸汽管路、陰燃火災或電器故障等，IR 也可非常有用

現在，由于高集成度、高性能元件的出現，并且這些元件具有易于使用的接口，使得實施 IR 成像子系統大為簡化。 例如，FLIR Systems, Inc. 的 Lepton IR 攝像頭（圖 2）。 該器件的尺寸約為 10 × 12 × 6 mm，集成了定焦鏡頭組、適用于 8 - 14 μm IR 的 80 × 60 像素長波紅外 (LWIR) 微測傳感器陣列、以及信號處理電子元件。

圖 2：FLIR Lepton 成像儀（圖示不含插座）高度集成，包括信號處理和用戶可編程功能。 （感謝 FLIR Systems, Inc. 提供圖片）

通過使用行業標準 MIPI 和 SPI 視頻接口，以及類似雙線 I2 C 的串行控制接口，使得互連大大簡化（圖 3）。 除了尺寸小巧、易于使用，Lepton 單元還具有高性能，成像快（不超過 0.5 秒），且熱靈敏度低于 50 mK。 工作功率也較低，為 150 mW（典型）。

圖 3：這張 Lepton 裝置的簡化框圖顯示了其一體式圖像處理單元、基本傳感器陣列，以及簡單的用戶系統接口。 （感謝 FLIR Systems, Inc. 提供圖片）

這樣的產品得益于用戶的實踐經驗，因此 FLIR 為攝像頭模塊提供分線板，它兼容基于 ARM 的評估板和 Raspberry Pi（圖 4）。 這款 25 mm × 24 mm 的電路板需要 3 V 到 5.5 V 單電源供電，帶有 25 MHz 系統時鐘、用于其他低噪電源軌的內部 LDO、標準互連接頭，以及用于 Lepton 模塊自身的 32 引腳 Molex 排針。

(a)

(b)

圖 4：Lepton 分線板 (a)（不含 Lepton 單元）得益于其標準接頭和接口 (b)，允許設計人員使用各種評估板對該單元進行評估和編程。 （感謝 FLIR Systems, Inc. 提供圖片）

ToF 的興起

熱圖像對于許多應用都很有用，但卻不能滿足這些應用的全部要求，此時就需要通常采用 3D 技術的可見光成像系統。 顯而易見，這就需要采用標準的視頻攝像頭。現在許多廠商都提供這樣的攝像頭，并且提供許多不同的分辨率、光靈敏度、尺寸和接口選擇。 若需要立體成像，則使用一對攝像頭。

盡管熱成像已問世數十年，但相比如今的成像裝置，其性能欠佳、成本和功率消耗較高，而 ToF 技術則相對較新。 20 世紀 90 年代，此項技術首先作為學術概念被提出，然而能讓它切實可行的基本元件和處理能力直到過去十年才出現。

ToF 通常是許多應用的首選成像方法，包括自主駕駛車輛（自動駕駛汽車），并且已經進行數百英里的實際道路測試。 （在架構方面，智能或自主車輛屬于輪式機器人系統，帶有傳感器、算法和定義的動作，只是角度不同。） 相比傳統成像攝像頭，ToF 方法實際上具有一些明顯優勢（討論如下）。

工作方式：傳統攝像頭成像的工作原理通常被工程設計人員所理解，比較直觀，而 ToF 則了解的人不多，并且更多依賴于通過方程和感測到的光子實現。 此項技術包括兩個關鍵元件：一個精確控制和調制式光源（固態激光或 LED，通常在 850 μm 近 IR 范圍下工作，因此肉眼不可見）、一個用于“查看”由來自成像場景的發射光線反射的像素陣列。

圖 5：ToF 的原理很簡單：在場景中投射脈沖光，捕捉反射光線脈沖及其時間；不過實現起來較為復雜，但現在已經可行。 （感謝 Texas Instruments 提供圖片）

要完全了解 ToF 原理，需要明白定義其工作原理的方程式，且要考慮一些不可避免的錯誤來源，然后對其進行補償。 整體 ToF 過程可通過兩種方式完成：光源以低占空比脈沖重復，或者由連續正弦波或方波源進行調制。 若使用脈沖模式，反射的光能通過兩個異相窗采樣，這些采樣值用于計算到目標的距離。 若使用連續模式，傳感器每次測量時取四個采樣值，每個采樣值偏置 90?，這樣便可計算照射和反射之間的相位角以及距離。

ToF 序列和計算的輸出是表示成像區域的點數據集合，術語“點云”由此而來。[1]

相對利弊：使用一個或兩個攝像頭的傳統成像，還是使用 ToF 方法，需要根據應用的具體情況進行判斷。 對于基本的檢測和缺陷識別，假設物體已知并且目標在照明受控的環境中經過特征提取/對比，那么提供二維圖像的單攝像頭通常是最佳選擇。 但是，若照明發生變化，ToF 可能會更好，因為它受到環境光線變化的影響較小。

對于使用兩個傳統攝像頭的三維成像，需要以機械和安裝問題為起點從多方面考慮并做出決定。 即使這些都不是問題，處理圖像的系統也必須采用功能強大的算法，以解決“對應”問題，即將一個攝像頭中場景中的點和另一個攝像頭中場景中的相同點匹配。 這樣做需要大量顏色或灰階變化，深度準確性通常由于成像場景的不均勻表面而受到限制。 相比之下，ToF 系統受到機械問題、照明與對比度問題的影響較小，不需要三維結果的圖像對應匹配。

鑒于具有響應快、處理大范圍客觀特征的能力，以及生成的點云的本質，ToF 系統非常適合于在自主駕駛車輛中將手勢、面部或身體姿勢轉換為命令，以及捕捉周圍環境。 然而，由于許多基礎成像攝像頭已成為市面上的常見設備，因此使用傳統的單個或兩個攝像頭配置的解決方案成本更低。

實現：ToF 系統有五個主要的功能塊：

1. 光源：生成精確定時的光源脈沖的元件

2. 光學器件：對焦傳感器上的光線對焦鏡頭；可能還帶有光學帶通濾波器，以降低環境光線的“噪聲"

3. 圖像傳感器：用于捕捉從被照射場景反射回的光線

4. 管理電子元件：控制發光單元和圖像傳感器，并使其同步

5. 計算單元和接口：根據發出光線與返回光線的時間差以及感測到的光子計算距離

選擇光發射器和成像傳感器是配置 ToF 系統的第一步。 發射器選擇包括二極管，如 Vishay VSMY1850X01，這是一種專用于高速運行的 850 μm IR 器件。 該器件支持由 100 mA 驅動的 10 納秒上升和下降時間，使其適合脈沖模式。

傳感器或像素陣列是 ToF 系統的核心，現在已能作為更大、集成度更高的設備的一部分提供，如 Texas Instruments OPT8241 飛行時間傳感器/控制器 IC（圖 6）。 如簡化型框圖（圖 7）所示，該器件包括傳感器源（上述項目 3）、控制電子元件（項目 4），并且可向諸如 OPT9221 飛行時間控制器等協同處理器提供數字化反射數據，處理器可利用數字化傳感器的數據計算深度數據。 OPT9221 還具備各種校正功能，包括抗鋸齒、非線性補償和溫度補償。

圖 6：使用 TI OPT8241 搭配 OPT9221 計算引擎，設計人員可以通過適度的硬件工作和相對較新的元件搭建 ToF 系統。

圖 7：OPT8241 的簡化型內部框圖表明其用于實現 ToF 前端時具有一定復雜性；包括調制控制和照明 LED 驅動器。 （感謝 Texas Instruments 提供圖片）

正如設計用于不僅能夠捕捉場景，還能以一致、有用的方式進行的任何視頻系統一樣，ToF 軟件的設計并不繁瑣。 TI 提供詳細的用戶指南[2]、估算工具，以便設計人員評估性能和參數的相互作用，如深度分辨率、二維分辨率（像素量）、距離范圍、幀率、視場 (FoV)、環境光和物體的反射率。

結論

機器人系統的設計人員始終面臨如何提供細節清晰的“周圍環境感測”的挑戰。 幸運的是，如今的設計人員可以采用高性能、功能強大、相對低成本的技術，包括紅外成像、傳統視頻攝像頭、甚至基于飛行時間原理的 LIDAR。 因此，由于它們的整體功耗較低，許多全套設計采用這些方法的組合，以克服任何單一技術的缺陷，從而提供更全面的多維度圖片。