工業相機技術和用于機器視覺應用的圖像傳感器的發展——如平板顯示器、印刷電路板和半導體的檢查，以及倉庫物流、智能運輸系統、作物監測和數字病理學——對相機和圖像傳感器提出了新的要求。其中最主要的是需要在更高分辨率和速度的驅動與更低的功耗和數據帶寬之間取得平衡。在某些情況下，也有推動小型化的趨勢。

在外部，相機是帶有安裝功能和光學元件的外殼。雖然這對用戶很重要，但內部存在影響性能、功能和功耗的重大挑戰。硬件，如圖像傳感器和處理器，以及軟件在這里起著關鍵作用。

根據我們所知道的，我們將在未來十年看到相機、處理器、圖像傳感器和處理方面的哪些變化呢？它們將如何影響我們的生活質量呢？

圖像性能

當您選擇一輛新車時，一個尺寸并不適合所有人。圖像傳感器也是如此。

確實，越來越大、越來越強大的圖像傳感器對于某些類別的高性能視覺應用非常有吸引力。在這些情況下，這些應用中使用的圖像傳感器的尺寸、功耗和價格并不像性能那么重要。平板顯示器的檢查就是一個很好的例子。一些平板制造商現在正在尋找優質顯示器中的亞微米缺陷。這實際上小到足以檢測顯示器上的細菌。

地面和天基天文學應用需要更高的性能。美國能源部 SLAC 國家加速器實驗室的研究人員展示了一個 3 Gigapixel 的成像解決方案——相當于今天的數百個相機——使用了幾個較小的圖像傳感器陣列。根據 SLAC 的說法，這些圖像的“分辨率非常高，以至于你可以從大約 15 英里外看到一個高爾夫球”。我們可以從這一非凡的成就中推斷出，世界研究實驗室可以實現的未來幾乎是無限的。

大型天氣觀測望遠鏡 LSST 相機團隊的成員準備將 L3 鏡頭安裝到相機的焦平面上，這是一個能夠拍攝 3.2 兆像素圖像的圓形 CCD 傳感器陣列。

但無論分辨率有多高，我們都可以看到成熟的 2D 成像功能開始耗盡。先進的光學檢測系統實際上并不需要更高的速度或更多的數據。他們需要更多且僅是有用的信息。

尋求更多信息

圍繞每個像素所需信息量不斷增加的一些趨勢正在逐漸普及。

3D 圖像捕捉

3D圖像捕捉提供了額外的維度，提供了更多的粒度、細節和檢測功能。像電池檢測、電視/筆記本電腦/手機屏幕制造等應用都在推動光學檢測傳感器收集更多信息。在這種情況下，即使是在亞微米分辨率下找到2D缺陷也變得不夠，這迫使我們計算出它們的高度，甚至可能是它們的形狀，以確定圖像是否受到可清潔灰塵、硬顆粒或針等顆粒物的影響。

應用程序開發人員正在努力利用顏色、角度和不同的成像方式(如3D或偏振，這是另一種光的維度)來滿足客戶的需求。反過來，相機制造商也在努力為這一行業提供工具。

高光譜成像

高光譜成像是另一個迅速加強的趨勢。與大多數遙感技術一樣，高光譜成像利用了這樣一個事實，即所有物體由于其電子結構（對于可見光譜）和分子結構（對于 SWIR/MWIR 光譜）都具有基于波長的獨特光譜指紋。它們吸收和反射的可見光和不可見光。這揭示了普通彩色成像系統（例如，人或相機）看不到的大量細節。在材料中“看到”化學性質的能力在礦產、天然氣和石油勘探、天文學以及監測洪泛平原和濕地方面具有廣泛的應用。高光譜分辨率、分離度和速度在晶圓檢測、計量和健康科學中非常有用。

在這些市場中，傳感器和相機制造商正在推動速度、成本、分辨率和功能的界限。我們正在光譜范圍內擴展我們的技術，涵蓋從 X 射線開始到高精度熱成像結束的能量檢測，從而使更多應用能夠使用這些技術。這種更仔細、更快和更精確的檢測有助于制造商對例如食品、尋找污染物、測量內容物和篩查食源性細菌等進行 100% 檢測。

更智能的檢查

圖像處理本質上是數據密集型的。當今以極高幀速率運行的高分辨率成像器可以產生超過 16GB/s 的連續數據。然后，應用程序需要捕獲、分析和處理這些數據。人工智能 (AI) 的緊急情況進一步推動了處理需求的邊界。

挑戰

以用于交通信號燈執法的基于人工智能的攝像頭為例。通常，這些應用使用 10 兆像素傳感器，每秒運行約 60 幀。這提供了只有 600MB/s 數據的連續數據流。

當今典型的神經網絡處理建立在使用小圖像幀的基礎上，顏色約為 224x224 像素 = 3*50 千像素，每像素 3*1 字節（每幀 150kB）。現代 PC 的 CPU 可以使對象識別神經網絡以每秒 20 幀的速度運行，從而實現約 3MB/s 的數據吞吐量。這比交通攝像頭的數據吞吐量低 200 倍，因此嚴重限制了可能的輸入數據流。

智能交通解決方案可以將視頻和熱像儀與人工智能、視頻分析、雷達和 V2X 與交通管理和數據分析軟件相結合，幫助城市安全順暢地運行。

重要的是要注意輸出流應該被視為信息，而不僅僅是原始數據。以 600MB/s 的圖像流為例，系統執行跟蹤、讀取和處理以獲得每個場景的幾個數字。我們可能會看到一個車牌，或者在分類應用程序中，甚至只是“彈出：是或否”，將龐大的數據流縮減為一個位。

雖然這不是一件容易的事，但如果實現了，它將對下游數據捕獲、處理和存儲非常有吸引力。為了解決這些輸入數據流的限制，我們需要結合巧妙的傳感器工程、先進的 AI 處理器和集成算法解決方案。

強大（且耗電）的處理器

絕大多數相機使用傳統半導體，例如中央處理器 (CPU) 或現場可編程門陣列 (FPGA)。更強大的單元可能會使用更強大的 FPGA 或圖形處理單元 (GPU)。到目前為止，這些類型的處理器已經能夠遵循摩爾定律，但過去的性能并不能保證未來。

此外，GPU、CPU 和 FPGA 消耗大量功率，因此會產生大量熱量。在某種程度上，這可以通過良好的設計來管理，但我們需要替代處理器和處理——架構來解決長期的挑戰。

量子計算和集成光子/電子處理器正在排隊滿足任何圖像處理應用程序最苛刻的性能/功率要求。

然而，在這些技術變得可用并在商業上可行之前，較新的處理器架構（例如內存計算或集成專用加速）將不斷突破可能的界限。

原則上，制造商在為其系統選擇合適的處理器時應考慮每秒每瓦特 (TOPS/W) 的萬億次操作。雖然這是一個對原始功率效率有用的品質因數，但我們必須記住，最終要求實際上是每瓦特決策，這是一個尚不存在的指標。

巧妙處理

在處理方面，在微軟、蘋果和谷歌等巨頭的推動下，我們看到了算法在速度和能力方面的進步。基于人工智能的解決方案變得越來越輕巧，但功能更強大，范圍更廣。傳統的基于算法的解決方案以更高的效率利用現代處理器架構。可以集成到現有部署流程中的商業 AI 軟件工具的可用性正在降低功耗和成本，同時提高功能。

減少數據

結合先進的圖像傳感器技術，我們還看到了低數據解決方案的進步，包括在空間、時間甚至光子級別上實現的基于事件的傳感，例如光子倍增管或電子倍增 CCD (EMCCD)替代品。

Evolve 相機系列包括由 Teledyne e2v 設計和制造的世界領先的 EMCCD 傳感器，以實現量子效率和低讀取噪聲。Teledyne Photometrics 將傳感器集成到相機中，用于單分子成像和 TIRF 顯微鏡等極低光應用。

基于事件的傳感器對變化做出反應，直接在傳感器中過濾不相關的數據，僅將來自已更改像素的信息發送到處理器。這與傳統的基于幀的傳感器不同，后者記錄并發送所有像素進行處理，從而使系統的管道負擔過重。我們經常將這種類型的數據流稱為神經形態處理，因為它的數據處理架構模仿了人腦處理信息的方式。雖然神經形態處理可以在處理器中完成，但如果我們想要實現最佳的數據量減少，我們需要將基于事件的傳感器與神經形態處理器相結合。

還有其他巧妙的方法可以動態減少數據傳輸，包括智能感興趣區域 (ROI) 功能和動態數據減少算法，我們開始在高端傳感器中出現這些方法。

將專門的數據捕獲行為與高性能處理器和智能輕量級算法相集成，為我們提供了在邊緣做出決策所需的關鍵組合，即事件發生并需要采取行動的地方。使用這種方法，即使是高性能、高信息量的光學檢測系統也可以獨立運行，而無需冗長、緩慢和昂貴的 PC 連接，從而使它們能夠通過 100% 的監控以更低的成本更快地對問題做出反應。

總體而言，這些進步將提高各種產品、農產品和商品的安全性和質量，同時降低生產成本。

尋找分子

還有另一種層次的檢查方法是傳統方法無法做到的。與平板制造商不同，平板制造商不希望在他們的顯示器上檢測細菌，在某些情況下，用戶需要在非常高的分辨率下看到細菌。

在這里，我們使用高倍顯微鏡技術，結合光學、化學、生物和計算的方法來提供關于我們世界的納米結構的更深入的信息。

圖像傳感器使檢測人體組織中的癌細胞成為可能。雖然目前檢測組織樣本中的癌癥的方法還很粗糙，需要手術切除組織樣本，然后將其送往實驗室進行進一步研究，但有一天，當病人還在手術臺上時，一項新的技術——細胞計數法將允許醫生近實時地確定樣本是否癌變。隨著處理能力越來越接近像素，我們現在可以捕捉細胞的圖像，并查看它的DNA，在臨床環境中的大型實驗室中。在未來，我們將把這種接近實時的細胞檢查從大型實驗室轉移到當地實驗室，最后轉移到手術臺上。

香港大學的研究人員開發了成像流式細胞術技術，以減少血液篩查的時間和成本。使用脈沖激光線掃描成像和 Teledyne SP Devices 的數字化儀，他們能夠在 1-2 分鐘內處理大量的結果數據——高達 100,000 個單細胞圖像/秒和 1 TB 的圖像數據——結合深度- 學習神經網絡和自動“大數據”分析。

想象一下，在手術過程中為外科醫生配備工具以完成診斷。可以實時對腫瘤進行分類和切除，而不是給患者施加壓力等待期并迫使醫生進行第二次手術。這是生活質量的真正改善。

小型化

尺寸對成像和視覺發展提出了另一層挑戰。新穎的高性能解決方案通常既昂貴又龐大。如果我們要為醫生及其患者實現更小、更易于使用的解決方案，那么在體內手術期間將基因組分析儀放在桌面上的目標就是我們必須克服的挑戰。

用于微型相機應用的超小型圖像傳感器、光源和處理器即將派上用場。微型尖端芯片 CMOS 圖像傳感器為外科醫生提供了比過去更有效地執行微創內窺鏡和腹腔鏡手術所需的增強視力。機器人引導的手術同樣受益于具有非常小的像素間距和針對特定醫療程序優化的圖像質量的緊湊型圖像傳感器。

用于一次性和柔性內窺鏡和腹腔鏡的“尖端芯片”CMOS 圖像傳感器需要具有非常小的像素間距和圖像質量的緊湊型傳感器，專門針對醫療應用進行了優化。

借助可供醫生使用的強大而有效的工具，醫療程序將變得更快、侵入性更小、更成功，從而使患者、醫生和整個醫學界受益。

即將到來的未來

相機和圖像傳感技術的進步將不僅對工廠車間、倉庫或智能運輸系統產生重大影響。這款新一代相機被部署在無人機上或嵌入手持設備中，它將利用光譜技術告訴我們，我們的農產品或飲用水中是否有毒素，或者我們呼吸的空氣中是否有環境毒素。

即使是對SARS-CoV-2等疾病的聚合酶鏈反應(PCR)檢測也將更容易、更廉價，因為成本較低的圖像傳感器將用于分子診斷工具。DNA測序曾經需要大型、昂貴的機器來對人類基因組進行測序，以確定祖先，但由于成像和分析技術的創新，這一技術將變得越來越容易獲得，也越來越便宜。

雖然我們不能100%準確地預測，但我們可以根據我們對市場需求和不斷發展的技術的了解做出預測。期待更強大的AI處理器，在更低的功耗和更低的溫度下提供更強的計算能力。結合強大的算法解決方案，解決方案提供商將獲得更廣泛的合適應用。

神經形態計算平臺將模仿人類視覺的效率。更直觀的人工智能軟件算法將比以往更有效地訓練機器視覺模型。高光譜成像將繼續帶我們探索地球表面之下。微型圖像傳感器可以在病人還在手術時進行分子診斷。

自從18世紀早期第一臺照相機發明以來，照相機已經走了一百萬英里。隨著相機和圖像傳感器的創新，我們將有能力了解周圍的世界——以及我們內心的世界，我們將多旅行數百萬次。

編輯：黃飛

?