回顧歷史,地球上最古老的生物出現于34億年前。在此之后,生命的進化過程一直很緩慢。大約5.4億年前,由于物種變得多樣化,生命的進化速度突然加快。這個時期就是所謂的寒武紀生命大爆發。
導致物種突然呈現多樣化發展趨勢的眾多原因之一是生物感官的進化。在此過程中,眼睛的出現是最重要的一部分。
學者們解釋說,物種變得多樣化并且進化迅速是因為混沌黑暗世界中新信息的出現。大腦的一部分凸出成為眼睛,開始觀察這個世界。這致使生物體增加了對能量的需求,并且因為各種新信息擴大了適應和運動的范圍。
我們使用的電子設備上也出現了類似的現象。隨著數字化進程的不斷深入,移動設備上的攝像頭與人眼扮演著相同的角色。攝像頭上的CMOS圖像傳感器(以下簡稱為CIS)則具有像人眼視網膜一樣捕捉圖像的功能。 借助CIS技術,我們可以輕松地處理、復制和儲存海量圖像信息。
因此,移動設備必須具備處理大量數據的能力,這再次強烈推動了擔當大腦角色的應用處理器(AP)的性能或內存容量的發展。此外,從用戶的觀點來看,攝像頭的功能顯得尤為重要,這進而促使了移動設備的多樣化發展。
與寒武紀發生的變化一樣,電子設備的日新月異體現在我們的日常生活中。新冠疫情的爆發開啟了“無接觸”的時代,在加速電子設備多樣化的同時,也推動了用戶需求的迅猛增長。疫情雖將在不久后結束,但這種趨勢將會延續下去。
模擬人眼
CIS最大的作用是準確地再現我們眼中的世界。我們希望它具有和人眼相似的分辨率,必須清楚分辨各種明暗環境,同時還能識別高速移動的物體。
下圖展示了CIS的基本像素(pixel)結構和成像操作特性。物體反射的光線通過光學系統進入光電二極管,當光線中的光子能量超過半導體帶隙的能量時,就會產生電子-空穴對(e-/h+)。
根據光的強度,累積和讀取該信號可以形成2D圖像。硅元素的帶隙能量為1.1eV(電子伏特),可以覆蓋整個人眼可見的光譜范圍。眾所周知,硅是常見的半導體材料。這可謂是無巧不成書。
圖1 人眼與CIS響應系統對比
要想使圖像在黑暗情況下清晰可見,需要放大來自微弱光線的信號,同時盡可能抑制非光信號(噪點)。此外,要想在明亮的環境下看清,需要接收大量的強光并加以區分。這些特征可以使用所謂的SNR(信噪比)通過光強和DR(動態范圍:滿阱容量噪聲比)來量化。
在暗光信噪比控制方面,人們為了在放大信號的同時降低不需要的噪點做了很多努力。如今,我們正逐漸將這些特性提高到5勒克斯(lux)的水平,這是一個相當黑暗的環境。在動態范圍方面,人眼的場景內和場景間動態范圍通常分別為120 dB和180 dB,在不斷發展的狀態下,當前智能手機的場景內和場景間動態范圍分別為70 dB和120 dB。
影響上述特性的最重要因素是像素的尺寸和分辨率。為使CIS獲得更高的分辨率,必需縮小像素尺寸(像元大小)。如果要在同樣分辨率下將CIS放在更小的芯片區域上,像素尺寸也必須更小。在縮小像素尺寸的情況下保持上述特性不變是最關鍵的因素。
圖2 光響應特征與動態范圍擴展
像素尺寸和分辨率之爭還將持續多久?
人眼對靜止圖像中心部分的分辨率約為5.76億像素,對移動圖像的分辨率約為800萬像素。CIS技術一直在不斷進步以趕上人眼的一水平。在將像素尺寸降至大約1.12μm并將分辨率提升至1300萬像素后,CIS技術的研發速度開始變得緩慢,但是,Quad技術(使用相同的濾色器合并2×2像素)的引入再一次加快了像素尺寸縮小的發展速度。
最近,這一水平已達到了0.7μm范圍,分辨率也升至6400萬像素。 如今,隨著NONA(3×3)和QxQ(4×4)技術的發展,像素尺寸已經達到至0.6Xμm范圍的水平。反過來,像素尺寸縮小技術催生出了近期推出的1.08億像素分辨率圖像傳感器。
隨著這一發展,人們越來越期待不久后將推出的2億像素分辨率相機。 如今我們迎頭趕上了很多新的發展。上述像素綁定技術得到積極采用的原因是拍攝視頻時我們對分辨率要求不高。但是在這一新技術(像素綁定技術)的加持下,攝像機現在可以支持以每秒60幀的速度不間斷錄制4K(4000 x 2000:800萬像素)視頻。
像素綁定技術使攝像機能夠保持視頻中大像素的特性并提供出色的低光靈敏度和動態范圍。為了為客戶提供增值服務,未來,超低光、動態范圍擴展技術、快速自動對焦等功能有望加入到視頻拍攝中。
圖3 低光信噪比和動態范圍擴展技術
縮小圖像傳感器體積(包括縮小像素尺寸)是所有半導體公司共同面對的挑戰。為了在更小的尺寸上保持相同的功能特性,這些公司在設備和制造工藝上進行了大量的技術開發工作。
此類技術包括:摻雜優化(doping optimization)和垂直轉移柵(vertical transfer gate)——以提高全阱容量(FWC),同時保持電荷轉移效率;源跟蹤工程(source follower engineering )和各種降噪技術;濾色器隔離(color filter isolation)和深溝槽隔離(deep trench isolation)技術——將相鄰像素之間的干擾降至最低;使用較厚的外延層(epi layer)來提高像素感光度或應用各種濾色器相關技術等。
在觀看圖像這一方面,如今的半導體通過上述的技術實現了在性能上與經過數百萬年進化而來的生物的眼睛幾乎相同。然而,在功效方面仍有改進的可能。我們現今正在見證低功耗技術的發展:在待機模式下,以最低功耗運行(所謂的常開模式)或通過壓縮傳感方法來優化功耗。
圖4 像素縮放技術
超越人眼
在CIS的應用領域擴大過程中,最具代表性的就是深度傳感技術。早期CIS利用兩臺攝像機模仿人眼的雙眼視差來感知距離。然而,人們還需要努力突破精確度、距離可擴展性及兩臺攝像機之間最小距離等方面的限制。 根據光線從物體反射后返回的時間差來測量距離的方法被稱為“飛行時間”(ToF)。
ToF分為兩種類型,即直接飛行時間(dToF)和間接飛行時間(iToF)。 從操作原理上看,這兩種方法各有利弊。間接飛行時間的傳感基于模擬電荷累積的工作原理,由于信號在遠距離衰減,其可測量距離范圍受到局限。
而直接飛行時間在分辨率上有局限性,由于檢測每一個單光子(SPAD:單光子雪崩二極管)單元大小非常棘手,再加上還需要在每個單元中堆疊以讀出電路。綜上所述,這兩種方法可以在各自的應用程序中實現和利用自身優點,或努力改進以克服其缺點。
圖5 ToF(飛行時間)傳感器工作原理和應用領域
圖6 SK海力士的首款ToF傳感器(紅外圖像和深度圖像)
圖7 iToF和dToF的進化發展
CIS以廣譜光為基礎,利用可見光、紫外光、近紅外光、短波紅外光等,擴大應用領域,為豐富人類生活做出貢獻。紫外和紅外波長為采用替代材料(如Ge(鍺)、InGaAs(銦鎵砷)和InP(銦磷))解決硅的缺點提供了機會。此外,多光譜和高光譜成像,或偏振傳感器也開始發揮助力作用。
圖8 圖像傳感器應用領域的擴展
人工智能(AI)被各行各業廣泛的采用也給CIS行業帶來了好處。該技術在早期階段主要集中在降噪或增強分辨率來改善圖像本身,而目前正朝著物體識別和安全領域擴展。攝像頭的普遍安裝引起了人們對隱私問題的擔憂。在確保安全所需的數據傳輸到服務器的同時,也要防止其他數據被泄露。因此,AI功能將遷移到邊緣設備上,使我們能夠減少物聯網設備之間的數據傳輸的同時實現節能的功效。紅外數據的使用和基于事件驅動的傳感器的出現也與這一方向相契合。
隨著這些傳感器的出現,相關一系列的技術也得到進一步的發展——頭戴式顯示器(HMD)、AR/VR眼鏡等新型可穿戴設備、自動駕駛汽車、機器人和無人機等自動化應用,以及不同設備的融合和集成等。 通過提供圖像的技術和感測各種光的信息,CIS將繼續使我們的生活變得更方便和安全。SK海力士致力于不斷開發并順應這一趨勢,研發各種產品,創造更多機會來增加社會價值。
審核編輯 :李倩
-
傳感器
+關注
關注
2552文章
51228瀏覽量
754658 -
CMOS
+關注
關注
58文章
5724瀏覽量
235697
原文標題:CMOS圖像傳感器的元視覺:超越人眼
文章出處:【微信號:vision263com,微信公眾號:新機器視覺】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論