汽車行業,是一個非常傳統的行業,但最近幾年由于電力化和智能化,使這個行業產生了新的動力。特別是各種感知產品的應用,使汽車變得更加安全和舒適;
機器視覺也是一個很歷史悠久的行業,因為工業4.0時代,再加上自動化、人工智能的導入,使這個行業有了新的動力、新的活力;
邊緣人工智能則是新興市場,主要是由人工智能、5G、IoT等新技術導入后開發出新的應用。
從第一次工業革命機械化,到第二次工業革命電力化,到第三次工業革命計算機數字化,到現在第四代工業革命人工智能化、信息化。人工智能對人類社會方方面面的影響和改變,將遠遠超過計算機數字工業革命。
“人工智能之父”Andrew Ng是斯坦福大學人工智能專家,他認為人工智能就像第二次工業革命的電力,將給整個人類帶來的一次深入的變革。數據則是人工智能的動力和發動機,感知是數據的燃料。
“汽車、機器視覺和邊緣人工智能,這也是我們的三個主要市場方向。”安森美半導體智能感知部全球市場和應用工程副總裁易繼輝說到,“我們在包括圖像感知、多光譜/高光譜感知、激光雷達感知、毫米波雷達感知、傳感器融合等深度感知領域做了很大投入,來推動AI和第四次工業革命的進步。”
安森美半導體智能感知部全球市場和應用工程副總裁 易繼輝(Sammy Yi)
汽車感知面臨的挑戰和機遇
未來的汽車,是一個架在四個輪子上、具有極其強有力的感知能力的計算機。從過去這些年我們可以發現,現在最好的汽車感知系統已經遠遠超過人類的感知,能夠實時、不知疲倦地監控周圍環境,這是人類駕駛員遠做不到的。
鑒于汽車感知能力的提升、自動駕駛技術的日益完善以及共享汽車等新模式的出現,現在汽車的可靠性已經不僅僅要求像現在這樣一天開兩三個小時,多數時間停在車庫里了,而是大多數時間都在開,只有一兩個小時去充電、做維修。然后還有對汽車自動駕駛功能安全,以及網絡安全的要求。
這些新要求,也為汽車成像帶來了很多挑戰。
01
一是寬動態,在強光下或從暗到亮,如果寬動態不夠,可能根本沒有辦法看到;
02
二是環境條件,車要能在東北零下幾十度的環境開,也能夠在沙漠開或者南方高溫條件下開;
03
三是對圖像傳感器來說很獨特的挑戰,辨別各種LED指示牌、交通燈,這種LED牌對人眼來講非常舒服,特別是夜晚很明亮,但LED閃爍頻率沒有標準,圖像傳感器有時會因為頻率不同步,捕捉不到信號。對駕駛員人眼來看沒有太大問題,但對機器視覺就是很大的挑戰。
“過去的方案都是用軟件來解決,現在已經做到芯片級的硬件解決方案了?!?易繼輝說到。
上圖是一個圖像傳感器的示意圖,一共有六層,都是由半導體制成。
易繼輝認為,市場上有一個誤區,認為GPU和CPU是半導體里挑戰性和難度最高的,但實際上圖像傳感器才是最難的。
因為“GPU和CPU要對付的主要是電子(Electron),但在圖像傳感器里,既要對付電子又要對付光子,光子和電子的結合使圖像傳感器變成非常復雜的半導體。未來甚至人工智能都可以直接放在圖像傳感器里。”
上圖解釋了為什么寬動態非常重要。左邊是寬動態不好的情況下,照顧了暗的部分,亮的部分就看不見了。
而右邊在寬動態好的情況下,暗的亮的都看得清楚,這才能夠給人工智能算法提供準確和全面的信息,做出準確和安全的判斷。
大家也經常碰到對面來車開遠光燈的情況,十分討厭。如果車燈在這個場景下的寬動態范圍是102dB,而傳感器只有70dB,可能就看不到來車旁邊的行人或物體,導致車禍。
這時候用110dB的傳感器就可以避免這場悲劇。另外在幾乎沒有燈的夜視場景下,是否有搭載近紅外+(NIR+)技術,對于夜間行車是一個是看得見,一個是看不見的天壤之別。
智能駕駛艙也是目前國內越來越重視的一個應用。
駕駛員監控的應用越來越廣泛,包括駕駛員的識別,分辨出這是先生還是太太后自動調節車椅、后視鏡的位置,空調的溫度,甚至喜歡的電臺都可以自動調整;
乘客監控也有不少應用,例如在美國經常出現家長把小孩或者寵物忘在車里了,借助乘客監控,你離開車后會自動提醒你在車里忘記了什么東西。
據介紹,針對智能駕駛艙解決方案,安森美半導體有兩款百萬像素的IVEC模組,在業界非常受歡迎,其中AR0144AT是整個業界用量是最大的一款。
智能駕駛艙普遍面臨的設計挑戰是,目前的攝像頭尺寸太大了——18×18cm3,最小的也要3×3cm3,“我們和合作伙伴一起開發了0.5×0.5cm3的小型攝像頭,放在車里乘客、駕駛員基本上都不會看得到?!币桌^輝說到。
成立6年,卻有40年的“內功”?
易繼輝表示,安森美半導體不只提供單一產品,還提供包括二極管、LDO、電源管理IC在內的硬件整體方案。
所以在設計下一代圖像處理器時,可以和公司其他產品部門合作開發配套的電子產品、器件,使攝像頭性能最優化。
據介紹,安森美半導體其他元器件的車規、功能安全已經能夠實現ASIL-B程度,所有元器件都按照公司統一的質量體系,擁有統一的可靠性能。
安森美半導體目前已經開發超過50家合作伙伴,從光學鏡片到信號處理器,I/O、Interface接口、SoC處理器、軟件系統。
據介紹,盡管安森美半導體的智能感知部成立只有六年,但公司在圖像傳感器行業卻已經有超過40年的歷史。
主要通過幾次重要戰略性并購茁壯成長,例如:前身是柯達影像的TRUESENSE,核心技術來源于貝爾實驗室CCD影像;前身是美國航天宇航局JPL噴氣式推動器實驗室的Aptina,1993年曾為阿波羅登月開發出全球首款CMOS圖像傳感器。
從三年前開始,安森美半導體又陸續收購了IBM在以色列的毫米波雷達研發中心,以及專注于飛行時間(ToF)激光雷達傳感器開發的愛爾蘭公司SensL。
根據日本第三方市場調研公司TSR(Techno Systems Research)的調研結果,圖像傳感器在汽車領域主要分為兩個市場——汽車成像和汽車感知。
汽車成象應用主要是給人眼看的,如駕駛員、乘客、后視、環視、電子后視鏡,安森美半導體在全球占大于60%的市場份額;
汽車感知則是給人工智能和機器視覺用的感知系統,安森美半導體在這個市場占有率大于80%,并在逐年擴大。
易繼輝透露,安森美半導體2019年在汽車市場銷售了近一億顆傳感器,而全球汽車銷售量在6,500萬輛。
中國的自動駕駛
中國國內自動駕駛分級和國外基本接近,都是六級,從L0到L5級別逐漸提高,自動化程度逐步擴大。
最大的分界點是從L3到L4,主要區別在于L3在一些極限場景下需要駕駛員自己來操控,L4理論上駕駛員完全不需要操控,全是由機器來操作。
簡單地講,
1
L1、L0是什么都沒有,L1英文叫做脫腳(feet off),腳可以不踩油門剎車了;
2
L2是脫手(hands off),手可以放開駕駛方向盤;
3
L3是eyes off,駕駛員的眼睛可以不用看了,只是汽車給你警告時要轉回來;
4
第四級是mind off,腦子都不用想了,因為連方向盤都沒有了;
5
第五級叫做limit off,已經沒有任何局限的場景,任何場景都可以自動駕駛了
從L1到L5,不管是傳感器數量還是種類都不斷地擴大增加。最大的差別是L3和L4之間,L4一定需要激光雷達,而L3很多公司都不會用激光雷達,只作為一個可選項參考,因為它的成本非常高。這也是過去業界討論后的結果。至于自動駕駛是從L3逐步演變到L4,還是直接跳到L4?
另外,電動汽車充電樁也是安森美半導體的碳化硅戰略市場之一。充電樁實現的方案有很多種,現在消費者最感興趣的就是直流快充。直流快充的充電樁需要非常大的充電功率以及非常高的充電效率,這些都需要通過高電壓來實現。
最主要的原因是L3中駕駛員仍然需要控制汽車,極限場景下還是要靠人。所以不光在自動化設計的程度上,還是感知數量和種類的應用上,都要考慮到成本的問題,人工智能算法、計算平臺都是為了有局限性的自動駕駛,而不是所有場景。
L4因為完全不需要考慮到駕駛員,所以一定要用激光雷達和高清地圖。這是兩個完全不一樣的平臺,L3就像加減法,L4是微積分:加減法永遠算不出極限,只有微積分才能算出它的極限值,也就是在L4的情況下,才能涵蓋所有極限的情況。
從國內自動駕駛的趨勢來看,國內一些整車廠推出的高端品牌車上,已經有L2、L3的功能。跟國外有一點不同的是,國外特別是歐洲的L2、L3也就是先進駕駛輔助系統(ADAS)的大批量使用和成長,是由法規和安全標準驅動的,而不是由消費者或車廠驅動。
目前,國內沒有相應的法規和安全標準來要求,車廠主要精力放在創造自己的技術和品牌效應,但消費者接受程度還不統一。在美國就完全不一樣,有時候車主對汽車自動駕駛太相信了,L2的車當L4用,也因此發生了不少車禍。
對于L4、L5自動駕駛,易繼輝認為現在落地的商業模式已經很清晰,“以前一開始以B2C的形式走消費類私家車,但現在國外很多整車廠的一些私家車L4項目或者是暫緩,或者是已經停下來了。現在基本上是走B2B,先以商業車的模式來落地?!?/p>
原因是目前智能感知系統成本非常高,只有商業車才能承受得這樣的成本,私家車一天開兩個小時,平時放在車庫,是完全沒有辦法支付成本的。
01
一是自動駕駛的出租車(Robotaxi),國內發展的速度非???,完全不輸美國,而且國內的很多自動駕駛車廠都是同時在美國拿到了許可證,且在中國和美國兩地都有研發中心。
結合《電子工程專輯》過去的報道看,國內現在已經有18個城市簽發了自動駕駛許可證,將近500輛全自動駕駛的出租車在路上測試,光百度就有將近200輛。
02
二是物流機器人,在新冠狀病毒疫情以后,物流機器人的應用越來越普及,特別是在一些小區、校園、工業園區、醫院、機場。
03
三是大型商業車,因為高速上很多惡性事故都是大車造成的,特別是駕駛員的疲勞。傳感器裝上后可以360度實時監控,感知能力不亞于駕駛員,所以商用車自動駕駛已經逐步開始。
易繼輝稱根據市場調查結果顯示,安森美半導體在這個領域的市場份額是80%,在中國市場更是占了90%。
工業機器視覺和邊緣人工智能
隨著工業4.0和自動化的深入,人工智能使機器視覺市場快速發展,邊緣人工智能不斷應用在一些新領域,比如新零售,智慧農業、畜牧業和農業都開始了智能化。
而新冠疫情后更是出現了幾大趨勢,一是遠程化,遠程教學、遠程醫療會越來越普遍;二是無人化,例如無人送貨車、無人商店,減少人和人之間的接觸,即無接觸化。
說到工業機器視覺,就不得不提平板檢測,它是對圖像傳感器最有挑戰性的應用。尤其是近些年,從1K、2K、4K一直到8K,像素在逐漸擴大。
檢測過程分兩步:第一步是暗檢測,上電前主要檢測一些指紋、劃痕和其他物理上的問題;第二步是上電以后對像素點的檢測,特別是針對OLED和最新的AMOLED(Active Matrix OLED)。
眾所周知,LED有一個亮板在后面作為發光源,而OLED的每個像素都是一個單獨發光源。
像素和像素之間發光的強度和色彩的均勻度都要能夠很準確地偵測出來,過去檢測LED面板上的1顆像素,對應需要9顆像素(3×3),OLED則對應需要16顆(4×4),甚至25顆(5×5)像素。
所以對圖像傳感器的像素要求越來越高,從4,500萬要到1.5億像素,甚至超過2億像素。
另外在工業上,圖像傳感器還被用于監控/廣播、PCB檢測等。
那圖像傳感器這幾年的發展趨勢是否跟得上呢?下圖以1.3英寸固定尺寸的圖像傳感器發展趨勢為例,可以看到圖像傳感器的分辨率在逐年提升;二是噪聲導數,相當于圖像質量,隨著像素的增大也是不斷地提高;三是帶寬,也是在逐年提高。
一個很好的例子,29×29mm2標準的工業用攝像頭,在十年以前可能只是200萬像素,后來逐漸增加到300萬、500萬、1200萬,今年已經能夠用到1600萬像素。
一些關鍵技術的進步也是很有意義的:
全局快門,可在高速運動下使圖像不會有拖影;
像素內校正,以前都是在系統里通過軟件校正,現在可以直接做到硬件里,在像素內部去做圖像校正;
工藝節點,從110納米到65納米,再到45納米,甚至更小,充分利用了摩爾定律的優勢,即成本、尺寸、耗電量都在逐年下降;
背照式(BSI),由于在同樣尺寸下,分辨率越來越高,像素尺寸可能越來越小,可能導致暗光下感光量、感光度降低,背照式可用來提高感光能力;
堆棧架構,告別兩維架構,進入三維空間后,堆棧式、兩次堆棧、三次堆棧都有可能實現。
“以后我們不光可以把模擬和數字信號放在第二層,還能把人工智能算法放在第三層,讓圖像傳感器變成高智能化的圖像傳感器。” 易繼輝暢想到。
3D成像、高光譜和多光譜成像
易繼輝表示:“3D成像、高光譜和多光譜成像都是安森美半導體未來的方向。現有的方案都是在系統上解決,而我們的想法是把這些困難和問題在半導體層面,用摩爾定律來解決。一旦能夠用摩爾定律解決問題,自然就帶來了降低成本、縮小尺寸、降低功耗的好處?!?/p>
針對深度成象(3D),幾年前安森美半導體已經開發出了相位檢測方案,在像素上面做一些改動,可以在1-5米內做到1.1%到2%精度,同時可以提供深度和色彩等圖像信息。原理就是通過在圖像傳感器上做一層衍射光柵,使它的相差能夠分離出來,形成深度的信息。
而ToF則有兩類,一類是iTOF,即indirect ToF;一類是dTOF,即direct ToF。
安森美半導體的方案是遠距離的dToF,利用單光子雪崩二極管(SPAD)和硅光電倍增管(SiPM),將光子發出去后再接收回來,能夠非常準確地判斷出遠處物體的距離,距離能夠達到250甚至300米以外。而iTOF一般是間接計算出距離。
高光譜和多光譜成像方面,安森美半導體也是在半導體層面來解決光譜分離的問題。
等離子波導濾波片技術分離出來光譜不是那么完整和精確,但是有一些應用場景是適合的;法布里-珀羅(F-P)分光濾光片是在半導體上加了一些反射鏡,它可以把光譜非常準確地分離出來,但成本和可靠性都有一些問題。
激光雷達
機械式雷達使用的傳統技術是雪崩光電二極管(APD),它的缺點是體積大、功耗高、偵測距離范圍有限、一致性不好。
一般的機械式雷達保質期只有一年,因為它需要不斷旋轉,所以損耗很大,而且現在產量還比較小,不能夠大批量生產。
安森美半導體激光雷達采用的技術叫做硅光電倍增管(SiPM),由SPAD集連而成,采用同樣的工藝。
安森美半導體智能感知部大中華區市場總監 郗蘊俠博士(Yolanda XI)介紹道,“它的優勢在于增益是APD的1萬倍,靈敏度是APD的2000倍,工作電壓要求只要30V,而APD要250V。另外,它的一致性非常好,利于大批量生產。”
安森美半導體智能感知部大中華區市場總監 郗蘊俠博士(Yolanda XI)
郗蘊俠表示,在很多行業尤其是汽車行業中,安森美半導體是最早給客戶提供SiPM和SPAD工藝技術的。該技術已在醫療方面大量應用,且已是量產狀態。對比其他競爭對手而言,該技術的重點在于:
01
車規化?,F在之所以很多激光雷達可靠性不高,是因為沒有車規化里面的器件,所以整個系統也達不到車規化,需要在半導體層面上解決這一問題。
02
安森美半導體推出的RDM,“M”代表Micro Lens微鏡,本來這個微鏡是用在圖像傳感器上的,但現在用在了激光雷達上。
好處在于,在激光雷達的探測器中有個特別重要的指標:PDE,即Photon Detection Efficiency(光子探測效率),它相當于圖像傳感器QE指標。這個指標越高,就說明它的光子轉化成電子的效率越高。在RDM系列中加了微鏡技術以后,它的透光率就更高,轉化出來的PDE提升也非常高。
03
采用成熟CMOS工藝。如果出貨量上到萬的等級,以前的APD技術都不可能用人工標定。而CMOS工藝可以達到真正的低成本、低功耗,以及優化尺寸等等,能實現激光雷達真正的落地,車規化的落地。
安森美半導體在激光雷達上也提供整體的、系統的方案
毫米波雷達
毫米波雷達的適用范圍囊括了自動駕駛的L1、L2、L3、L4、L5級別,在不同級別上有不同的應用。
易繼輝表示,安森美半導體下一代毫米波雷達的重點放在L3上,使用的技術叫做“MIMO+”,能夠提供四維(4D)信息(R是距離,V是速度,A是角度,E是高度)。
易繼輝表示,MIMO+和競爭對手的技術相比,要多一倍的通道,也就是說同樣性能的毫米波雷達,安森美半導體方案可以節省50%的mmIC器件,還能減少優化控制器、線路板,降低總體成本。
同時,安森美半導體也會開發雷達信號處理,并且按照行業標準定制對外聯接接口,不管是現有標準還是未來發展標準。
郗蘊俠表示,安森美半導體現在已與大中華地區的一些重點客戶開展毫米波雷達項目,向他們提供了一些芯片,客戶產品已經處于研發階段。
一張圖表總結安森美半導體在汽車感知上的產品陣容。
責任編輯:lq
-
機器視覺
+關注
關注
162文章
4384瀏覽量
120419 -
自動化
+關注
關注
29文章
5592瀏覽量
79387 -
人工智能
+關注
關注
1792文章
47377瀏覽量
238878
原文標題:汽車、機器視覺和邊緣AI中要用到的感知策略和方案
文章出處:【微信號:onsemi-china,微信公眾號:安森美】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論