色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

一種基于事件的堆疊式圖像傳感器

MEMS ? 來源:MEMS ? 2020-04-28 15:13 ? 次閱讀

據麥姆斯咨詢介紹,神經形態視覺傳感是一種受生物啟發的相機,可以捕捉場景中的活動,降低數據冗余和延遲。這些基于事件的傳感器使機械的自主性更加接近現實,并在工業自動化消費電子自動駕駛車輛等領域基于視覺的高速應用中找到用武之地。

“為什么說基于事件的視覺傳感器是神經形態的?因為每個像素都是一個神經元,把人工智能引入像素邊緣完全有意義。”Yole首席分析師Pierre Cambou稱。

最近幾個月,沉寂多年的神經形態視覺傳感產業似乎又重新回到了人們的視野。去年11月,三星為其移動和平板電腦應用的動態視覺傳感器(Dynamic Vision Sensor, DVS)技術提交了商標申請。Pierre Cambou說,“這算是一個驚喜!因為三星最初市場化的動態視覺傳感器主要用于汽車高級駕駛輔助系統(ADAS)。”

2019年12月,索尼悄悄收購了總部位于蘇黎世的Insightness公司,該公司的視覺傳感器即使在運動中也可以在幾毫秒內實現運動檢測。2020年2月,總部位于巴黎的Prophesee公司在完成2800萬美元額外融資后不久,和索尼一起在美國舊金山舉行的國際固態電路會議(International Solid-State Circuits Conference)上聯合宣布,他們已經開發出一種基于事件的堆疊式圖像傳感器

Prophesee基于事件的圖像傳感器的成像圖片

神經形態傳感起源于1991年蘇黎世聯邦理工學院(ETH Zurich)神經信息學研究所Misha Mahowald開發的“硅視網膜”技術。Mahowald解釋稱,“模仿人類視網膜,這種‘硅視網膜’通過從圖像中減去平均強度水平,只報告空間和時間變化,從而減少了帶寬。”這種靈感推動了動態視覺傳感器背后的概念,使蘇黎世聯邦理工學院成為該技術的創新中心,并孕育了像Prophesee、Insightness等無數初創企業。瑞士創新公司iniVation也是其中之一。

iniVation開發的DAVIS346

這家總部位于蘇黎世的初創公司由基于事件的視覺先驅們于2015年創建,他們開發了一種動態視覺平臺,結合硬件和軟件用于高性能機器視覺系統。iniVation的神經形態動態視覺傳感器芯片DAVIS346模仿了人類視網膜的特性。只有在發生局部像素級的變化時才會進行傳輸,以微秒級的分辨率生成事件流,與傳統的視覺傳感器相當,但數據量卻少得多。該公司聲稱,由于采用本地化處理,其功耗(最多減少90%)、數據存儲和計算要求顯著降低,同時還提高了傳感器的動態范圍(高于120 dB)。

iniVation通過300個客戶的網絡,與賓夕法尼亞大學(University of Pennsylvania)、蘇黎世大學(University of Zurich)和美國國防高級研究計劃局(DARPA)的研究人員合作開發了IBM的TrueNorth仿人腦芯片。這項研究的重點是無人駕駛飛機的自主飛行。

暢想智能制造

現代制造業正在發生一場無聲的革命。機器自主和自動化相輔相成,大量制造自動化的發展背后是機器視覺。與簡單的傳感器不同,機器視覺傳感器會產生大量的數據以識別有缺陷的系統,了解它們的缺陷并進行快速干預。其結果是節約的成本和提高的生產率。

iniVation稱,其動態視覺平臺適用于工業視覺,可實現基礎設施的高速3D掃描,用于預測性維護、高速生產檢測、顆粒、熒光成像顯微鏡以及人體運動分析。換句話說,它能夠以高速度、高精度和高一致性執行普通或復雜的重復任務。

“我們花了一段時間才找到一個好的策略。”iniVation首席執行官Kynan Eng說,“很多公司可以提供高速計數,由于傳統相機可以實現每秒1000幀甚至更高,所以高速計數并不是根本。如果應用不需要即時響應,那么,使用我們的傳感器就沒有什么意義。”

對于iniVation傳感器應用,關鍵的是延遲而不是數據吞吐量,iniVation的傳感器具有快速響應時間,例如一個不斷移動執行任務的機器人,它需要實時調整它的路徑。如果調整得越快,它就能移動得越快,同時檢測自己錯誤的速度也越快。

“在我看來,工業視覺是一個相對低風險,但市場規模也低的市場。”Eng說。因此,風險投資基金很少有興趣。著眼于有機增長,iniVation正在考慮規模經濟。通過2019年與三星(Samsung)的合作,iniVation從制造和芯片銷售轉向對機器視覺行業銷售相機。“你可以賣100美元的芯片,也可以把它裝在相機里,賣1000美元的相機。”Yole分析師Cambou指出。

通過轉向系統級產品,iniVation正在往高價值鏈上拓展。

“我們認識到,只成為一家芯片公司沒有意義。”Eng說,“我們可以融資10億美元,但這仍不足以自己制造芯片。客戶一直問我們,為什么我們的相機價格昂貴,如何才能讓它們便宜。與三星合作,就是問題的答案。”

對產品質量的高要求,推動了食品、包裝、消費電子、航空航天以及汽車行業的機器視覺。Eng說,iniVation的目標是進入更大的市場。

移動領域空間巨大

基于事件的相機只傳輸強度的變化。它們不會受到運動模糊的影響,延遲時間約為微秒級。加上很高的動態范圍和很低的功耗,使基于事件的相機非常適合虛擬現實和增強現實應用(VR/AR)。“這是一個巨大的潛在市場,不過,現在還不知道什么時候會真正起量。現在,它是一個利基市場。”Eng說。

基于事件的相機也可以應用于移動設備。“重點在于說服手機制造商在手機背面再增加一顆傳感器。”Eng說。最初,iniVation和其它基于事件相機的廠商只生產使用DVS像素的相機。Eng補充說:“這些特性有利于應對高速變化,但在很多情況下,人們只是想自拍或者給美食拍照。幾年前,我們開始開發一種兼具基于事件像素和正常像素的傳感器。用戶可以拍攝普通照片,進行普通處理,但對于特定的用例,用戶會用到我們基于事件的像素。”

因此,手機制造商不必做出非此即彼的決定,并能維持同樣水平的價格。

Cambou說:“手機市場或將在2021年~2022年前后開啟。現在,我們已經在華為手機的背面看到了5顆攝像頭。除了‘永久在線’的神經形態相機,我想不出再下一顆攝像頭還有誰。有人會說‘多光譜相機’,但我認為更多的可能是讓智能手機始終保持‘意識’。基于事件的相機可以實現無接觸的交互,如鎖定和解鎖手機。”

與Prophesee和索尼的合作一樣,和三星的合作為iniVation在智能手機市場上提供了一條新的發展道路。Cambou說,一如既往,這是一個如何落地的問題。“永久在線意識已經提出好多年了,但現在的問題是如何實現它。這取決于應用,以及在客戶體驗方面可以提供哪些改善。”

為汽車提供智慧雙眼

基于事件的相機很節能,因為像素活動微不足道;對于“靜默時”的像素幾乎不需要能量。這是一個賣點,因為自動駕駛汽車正從內燃機向電動引擎過渡。對于汽車公司來說,功耗比最初認為的要重要得多。Eng說,“在目前的電動汽車設計中,如果一輛汽車以恒定速度使用4 kW的總功率預算,那么其中一半會用于推動汽車,另一半則要用于計算。計算環節省下來的每一瓦特電能,都可以延長汽車的續航里程,或者使用更小的電池。”

iniVation的動態視覺傳感器平臺能夠在惡劣的照明條件下實現車輛量距、高速即時定位和地圖繪制(SLAM)以及自動駕駛輔助。“隨著處理技術的發展,自動駕駛汽車的前景將會越來越明朗。”Eng說,“我們將提供一種混合傳感器,它將同時具備幀速和基于事件的傳感能力,這樣汽車制造商就可以繼續使用它們已經投入數十億美元開發的產品。”

傳感器是解鎖自動駕駛的關鍵。Cambou表示,這些傳感器會產生大量的數據,系統將嚴重受限于處理能力。更多的攝像頭和隨之而來的更多數據意味著“計算爆炸”。一個解決方案是提高數據質量。Cambou 補充說,“真的要解決自動駕駛問題,就需要更多類型的傳感數據,例如激光雷達、熱像儀和高光譜相機等。我認為汽車廠商也應該考慮基于事件的相機。”

神經形態工程的潛力仍有待開發。Yole稱,到2029年,神經形態半導體、傳感和計算將成長為71億美元規模的市場。如果在未來4~5年內可以解決所有技術問題,神經形態計算市場將從2024年的6900萬美元增長到2029年的50億美元,以及2034年的213億美元。神經形態傳感市場將從2024年的3400萬美元增長到2029年的20億美元,以及2034年的47億美元。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 人工智能
    +關注

    關注

    1791

    文章

    47200

    瀏覽量

    238268
  • 視覺傳感器
    +關注

    關注

    3

    文章

    249

    瀏覽量

    22872

原文標題:神經形態視覺傳感器,使工業自動化和自動駕駛更接近現實

文章出處:【微信號:MEMSensor,微信公眾號:MEMS】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    什么是自感傳感器

    在現代科技領域中,傳感器技術扮演著至關重要的角色,而自感傳感器作為其中的一種,以其獨特的優勢在眾多應用場景中發揮著不可替代的作用。本文將深入探討自感
    的頭像 發表于 11-25 18:16 ?474次閱讀

    什么是絕對拉線位移傳感器

    拉線位移傳感器(Cable Displacement Sensor),又稱為拉繩位移傳感器或電容拉絲傳感器,是一種用于測量物體在直線方向上
    的頭像 發表于 10-14 20:36 ?343次閱讀
    什么是絕對<b class='flag-5'>式</b>拉線<b class='flag-5'>式</b>位移<b class='flag-5'>傳感器</b>

    索尼圖像傳感器芯片有哪些

    索尼(Sony)是全球領先的圖像傳感器制造商之,其產品廣泛應用于數碼相機、智能手機、監控攝像頭等多個領域。索尼的圖像傳感器技術
    的頭像 發表于 10-12 11:41 ?601次閱讀

    圖像傳感器功能作用及其使用場景

    圖像傳感器一種將光學圖像轉換為電信號的設備,廣泛應用于各種領域,包括攝影、監控、醫療成像、工業檢測、機器人視覺等。圖像
    的頭像 發表于 10-12 11:34 ?787次閱讀

    圖像傳感器的探測能力與幀頻有關嗎

    圖像傳感器的探測能力與幀頻(frame rate)確實存在定的關系。 1. 圖像傳感器的工作原理 圖像
    的頭像 發表于 10-12 11:29 ?361次閱讀

    圖像傳感器的原理是什么?

    圖像傳感器一種將光信號轉換為電信號的設備,廣泛應用于攝影、視頻監控、醫學成像、天文觀測等領域。圖像傳感器的原理涉及到光電效應、電荷存儲、信
    的頭像 發表于 10-12 10:48 ?475次閱讀

    圖像傳感器是依靠什么感光的

    圖像傳感器一種將光學圖像轉換成電子信號的設備,廣泛應用于數字攝影、視頻監控、醫學成像、天文觀測等領域。圖像
    的頭像 發表于 10-12 10:46 ?402次閱讀

    Melexis發布雙芯片堆疊傳感器

    全球微電子工程領域的佼佼者Melexis,近日震撼推出了其最新研發的MLX90425與MLX90426雙芯片堆疊傳感器。這兩款產品作為Melexis創新型Triaxis?磁傳感器
    的頭像 發表于 10-08 15:09 ?431次閱讀

    CGQ-24霍爾傳感器一種什么類型的傳感器

    霍爾傳感器一種基于霍爾效應的磁敏傳感器,具有非接觸測量、高靈敏度和廣泛應用等特點。
    的頭像 發表于 09-27 11:17 ?310次閱讀

    簡單認識CMOS圖像傳感器

    CMOS(Complementary Metal-Oxide-Semiconductor)圖像傳感器,中文學名為互補金屬氧化物半導體圖像傳感器,是
    的頭像 發表于 07-17 16:49 ?5201次閱讀

    CMOS圖像傳感器堆棧與單芯片的區別

    你知道CMOS圖像傳感器是如何變成現在這般的嗎?它有哪些分類?本文就帶你起了解下CMOS圖像傳感器
    發表于 04-09 12:17 ?1770次閱讀
    CMOS<b class='flag-5'>圖像</b><b class='flag-5'>傳感器</b>堆棧<b class='flag-5'>式</b>與單芯片的區別

    cmos圖像傳感器的作用及專業術語

    CMOS圖像傳感器一種常見的圖像捕捉設備,它們使用互補金屬氧化物半導體(CMOS)技術來實現對光的感應和圖像采集。
    發表于 01-25 15:52 ?1508次閱讀

    CMOS圖像傳感器的制造工藝

    根據圖像傳感器的應用和制造工藝,圖像傳感器可分為CCD圖像傳感器和CMOS
    的頭像 發表于 01-24 09:30 ?2779次閱讀
    CMOS<b class='flag-5'>圖像</b><b class='flag-5'>傳感器</b>的制造工藝

    Vivado HLS的圖像傳感器FPN噪聲去除算法設計

    ,表現為明暗不均勻的條帶噪聲。同時,為了滿足圖像傳感器的實時攝像要求,算法的處理延時要低[3]。基于以上原因,本設計提出一種適用于圖像傳感器
    的頭像 發表于 01-02 11:10 ?1618次閱讀
    Vivado HLS的<b class='flag-5'>圖像</b><b class='flag-5'>傳感器</b>FPN噪聲去除算法設計

    靈動佳芯發布一種非接觸紅外體溫傳感器

    傳感器在各個領域中都扮演著重要的角色。其中溫度傳感器是最為常見的一種,它在工業、汽車、醫療、家電等領域得到廣泛應用。
    的頭像 發表于 12-27 09:26 ?1209次閱讀
    靈動佳芯發布<b class='flag-5'>一種</b>非接觸<b class='flag-5'>式</b>紅外體溫<b class='flag-5'>傳感器</b>
    主站蜘蛛池模板: 特黄AAAAAAA片免费视频| 午夜DJ国产精华日本无码| 色欲无码国产喷水AV精品| 亚洲精品资源网在线观看| 9999精品视频| 国产日韩亚洲专区无码| 男人J放进女人P全黄网站| 性盈盈剧场| JIZJIZJIZ 日本老师水多| 国产最猛性XXXX69交| 欧美派对xxxhdparty| 亚洲无吗在线视频| 古代荡乳尤物H妓女调教| 久久久久久88色偷偷| 摥管专用动态图399期| 69式国产真人免费视频| 国产乱国产乱老熟300部视频 | 久久亚洲AV成人无码国产漫画| 日韩欧美视频一区| 一天不停的插BB十几次| 丰满的大白屁股ass| 久久综合给合久久狠狠狠…| 天天操人人射| qvod影院| 久久伊人在| 亚洲精品久久久992KVTV| 苍老师刺激的120分钟| 久久综合九色| 亚洲欧美日韩高清中文在线| 丰满老熟好大bbbxxx| 免费撕开胸罩吮胸视频| 亚洲综合中文| 国产精品永久在线| 日日夜夜撸 在线影院| 99久久婷婷国产综合精品青草| 九九热综合| 性盈盈剧场| 国产精品成人无码免费视频| 青青国产在线观看视频| 91蜜桃视频| 久久综合久综合久久鬼色|