色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

智能駕駛需要怎樣的ISP?

Hobby觀察 ? 來源:電子發(fā)燒友 ? 作者:梁浩斌 ? 2024-08-30 09:05 ? 次閱讀

電子發(fā)燒友網(wǎng)報(bào)道(文/梁浩斌)在智能手機(jī)上,圖像傳感器的像素、色深越來越高,支持拍攝的視頻分辨率、幀數(shù)越來越大,都需要更強(qiáng)大的ISP進(jìn)行支撐。比如相機(jī)取景框的延遲、拍攝照片后的等待時(shí)間,都關(guān)系到ISP的性能。

不止于手機(jī),實(shí)際上幾乎任何需要用到圖像傳感器的場景都需要ISP對(duì)傳感器獲取到的信息進(jìn)行處理。在智能駕駛領(lǐng)域,攝像頭作為核心的傳感器之一,也需要ISP對(duì)數(shù)據(jù)進(jìn)行處理,再將攝像頭數(shù)據(jù)提供給智駕的AI算力芯片等進(jìn)行計(jì)算。智能駕駛技術(shù)快速發(fā)展的過程中,也對(duì)ISP性能有了新的需求。

智能駕駛的ISP需求

在智能駕駛應(yīng)用中,相比消費(fèi)或安防等應(yīng)用最大的區(qū)別就是低延時(shí)的硬性要求。在一些低端智能手機(jī)上,或是一些家庭安防攝像頭,我們往往可以看到畫面與實(shí)際環(huán)境是有肉眼可見的延遲。

但如果在智能駕駛上,攝像頭數(shù)據(jù)有1秒的延遲,那么從攝像頭再到智駕芯片作出決策,車輛可能已經(jīng)行駛超過30米,而智駕系統(tǒng)作出的決策實(shí)際是應(yīng)對(duì)30米前的狀況,這對(duì)行駛安全來說會(huì)是重大的隱患。

所以,為了保障智駕系統(tǒng)對(duì)路面環(huán)境的快速響應(yīng)和及時(shí)反饋,ISP處理圖像數(shù)據(jù)的延遲需要盡可能小,給后端感知算法和算力芯片留有足夠的處理時(shí)間冗余。

除了延遲之外,ISP還負(fù)責(zé)對(duì)圖像傳感器的數(shù)據(jù)進(jìn)行各種優(yōu)化處理,汽車行駛環(huán)境復(fù)雜多變,與手機(jī)、安防等領(lǐng)域相比,汽車領(lǐng)域?qū)D像質(zhì)量低照度、動(dòng)態(tài)范圍和功能安全等多種要求都要更高。比如在進(jìn)出隧道、地庫等場景,明暗變化極大,需要圖像傳感器具備極高的動(dòng)態(tài)范圍以及ISP具備24bit甚至更高位寬的RAW數(shù)據(jù)處理能力。

智駕系統(tǒng)還對(duì)色彩還原和細(xì)節(jié)渲染有較高要求,比如識(shí)別紅綠燈、識(shí)別道路標(biāo)志、地面畫線等,這些路面信息的顏色,在特殊的光照條件下,色彩的變化會(huì)給感知算法識(shí)別帶來困難,需要ISP準(zhǔn)確還原顏色,避免算法誤判。

不過智能駕駛用到的ISP首要目標(biāo)不是滿足人眼的視覺感受,而是注重機(jī)器視覺的需求。輝羲智能曾表示,目前在智能駕駛用到的AI網(wǎng)絡(luò)本身具備一定的魯棒性,對(duì)于ISP的處理能力改進(jìn)可能沒有迫切需求。所以對(duì)于智能駕駛來說,會(huì)更加看重ISP的低延遲和信號(hào)保真兩個(gè)方面。

信號(hào)保真的目的是保證感知算法能夠獲得與現(xiàn)實(shí)情況盡可能接近的信息,就像前面提到的色彩還原、高動(dòng)態(tài)范圍等。

黑芝麻還提到智能駕駛ISP會(huì)面臨的一個(gè)問題,就是不同傳感器的噪聲差異。在實(shí)際智駕應(yīng)用中,前視、側(cè)視、后視等攝像頭中,會(huì)采用不同的圖像傳感器,比如像素不同、型號(hào)不同等差異。而不同的圖像傳感器,在感光靈敏度等存在一定差異,在輸出信息的噪聲形態(tài)和強(qiáng)度都各不相同。

感知算法在處理圖像信息時(shí)會(huì)對(duì)輸入圖像的信噪比有一定要求,所以ISP需要對(duì)不同傳感器和不同類型噪聲都具備相應(yīng)的處理能力,使得不同的傳感器輸出的圖像信息在信噪比上能夠符合感知算法的要求。

智駕系統(tǒng)有可能去掉ISP?

ISP出現(xiàn)的目的是對(duì)圖像信號(hào)進(jìn)行處理,以讓圖像變得更加還原現(xiàn)實(shí)或是讓人覺得更加“好看”,但對(duì)于機(jī)器視覺來說,是否真的需要經(jīng)過處理后的圖像,在業(yè)界也有一些討論。尤其是ISP的處理需要時(shí)間,去掉ISP后甚至還能降低一點(diǎn)延遲。

這里的邏輯是,為了給人眼看到更好的畫面,在ISP處理的過程中很多對(duì)機(jī)器視覺有用的數(shù)據(jù)也被處理掉了,如果省略了ISP的處理過程,那么所獲得的信息量會(huì)增加。

馬斯克曾表示,在自動(dòng)駕駛系統(tǒng)中,圖像信號(hào)不經(jīng)ISP處理可以降低13毫秒的延遲,這是因?yàn)?a href="http://www.1cnz.cn/tags/特斯拉/" target="_blank">特斯拉整車有8個(gè)自動(dòng)駕駛攝像頭,每個(gè)攝像頭經(jīng)過ISP處理會(huì)產(chǎn)生1.5到1.6毫秒的延遲。

但目前來看,在智駕系統(tǒng)中ISP依然是必須的,包括特斯拉也并沒有完全去掉ISP。有學(xué)者認(rèn)為,現(xiàn)有的圖像傳感器去掉ISP后,會(huì)令算法識(shí)別造成很多困難,比如沒有了色彩還原等。

至于延遲問題,輝羲智能認(rèn)為可以借鑒智能手機(jī)領(lǐng)域的ISP,比如將圖像切分成tile進(jìn)行處理,將一幀圖像切成4個(gè)tile,最高可以將延遲縮短至二分之一幀。

小結(jié)

在智能手機(jī)領(lǐng)域,為了讓人眼看到更好看的圖像,ISP經(jīng)歷了快速的發(fā)展。對(duì)于智能駕駛而言,ISP雖然也有很大程度的提升空間,但對(duì)于應(yīng)用以及實(shí)際算法的需求,還需要行業(yè)繼續(xù)探索。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 圖像傳感器
    +關(guān)注

    關(guān)注

    68

    文章

    1939

    瀏覽量

    129892
  • ISP
    ISP
    +關(guān)注

    關(guān)注

    6

    文章

    481

    瀏覽量

    52249
  • 智能駕駛
    +關(guān)注

    關(guān)注

    3

    文章

    2652

    瀏覽量

    49125
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    設(shè)計(jì)仿真 海克斯康VTD智能駕駛仿真方案-Camera#智能駕駛 #ADAS

    智能駕駛
    北匯信息POLELINK
    發(fā)布于 :2024年12月17日 17:05:15

    艙駕融合一體化測試解決方案#駕駛艙 #ADAS #智能駕駛

    智能駕駛
    北匯信息POLELINK
    發(fā)布于 :2024年11月29日 09:05:22

    ?ISP算法及架構(gòu)分析介紹

    一、ISP算法及架構(gòu)分析介紹 ISP即Image Signal Processor,是一種圖像處理架構(gòu),不是我們用的下載器。 ISP其實(shí)算是圖像處理的一個(gè)特例,一般應(yīng)用于前端設(shè)備(相對(duì)于SENSOR
    的頭像 發(fā)表于 11-26 10:05 ?951次閱讀
    ?<b class='flag-5'>ISP</b>算法及架構(gòu)分析介紹

    開源ISP(Infinite-ISP)介紹

    ISP從圖像傳感器獲取 RAW 像素,并將其轉(zhuǎn)換為與人類對(duì)所捕獲場景的感知相匹配的圖像。ISP 是每個(gè)攝像頭和視覺系統(tǒng)中必不可少的基本硬件處理器。 然而,大多數(shù)廠家的 ISP 實(shí)現(xiàn)細(xì)節(jié)并不
    的頭像 發(fā)表于 11-18 10:21 ?742次閱讀
    開源<b class='flag-5'>ISP</b>(Infinite-<b class='flag-5'>ISP</b>)介紹

    從特斯拉看智能駕駛未來發(fā)展

    編者語:「智駕最前沿」微信公眾號(hào)后臺(tái)回復(fù):C-0587,獲取本文參考報(bào)告:《從特斯拉視角,看智能駕駛研究框架》pdf下載方式。 隨著自動(dòng)駕駛技術(shù)的快速發(fā)展,智能
    的頭像 發(fā)表于 11-16 16:49 ?1485次閱讀
    從特斯拉看<b class='flag-5'>智能</b><b class='flag-5'>駕駛</b>未來發(fā)展

    智能駕駛在共享出行中的作用

    智能駕駛在共享出行中發(fā)揮著至關(guān)重要的作用,它不僅改變了傳統(tǒng)的出行方式,還提高了出行效率、安全性和用戶體驗(yàn)。以下是對(duì)智能駕駛在共享出行中作用的介紹: 一、提高出行效率
    的頭像 發(fā)表于 10-24 09:09 ?665次閱讀

    智能駕駛用戶體驗(yàn)優(yōu)化建議

    針對(duì)智能駕駛用戶體驗(yàn)的優(yōu)化,可以從以下幾個(gè)方面提出具體建議: 一、提升系統(tǒng)性能與穩(wěn)定性 優(yōu)化路線識(shí)別算法 : 針對(duì)智能駕駛輔助系統(tǒng)(如NCA)在高架橋上行駛時(shí)出現(xiàn)的無端減速現(xiàn)象,應(yīng)優(yōu)化
    的頭像 發(fā)表于 10-23 16:10 ?1025次閱讀

    智能駕駛與自動(dòng)駕駛的關(guān)系

    智能駕駛與自動(dòng)駕駛在概念上存在一定的聯(lián)系和區(qū)別,以下是對(duì)兩者關(guān)系的介紹: 一、概念定義 智能駕駛
    的頭像 發(fā)表于 10-23 16:02 ?1003次閱讀

    智能駕駛對(duì)交通安全的影響

    智能駕駛對(duì)交通安全的影響是顯著且深遠(yuǎn)的,主要體現(xiàn)在以下幾個(gè)方面: 一、提高行車安全性 智能駕駛技術(shù)通過集成先進(jìn)的傳感器、高精度地圖、人工智能
    的頭像 發(fā)表于 10-23 15:52 ?1297次閱讀

    如何選擇智能駕駛輔助系統(tǒng)

    在選擇智能駕駛輔助系統(tǒng)時(shí),消費(fèi)者需要考慮多個(gè)因素以確保所選系統(tǒng)能夠滿足自己的需求并提供安全、可靠的駕駛體驗(yàn)。以下是一些關(guān)鍵的選擇要素: 一、系統(tǒng)穩(wěn)定性與可靠性 穩(wěn)定性 :確保
    的頭像 發(fā)表于 10-23 15:47 ?851次閱讀

    智能駕駛與傳統(tǒng)駕駛的區(qū)別

    智能駕駛與傳統(tǒng)駕駛在多個(gè)方面存在顯著差異。以下是對(duì)兩者區(qū)別的分析: 一、駕駛方式與操控性 智能駕駛
    的頭像 發(fā)表于 10-23 15:43 ?1285次閱讀

    智能駕駛技術(shù)發(fā)展趨勢

    智能駕駛技術(shù)是當(dāng)前汽車行業(yè)的重要發(fā)展趨勢之一,它融合了傳感器技術(shù)、人工智能、大數(shù)據(jù)和云計(jì)算等多種先進(jìn)技術(shù),旨在實(shí)現(xiàn)車輛的自主駕駛智能化管理
    的頭像 發(fā)表于 10-23 15:41 ?1258次閱讀

    我們需要怎樣的大模型?

    AI時(shí)代,我們需要怎樣的大模型?這個(gè)問題盡管我們無法給出一個(gè)確定的答案,但顯而易見的是,用戶的選擇正逐漸匯聚成一股趨勢。6月28日,在WAVESUMMIT深度學(xué)習(xí)開發(fā)者大會(huì)上,百度公布了文心一言
    的頭像 發(fā)表于 07-03 08:05 ?112次閱讀
    我們<b class='flag-5'>需要</b><b class='flag-5'>怎樣</b>的大模型?

    華為智能駕駛:領(lǐng)跑全球的智能駕駛新紀(jì)元

    智能駕駛的浪潮中,許多科技巨頭曾試圖在這片藍(lán)海中探尋新的增長點(diǎn)。然而,谷歌、蘋果、三星等科技巨頭紛紛宣布放棄自動(dòng)駕駛系統(tǒng)的研發(fā),原因是他們發(fā)現(xiàn)這一領(lǐng)域競爭激烈,投入巨大且市場應(yīng)用前景不明朗。然而
    的頭像 發(fā)表于 06-21 16:35 ?2127次閱讀

    智能駕駛基本概念定義 中國智能駕駛格局分析

    在行車領(lǐng)域,產(chǎn)品迭代路線包括低級(jí)輔助駕駛到高級(jí)駕駛輔助,涵蓋了諸如LKA、AEB、ACC、LCC、ALC、HWA等功能。城市NOA和高速NOA則實(shí)現(xiàn)了在城市和高速場景下的智能駕駛
    發(fā)表于 04-12 11:36 ?1450次閱讀
    <b class='flag-5'>智能</b><b class='flag-5'>駕駛</b>基本概念定義 中國<b class='flag-5'>智能</b><b class='flag-5'>駕駛</b>格局分析
    主站蜘蛛池模板: 成人网站国产在线视频内射视频 | 全文都是肉高h文 | 色橹橹欧美在线观看视频高 | 天天狠狠弄夜夜狠狠躁·太爽了 | 国产精品卡1卡2卡三卡四 | 国产欧美无码亚洲 | 不卡人妻无码AV中文系列APP | 麻豆狠色伊人亚洲综合网站 | 1973性农场未删减版 | 99久久爱re热6在线播放 | 在线免费公开视频 | 青青草原亚洲 | 久久视频精品38线视频在线观看 | 香港日本三级亚洲三级 | CHINESE熟女老女人HD视频 | 老王午夜69精品影院 | 老师在讲桌下边h边讲课 | 秋霞电影网午夜一级鲁丝片 | 日本亚洲欧洲免费旡码 | 亚洲蜜芽在线观看精品一区 | 亚洲在线2018最新无码 | 92电影网午夜福利 | 99精品亚洲 | 校园全肉高h湿一女多男 | 国产精品av免费观看 | 免费 高清 中文在线观看 | 亚洲色婷婷久久精品AV蜜桃久久 | 超碰97人人做人人爱网站 | 黄色天堂网 | 国产野外无码理论片在线观看 | 亚洲高清视频网站 | 国产精品1区2区 | 渔夫床满艳史bd高清在线直播 | gratis videos欧美最新 | 日本少妇内射视频播放舔 | 国厂精品114福利电影 | 国产九九熟女在线视频 | 最近免费中文字幕MV在线视频3 | 久久久久久久电影 | 果冻传媒在线观看网站 | 一天不停的插BB十几次 |