色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

DLNR還沒來,先看EAI-stereo!

3D視覺工坊 ? 來源:計(jì)算機(jī)視覺工坊 ? 2023-05-12 16:20 ? 次閱讀

論文題目:EAI-Stereo: Error Aware Iterative Network forStereo Matching

作者:Haoliang Zhao ;Huizhou Zhou

作者機(jī)構(gòu):北京大學(xué)深圳研究生院趙勇團(tuán)隊(duì)詭谷子人工智能開放實(shí)驗(yàn)室

論文鏈接:https://openaccess.thecvf.com/content/ACCV2022/papers/Zhao_EAI-Stereo_Error_Aware_Iterative_Network_for_Stereo_Matching_ACCV_2022_paper.pdf

項(xiàng)目代碼:https://github.com/David-Zhao-1997/EAI-Stereo(論文中提到的開源代碼已經(jīng)沒有了)

GitHub代碼:https://github.com/smartadpole/EAI-Stereo(這里是GitHub中開源的EAI-stereo)

由詭谷子AI開放實(shí)驗(yàn)室開發(fā)的雙目視覺立體匹配算法EAIStereo ( EAI-Stereo: Error aware iterative network for stereo matching),針對立體匹配算法中未充分利用高頻信息而導(dǎo)致相對模糊的問題,提出了一種誤差感知細(xì)化模塊,將來自原始圖像的高頻信息結(jié)合進(jìn)來進(jìn)行誤差校正,生成出精細(xì)的細(xì)節(jié)和尖銳的邊緣。另外,為了提高數(shù)據(jù)傳輸效率,作者還提出了迭代多尺度寬式長短時記憶網(wǎng)絡(luò)。實(shí)驗(yàn)證明,該方法在多個數(shù)據(jù)集上取得了良好的效果,并且在 Middlebury 排行榜和 ETH3D 立體基準(zhǔn)測試上表現(xiàn)出色。

1 前言

估計(jì)像素對應(yīng)關(guān)系的問題是立體匹配的任務(wù)。傳統(tǒng)立體匹配算法有四步驟:匹配代價計(jì)算、代價聚合、視差計(jì)算和優(yōu)化。學(xué)習(xí)式方法與傳統(tǒng)方法相比,通常產(chǎn)生更準(zhǔn)確和平滑的視差圖,并具有較高的計(jì)算速度。其中一些挑戰(zhàn)是恢復(fù)薄物體和銳利邊緣的低效率問題、基于GRU的迭代結(jié)構(gòu)的不足和學(xué)習(xí)方法的推廣能力問題。EAI-Stereo是解決這個問題的方法,它使用了一種誤差感知的迭代結(jié)構(gòu)。

本文提出了一種新的端到端數(shù)據(jù)驅(qū)動的立體匹配方法EAI-Stereo(Error Aware Iterative Stereo)。本文的主要貢獻(xiàn)如下:

提出了一種錯誤感知的細(xì)化模塊,它將左右變形與基于學(xué)習(xí)的上采樣相結(jié)合。通過將包含更多高頻信息的原始左圖像和顯式計(jì)算誤差圖相結(jié)合,文章的細(xì)化模塊使網(wǎng)絡(luò)能夠更好地應(yīng)對過度曝光、欠曝光以及弱紋理,并允許網(wǎng)絡(luò)學(xué)習(xí)糾錯能力,從而使EAI-Stereo能夠產(chǎn)生極端細(xì)節(jié)和銳利邊緣。模塊中的基于學(xué)習(xí)的上采樣方法與雙線性插值相比,可以提供更精細(xì)的上采樣結(jié)果。作者仔細(xì)研究了模塊微觀結(jié)構(gòu)對性能的影響。從實(shí)驗(yàn)中,作者發(fā)現(xiàn)該結(jié)構(gòu)可以提高泛化能力并提高性能。該方法具有很高的通用性,可以應(yīng)用于所有產(chǎn)生視差或深度圖的模型。

提出了一種高效的迭代更新模塊,稱為Multiscale Wide-LSTM,它可以有效地將來自特征提取、代價體積和當(dāng)前狀態(tài)的多尺度信息相結(jié)合,從而增強(qiáng)每次迭代之間的信息傳遞。

提出了一種靈活的整體結(jié)構(gòu),可以平衡推理速度和準(zhǔn)確性。可以在不重新訓(xùn)練網(wǎng)絡(luò)甚至在運(yùn)行時進(jìn)行權(quán)衡。迭代次數(shù)也可以根據(jù)最小幀速率動態(tài)確定。

2 相關(guān)背景

立體匹配領(lǐng)域中的數(shù)據(jù)驅(qū)動方法占據(jù)了主導(dǎo)地位。為了提高準(zhǔn)確性,許多研究者采用了3D卷積和金字塔結(jié)構(gòu)。為了降低計(jì)算成本,一些方法使用新的方式避免了使用3D卷積。一些其他的新方法,例如引入域歸一化和基于非局部圖的濾波器,都提高了網(wǎng)絡(luò)的準(zhǔn)確性和泛化能力。這些方法極大地促進(jìn)了立體視覺領(lǐng)域的發(fā)展,并在立體匹配任務(wù)上取得了很高的性能。

隨著深度學(xué)習(xí)的發(fā)展,迭代神經(jīng)網(wǎng)絡(luò)在立體匹配和光流場估計(jì)等領(lǐng)域中得到了廣泛應(yīng)用。人們通過改進(jìn)迭代模塊,利用較小的網(wǎng)絡(luò)替換單個重量級前饋網(wǎng)絡(luò)。這種方法大大降低了計(jì)算復(fù)雜度。同時,改進(jìn)的迭代模塊在立體匹配中也取得了更好的性能?,F(xiàn)有的GRU也逐漸成為迭代模型中的瓶頸,因此需要更好的迭代模塊來進(jìn)一步提高性能。

3 方法

本文的網(wǎng)絡(luò)將一對矯正后的圖像Il和Ir作為輸入。然后提取特征并將其注入成本體積中。多尺度迭代模塊從成本體積中檢索數(shù)據(jù)并迭代更新視差圖。最后,迭代的1/4分辨率視差圖被饋送到錯誤感知細(xì)化模塊中,該模塊可以執(zhí)行學(xué)習(xí)的上采樣和錯誤感知糾正以獲得最終的視差圖。

3.1 Multi-scale Feature Extractor - 多尺度特征提取器

在這一部分,作者使用類似ResNet的網(wǎng)絡(luò)作為特征提取器,利用兩個共享權(quán)重的提取器提取一對圖像Il和Ir的特征圖,用于構(gòu)建3D相關(guān)體積,遵循RAFT-Stereo的方法。該網(wǎng)絡(luò)由一系列殘差塊組成,然后是兩個下采樣層,用于提供多尺度信息Fh,F(xiàn)m和Fl給接下來的迭代寬LSTM模塊。特征圖Fh,F(xiàn)m和Fl的空間大小是原始輸入圖像尺寸的1/4、1/8和1/16。

42b17b74-f09b-11ed-90ce-dac502259ad0.png

3.2 Iterative Multiscale Wide-LSTM Network - 迭代多尺度Wide-LSTM網(wǎng)絡(luò)

在這一部分,作者提出了一種高效的迭代更新模塊,稱為Multiscale Wide-LSTM,可以有效地結(jié)合特征提取、成本體積和當(dāng)前狀態(tài)的信息,并提高每次迭代之間的信息傳遞。多尺度迭代模塊,擴(kuò)展了迭代模塊的寬度,三個子模塊各自建立了兩條數(shù)據(jù)路徑C和h,連接前后迭代模塊,更高效地進(jìn)行信息傳遞。采用多尺度的優(yōu)勢在于可以在每個尺度上使用不同的迭代子模塊,而較低分辨率的特征圖像素較少,可以執(zhí)行比較耗時的操作。

42ce3084-f09b-11ed-90ce-dac502259ad0.png

42e19b4c-f09b-11ed-90ce-dac502259ad0.png

3.3. Error Aware Refinement - 錯誤感知細(xì)化

在這一部分,作者提出了一種Error Aware Refinement模型,主要解決了傳統(tǒng)模型忽略高頻信息的問題,提高了模型的精度和細(xì)節(jié)保留能力。具體來說,模型首先使用learned upsampling將LSTM網(wǎng)絡(luò)預(yù)測的1/4分辨率的原始視差圖上采樣,再使用卷積層生成一個上采樣mask,并利用凸上采樣方法得到與原始圖像大小相同的視差圖。然后,在Error Aware模塊中,模型通過誤差感知,利用右圖像進(jìn)行重建,計(jì)算出誤差地圖,再與左圖像一起送入Hourglass模型中進(jìn)行細(xì)化操作,最終得到最終的視差圖。在整個模型過程中,考慮了不同形式的誤差信息的融合,并在微結(jié)構(gòu)上進(jìn)行了優(yōu)化,提高了模型的性能表現(xiàn)。

4 實(shí)驗(yàn)

4.1 模型訓(xùn)練

本文中的EAI-Stereo模型基于PyTorch實(shí)現(xiàn),使用兩個Tesla A100 GPU進(jìn)行訓(xùn)練。所有模型均使用AdamW優(yōu)化器進(jìn)行訓(xùn)練,權(quán)重衰減為 。學(xué)習(xí)率的預(yù)熱階段占整個訓(xùn)練計(jì)劃的1%。在所有實(shí)驗(yàn)中,我們使用數(shù)據(jù)增強(qiáng)方法,其中包括飽和度變化、圖像擾動和隨機(jī)尺度。在所有預(yù)訓(xùn)練中,我們使用了Scene Flow數(shù)據(jù)集進(jìn)行200k次迭代的訓(xùn)練,學(xué)習(xí)率為 。

4.2 評估

EAI-Stereo在三個不同的視覺數(shù)據(jù)集上(Middlebury、ETH3D、KITTI-2015)的表現(xiàn)在多個指標(biāo)上表現(xiàn)最佳。在KITTI-2015數(shù)據(jù)集上,作者的方法通過在另一個數(shù)據(jù)集上的預(yù)訓(xùn)練和微調(diào),在稀疏Ground Truth值上也有良好表現(xiàn)。該的方法在進(jìn)行簡單的數(shù)據(jù)增強(qiáng)時也展現(xiàn)出了強(qiáng)大的泛化性能。

42f44c06-f09b-11ed-90ce-dac502259ad0.png

4316fb0c-f09b-11ed-90ce-dac502259ad0.png

4366bf7a-f09b-11ed-90ce-dac502259ad0.png

4.3 Cross-domain Generalization - 跨領(lǐng)域泛化

作者使用與預(yù)訓(xùn)練完全相同的策略在Scene Flow數(shù)據(jù)集上訓(xùn)練我們的模型,然后直接使用權(quán)重進(jìn)行評估。將EAI-stereo的模型與一些最先進(jìn)的方法和一些經(jīng)典方法進(jìn)行了比較。比較表明,該的方法在泛化性能方面明顯優(yōu)于專門為泛化性能設(shè)計(jì)的DSMNet和CFNet,且可以通過使用預(yù)訓(xùn)練和微調(diào)等簡單策略來提高模型的性能。

4.4 Ablations - 消融研究

評估了使用不同設(shè)置的EAI-Stereo的性能,包括不同的體系結(jié)構(gòu)和不同數(shù)量的迭代。在迭代多尺度Wide-LSTM網(wǎng)絡(luò)中,使用寬LSTM模塊可以顯著提高性能,其D1誤差可以減少10.14%,EPE可以減少4.80%。錯誤感知細(xì)化模塊用于上采樣和細(xì)化工作。與寬LSTM基準(zhǔn)相比,采用擴(kuò)張細(xì)化可以減少Scene Flow驗(yàn)證集上的D1誤差2.81%,并使KITTI驗(yàn)證集上的EPE減少12.39%。迭代次數(shù)可以通過訓(xùn)練后調(diào)整,因此提高了模型的靈活性。在實(shí)際應(yīng)用中,可以通過給定最低幀速率來推斷迭代次數(shù),在具有實(shí)時要求的場景中非常有用。

5 總結(jié)

作者提出了一種新穎的誤差感知迭代網(wǎng)絡(luò)用于立體匹配。進(jìn)行了多次實(shí)驗(yàn)以確定模塊的結(jié)構(gòu)。實(shí)驗(yàn)結(jié)果表明,該模型在速度和準(zhǔn)確性方面在各種數(shù)據(jù)集上表現(xiàn)良好,同時具有很強(qiáng)的泛化性能。

438a198e-f09b-11ed-90ce-dac502259ad0.png

43aabcac-f09b-11ed-90ce-dac502259ad0.png

審核編輯 :李倩

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 濾波器
    +關(guān)注

    關(guān)注

    161

    文章

    7795

    瀏覽量

    177996
  • 模型
    +關(guān)注

    關(guān)注

    1

    文章

    3226

    瀏覽量

    48809
  • 提取器
    +關(guān)注

    關(guān)注

    0

    文章

    14

    瀏覽量

    8123

原文標(biāo)題:立體匹配 | DLNR還沒來,先看EAI-stereo!

文章出處:【微信號:3D視覺工坊,微信公眾號:3D視覺工坊】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    【EASY EAI Nano開源套件試用體驗(yàn)】4AI功能測試之人臉檢測

    (附上體驗(yàn)視頻,詳細(xì)見原作者帖子) 本篇介紹EASY EAI Nano的AI人臉檢測功能,先看下測試效果: 本篇參考官方文檔: ? https://www.easy-eai
    的頭像 發(fā)表于 10-11 16:40 ?1402次閱讀
    【EASY <b class='flag-5'>EAI</b> Nano開源套件試用體驗(yàn)】4AI功能測試之人臉檢測

    末日沒來

    末日沒來,大家還是好好享受吧,好好創(chuàng)造吧?。?!
    發(fā)表于 12-21 10:25

    好久沒來了,來看看

    好久沒來了,來看看。
    發(fā)表于 03-09 16:05

    請問AD1955在處于DSD模式時只能是stereo嗎?

    AD1955在處于DSD模式時,只能是stereo嗎?就算之前設(shè)置的是MONO,只要設(shè)置為SACD Slave后Output Fomat自動轉(zhuǎn)換在Stereo了。
    發(fā)表于 09-29 15:48

    EAI610-P0概述

    EAI610-P0 概述EAIDK,即嵌入式人工智能開發(fā)套件,是專為 AI 開發(fā)者精心打造,面向邊緣計(jì)算的人工智能開發(fā)套件。硬件平臺具備語音、視覺等傳感器數(shù)據(jù)采集能力,及適用于多場景的運(yùn)動控制接口
    發(fā)表于 12-14 08:45

    【EASY EAI Nano人工智能開發(fā)套件試用體驗(yàn)】EASY EAI Nano人工智能開發(fā)套件開箱及硬件初體驗(yàn)

    今天收到了EASY EAI Nano人工智能開發(fā)套件,為大家做個開箱及硬件評測。 打開快遞包裝,引入眼簾的是一個設(shè)計(jì)精美藍(lán)色的大盒子,在盒子里有EASY EAI Nano人工智能開發(fā)板、天線、喇叭
    發(fā)表于 05-31 19:18

    【EASY EAI Nano人工智能開發(fā)套件試用體驗(yàn)】EASY EAI Nano人工智能開發(fā)套件開發(fā)環(huán)境的準(zhǔn)備和架設(shè)

    大家好,今天來分享我在EASY EAI Nano人工智能開發(fā)套件中環(huán)境準(zhǔn)備和架設(shè)的過程,希望對其他開發(fā)者起到避坑、縮短開發(fā)時間。 還是先簡單介紹一下EASY EAI Nano人工智能
    發(fā)表于 06-10 10:32

    AD1955在處于DSD模式時只能是stereo嗎?

    AD1955在處于DSD模式時,只能是stereo嗎?就算之前設(shè)置的是MONO,只要設(shè)置為SACD Slave后Output Fomat自動轉(zhuǎn)換在Stereo了。
    發(fā)表于 11-29 08:24

    high performance stereo routin

    high performance stereo routing switcher
    發(fā)表于 04-18 20:37 ?48次下載
    high performance <b class='flag-5'>stereo</b> routin

    Stereo FM transmitter block di

    Stereo FM transmitter block diagram
    發(fā)表于 12-22 10:52 ?1545次閱讀
    <b class='flag-5'>Stereo</b> FM transmitter block di

    元宇宙沒來 賣課的先賺了一波

     隨著各路大佬的的加注布局,元宇宙已經(jīng)站在了科技風(fēng)口。但是讓人意外的是,元宇宙沒來,賣課的先賺了一波。
    的頭像 發(fā)表于 11-17 10:14 ?2296次閱讀

    MAX1632EAI+T - (Maxim Integrated) - PMIC - 穩(wěn)壓器 - 線性 + 切換式

    電子發(fā)燒友網(wǎng)為你提供Maxim(Maxim)MAX1632EAI+T相關(guān)產(chǎn)品參數(shù)、數(shù)據(jù)手冊,更有MAX1632EAI+T的引腳圖、接線圖、封裝手冊、中文資料、英文資料,MAX1632EAI+T真值表,MAX1632
    發(fā)表于 09-07 18:44
    MAX1632<b class='flag-5'>EAI</b>+T - (Maxim Integrated) - PMIC - 穩(wěn)壓器 - 線性 + 切換式

    MAX1757EAI+ - (Maxim Integrated) - PMIC - 電池充電器

    電子發(fā)燒友網(wǎng)為你提供Maxim(Maxim)MAX1757EAI+相關(guān)產(chǎn)品參數(shù)、數(shù)據(jù)手冊,更有MAX1757EAI+的引腳圖、接線圖、封裝手冊、中文資料、英文資料,MAX1757EAI+真值表,MAX1757
    發(fā)表于 09-08 18:38
    MAX1757<b class='flag-5'>EAI</b>+ - (Maxim Integrated) - PMIC - 電池充電器

    MAX4588EAI+ - (Maxim Integrated) - 接口 - 模擬開關(guān) - 特殊用途

    電子發(fā)燒友網(wǎng)為你提供Maxim(Maxim)MAX4588EAI+相關(guān)產(chǎn)品參數(shù)、數(shù)據(jù)手冊,更有MAX4588EAI+的引腳圖、接線圖、封裝手冊、中文資料、英文資料,MAX4588EAI+真值表,MAX4588
    發(fā)表于 09-13 18:49
    MAX4588<b class='flag-5'>EAI</b>+ - (Maxim Integrated) - 接口 - 模擬開關(guān) - 特殊用途

    MAX4550EAI+ - (Maxim Integrated) - 接口 - 模擬開關(guān) - 特殊用途

    電子發(fā)燒友網(wǎng)為你提供Maxim(Maxim)MAX4550EAI+相關(guān)產(chǎn)品參數(shù)、數(shù)據(jù)手冊,更有MAX4550EAI+的引腳圖、接線圖、封裝手冊、中文資料、英文資料,MAX4550EAI+真值表,MAX4550
    發(fā)表于 09-14 18:47
    MAX4550<b class='flag-5'>EAI</b>+ - (Maxim Integrated) - 接口 - 模擬開關(guān) - 特殊用途
    主站蜘蛛池模板: 久久精品视频在线看99| 20岁中国男同志china1069| 日韩欧美国产免费看清风阁| 久久中文骚妇内射| 九九免费的视频| 国产制服丝袜91在线| 无套内射无矿码免费看黄| 欧美激情视频在线观看一区二区三区| 久久亚洲AV无码精品午色夜麻豆| 婚后被调教当众高潮H喷水| 好男人好资源在线观看免费视频| 99在线精品免费视频| 777久久人妻少妇嫩草AV蜜桃| 337p欧洲亚大胆精品| 自拍区偷拍亚洲视频| 37pao成人国产永久免费视频| 中文字幕无码A片久久| 色欲色香天天天综合| 三级黄色a| 偷窥 亚洲 色 国产 日韩| 两个奶被男人揉了一个晚上| 麻豆国产原创中文AV网站| 男女车车的车车网站W98免费| 欧美成人免费观看久久| 日本久久久免费高清| 毛片免费观看的视频| 免费亚洲视频| 琪琪色原网站ying| 日韩在线中文字幕无码| 午夜福利合集1000在线| 亚洲精品久久久久AV无码| 夜夜躁婷婷AV蜜桃视频| 做暖免费观看日本| av在线观看地址| 国产福利不卡在线视频| 国产中文字幕免费观看| 久久伦理影院| 欧美一级做a爰片免费| 色欲AV精品一区二区入口 | 国产 亚洲 中文在线 字幕| 国产精品一区二区三区免费|