色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

基于BlockNeRF的大場景規模化神經視圖合成

3D視覺工坊 ? 來源:CVPR 2022 ? 作者:CVPR 2022 ? 2022-10-19 15:15 ? 次閱讀

作者:Matthew Tancik, Vincent Casser, Xinchen Yan, Sabeek Pradhan, Ben Mildenhall, Pratul P. Srinivasan, Jonathan T. Barron, Henrik Kretzschmar

我們提出了 Block-NeRF,一種神經輻射場的變體,可以表示大規模的場景。具體來說,我們發現,當使用 NeRF 渲染跨越多個街區的城市規模場景時,將場景分解為單獨訓練的子 NeRF 至關重要。這種分解將渲染時間與場景大小分離,使渲染能夠擴展到任意大的場景,并允許對環境進行逐塊更新。我們采用了幾項架構更改,以使 NeRF 對在不同環境條件下數月捕獲的數據具有魯棒性。我們為每個單獨的 NeRF 添加了外觀嵌入、可學習的位姿細化和可控曝光,并引入了校準相鄰 NeRF 之間外觀的程序,以便它們可以無縫組合。我們從 280 萬張圖像中構建了一個 Block-NeRF 網格,以創建迄今為止最大的神經場景表示,能夠渲染舊金山的整個社區。

主要貢獻

為了在大場景中應用神經輻射場(NeRF)模型,文章提出將大型場景分解為相互重疊的子場景 (block),每一個子場景分別訓練,在推理時動態結合相鄰 Block-NeRF 的渲染視圖。 文章在 mip-NeRF 的基礎上增加了外觀嵌入、曝光嵌入和位姿細化,以解決訓練數據橫跨數月而導致的環境變化和位姿誤差。 為了保證相鄰 Block-NeRF 的無縫合成,文章提出了在推理時迭代優化這些 Block-NeRF 的輸入外觀嵌入以校準它們的渲染結果。

方法概述

神經輻射場 (NeRF)是使用神經網絡擬合輻射場,用于視圖渲染的方法。然而,傳統的 NeRF 很難被直接擴展到大場景應用。這是因為擬合大場景所需的神經網絡也會很大,這會導致訓練和推理渲染變得很困難。本文提出將大的場景劃分為數個相互重合的小場景 (block)。如下圖所示的丁字路口被劃分為三個小場景(黃圈),針對每一個小場景單獨訓練一個 Block-NeRF。推理時合并覆蓋目標視圖范圍的 Block-NeRF 渲染生成最終的視圖。

mip-NeRF 拓展文章基于 mip-NeRF,但是由于訓練視圖在長達數月的時間內采集,不可避免地出現場景光照不同、相機曝光不同、視圖位姿存在誤差等問題。為了解決這些問題,文章在 mip-NeRF 的基礎上增加了外觀嵌入和曝光作為神經網絡的輸入(如下圖所示,其中 fσ 和 fc 分別為預測密度 σ 和顏色 RGB 的神經網絡,x 為場景中的三維坐標點,d 表示視角)。

訓練時使用生成式潛碼優化的方法學習外觀嵌入,消除天氣光照等原因的影響。曝光則直接可以讀取采集記錄,只需對其進行正弦位置編碼即可。 與此同時,訓練視圖的采集跨越了多個駕駛段,這些駕駛軌跡之間不可避免地存在位姿誤差。Block-NeRF 訓練時還同時優化每一個駕駛段的位姿偏移以降低位姿誤差帶來的影響。 街道視圖中存在汽車、行人等瞬時物體,然而場景渲染通常只關注建筑、街道等靜態結構。文章于是使用語義分割網絡對訓練視圖中的動態物體進行掩蔽,這樣神經輻射場就不會學習這些動態物體,而是只關注靜態場景結構。 有時目標視圖的相鄰 Block-NeRF 可能距離上很近,但并不在目標視圖的視野之內,文章在傳統 NeRF 的兩個神經網絡 fσ 和 fc 之外,還增加了一個預測能見度的網絡 fv。給定三維坐標 x 和視角 d , fv 預測該點在給定視角下的能見度。合成多個 Block-NeRF 的渲染時,能見度低于閾值的渲染不會被用于最終的合成。訓練時能見度可以由相應點的透光率作為監督目標。

Block-NeRF 融合為提高渲染效率,渲染目標視圖時文章僅融合: 中心點在閾值半徑內 且平均能見值高于閾值的 Block-NeRFs 滿足這兩個條件的 Block-NeRFs 以反距離加權的方式融合渲染視圖。這里的距離選擇相機到 Block-NeRFs 的二維空間距離。這樣的融合方法既保證了渲染真實度又能夠滿足時空一致性。 為了保證不同視角下渲染的天氣、光線等外觀的一致性,文章還在推理時引入了外觀嵌入迭代優化。給定一個 Block-NeRF 的外觀嵌入,文章在鎖定神經網絡權重不變的基礎上,優化相鄰 Block-NeRFs 的外觀嵌入,最大化其渲染視圖的一致性。

實驗結果

文章采集并開源了兩個數據集:San Francisco Alamo Square Dataset 和 San Francisco Mission Bay Dataset,分布包含280萬和1.2萬圖片。Alamo Square Dataset覆蓋大約 0.5km2 ,采集自3個月周期內,包括不同光線條件和天氣的數據。Mission Bay Dataset 涵蓋的地理范圍遠遠小于 Alamo Square Dataset,主要被用來與 NeRF做比較。 Table 2 顯示 Block-NeRF 相較于NeRF 渲染效果更好。并且 block 數量越多越好。即便是保持神經網絡總參數量不變,Block-NeRF 仍然優于 NeRF 并且推理速度在不考慮并行計算的前提下也大大提高。

Table 1 和 Figure 7 分別定量和定性地顯示外觀嵌入、曝光輸入以及位姿優化都對提高渲染效果有幫助。

Figure 6 顯示推理時外觀嵌入優化可以將渲染從白天場景轉換成黑夜場景,從而更好地與基準 Block-NeRF 匹配,增強渲染地時空一致性。

總結

本文提出了Block-NeRF,采用 divide-and-conquer 的方法使用多個 Block-NeRFs 學習大型場景的不同分塊,最終將這些Block-NeRFs 的渲染合成目標視圖。這樣的方法使得利用 NeRF 模型渲染城市規模的場景成為了可能。 此外 Block-NeRF 還在 mip-NeRF 的基礎上,引入了外觀嵌入優化、曝光輸入和位姿細化等擴展,以解決訓練數據橫跨數月而導致的環境變化和位姿誤差。

審核編輯:郭婷

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 神經網絡
    +關注

    關注

    42

    文章

    4771

    瀏覽量

    100726

原文標題:BlockNeRF: 大場景規模化神經視圖合成(CVPR 2022)

文章出處:【微信號:3D視覺工坊,微信公眾號:3D視覺工坊】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    何勉:第一性原理和精益敏捷的規模化實施

    徑及其案例單個小團隊層面和局部環節的實施不能帶來真正的價值交付,那這就提出了規模化的需求。面對這樣的需求我們來考慮怎么樣做,下面我會分享一些例子,其中有華為、平安的,也有創業公司。這些例子面對的場景
    發表于 01-26 10:10

    無線射頻識別技術在規模化奶牛場中有哪些應用?

    什么是無線射頻識別技術(RFID)?無線射頻識別技術在規模化奶牛場中有哪些應用?RFID在奶牛場應用中暴露的問題有哪些?
    發表于 05-20 06:44

    規模化FTTH建設下的ODN質量探討

    在三網融合及光進銅退的大背景下,國內的FTTH已經進入了大規模部署階段,本內容討論了規模化FTTH建設下的ODN質量探討
    發表于 12-12 14:14 ?1143次閱讀
    <b class='flag-5'>規模化</b>FTTH建設下的ODN質量探討

    阿里攜手物聯網合作伙伴成立ICA,推動IoT產業規模化

    ICA聯盟高辨識度的特征,是基于阿里巴巴經濟體以及合作伙伴的豐富商業場景,實現標準與產業緊密結合,并推動IoT產業規模化
    的頭像 發表于 05-04 11:43 ?5710次閱讀
    阿里攜手物聯網合作伙伴成立ICA,推動IoT產業<b class='flag-5'>規模化</b>

    光儲規模化在中、美、德、日四國當中有什么應用?

    國外政策和開放市場下的光儲規模化應用激勵來自于三個方面,一是政策支持力度加大,分布式能源和可再生能源規模化發展,光伏系統規模化應用顯現;二是光伏系統成本下降,上網補貼支持減弱;三是電力市場逐步開放
    發表于 08-08 11:22 ?1244次閱讀

    神經模態芯片發展的方向

    神經模態芯片的發展方向首先是規模化,即擴大神經元的規模,這也是Intel和IBM等大廠主要押注的方向。
    的頭像 發表于 08-09 18:48 ?2643次閱讀

    商用服務機器人還需要多長的時間來規模化應用

    雖然未來總是充滿不確定,但核心技術突破是商用服務機器人規模化發展的必經之路。
    發表于 01-13 08:36 ?1255次閱讀

    5G技術在面向智能電網的規模化應用探討

    通知指出在面向智能電網的5G新技術規模化應用方面,將基于5G新型網絡架構及智能電網場景,開展5G端到端網絡切片及資源調度系統研發,研發網絡關鍵設備和原型系統,提供融合5G技術的智能電網整體解決方案。
    發表于 03-16 09:54 ?889次閱讀

    自動駕駛產業路徑浮現,高級無人駕駛規模化商用仍待時日

    不知從什么時候開始,談到自動駕駛商業,越來越多的企業開始側重于場景。特別是低速封閉場景、特定園區以及高速公路等場景,由于相較于城市道路路況更簡單,成了很多企業布局高級別自動駕駛的主要
    發表于 08-27 13:47 ?517次閱讀

    華為鴻蒙有望下月規模化推送_流暢度和動畫效果大有提升

    前,華為 HarmonyOS 的官方微博已經正式開通。華為鴻蒙有望在下月進行規模化推送。
    的頭像 發表于 05-07 14:56 ?2702次閱讀

    華為鴻蒙有望下月規模化推送:流暢度非常絲滑

    最快在6月份華為鴻蒙系統有望正式開始規模化推送。
    的頭像 發表于 05-07 17:27 ?2675次閱讀

    機器人為何難以實現規模化場景落地

    一半海水一半火焰,在千億級規模的市場需求與極低的市場滲透率之間,是機器人廠商們深刻認識到的規模化場景落地問題。
    的頭像 發表于 07-07 17:50 ?2319次閱讀

    后摩智能與新石器無人車合作加速無人配送車的規模化應用

    8月底,后摩智能與新石器無人車簽署戰略合作協議,雙方將面向無人配送車的落地場景,就聯合研發、項目共建、市場拓展、供應鏈重塑等方面展開深入合作,充分發揮各自優勢,共同推動無人車產業鏈的國產進程,加速無人配送車的規模化應用。
    發表于 09-02 16:54 ?1118次閱讀

    Block nerf:可縮放的大型場景神經視圖合成

    為了在大場景中應用神經輻射場(NeRF)模型,文章提出將大型場景分解為相互重疊的子場景 (block),每一個子場景分別訓練,在推理時動態結
    的頭像 發表于 10-19 15:15 ?1530次閱讀

    蜂巢能源智造方法論:“規模化+數智”角力TWh時代競爭

    進入規模化制造時代,電池行業的科技屬性逐漸回歸到制造屬性。頭部鋰電廠商技術趨同趨勢下,競爭核心將體現在企業的制造能力上。
    的頭像 發表于 05-08 11:42 ?853次閱讀
    主站蜘蛛池模板: 岛国精品在线观看| 影音先锋男人av橹橹色| 欧亚一卡二卡日本一卡二卡| 久久极品视频| 久久re热线视频国产| 国模玲玲自拍337p| 国产女人乱人伦精品一区二区| 俄罗斯12x13x处| 国产AV天堂一区二区三区| 播色屋97超碰在人人| free俄罗斯性xxxxhd派对| JLZZJLZZJLZ老师好多的水| 99视频在线看观免费| 99热免费精品店| qvod伦理片| 国产成人v视频在线观看| 鬼灭之刃花街篇免费樱花动漫| 多人乱肉高hnp| 国产精品久久久久久久人热| 国产成人精品综合在线观看| 国产精品久久久久久久久久久| 国产欧美日韩视频怡春院| 国产手机精品一区二区| 国内精品久久久久影院亚洲| 黄色a级免费网站| 久久sese| 免费精品一区二区三区在线观看| 免费视频国产| 日本人69xxx| 无人区免费一二三四乱码| 亚洲精品视频区| 中文字幕在线不卡日本v二区 | 精品一区二区免费视频蜜桃网| 精品水蜜桃久久久久久久| 久久深夜视频| 青柠高清在线观看完整版| 日本A级作爱片金瓶双艳| 午夜神器18以下不能进免费| 亚洲一区精品伊人久久伊人| 2022一本久道久久综合狂躁| 边摸边吃奶玩乳尖视频|