色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

Knight Rider采用GAN模型:AI和NVIDIA Omniverse為KITT帶來活力

西西 ? 來源:廠商供稿 ? 作者:NVIDIA ? 2021-04-23 14:02 ? 次閱讀

NVIDIA 研究院的最新模型基于 GAN,將 2D 圖像轉化為3D,面向游戲開發者、藝術家、設計師和建筑師

NVIDIA 研究院 正在研發一種全新深度學習引擎,該引擎可以根據標準的 2D 圖像來創建 3D模型,并可以在 NVIDIA Omniverse 中,為諸如由Knight Rider 的 AI 驅動的 KITT 等標志性汽車帶來活力。

由多倫多的 NVIDIA AI 研究實驗室開發的 GANverse3D 應用將平面圖像放大成逼真的 3D 模型,可以在虛擬環境中可視化和控制。這種性能可以幫助建筑師、創作者、游戲開發人員和設計師輕松地將新對象添加到他們的實體模型中,而不需要 3D 建模方面的專業知識,也不需要在渲染上花費大量預算。

例如,單張汽車照片可以轉換為3D模型,該模型可以在虛擬場景中行駛,并配有逼真的前燈、尾燈和轉向燈。

為了生成訓練數據集,研究人員利用生成性對抗網絡 ——GAN合成圖像,從多個角度描繪同一物體 — 就像攝影師繞著一輛停著的汽車走動,從不同的角度拍攝。這些多視圖圖像被插入到逆圖形的渲染框架中,逆圖形是從 2D 圖像推斷 3D 網格模型的過程。

一旦完成了多視圖圖像訓練,GANverse3D 只需要一個 2D 圖像即可預測 3D 網格模型。該模型可以與 3D 神經渲染器一起使用,使開發人員能夠自定義對象和交換背景。

當作為 NVIDIA Omniverse 平臺的擴展導入并在 NVIDIA RTX GPU 上運行時,GANverse3D 可將任何 2D 圖像重建為 3D,就像流行的 20 世紀 80 年代 Knight Rider 電視節目中備受喜愛的打擊犯罪的汽車 KITT 一樣。

以前的逆圖形模型依賴于 3D 圖形作為訓練數據。

相反,在沒有 3D 要素的幫助下,“我們把 GAN 模型變成了一個非常高效的數據生成器,這樣我們就可以基于網絡上的任何 2D 圖像創建出 3D 對象?!盢VIDIA 的研究科學家、該項目的主要作者 Wenzheng Chen 說。

“因為我們是根據真實圖像而不是合成數據進行訓練的,所以 AI 模型能更好地推廣到現實世界的應用中?!痹擁椖康淖髡摺VIDIA 研究員 Jun Gao 表示。

GANverse3D 背后的研究將在兩個即將召開的會議上發表:5 月份的ICLR和 6 月份的CVPR。

從爆胎到賽車 KITT

游戲、架構和設計領域的創作者依賴于虛擬環境,例如 NVIDIA Omniverse 模擬和協作平臺,在創建最終產品之前測試新的想法并可視化原型。借助 Omniverse Connectors,開發人員可以在 Omniverse 中使用他們首選的 3D 應用程序,通過實時光線跟蹤來模擬復雜的虛擬世界。

但并不是每個創作者都有時間和資源為他們所繪制的每一個對象創建 3D 模型。若要渲染展廳的汽車,或一條街的建筑,需捕獲所需數量的多視圖圖像,成本可能高得令人望而卻步。

在這方面,訓練好的 GANverse3D 應用可以用來將汽車、建筑甚至一匹馬的標準圖像轉換成可以在 Omniverse 中自定義和制作動畫的 3D 圖形。

為了重建 KITT,研究人員只需給訓練好的模型輸入汽車的圖像,讓 GANverse3D 預測相應的 3D 紋理網格,以及車輛的不同部分,例如車輪和前照燈。然后,他們使用 NVIDIA Omniverse 套件和 NVIDIA PhysX 工具將預測的紋理轉換成高質量的材料,使 KITT 具有更真實的外觀和感覺,并將其與其他汽車一起放置在動態駕駛序列中。

“Omniverse 讓研究人員能夠將激動人心的前沿研究直接帶給創作者和最終用戶。”NVIDIA 深度學習工程師 Jean-Francois Lafleche 說道。“作為 Omniverse 的擴展,GANverse3D 將幫助藝術家為游戲開發、城市規劃甚至訓練新的機器學習模型創建更豐富的虛擬世界?!?/p>

GAN 推動維度轉變

因為從不同角度捕捉同一物體的真實數據集很少,所以大多數將圖像從 2D 轉換為 3D 的 AI 工具都是使用像 ShapeNet 這樣的合成 3D 數據集進行訓練的。

為了從現實世界的數據中獲得多視圖圖像,例如網上公開的汽車圖像,NVIDIA 研究人員轉而使用GAN 模型,修改其神經網絡層,將其轉化為數據生成器。

該團隊發現,僅訓練神經網絡的前4層,凍結剩余的 12 層參數,可以讓 GAN 從不同的角度渲染同一對象的圖像。

保持前4層參數凍結,其他 12 層可變,可以讓神經網絡基于同一角度生成不同的圖像。通過手動分配標準角度,在特定高度和距離拍攝車輛照片,研究人員可以從單個 2D 圖像快速生成多視圖數據集。

最終的模型,在 55000 張由 GAN 生成的汽車圖像上訓練而得,優于在流行的 Pascal3D 數據集上訓練的逆圖形網絡。

請閱讀由 Wenzheng Chen、NVIDIA 研究員 Jun Gao 和 Huan Ling、NVIDIA 多倫多研究室主任Sanja Fidler、滑鐵盧大學學生 Yuxuan Zhang、斯坦福大學學生 Yinan Zhang 和 MIT 教授 Antonio Torralba 撰寫的 ICLR 論文全文。CVPR 論文的其他合作者包括 Jean-Francois Lafleche、NVIDIA 研究員 Kangxue Yin 和 Adela Barriuso。

NVIDIA 研究團隊在全球擁有超過 200 名科學家,專注于人工智能、計算機視覺、自動駕駛汽車、機器人和圖形等領域。GTC上,NVIDIA 首席執行官黃仁勛發表主題演講,讓大家了解更多關于NVIDIA的最新研究和行業突破。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 神經網絡
    +關注

    關注

    42

    文章

    4771

    瀏覽量

    100742
  • NVIDIA
    +關注

    關注

    14

    文章

    4984

    瀏覽量

    103017
  • AI
    AI
    +關注

    關注

    87

    文章

    30814

    瀏覽量

    268965
  • 3D建模
    +關注

    關注

    0

    文章

    35

    瀏覽量

    9768
  • 深度學習
    +關注

    關注

    73

    文章

    5503

    瀏覽量

    121130
收藏 人收藏

    評論

    相關推薦

    全球大型電子產品制造商利用 OmniverseAI 制定計劃

    ikan 全球大型電子產品制造商利用基于 NVIDIA Omniverse 構建的數字孿生和工業 AI 使工廠快速虛擬化。 為了滿足目前已全面投產的 Blackwell 的需求,全球大型電子產品
    的頭像 發表于 11-23 14:57 ?521次閱讀

    NVIDIA加速AI在日本各行各業的應用

    企業借助基于 NVIDIA AI Enterprise 與 Omniverse 工業 AI 構建的創新中心和服務加速 AI 轉型。
    的頭像 發表于 11-19 15:45 ?229次閱讀

    印度頭部IT企業與NVIDIA合作加速AI采用

    Infosys、TCS、Tech Mahindra 和 Wipro 這四家公司的近 50 萬名開發者和顧問使用 NVIDIA AI Enterprise 軟件設計和部署 AI 智能體,并使用
    的頭像 發表于 10-29 15:08 ?377次閱讀

    印度制造商使用NVIDIA AIOmniverse創建工廠數字孿生

    在印度舉行的 NVIDIA AI Summit 上,多家頭部咨詢伙伴和工業制造商表示正使用 NVIDIA Omniverse 在虛擬環境中整合下一代工廠。
    的頭像 發表于 10-27 09:49 ?328次閱讀

    Foxconn利用NVIDIA AIOmniverse訓練機器人

    全球最大電子制造商 Foxconn 正準備制造 NVIDIA 最復雜的產品之一,并開始使用 NVIDIA Omniverse 和 Isaac 平臺驅動的數字孿生。
    的頭像 發表于 10-10 09:40 ?401次閱讀

    NVIDIAAI城市挑戰賽構建合成數據集

    在一年一度的 AI 城市挑戰賽中,來自世界各地的數百支參賽隊伍在 NVIDIA Omniverse 生成的基于物理學的數據集上測試了他們的 AI
    的頭像 發表于 09-09 10:04 ?476次閱讀

    NVIDIA AI Foundry 全球企業打造自定義 Llama 3.1 生成式 AI 模型

    借助 NVIDIA AI Foundry,企業和各國現在能夠使用自有數據與 Llama 3.1 405B 和 NVIDIA Nemotron 模型配對,來構建“超級
    發表于 07-24 09:39 ?706次閱讀
    <b class='flag-5'>NVIDIA</b> <b class='flag-5'>AI</b> Foundry <b class='flag-5'>為</b>全球企業打造自定義 Llama 3.1 生成式 <b class='flag-5'>AI</b> <b class='flag-5'>模型</b>

    NVIDIA發布Omniverse微服務,物理AI提供超強助力

    NVIDIA Omniverse Cloud Sensor RTX生成用于加速自動駕駛汽車、機械臂、移動機器人、人形機器人和智能空間AI開發工作的合成數據 ? CVPR— NVIDIA
    發表于 06-18 16:35 ?510次閱讀
    <b class='flag-5'>NVIDIA</b>發布<b class='flag-5'>Omniverse</b>微服務,<b class='flag-5'>為</b>物理<b class='flag-5'>AI</b>提供超強助力

    NVIDIA Omniverse 將為全新 OpenPBR 材質模型提供原生支持

    、組合、模擬和協作的可擴展框架和生態系統,OpenUSD 使開發者能夠構建可互操作的 3D 工作流,開啟了工業數字化的新時代。 此外,NVIDIA Omniverse 還將為全新 OpenPBR 材質模型
    的頭像 發表于 06-14 11:23 ?628次閱讀
    <b class='flag-5'>NVIDIA</b> <b class='flag-5'>Omniverse</b> 將為全新 OpenPBR 材質<b class='flag-5'>模型</b>提供原生支持

    電子制造商采用NVIDIA AIOmniverse助力工廠提高運營效率并降低成本

    、NVIDIA Omniverse 基于物理學的渲染與模擬以及 NVIDIA Isaac AI 機器人開發與部署。 通過使用該工作流構建數字孿生以實時模擬不同工廠布局,制造商無須進行昂
    的頭像 發表于 06-04 10:22 ?608次閱讀

    Omniverse教程(12):NVIDIA Omniverse USD Presenter的基礎應用

    如前所述,NVIDIA Omniverse? 是一個參考開發平臺,通過模塊化的開發框架能夠輕松擴展和自定義。
    的頭像 發表于 05-20 10:09 ?686次閱讀
    <b class='flag-5'>Omniverse</b>教程(12):<b class='flag-5'>NVIDIA</b> <b class='flag-5'>Omniverse</b> USD Presenter的基礎應用

    NVIDIA Omniverse USD Composer能用來做什么?如何獲取呢?

    NVIDIA Omniverse? USD Composer(以前稱為 Create)是 NVIDIA Omniverse? 中用于構建虛擬世界的參考應用程序,允許用戶進行組裝、模擬和
    的頭像 發表于 05-20 10:07 ?820次閱讀
    <b class='flag-5'>NVIDIA</b> <b class='flag-5'>Omniverse</b> USD Composer能用來做什么?如何獲取呢?

    NVIDIA Omniverse使用Apple Vision Pro拓展世界

    在最新一屆的GTC大會上,NVIDIA宣布了一項革命性的技術突破——全新Omniverse Cloud API的推出。這一創新性的應用編程接口,使得開發者能夠將交互式的工業數字孿生無縫流式傳輸至Apple Vision Pro中,
    的頭像 發表于 03-27 10:36 ?410次閱讀

    NVIDIA發布Omniverse Cloud API,眾多工業數字孿生軟件工具提供助力

    Ansys、Cadence、Hexagon、微軟、羅克韋爾自動化、西門子、Trimble采用Omniverse技術幫助客戶設計、模擬、構建和運行符合物理學的數字孿生 ? ? NVIDIA
    發表于 03-19 09:40 ?488次閱讀
    <b class='flag-5'>NVIDIA</b>發布<b class='flag-5'>Omniverse</b> Cloud API,<b class='flag-5'>為</b>眾多工業數字孿生軟件工具提供助力

    NVIDIA Omniverse中的物理模擬功能

    NVIDIA Omniverse? Simulation 作為 NVIDIA Omniverse? 平臺的關鍵組件之一,由 NVIDIA
    的頭像 發表于 03-08 11:30 ?1071次閱讀
    <b class='flag-5'>NVIDIA</b> <b class='flag-5'>Omniverse</b>中的物理模擬功能
    主站蜘蛛池模板: 日韩欧美一区二区三区在线 | 被肉日常np快穿高h| 一级黄色香蕉视频| 亚洲欧美综合乱码精品成人网| 天天拍拍国产在线视频| 色婷婷综合激情中文在线| 解开白丝老师的短裙猛烈进入| 97人摸人人澡人人人超一碰| 久久精品国产色蜜蜜麻豆国语版| 国内精品偷拍在线观看| 国产亚洲综合视频| xxx日本黄色| 超碰99热在线精品视频| 成人在线免费看片| 中文字幕专区高清在线观看| 与嫂子同居的日子在线观看| 午夜亚洲WWW湿好大| 欧美精品v欧洲高清| 农村脱精光一级| 久久99精品AV99果冻| 国产AV无码成人黄网站免费| 国产AV麻豆出品在线播放| 国产精品久久久久久久久久影院 | 亚洲三级黄色| 野花韩国高清完整版在线观看5| 一级毛片全部免| 4k岛国精品午夜高清在线观看| 性xxx免费| 日本污ww视频网站| 美女打开双腿扒开屁股男生| 嗯啊快停下我是你老师啊H| 欧洲内射VIDEOXXX3D| 窝窝影院午夜看片毛片| 日韩丰满少妇无码内射| 午夜国产在线观看| 一本到高清视频在线观看三区| 在线观看免费小视频| 伊人影院中文字幕| 99re在线播放| 国产精品麻豆高潮刺激A片| 精品视频中文字幕|