電子發燒友網報道(文/吳子鵬)在備受矚目的CES 2025上,NVIDIA在機器人領域宣布了重磅更新——Isaac GR00T Blueprint,幫助開發者更高效、高質量地打造人形機器人。同時,NVIDIA創始人兼CEO黃仁勛在CES 2025上還宣布了NVIDIA“人形機器人朋友圈”——NVIDIA將會在人形機器人領域和包括中國公司小鵬、宇樹在內的科技公司開展合作,共同推動人形機器人產業發展。
在人形機器人開發領域,NVIDIA Isaac機器人開發平臺得到了很多開發者的認可,成為這些開發者開發人形機器人的得力幫手。NVIDIA Isaac是一個由NVIDIA加速庫、應用框架和AI模型組成的AI機器人開發平臺,可加速自主移動機器人 (AMR)、機械手和機械臂以及人形機器人等AI機器人的開發。
NVIDIA Isaac包含了一系列的AI機器人開發工具和開發示例,其中參考應用NVIDIA Isaac Sim允許開發者在基于物理的虛擬環境中設計、模擬、測試和訓練基于AI的機器人和自主機器。NVIDIA Isaac Sim基于NVIDIA Omniverse 構建,支持開發者構建自己的自定義模擬器或將核心Isaac Sim技術集成到現有測試和驗證管線中。
隨著Isaac GR00T Blueprint發布,NVIDIA Isaac平臺的性能得到了進一步強化,Blueprint可幫助開發者生成海量的合成運動數據,以便通過模仿學習來訓練人形機器人。如下圖所示,Isaac GR00T Blueprint通過GR00T-Teleop、GR00T-Mimic和GR00T-Gen工具流能夠幫助開發者高效完成人形機器人的模仿學習,可以更好地融入人類世界。
模仿學習也被稱為基于演示的學習(Learning By Demonstration),主要強調的是通過大量的參考數據,讓人形機器人等機器可以與環境進行交互。一般而言,模仿學習主要包括行為克隆(Behavior Cloning)和逆向強化學習(Inverse Reinforcement Learning),無論是哪種技術路徑,都需要大量的數據作為參考,然而在真實世界中收集這些廣泛、高質量的數據集既繁瑣又耗時,而且成本往往高得令人卻步。
Isaac GR00T Blueprint解決了這一痛點,開發者只需少量人類示范,就能輕松生成海量的合成數據集。在這個應用框架下,GR00T-Teleop用于借助虛擬現實設備捕捉人類演示動作,并生成金標準;GR00T-Mimic用于將捕捉到的示范生成更大的合成運動數據集;GR00T-Gen用于通過域隨機化和3D提升技術,指數級擴增這個數據集。
黃仁勛表示:“與大型語言模型一樣,世界基礎模型是推進機器人和自動駕駛汽車(AV)開發的基礎,但并非所有開發人員都有專業知識和資源來訓練自己開發的方案。”“我們創建了Cosmos,以使物理AI更加普惠,并讓每個開發人員都能接觸到通用機器人技術。”
NVIDIA Cosmos是專為物理AI而構建的,據悉開發者可以基于NVIDIA Cosmos完成以下操作:
·視頻搜索與理解:使開發者能夠輕松從視頻數據中找到特定的訓練場景。例如,他們可以搜索描繪雪地道路狀況或倉庫擁堵情況的視頻。
·基于物理仿真合成逼真數據:使用Cosmos模型在NVIDIA Omniverse平臺上開發的3D場景中生成逼真的視頻。
·物理AI模型的開發和評估:無論是在基礎模型上構建自定義模型,還是測試其在特定模擬場景下的表現,都可以使用Cosmos進行強化學習以改進模型。
·預見和“多元宇宙”模擬:使用Cosmos和Omniverse生成AI模型可能出現的每一種可能結果,幫助其選擇最佳和最準確的路徑。
NVIDIA Cosmos的模型基于1800萬億個數據單元進行訓練,其中包括200萬小時的自動駕駛、機器人、無人機拍攝的視頻以及合成數據。在人形機器人開發方面,NVIDIA Cosmos讓數據稀缺性不再是人形機器人開發的關鍵挑戰,開發者通過Cosmos上的文本、圖像和視頻到世界模型功能,就可以模擬各種逼真的任務場景,并完成人形機器人在這一場景下的訓練學習。顯然,NVIDIA Cosmos將顯著縮短通用人形機器人的開發周期,讓通用人形機器人早日普及。
NVIDIA已經宣布第一批采用NVIDIA Cosmos的生態伙伴,包括1X、Agile Robots、Agility、Figure AI、Foretellix、Fourier、Galbot、Hillbot、IntBot、Neura Robotics、Skild AI、Virtual Incision、Waabi和XPENG等人形機器人公司。
Isaac GR00T Blueprint讓模仿學習更高效
人形機器人是一個全球關注的科技熱點,在中國市場,人形機器人是新質生產力的代表之一。統計數據顯示,?2023年全球人形機器人市場規模約為21.6億美元,預計到2029年將達到324億美元??。到2035年,全球人形機器人的出貨量可能超過100萬臺,達到140萬臺。在人形機器人開發領域,NVIDIA Isaac機器人開發平臺得到了很多開發者的認可,成為這些開發者開發人形機器人的得力幫手。NVIDIA Isaac是一個由NVIDIA加速庫、應用框架和AI模型組成的AI機器人開發平臺,可加速自主移動機器人 (AMR)、機械手和機械臂以及人形機器人等AI機器人的開發。
NVIDIA Isaac包含了一系列的AI機器人開發工具和開發示例,其中參考應用NVIDIA Isaac Sim允許開發者在基于物理的虛擬環境中設計、模擬、測試和訓練基于AI的機器人和自主機器。NVIDIA Isaac Sim基于NVIDIA Omniverse 構建,支持開發者構建自己的自定義模擬器或將核心Isaac Sim技術集成到現有測試和驗證管線中。
隨著Isaac GR00T Blueprint發布,NVIDIA Isaac平臺的性能得到了進一步強化,Blueprint可幫助開發者生成海量的合成運動數據,以便通過模仿學習來訓練人形機器人。如下圖所示,Isaac GR00T Blueprint通過GR00T-Teleop、GR00T-Mimic和GR00T-Gen工具流能夠幫助開發者高效完成人形機器人的模仿學習,可以更好地融入人類世界。
Isaac GR00T Blueprint應用框圖
模仿學習也被稱為基于演示的學習(Learning By Demonstration),主要強調的是通過大量的參考數據,讓人形機器人等機器可以與環境進行交互。一般而言,模仿學習主要包括行為克隆(Behavior Cloning)和逆向強化學習(Inverse Reinforcement Learning),無論是哪種技術路徑,都需要大量的數據作為參考,然而在真實世界中收集這些廣泛、高質量的數據集既繁瑣又耗時,而且成本往往高得令人卻步。
Isaac GR00T Blueprint解決了這一痛點,開發者只需少量人類示范,就能輕松生成海量的合成數據集。在這個應用框架下,GR00T-Teleop用于借助虛擬現實設備捕捉人類演示動作,并生成金標準;GR00T-Mimic用于將捕捉到的示范生成更大的合成運動數據集;GR00T-Gen用于通過域隨機化和3D提升技術,指數級擴增這個數據集。
Isaac GR00T Blueprint融合了NVIDIA Cosmos
在Isaac GR00T Blueprint的GR00T-Gen工具流中,NVIDIA Omniverse和NVIDIA Cosmos是指數級擴增數據集的關鍵。NVIDIA Cosmos是NVIDIA在CES 2025上最新發布的“世界基礎模型”,擁有一系列開放的預訓練世界基礎模型,專為生成具有物理感知的視頻和物理AI開發所需的世界狀態而設計。
NVIDIA Cosmos應用演示
黃仁勛表示:“與大型語言模型一樣,世界基礎模型是推進機器人和自動駕駛汽車(AV)開發的基礎,但并非所有開發人員都有專業知識和資源來訓練自己開發的方案。”“我們創建了Cosmos,以使物理AI更加普惠,并讓每個開發人員都能接觸到通用機器人技術。”
NVIDIA Cosmos是專為物理AI而構建的,據悉開發者可以基于NVIDIA Cosmos完成以下操作:
·視頻搜索與理解:使開發者能夠輕松從視頻數據中找到特定的訓練場景。例如,他們可以搜索描繪雪地道路狀況或倉庫擁堵情況的視頻。
·基于物理仿真合成逼真數據:使用Cosmos模型在NVIDIA Omniverse平臺上開發的3D場景中生成逼真的視頻。
·物理AI模型的開發和評估:無論是在基礎模型上構建自定義模型,還是測試其在特定模擬場景下的表現,都可以使用Cosmos進行強化學習以改進模型。
·預見和“多元宇宙”模擬:使用Cosmos和Omniverse生成AI模型可能出現的每一種可能結果,幫助其選擇最佳和最準確的路徑。
NVIDIA Cosmos的模型基于1800萬億個數據單元進行訓練,其中包括200萬小時的自動駕駛、機器人、無人機拍攝的視頻以及合成數據。在人形機器人開發方面,NVIDIA Cosmos讓數據稀缺性不再是人形機器人開發的關鍵挑戰,開發者通過Cosmos上的文本、圖像和視頻到世界模型功能,就可以模擬各種逼真的任務場景,并完成人形機器人在這一場景下的訓練學習。顯然,NVIDIA Cosmos將顯著縮短通用人形機器人的開發周期,讓通用人形機器人早日普及。
NVIDIA已經宣布第一批采用NVIDIA Cosmos的生態伙伴,包括1X、Agile Robots、Agility、Figure AI、Foretellix、Fourier、Galbot、Hillbot、IntBot、Neura Robotics、Skild AI、Virtual Incision、Waabi和XPENG等人形機器人公司。
結語
Isaac GR00T Blueprint的推出解決了當前困擾人形機器人開發者的關鍵難題——如何獲取海量數據完成人形機器人的模仿學習。通過整合GR00T-Teleop、GR00T-Mimic和GR00T-Gen工作流,Isaac GR00T Blueprint讓開發者只需少量人類示范,就能輕松生成海量的合成數據集。在Isaac GR00T Blueprint應用框架下,最新發布的NVIDIA Cosmos則是數據指數級擴增的關鍵。
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。
舉報投訴
發布評論請先 登錄
相關推薦
NVIDIA推出Isaac GR00T Blueprint
用于合成數據的 Isaac GR00T 工作流以及 NVIDIA Cosmos 世界基礎模型,為通用人形機器人的開發注入強大動力。
借助NVIDIA Project GR00T加速人形機器人開發
人形機器人是機電一體化、控制理論和 AI 交叉領域的一道綜合性難題。人形機器人的動力學和控制十分復雜,它們需要先進的工具、技術和算法才能在移動和操作任務中保持平衡。由于
NVIDIA提供一套服務、模型以及計算平臺 加速人形機器人發展
開發者可以訪問新的 NVIDIA NIM 微服務,用于 Isaac Lab 和 Isaac Sim 中的機器人仿真、OSMO 機器人云計算編
NVIDIA 加速人形機器人發展
開發者可以訪問新的 NVIDIA NIM 微服務,用于 Isaac Lab 和 Isaac Sim 中的機器人仿真、OSMO 機器人云計算編
發表于 07-30 09:15
?752次閱讀
NVIDIA Isaac 機器人平臺利用最新的生成式 AI 和先進的仿真技術,加速 AI 機器人技術的發展
觀眾展示了用于人形機器人學習的通用基礎模型 Project GR00T(代表通用機器人 00 技術)。Project
全球機器人開發領域采用NVIDIA 機器人開發和生產
比亞迪電子、西門子、泰瑞達和 Alphabet 旗下公司 Intrinsic 采用 NVIDIA Isaac 機器人平臺開發自主機械臂、人形機器人
透過NVIDIA GR00T模型和Jetson Thor芯片看人形機器人未來發展
,具身智能作為行業熱詞不脛而走,實際上NVIDIA等公司早就在這一領域開始了布局。 具身智能指機器人或智能系統能夠通過感知器和執行器與其所處的環境進行實時互動。從概念上說,具身智能的實例范圍很廣,包括機器人技術、自動駕駛汽車和聊
NVIDIA Isaac機器人平臺升級,加速AI機器人技術革新
NVIDIA Isaac機器人平臺近期實現重大升級,通過引入最新的生成式AI技術和先進的仿真技術,顯著加速了AI機器人技術的發展步伐。該平臺正不斷擴展其基礎模型、
英偉達發布人形機器人基礎模型
英偉達在一年一度的GTC開發者大會上,由創始人黃仁勛親自揭曉了令人矚目的Project GR00T人形機器人項目,其中引人注目的是一款全新的人形
機器人掀起2024開年融資熱潮,聯想入場投資多家公司,人形機器人要“爆”
電子發燒友網報道(文/劉靜)近日,英偉達在一年一度的GTC大會上重磅推出了人形機器人通用基礎模型Project GR00T。相當看好具身智能、人形
NVIDIA發布一款人形機器人通用基礎模型—Project GR00T
NVIDIA 于今日發布人形機器人通用基礎模型 Project GR00T,旨在進一步推動其在機器人和具身智能方面的突破。
英偉達發布人形機器人通用模型與Isaac機器人計劃
作為AI領域的硬件大佬,NVIDIA在推動機器人進步方面一直積極行動。在此次召開的年度GTC開發者大會上,公司對外公布了通過Project GR0OT(Generalist Robot 00
評論