標準化合成數(shù)據(jù)的初始版本預計將成為世界上最大的此類數(shù)據(jù)集，目前已作為開源版本提供給機器人開發(fā)人員。

訓練自主機器人和車輛與物理世界有效互動需要海量高質量的數(shù)據(jù)，為了讓研究人員和開發(fā)者贏得先機，NVIDIA 現(xiàn)發(fā)布大型開源數(shù)據(jù)集，助力構建下一代物理 AI。

這個商業(yè)級、預先驗證的數(shù)據(jù)集在加利福尼亞州圣何塞舉辦的全球 AI 大會 NVIDIA GTC 上正式發(fā)布，將幫助研究人員和開發(fā)者克服從零開始的挑戰(zhàn)，順利啟動物理 AI 項目。開發(fā)者可以利用數(shù)據(jù)集開展模型預訓練、測試和驗證，或用于后訓練以調優(yōu)世界基礎模型，加快部署進程。

初始數(shù)據(jù)集現(xiàn)可通過 Hugging Face 平臺下載，為開發(fā)者提供 15 TB 數(shù)據(jù)，包含超過 320,000 條機器人訓練軌跡，以及包含 SimReady 資源集合在內的高達 1,000 個通用場景描述（OpenUSD）資源。此外，還即將發(fā)布支持端到端自動駕駛汽車開發(fā)的專用數(shù)據(jù)，其中包括時長為 20 秒的剪輯片段，覆蓋美國和二十多個歐洲國家/地區(qū) 1,000 多個城市的各種交通場景。

NVIDIA 物理 AI 數(shù)據(jù)集包含數(shù)百個 SimReady 資產，可用于構建豐富的場景。

未來，該數(shù)據(jù)集有望發(fā)展為世界上最大的統(tǒng)一、開源的物理 AI 開發(fā)數(shù)據(jù)集。可以為多種 AI 開發(fā)模型提供支持，包括能安全穿越倉庫環(huán)境的自主導航機器人、外科手術輔助機器人，以及在施工區(qū)等復雜交通場景下穿梭自如的自動駕駛汽車。

NVIDIA 物理 AI 數(shù)據(jù)集計劃一系列真實數(shù)據(jù)和合成數(shù)據(jù)子集，并將使用這些數(shù)據(jù)通過多個平臺來訓練、測試和驗證物理 AI，平臺將包括NVIDIA Cosmos世界模型開發(fā)平臺、NVIDIA DRIVE AV軟件棧、NVIDIA Isaac AI機器人開發(fā)平臺，以及NVIDIA Metropolis智慧城市應用框架。

加州大學伯克利分校 Berkeley DeepDrive 研究中心、卡內基梅隆安全 AI 實驗室和加州大學圣地亞哥分校 Contextual 機器人研究所已經(jīng)開始率先使用該數(shù)據(jù)集。

加州大學圣地亞哥分校多個機器人和自動駕駛汽車實驗室的負責人 Henrik Christensen 表示：“利用這個數(shù)據(jù)集，我們能做很多工作，比如訓練預測性 AI 模型，這些模型可以幫助自動駕駛汽車更好地追蹤行人等易受傷害的道路使用者的動向，從而提高安全性。與現(xiàn)有的開源資源相比，這個數(shù)據(jù)集能提供多樣化的場景和更長的視頻片段，這將顯著推動機器人技術和自動駕駛汽車的研究進展。”

滿足物理 AI 數(shù)據(jù)需求

NVIDIA 物理 AI 數(shù)據(jù)集可以幫助開發(fā)者在預訓練期間擴展 AI 性能，海量數(shù)據(jù)能夠支持構建更強大的 AI 模型，在預訓練階段利用更豐富的數(shù)據(jù)對 AI 模型進行訓練，以提高其在特定用例中的性能表現(xiàn)。

想要構建一個能準確反映真實世界物理特性及其動態(tài)變化的多樣化場景數(shù)據(jù)集，需要投入大量時間開展數(shù)據(jù)采集、整理和標注工作，這成為了大多數(shù)開發(fā)者推進項目的一個瓶頸。對于學術研究人員和小型企業(yè)來說，部署車隊進行長達數(shù)月的自動駕駛汽車 AI 數(shù)據(jù)收集既不現(xiàn)實且成本高昂，并且由于采集的視頻大多為常規(guī)道路場景，僅有 10% 的數(shù)據(jù)可被用于訓練。

但這種規(guī)模的數(shù)據(jù)采集對于構建安全、準確的商業(yè)級模型十分重要。NVIDIA Isaac GR00T機器人模型需要數(shù)千小時的視頻剪輯片段進行后訓練，比如 GR00T N1，這一模型是在一個包含大量真實數(shù)據(jù)和合成數(shù)據(jù)的人形機器人數(shù)據(jù)集上進行訓練的。NVIDIA DRIVE AV 自動駕駛汽車端到端 AI 模型需要數(shù)萬小時的駕駛數(shù)據(jù)來開發(fā)。

該開源數(shù)據(jù)集收錄了數(shù)千小時的多視角視頻，其場景多樣性、數(shù)據(jù)規(guī)模和覆蓋地域范圍都達到了前所未有的水平。這將為安全研究領域帶來突破，特別是在識別異常行為和評估模型泛化等新興研究方向。這項技術有助于NVIDIA Halos的全棧自動駕駛汽車安全系統(tǒng)。

除利用 NVIDIA 物理 AI 數(shù)據(jù)集來幫助滿足數(shù)據(jù)需求外，開發(fā)者還可以通過NVIDIA NeMo Curator等工具進一步推動 AI 開發(fā)，這些工具可高效地處理用于訓練和定制模型的龐大數(shù)據(jù)集。使用 NeMo Curator，只需兩周就可以在 NVIDIA Blackwell GPU 上處理 2,000 萬小時的視頻，而使用未優(yōu)化的 CPU 工作流則需要 3.4 年。

機器人開發(fā)者還可以利用新的NVIDIA Isaac GR00T blueprint來生成合成運動軌跡，這是一個基于NVIDIA Omniverse和 NVIDIA Cosmos 構建的參考工作流，利用少量的人類示范數(shù)據(jù)，即可大規(guī)模生成機器人合成運動軌跡。

大學實驗室采用數(shù)據(jù)集進行 AI 開發(fā)

加州大學圣地亞哥分校機器人實驗室包括專注于醫(yī)療應用、人形機器人和家庭輔助技術的團隊。Christensen 預計，物理 AI 數(shù)據(jù)集中的機器人數(shù)據(jù)可以幫助開發(fā)語義 AI 模型，理解家庭、酒店房間或醫(yī)院等空間的環(huán)境。

他說：“我們的核心目標之一是實現(xiàn)深度場景理解能力，如果機器人被要求整理雜貨，它會確切地知道哪些物品需冰箱冷藏，哪些適合放在儲藏室里。”

在自動駕駛汽車領域，Christensen 的實驗室可以利用數(shù)據(jù)集來訓練 AI 模型，以了解不同道路使用者的意圖，并預測最佳的響應行動。他的研究團隊還可以利用該數(shù)據(jù)集支持數(shù)字孿生開發(fā)，仿真極端情況和具有挑戰(zhàn)性的天氣條件。這些仿真場景可用于在真實世界環(huán)境中罕見的情況下，對自動駕駛模型進行訓練和測試。

領先的自動駕駛系統(tǒng) AI 研究中心 Berkeley DeepDrive 將該數(shù)據(jù)集用于開發(fā)自動駕駛汽車策略模型和世界基礎模型。

Berkeley DeepDrive 聯(lián)合主任 Wei Zhan 表示：“數(shù)據(jù)多樣性對于訓練基礎模型非常重要。這個數(shù)據(jù)集能夠為公共和私營部門團隊開展前沿研究提供支持，幫助他們開發(fā)自動駕駛汽車和機器人 AI 模型。”

卡內基梅隆大學安全 AI 實驗室的研究人員計劃利用該數(shù)據(jù)集推進其評估和認證自動駕駛汽車安全性的工作。該團隊計劃對基于此數(shù)據(jù)集訓練的物理 AI 基礎模型在罕見場景仿真環(huán)境中的表現(xiàn)進行測試，并與基于現(xiàn)有數(shù)據(jù)集訓練的自動駕駛模型作性能對比。

卡內基梅隆大學副教授兼安全 AI 實驗室負責人 Ding Zhao 表示：“這個數(shù)據(jù)集涵蓋不同類型的道路和地理位置、基礎設施和天氣環(huán)境，其多樣性為訓練具備物理世界因果推理能力的模型提供了重要的支持，特別是理解和處理極端案例和長尾問題方面有重要意義。”

請通過 Hugging Face 訪問 NVIDIA 物理 AI 數(shù)據(jù)集。加入學習 OpenUSD 學習路徑和機器人基礎學習路徑課程，掌握基礎知識。