NVIDIA 發布了 Isaac Manipulator 和 Isaac Perceptor 等一系列基礎模型、機器人工具和 GPU 加速庫。

NVIDIA 創始人兼首席執行官黃仁勛在臺上向一萬多名觀眾展示了用于人形機器人學習的通用基礎模型 Project GR00T（代表通用機器人 00 技術）。Project GR00T 利用 NVIDIA Isaac 機器人平臺的各種工具來創建用于人形機器人的 AI。

黃仁勛表示：“開發通用人形機器人基礎模型是當今 AI 領域中最令人興奮的課題之一。世界各地的機器人技術領導者正在匯集各種賦能技術，致力于在人工通用機器人領域實現突破。”

NVIDIA 還發布了一款基于 NVIDIA Thor 系統級芯片的新型人形機器人計算機和用于 NVIDIA Isaac 機器人平臺的全新工具，包括用于機器人學習的 Isaac Lab 和用于混合云工作流編排的 NVIDIA OSMO。這些工具對 Project GR00T 和機器人基礎模型的開發至關重要。

推出適用于機械臂的 Isaac Manipulator

NVIDIA Isaac Manipulator 為機械臂提供了一系列先進的運動生成和模塊化 AI 功能，以及各種強大的基礎模型和 GPU 加速庫。

機器人開發者可以使用專門為特定任務定制的軟件組件組合來感知周圍環境并與之交互，通過加速 AI 模型訓練和任務編程，為動態操縱任務構建可擴展和可重復的工作流。

NVIDIA 機器人技術和邊緣計算副總裁 Deepu Talla 表示：“將用于生成基礎模型的新工具整合到 Isaac 平臺中，可以加速開發出更加智能、靈活且通用于多種任務的機器人。”

眾多領先的機器人公司正在與 NVIDIA 合作，將 Isaac Manipulator 帶給他們的客戶，其中包括安川電機、Solomon、PickNik Robotics、READY Robotics、Franka Robotics 以及泰瑞達旗下子公司優傲等。

安川電機總裁 Masahiro Ogawa 表示：“通過將 NVIDIA AI 工具和功能引入安川電機的自動化解決方案，我們正在推動機器人在各個行業的應用，這將對各行各業產生重大的影響。”

NVIDIA 正在推出能夠增強現有機器人操作系統的基礎模型。這些模型將有助于開發能夠感知、適應和重新編程的機器人，以適應智能制造領域的各種環境和應用，處理拾放任務、機器維護和裝配等。具體如下：

FoundationPose 是一個開創性的基礎模型，用于對以前未見過的物體進行 6D 姿勢估計和追蹤。

cuMotion 利用 NVIDIA GPU 的并行處理能力，通過同時運行多個軌跡優化來提供最佳解決方案，從而解決工業規模的機器人運動規劃問題。

FoundationGrasp 是一種基于 transformer 的模型，可對未知 3D 物體進行密集抓取預測。

SyntheticaDETR 是一種適用于室內環境的對象檢測模型，可加快新對象的檢測、渲染和訓練速度。

推出適用于自主移動機器人視覺 AI 的 Isaac Perceptor

制造業和物流部門正在采用自主移動機器人（AMR）以提高效率和更好地保護工人，同時降低錯誤率和成本。

Isaac Perceptor 提供的多攝像頭 360 度視覺功能為 ArcBest、比亞迪和凱傲集團等早期行業合作伙伴帶來先進的視覺 AI，幫助他們安裝協助物料搬運作業的 AMR 設備。

NVIDIA Nova Orin DevKit 由 NVIDIA 與 Segway Robotics 和 Leopard Imaging 合作開發，可幫助企業快速開發、評估和部署 Isaac Perceptor。

ArcBest 首席創新官、ArcBest Technologies 總裁 Michael Newcity 表示：“ArcBest正在與NVIDIA合作，將先進的機器視覺技術引入物流領域。在我們的 Vaux Smart Autonomy AMR 叉車和前移式卡車中使用了 Isaac Perceptor 平臺，可以實現更好的感知、語義感知導航和 3D 映射，以便在倉庫、配送中心和制造設施的物料搬運過程中進行障礙物檢測。”

適用于人形機器人開發的 Project GR00T 技驚四座

在 GTC 上展示的 GR00T 驅動的人形機器人可以接受多模態指令——包括文本、視頻和演示——以及它們此前的交互，從而為機器人生成所需的動作。GR00T 在 Agility Robotics、Apptronik、傅利葉智能和宇樹科技等四家公司的人形機器人上進行了展示。

人形機器人是一套復雜的系統，需要異構計算來滿足高頻低級控制、傳感器融合與感知、任務規劃和人機交互的需求。NVIDIA 最新發布了基于 NVIDIA Thor SoC 的全新人形機器人計算機 Jetson Thor。

Jetson Thor 包括一個帶有 transformer engine 的下一代 GPU，其采用 NVIDIA Blackwell 架構，可提供每秒 800 萬億次8位浮點運算 AI 性能，以運行 GR00T 等多模態生成式 AI 模型。憑借集成的功能安全處理器、高性能 CPU 集群和 100GB 以太網帶寬，大大簡化了設計和集成工作。

Project GR00T 使用提供給機器人開發者的 Isaac 工具來構建和測試基礎模型，比如 Isaac Lab 和 OSMO 等。前者是一個全新輕量級仿真應用，基于 Isaac Sim 而構建，適用于大規模訓練人形機器人模型；后者是一個用于管理訓練和仿真工作負載的云工作流編排平臺。

利用 Isaac Lab 加速機器人學習

需要高級運動技能（無論是行走還是抓取）的機器人都必須在仿真環境中運用深度強化學習，并在虛擬環境中通過反復訓練來學習技能。而當模型遷移到真實的機器人部署中時，這個實用程序就會變得更加有用，Project GR00T 已經證明了這一點。

作為 Isaac Gym 的后續產品，Isaac Lab 受益于 NVIDIA Omniverse 技術，用于基于物理信息、逼真且基于感知的強化學習任務。Isaac Lab 是一款性能優化的開源機器人學習應用，基于 Isaac Sim 平臺構建而成，集成了強化學習 API 和開發者友好的任務框架。

利用 NVIDIA OSMO 實現云原生機器人工作流調度

NVIDIA OSMO 可在分布式環境中擴展工作負載。對于具有復雜的多階段和多容器工作流的機器人工作負載，該平臺提供與位置無關的部署選項，并為已部署的模型提供數據集管理和可追溯性功能。

波士頓動力公司機器學習和感知負責人 Pat Marion 表示：“波士頓動力公司采用了一系列機器學習、強化學習和 AI 技術賦能機器人。為了有效管理龐大的訓練工作量，我們正在使用 NVIDIA OSMO。這款基礎設施解決方案可以讓機器學習工程師精簡工作流程，讓他們運用專業知識去解決更為棘手的機器人問題。”

例如，OSMO 可在 NVIDIA DGX 和 NVIDIA OVX 服務器上并行運行模型，幫助模型完成訓練，并在仿真環境中實時強化學習，通過這種方式為 GR00T 提供支持。這一工作負載包括在循環中迭代生成和訓練模型。OSMO 能夠在分布式環境中管理和調度工作負載，實現 DGX 與 OVX 系統的無縫協調，從而實現高效和迭代的模型開發。一旦模型可以進行測試和驗證，OSMO 就能在 OVX（x86-64）上獨特地編排軟件在環工作流，并利用 NVIDIA Jetson（aarch64）計算資源編排硬件在環工作流。

支持 ROS 開發者生態系統

NVIDIA 以創始成員兼白金贊助商的身份加入了開源機器人聯盟（OSRA）。OSRA 是開源機器人基金會的一項新舉措，旨在通過支持包括機器人操作系統（ROS）在內的多個開源機器人項目，促進機器人社區的合作、創新和技術指導。

Open Robotics 首席執行官 Vanessa Yamzon Orsi 表示：“隨著自主機器人能力的日益提升，業界越來越需要更加強大且節能的板載計算。ROS 社區正在親身體驗這種需求，我們的用戶正在越來越多地使用 NVIDIA 等行業領導者提供的先進加速計算硬件。”

NVIDIA Isaac Perceptor 與 Nova Orin 評估套件、Isaac Manipulator、Isaac Lab 以及 OSMO 將于今年第二季度提供給客戶和合作伙伴。了解更多關于 Project GR00T 的信息。

審核編輯 黃宇