NVIDIA 為 NVIDIA ISAAC Sim 發(fā)布了一個(gè)新的 NVIDIA Omniverse 機(jī)器人體驗(yàn)，以幫助支持對(duì)機(jī)器人學(xué)中精確、可靠、易于使用的仿真工具的加速需求。隨著許多研究實(shí)驗(yàn)室和大學(xué)的無(wú)限期關(guān)閉，世界各地的機(jī)器人專(zhuān)家都與他們開(kāi)發(fā)、測(cè)試和部署自主機(jī)器所需的物理硬件和環(huán)境分離開(kāi)來(lái)。現(xiàn)在，更好的仿真工具比以往任何時(shí)候都能幫助機(jī)器人和自動(dòng)化領(lǐng)域的重要工作向前發(fā)展。

這個(gè)機(jī)器人經(jīng)驗(yàn)展示了 Omniverse 套件 中的 NVIDIA ISAAC Sim 仿真工具包。將 ISAAC Sim 構(gòu)建到 Omniverse 平臺(tái)中，相對(duì)于現(xiàn)有的機(jī)器人工作流程，它帶來(lái)了一些有用的改進(jìn)：

它利用了 Omniverse Kit 的高精度物理模擬，直接集成了業(yè)界領(lǐng)先的物理框架，如用于剛體動(dòng)力學(xué)的 NVIDIA Physx SDK 和用于流體動(dòng)力學(xué)的 NVIDIA 流量 。

它重新關(guān)注互操作性，與 NVIDIA ISAAC 軟件開(kāi)發(fā)工具包 和 ROS 的擴(kuò)展進(jìn)行了深度集成。

Omniverse 對(duì)于 ISAAC Sim 的體驗(yàn)很容易擴(kuò)展。現(xiàn)在您可以使用 Omniverse 工具包的 基于 Python 的腳本接口 和 擴(kuò)展系統(tǒng) 來(lái)定制 ISAAC Sim 以適應(yīng)您自己的用例。

它是為可部署而構(gòu)建的，其體系結(jié)構(gòu)支持本地工作站上的工作流，在 NVIDIA Jetson 系列硬件的邊緣，并通過(guò)云與 NVIDIA NGC 一起使用。

下面我們將更詳細(xì)地了解此版本中包含的預(yù)覽和示例代碼。

橋接工作流

Omniverse ISAAC Sim 仿真環(huán)境支持兩個(gè)突出的機(jī)器人框架： NVIDIA ISAAC 軟件開(kāi)發(fā)工具包 和 ROS 。

ISAAC SDK 是一個(gè)企業(yè)級(jí)框架，用于開(kāi)發(fā)機(jī)器人人工智能、導(dǎo)航和操作應(yīng)用程序。 ISAAC Sim 使用 Robot Engine Bridge （REB） 擴(kuò)展與 ISAAC SDK 通信，通過(guò) TCP / IP 發(fā)送模擬傳感器數(shù)據(jù)、驅(qū)動(dòng)器命令、地面真相和場(chǎng)景管理。 ISAAC SDK 文檔 突出了一系列的仿真場(chǎng)景，從復(fù)雜的多機(jī)器人自主倉(cāng)庫(kù)導(dǎo)航到使用 Jupyter 筆記本的 簡(jiǎn)單操作 。此外， ISAAC SDK 與 ISAAC Sim 為幾個(gè)基于 Jetson 的參考平臺(tái)（如 卡特 和 卡婭 機(jī)器人）橋接虛擬和物理機(jī)器人。

Omniverse ISAAC Sim 還支持 ROS ，這是一個(gè)機(jī)器人專(zhuān)家常用的框架。 ISAAC Sim ROS Bridge 擴(kuò)展使機(jī)器人研究人員能夠利用 Omniverse ISAAC Sim 功能強(qiáng)大的多功能 GPU 實(shí)時(shí)仿真和協(xié)作平臺(tái)來(lái)擴(kuò)充現(xiàn)有的工作流程。此版本提供了一個(gè) 喙樣 ，它將詳細(xì)介紹如何發(fā)布和訂閱主題，包括關(guān)節(jié)狀態(tài)、關(guān)節(jié)命令、 TF 、相機(jī)和 Lidar 主題。

圖 1 使用 ROS 網(wǎng)橋擴(kuò)展來(lái)發(fā)布和訂閱不同的 rostopic 。這張截圖顯示了一只弗蘭卡熊貓機(jī)器人手臂的關(guān)節(jié)狀態(tài)流到 ROS 。

敏捷自動(dòng)化

ISAAC Sim 在 Omniverse 中的另一個(gè)優(yōu)點(diǎn)是復(fù)雜的剛體動(dòng)力學(xué)現(xiàn)在很容易在機(jī)器人和自動(dòng)化場(chǎng)景中進(jìn)行模擬。 UR10 示例應(yīng)用程序 使用通用機(jī)器人的 UR10 機(jī)械臂和一個(gè)基于吸力的抓取器來(lái)說(shuō)明垃圾箱的填充和堆垛過(guò)程。在垃圾箱填充的例子中，用戶(hù)將不同的零件扔進(jìn)一個(gè)機(jī)器人正在抓取的箱子里，直到箱子太重以至于吸力抓取器失靈。零件到處都是。然后，機(jī)器人手臂能夠檢測(cè)到掉落的垃圾箱，將其撿起來(lái)，并將其定位以接收新部件。雖然垃圾箱填充和堆垛是標(biāo)準(zhǔn)程序，但這些示例顯示了如何智能地?cái)U(kuò)展它們，使機(jī)器人自動(dòng)化更加靈活和適應(yīng)動(dòng)態(tài)環(huán)境。

UR10 示例應(yīng)用程序附帶了非常詳細(xì)的源代碼和文檔。它們展示了幾個(gè)核心仿真組件：

使用 URDF 進(jìn)口商 加載機(jī)器人模型

為精益自動(dòng)化創(chuàng)建狀態(tài)機(jī)

使用 黎曼運(yùn)動(dòng)策略 （ RMPs ）將傳統(tǒng)路徑規(guī)劃與高級(jí)運(yùn)動(dòng)生成相結(jié)合

模擬機(jī)器人上下的傳感器。

查看此擴(kuò)展以了解如何為您自己的機(jī)器人應(yīng)用程序構(gòu)建端到端仿真。

定制機(jī)器人

除了 UR10 機(jī)器人之外， Omniverse ISAAC Sim 還有一個(gè)機(jī)器人、末端效應(yīng)器和環(huán)境的資產(chǎn)庫(kù)，可用于模擬。但是，您也可以使用 ISAAC Sim URDF importer 擴(kuò)展來(lái)處理您自己的定制機(jī)器人。此擴(kuò)展將導(dǎo)入一個(gè) URDF 文件并將其轉(zhuǎn)換為 Omniverse 美元代表 ，使其成為高級(jí)模擬更可用、更持久的格式。 URDF Importer 擴(kuò)展還附帶了幾個(gè)示例導(dǎo)入和 Python API ，用于加載和配置您自己的機(jī)器人。

在這個(gè)版本中，文檔有一個(gè) 所以取樣 ，它引導(dǎo)您完成為 Omniverse ISAAC Sim 導(dǎo)入和配置自定義機(jī)器人的過(guò)程。它以 NVIDIA 卡婭 作為參考硬件。 Kaya 是由 NVIDIA Jetson Nano 提供動(dòng)力的 3D 打印機(jī)器人。它的目的是使先進(jìn)的機(jī)器人技術(shù)為業(yè)余愛(ài)好者和教育者所用。然而，精確的仿真是一個(gè)特別具有挑戰(zhàn)性的參考平臺(tái)。它有幾個(gè) CAD 文件，一個(gè)復(fù)雜的完整傳動(dòng)系統(tǒng)，和許多傳感器，必須配置這些傳感器來(lái)模擬它的三維映射、定位、目標(biāo)識(shí)別和里程計(jì)功能。您可以查看有關(guān)創(chuàng)建物理上精確的虛擬 Kaya 的文檔，以了解如何從 CAD 或 URDF 文件轉(zhuǎn)換為準(zhǔn)備模擬的機(jī)器人。

圖 3 Kaya 示例展示了如何從 CAD 文件或 ISAAC Sim URDF importer 擴(kuò)展中定制或 DIY 機(jī)器人仿真。

感知世界

在 Omniverse 機(jī)器人技術(shù)體驗(yàn)中，您可以預(yù)覽機(jī)器人模擬的實(shí)時(shí)光線(xiàn)跟蹤的好處。除了逼真的視覺(jué)效果， Omniverse 實(shí)時(shí)光線(xiàn)跟蹤還模擬光的物理行為。這使得 ISAAC Sim 能夠精確地模擬幾種基于光的傳感器的物理特性，包括 RGB 相機(jī)、深度相機(jī)和激光雷達(dá)。 激光雷達(dá)樣品 演示了如何利用 ISAAC Sim 激光雷達(dá) API 來(lái)創(chuàng)建和激活這些傳感器，用于訓(xùn)練自主機(jī)器人。設(shè)置分辨率、視野和旋轉(zhuǎn)速率，以匹配物理機(jī)器人使用的激光雷達(dá)的硬件屬性。

圖 4 Omniverse ISAAC Sim 中的激光雷達(dá)擴(kuò)展可用于模擬機(jī)器人的自主導(dǎo)航。

進(jìn)行模擬

新的 Omniverse ISAAC Sim 體驗(yàn)的最新版本展示了現(xiàn)代機(jī)器人仿真工具包如何使研究人員和開(kāi)發(fā)人員受益。在 NVIDIA Omniverse 平臺(tái)上構(gòu)建該工具包，為機(jī)器人仿真提供了新的工作流程，是可用性、可擴(kuò)展性和互操作性的一次重大升級(jí)。

關(guān)于作者

Madeline Gannon 是 NVIDIA 的機(jī)器人和人工智能研究人員，她專(zhuān)注于人類(lèi)與機(jī)器人交互的工具。甘農(nóng)是世界經(jīng)濟(jì)論壇文化領(lǐng)袖，也是全球物聯(lián)網(wǎng)、機(jī)器人和智能城市理事會(huì)的理事。甘農(nóng)擁有卡內(nèi)基梅隆大學(xué)博士學(xué)位和佛羅里達(dá)國(guó)際大學(xué)建筑學(xué)碩士學(xué)位。

審核編輯：郭婷