案例簡(jiǎn)介

在本案例中，銀河通用的團(tuán)隊(duì)借助Isaac Lab搭建了具有挑戰(zhàn)性的靈巧抓握基準(zhǔn) DexGraspNet，這是一個(gè)最近提出的基準(zhǔn)套件，專門用于學(xué)習(xí)可泛化的靈巧抓握。DexGraspNet 包含 1.32M 個(gè) ShadowHand 對(duì) 5355 個(gè)物體的抓握動(dòng)作，比 DDG 之前的數(shù)據(jù)集大兩個(gè)數(shù)量級(jí)。它具有 GraspIt!* 無(wú)法實(shí)現(xiàn)的多種抓握類型。

*GraspIt!：GraspIt!是一個(gè)由哥倫比亞大學(xué)機(jī)器人小組開(kāi)發(fā)的仿真器，作為研究抓握的工具，它可以適應(yīng)任意手和機(jī)器人設(shè)計(jì)。

兼顧靈巧手抓取數(shù)據(jù)的多樣性和數(shù)量

機(jī)器人靈巧抓握是實(shí)現(xiàn)類似人類的靈巧物體操縱的第一步，因此是一項(xiàng)至關(guān)重要的機(jī)器人技術(shù)。然而，與使用平行夾持器的物體抓握相比，靈巧抓握的探索程度要低得多，部分原因是缺乏大規(guī)模數(shù)據(jù)集。在這項(xiàng)工作中，銀河通用團(tuán)隊(duì)展示了一個(gè)大規(guī)模機(jī)器人靈巧抓握數(shù)據(jù)集 DexGraspNet，它由銀河通用團(tuán)隊(duì)提出的高效合成方法生成，可普遍應(yīng)用于任何靈巧手。銀河通用團(tuán)隊(duì)的方法利用深度加速可微分力閉合估計(jì)器，因此可以高效、穩(wěn)健地大規(guī)模合成穩(wěn)定且多樣的抓握。銀河通用團(tuán)隊(duì)選擇了 ShadowHand，并為 5355 個(gè)物體生成了 132 萬(wàn)個(gè)抓握，涵蓋了 130多個(gè)物體類別，每個(gè)物體實(shí)例包含 200 多種不同的抓握，所有抓握都經(jīng)過(guò)了 Isaac Lab 仿真器的驗(yàn)證。與劉等人之前的數(shù)據(jù)集相比，由 GraspIt! 生成的數(shù)據(jù)集不僅包含更多物體和抓握，而且多樣性和質(zhì)量更高。通過(guò)進(jìn)行跨數(shù)據(jù)集實(shí)驗(yàn)，銀河通用團(tuán)隊(duì)表明，在銀河通用團(tuán)隊(duì)的數(shù)據(jù)集上訓(xùn)練幾種靈巧抓握合成算法的效果，明顯優(yōu)于在前一種算法上訓(xùn)練。

基于強(qiáng)化學(xué)習(xí)

打造通用泛化靈巧手抓取技能模型

銀河通用團(tuán)隊(duì)提出了一種新穎的、與對(duì)象無(wú)關(guān)的方法，用于在桌面環(huán)境下，從真實(shí)的點(diǎn)云觀測(cè)和本體感受信息中學(xué)習(xí)靈巧物體抓取的通用策略，即 UniDexGrasp++。為了應(yīng)對(duì)在數(shù)千個(gè)對(duì)象實(shí)例中學(xué)習(xí)基于視覺(jué)的策略的挑戰(zhàn)，銀河通用團(tuán)隊(duì)提出了幾何感知課程學(xué)習(xí) (GeoCurriculum) 和幾何感知迭代通才-專才學(xué)習(xí) (GiGSL)，它們利用任務(wù)的幾何特征，并顯著提高通用性。通過(guò)銀河通用團(tuán)隊(duì)提出的技術(shù)，其最終策略在數(shù)千個(gè)對(duì)象實(shí)例上顯示出通用的靈巧抓取，在訓(xùn)練集和測(cè)試集上的成功率分別為 85.4% 和 78.2%，分別比最先進(jìn)的基線 UniDexGrasp 高出 11.7% 和 11.3%。

探索靈巧手抓取模型的 Scaling Law

除上述內(nèi)容，銀河通用團(tuán)隊(duì)還借助NVIDIA Isaac Lab和NVIDIA Isaac Sim搭建靈巧手抓取模型的仿真測(cè)試環(huán)境，顯著加速了對(duì)于靈巧手抓取模型 Scaling Law 的探索進(jìn)程，以及靈巧手泛化抓取技能在真實(shí)應(yīng)用場(chǎng)景中的落地進(jìn)程。