色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

加強模擬的更大價值 —— 給真實機器人一雙靈巧的“手”

NVIDIA英偉達企業解決方案 ? 來源:未知 ? 2022-12-09 01:15 ? 次閱讀

人類的手是數百萬年進化過程中最了不起的成果之一。我們能夠拿起各種物體并將它們作為工具使用,這是我們與其他動物的最大區別之一,這也使我們能夠改變周圍的世界。

要想讓機器人在人類的日常生活中工作,機器人必須能夠與我們的工具和周圍的環境進行靈巧的互動。如果沒有這種能力,它們就只能繼續留在工廠、倉庫等專門的領域發揮作用。

雖然有腿的機器人只需要一段時間就可以學會如何行走,但實踐證明有手的機器人控制起來的難度要大得多。帶有手指的機器人手有更多的關節,它們的運動必須經過特定的協調后才能完成指定的任務。傳統的機器人控制方法需要預先對抓取和運動進行精確的編程,因此無法實現人類認為理所當然的那種“普通”精細運動控制技能。

解決這些問題的方法之一是采用深度強化學習(RL)技術訓練一個控制機器人關節的神經網絡。通過深度強化學習,機器人能夠從試驗和錯誤中學習,并在成功完成指定任務后得到獎勵。然而學習這種技術可能需要數百萬甚至數十億樣本,因此它幾乎不可能直接應用于現實中的機器人。

7c0270ca-7717-11ed-8abf-dac502259ad0.gif

DeXtreme 將模擬環境中的靈巧操作轉移到現實世界

模擬的應用

NVIDIA 的 Isaac 機器人模擬器能夠創造一個用于訓練機器人的模擬空間,這個空間的運行速度比現實世界快 1 萬多倍,但是遵守物理法則。

從事 DeXtreme 項目的 NVIDIA 研究者們,利用 RL 機器人訓練模擬器 Isaac Gym 教機器人手如何將一個立方體擺放到指定的目標位置和方向或姿態。神經網絡大腦可以在模擬中學會這一操作之后,再被移植到現實世界中控制機器人。

之前,只有 OpenAI 的研究者們展示過一次類似的工作。不過,他們的工作需要一個更復雜、更昂貴的機器人手,一個帶有精確運動控制傳感器的立方體,而且需要使用由數百臺計算機組成的超級計算集群進行訓練。

靈巧性訓練的大眾化

為了使世界各地的研究者都能夠復制我們的實驗,DeXtreme 項目選擇了盡可能簡單、便宜的硬件。機器人本身是一臺 Allegro Hand,其成本只有其他一些機器人的 1/10,它有四根手指并且沒有可以移動的手腕。我們使用現成的 RGB 攝像頭作為追蹤立方體的“眼睛”,這樣就可以在不使用特殊硬件的情況下根據需要輕松移動立方體。立方體是 3D 打印的,每個面都有貼紙。

7ca8a95e-7717-11ed-8abf-dac502259ad0.png

一個簡單、可負擔的現成系統是實現可復制性的關鍵。DeXtreme 使用的是三個 RGB 攝像頭、一個 3D 打印的立方體和一個高性價比的機器人手,所以大家也應該可以輕松嘗試。

DeXtreme 使用 Isaac Gym 進行訓練,該模擬器可提供一個用于強化學習的端到端 GPU 加速模擬環境。NVIDIA PhysX 在 GPU 上模擬出場景。在深度學習控制策略網絡的訓練過程中,結果會保留在 GPU 內存中。因此,這項訓練可以在一臺 Omniverse OVX 服務器上進行。在這個系統上訓練一個好的策略大約需要 32 小時,相當于一個機器人在現實世界中 42 年的經驗。

由于不需要單獨的 CPU 集群進行模擬,因此在目前的云租賃價格下,訓練所產生的計算成本降低了 10-200 倍。使用 Isaac Gym 訓練模型大大減少了訓練的時間和成本。

感知和合成數據

為了讓機器人知道它所持的立方體的位置和方向,需要為機器人加上一個感知系統。為了控制成本并為將來操控其他物體留出余地,DeXtreme使用了三個現成的攝像頭和一個可以解釋立方體姿態的神經網絡。

該網絡通過使用 Omniverse Replicator 生成的約 500 萬幀合成數據訓練而成,沒有使用任何真實的圖像。它學習了如何在具有挑戰性的真實環境中執行任務。為了使訓練更加有效,我們使用了一種叫做域隨機化的技術來改變照明和攝像機的位置,同時使用數據增強技術添加隨機裁剪、旋轉和背景。

7cd80b5e-7717-11ed-8abf-dac502259ad0.gif

DeXtreme NVIDIA Omniverse Replicator 合成數據通過隨機改變背景、照明和攝像機角度來訓練一個強大的感知網絡

DeXtreme 姿態估計系統非常可靠,即便是在目標物體被部分遮擋或者圖像有明顯運動模糊的情況下也能準確感知到姿態。

7d0a5424-7717-11ed-8abf-dac502259ad0.gif

DeXtreme 姿態估計器的計算機視覺模型在立方體的一部分被人手遮擋時的輸出結果

現實世界中的機器人訓練依然困難重重

使用模擬的主要原因之一是直接在現實世界中訓練機器人會產生各種難題。例如機器人硬件在過度使用后容易損壞、實驗的迭代周期和周轉時間可能很長等。

7f1e0918-7717-11ed-8abf-dac502259ad0.gif

除了模擬之外,機器人還必須解決所有現實中的機械和物理學問題

我們在實驗中經常發現在長期使用后需要對機械手進行修理,例如擰緊松動的螺絲、更換帶狀電纜、在進行 10-15 次試驗后需要讓機械手休息并等待它冷卻等。在模擬中,我們是在一個不會損壞的機器人上進行訓練,所以能夠避開許多這樣的問題,同時還能獲得學習高難度任務所需的大量數據。而且模擬的運行速度比實時訓練快得多,所以迭代周期大幅縮短。

在模擬環境中訓練的最大問題是需要縮小模擬和現實世界之間的差距。為了解決這個問題,DeXtreme 對模擬器中設置的物理屬性使用了域隨機化,可一次在超過十萬個模擬環境中大規模地改變物體的質量、摩擦水平和其他屬性。

隨機化所帶來的好處之一是讓我們可以使用各種不常見的場景組合來訓練人工智能,這能保證機器人在現實世界執行任務時的穩健性。例如,我們在現實機器人上的大部分實驗都是在由于電路板上的連接松動而導致拇指輕微失靈的情況下進行的。盡管如此,我們還是對這些策略能夠從模擬可靠地轉移到現實世界而感到驚訝。

7fa01110-7717-11ed-8abf-dac502259ad0.gif

經過超過 32 小時的強化學習,DeXtreme 機器人能夠在根據指定目標旋轉立方體的任務中反復取得成功

從模擬到現實

未來機器人操作領域的突破將催生出新一批不僅限于傳統工業用途的機器人應用。DeXtreme 項目所傳達的核心信息是:模擬可以成為訓練復雜機器人系統的一個非常有效的工具,包括需要不斷接觸環境中的物體的機器人系統。我們使用成本相對較低的硬件來證明這一點是為了鼓勵大家使用我們的模擬工具并在此基礎上繼續努力。

關于 DeXtreme 項目的更多細節,請查看論文并訪問項目網頁:https://dextreme.org/


原文標題:加強模擬的更大價值 —— 給真實機器人一雙靈巧的“手”

文章出處:【微信公眾號:NVIDIA英偉達企業解決方案】歡迎添加關注!文章轉載請注明出處。


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 英偉達
    +關注

    關注

    22

    文章

    3791

    瀏覽量

    91290

原文標題:加強模擬的更大價值 —— 給真實機器人一雙靈巧的“手”

文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達企業解決方案】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    兆威機電發布機器人靈巧手重磅新品!單板控制,17個自由度,壽命大于10年

    機器人靈巧手,是人形機器人上的關鍵零部件。 ? 目前國內有多家企業已經具備了相關核心技術與產業化能力,近期,兆威機電更是展出了自己的機器人靈巧
    的頭像 發表于 11-15 00:08 ?3800次閱讀
    兆威機電發布<b class='flag-5'>機器人</b><b class='flag-5'>靈巧</b>手重磅新品!單板控制,17個自由度,壽命大于10年

    【「具身智能機器人系統」閱讀體驗】2.具身智能機器人的基礎模塊

    次生成深度信息。 自主機器人定位任務的本質是對機器人自身狀態的估計問題,包括位置,朝向,速度等問題。 路徑規劃旨在找到從起點到目標區域的路徑,確保路徑的可行性和最優性。路徑規劃方法包括變分方法,圖搜
    發表于 01-04 19:22

    【「具身智能機器人系統」閱讀體驗】2.具身智能機器人大模型

    的局限性以及衡量大模型的關鍵指標。閱讀了該部分后,我感受到了種前所未有的震撼,這種震撼不僅來源于技術本身的先進性,更來源于它對傳統機器人控制方式的顛覆。 傳統機器人的局限性與大模型的變革 傳統的
    發表于 12-29 23:04

    【「具身智能機器人系統」閱讀體驗】1.全書概覽與第章學習

    非常感謝電子發燒友提供的這次書籍測評活動!最近,我直在學習大模型和人工智能的相關知識,深刻體會到機器人技術是個極具潛力的未來方向,甚至可以說是推動時代變革的重要力量。能參與這次活動并有機會深入
    發表于 12-27 14:50

    《具身智能機器人系統》第7-9章閱讀心得之具身智能機器人與大模型

    將自然語言理解與運動規劃融為體。這種端到端的方法使機器人能夠直接從人類指令生成動作序列,大幅簡化了控制流程。該項目的工作流程包含設計并封裝一個人機器人函數庫、編寫清晰地描述提示詞、在仿真環境中執行
    發表于 12-24 15:03

    【「具身智能機器人系統」閱讀體驗】+數據在具身人工智能中的價值

    提供了對機器人環境和動作的統和詳細的理解。只有在這些過程之后,數據才能有效地用于訓練 EAI 系統。 目前,應用 Sim2Real 技術的主要障礙是“現實差距”,即模擬環境與現實世界之間的差異,包括物理
    發表于 12-24 00:33

    從市場角度對機器人的基本解讀

    自人工智能機器人發展至今,幾乎都是從學術方面對機器人進行定義詮釋。現今機器人市場化發展程度已逐步進入多領域不同場景的融合應用,對實際市場已經可以發揮定的使用
    的頭像 發表于 12-07 01:06 ?266次閱讀
    從市場角度對<b class='flag-5'>機器人</b>的基本解讀

    虹科攜手Seed Robotics,開啟機器人靈巧手合作新篇章

    近日,虹科與SeedRobotics正式建立合作伙伴關系,雙方將在機器人靈巧手領域展開深入合作,共同推動人工智能、神經科學、心理學和認知科學等領域的創新研究與應用發展。此次合作,虹科
    的頭像 發表于 12-05 01:00 ?352次閱讀
    虹科攜手Seed Robotics,開啟<b class='flag-5'>機器人</b><b class='flag-5'>靈巧</b>手合作新篇章

    鴻蒙機器人與鴻蒙開發板聯動演示

    鴻蒙機器人與鴻蒙開發板聯動演示,機器人的角色為迎賓機器人,開發板負責人賓客出現監聽
    發表于 12-02 14:55

    【書籍評測活動NO.51】具身智能機器人系統 | 了解AI的下個浪潮!

    早就聽大佬們說,具身智能是人工智能的下波浪潮,也是AI未來的趨勢! 最近,具身智能的概念更是炙手可熱,備受矚目! 不論是這幾天稚暉君開源人形機器人全套圖紙+代碼,引發圈內熱議。 還是各類具身智能
    發表于 11-11 10:20

    靈巧手成為機器人競爭下半場,但空心杯電機要失寵了?

    )細節時也特別談到了靈巧手。他表示,下代Optimus的手部將有22個自由度,前代版本擁有11個自由度,“它看起來非常像人類的,可以彈鋼琴,甚至可以彈吉他。” ? 從10+自由度
    的頭像 發表于 10-30 01:09 ?2757次閱讀

    堪稱地表最強“打工人”,人形機器人Figure02領銜靈巧手進化

    電子發燒友網報道(文/黃晶晶)日前,人形機器人公司Figure AI宣布推出全新代Figure 02機器人產品,可謂在硬件和軟件上都進行了從零開始的重新設計。Figure AI創
    的頭像 發表于 08-11 01:05 ?3620次閱讀
    堪稱地表最強“打工人”,人形<b class='flag-5'>機器人</b>Figure02領銜<b class='flag-5'>靈巧</b>手進化

    Al大模型機器人

    金航標kinghelm薩科微slkor總經理宋仕強介紹說,薩科微Al大模型機器人有哪些的優勢?薩科微AI大模型機器人由清華大學畢業的天才少年N博士和王博士團隊開發,與同行相比具有許多優勢:語言
    發表于 07-05 08:52

    日本食品機器人可以與食物交流,以此改變你的味覺

    這款機器人外型為蘋果口味軟糖,擁有兩只圓溜溜的大眼和一雙揮動自如的手臂,能夠發聲說:“您好,我非常期待與您對話。”此外,它還有節奏地搖動軀干。
    的頭像 發表于 05-27 11:11 ?321次閱讀

    自動化生產線,工業機器人發揮重要的價值作用

    自動化生產線,工業機器人發揮重要的價值作用
    的頭像 發表于 01-09 13:55 ?1703次閱讀
    自動化生產線,工業<b class='flag-5'>機器人</b>發揮重要的<b class='flag-5'>價值</b>作用
    主站蜘蛛池模板: 欧美zzzoooxxx| 久久精品国产eeuss| 越南女 黑人 痛苦 大叫| 午夜福利08550| 天天躁日日躁狠狠躁AV麻豆| 日韩一区二区三区精品 | 美女厕所撒尿ass| 久久学生精品国产自在拍| 精品久久中文字幕有码| 黄色直接观看| 亚洲免费网站在线观看| 亚洲AV永久无码精品老司机蜜桃| 无码专区久久综合久综合字幕| 日日夜夜天天操| 旧里番ovaの催○セイ活指导| 教室眠催白丝美女校花| 精品AV无码一二三区视频| 精品国产精品人妻久久无码五月天| 国产一区二区青青精品久久| 国内精品伊人久久久影院| 凹凸精品视频分类视频| 一二三四在线观看韩国| 一本久道视频无线视频| 淫品色影院| 97在线精品视频| 扒开女人下面使劲桶视频| 大学生高潮无套内谢视频| 国产成人综合在线| 国产在线午夜| 久久只有这里有精品4| 嫩草www视频在线观看高清| 久久久大香菇| 免费啪视频观试看视频| 拍戏被CAO翻了H| 无码国产成人777爽死在线观看| 亚洲男人片片在线观看| 中文字幕无码亚洲字幕成A人蜜桃| 99热这里精品| 1234成人网| 一本色道久久综合一区| 18禁止观看免费私人影院|