色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

深度圖像和深度學習結合用于機器人抓取的Dex-Net、復雜目標分割以及讓機器人整理床鋪

zhKF_jqr_AI ? 來源:未知 ? 作者:李倩 ? 2018-10-26 08:50 ? 次閱讀

編者按:關于訓練機器人抓手的研究并不少,大多都是從計算機視覺的角度出發,訓練機器人“看得清”、“抓得準”。本文同樣如此,不過與以往觀察彩色圖片不同,伯克利的研究者們借助“深度圖像”這個“利器”,提出了一種更加高效的方法,能讓機器人成功抓起此前并未見過的物體。

左:3D立方體。右:對應深度圖像,距相機越近顏色越深。

早在AlexNet誕生的兩年前,微軟就為X-Box推出了Kinect。隨著深度學習加速了超參數函數的性能,這種低成本的深度感知器層出不窮,也使得深度學習在圖像分類、語音識別和語言翻譯中取得了驚人的效果。如今,深度學習在端到端的電子游戲、機器人操控等問題中也表現出大有前景的勢頭。

在機器人感知方面,類似于VGG或ResNet的卷積神經網絡成為了主流選擇。在一些機器人或計算機視覺的任務中,常會用到這些框架,附帶有經過與訓練的權重,進行遷移學習或對具體數據進行微調。但是在某些任務中,只了解圖像的顏色是很有限的。當你想訓練機器人抓住一個陌生物體時,更重要的是讓機器人了解周圍環境的幾何結構,而不僅僅是顏色和材質。對目標物體進行控制時的物理過程,即通過力量控制一個或多個物體,取決于目標的形狀、擺放位置和其他和顏色無關的因素。例如,當你手中拿筆時,不用看就能改變手中筆的位置。于是,這里有一個問題:這在彩色圖像上也能成立嗎?

與彩色圖像相對應的是深度圖像,它是只有單個通道的灰度圖像,可以測量到相機的深度值,讓我們了解一幅圖像中目標物體的除了顏色以外的特征。我們還可以用深度來“過濾”一定范圍之外的點,這可以用來去除背景噪聲(如文中開頭的圖像示例)。

這篇文章中,我們將深度圖像和深度學習結合起來,用在伯克利AUTOLab三個正在進行的項目中:用于機器人抓取的Dex-Net、復雜目標分割以及讓機器人整理床鋪。

深度感知簡介

深度圖像將物體表面到相機的距離進行編碼,顯示出了特殊的視角。在文章開頭的案例圖片里,左邊的立方體3D結構圖中有很多點都處于離相機不同的位置上。右邊的深度圖像中,顏色越深的地方表示距離相機越近。

深度感知最近的成果

在計算機視覺和深度學習不斷進步的同時,深度感知領域也出現了許多成果。

通常,深度感知會將兩個不同相機生成的RGB圖像結合在一起,然后利用生成的視差圖獲取物體在環境中的深度值。

目前常用的深度傳感器是結構光傳感器,它可以用一種看不見的波長將一直物體的形狀投射到某場景中,比如我們熟知的Kinect。另一種深度感知的方法就是LIDAR,這種技術此前常用于地形測繪,最近在一些自動駕駛汽車上也出現了它的身影。LIDAR比Kinect生成的深度映射質量更高,但是速度較慢、成本高昂,因為它需要掃描激光器。

總的來說,Kinect屬于消費級RGB-D系統,可以通過硬件直接捕捉到RGB圖像,以及每個像素的深度值,比此前的很多方法更快更便宜。現在,很多用于研究或工業的機器人,例如AGV或人形輔助機器人,都含有類似的內置深度感知相機。未來用于機器人的深度感知設備很可能會進一步升級。

相關研究

針對機器人的深度感知,研究人員將這一技術用于實時導航、實時映射和追蹤以及對室內環境的建模。由于深度感知能讓機器人知道它們距離障礙物有多遠,就能使其進行定位,在導航時避免碰撞。除此之外,深度圖像還用于實時檢測、辨別、定位人的身體部位等研究中。

這都說明在某些任務中,深度圖像可以蘊涵很多除了顏色之外的有用信息。接下來,我們研究了三種不同任務

案例一:機器人抓取

讓機器人抓取從未見過的物體是目前一個重要的難題。雖然很多研究者使用RGB圖像,但他們的系統需要讓機器人訓練好幾個月的抓取動作。利用3D目標網格的關鍵有點就是,研究人員可以通過渲染技術精確地合成深度圖像。

我們的Dex-Net是AUTOLab正在進行的研究項目,它包括訓練機器人抓取策略的算法、代碼。以及用于訓練抓取的數據集。Dex-Net提出在抓取狀態下的域隨機算法,目的是用簡單的抓手抓取復雜目標物體。在BAIR此前的博文中,我們介紹了含有670萬個樣本的數據集,我們用它來訓練抓取模型。

數據集和深度圖像

上圖展示了Dex-Net的數據集生成過程。首先,我們從多個來源中得到大量目標物的網格模型,并進行強化。每個模型都會被機械手抓起來進行采樣。有了網格模型和被抓起后的圖像,我們計算出它的魯棒性,并生成模擬深度圖像。通過計算擺放位置、摩擦力、質量、外力(例如重力)和蒙特卡羅積分法,計算出抓取成功地概率,從而對魯棒性進行估計。上圖右邊,我們展示了正采樣(抓取成功)和負采樣(抓取失敗)的例子。

訓練GQ-CNN

有了模擬數據集后,它們將用來訓練一個抓取質量卷積神經網絡,來預測機器人抓取成功的概率。結構如圖所示,一張圖像經過處理后,調整了角度和抓取中心,同時對應的96×96的深度圖像被當做輸入,高度為z,用于預測抓取的成功概率。

下圖我們展示了Dex-Net用于在某個容器內,對多個目標物體進行抓取的模擬深度圖像:

上行:ABB Yumi機器人的攝像機捕捉到的真實深度圖像

下行:Dex-Net的模擬深度圖像,紅色表示抓取的位置

案例二:在箱子中分割物體

實例分割就是判斷圖像中的像素屬于哪個物體,同時也要將同一類別中的每個物體分開。實例分割在機器人感知中很常用。例如,想讓機器人從裝滿物體的紙箱中選擇目標物體,首先就要對圖片進行分割,定位到目標物體,再進行抓取。

先前的研究表明,Mask R-CNN可以用于訓練對RGB圖像的目標分割,但是這一訓練需要大量經過手動標記的RGB圖像數據集。除此之外,用于訓練的圖像必須是自然場景下包含有限的目標物體種類。所以,預訓練Mask R-CNN網絡可能不適用于倉庫這種雜亂的場景。

數據集和深度圖像

上圖是數據集的生成過程。和Dex-Net類似,我們對3D目標物體進行采樣,然后通過模擬,將這些物體堆放在一個盒子中。生成對應的深度圖像,以及用于訓練的目標物體掩碼和標準評估圖像。

對于基于幾何形狀的分割,我們可以用模擬和渲染技術,自動收集大量用于訓練的數據集和經過標記的深度圖像。我們假設,這些深度圖像可能含有足夠的用于分割的信息,因為各物體之間的像素邊界不連貫。最終我們收集了5萬張深度圖像組成了數據集,并通過PyBullet模擬器將它們匯聚到盒子里。利用這一數據集,我們訓練了另一個版本的Mask R-CNN,我們稱之為SD Mask R-CNN。

實際分割結果

雖然沒有在真實圖像上訓練,我們提出的SD Mask R-CNN的表現超過了點云分割和經過改進的Mask R-CNN。如上圖所示,我們的模型可以準確進行分割。更重要的是,用于創造手動標簽數據集的目標物體并不是從SD Mask R-CNN的訓練分布中選擇的,而是常見的家用物品,我們并沒有它們的3D模型。所以,SD Mask R-CNN可以預測此前從未見過的物體掩碼。

總的來說,我們的分割方法有三大優點:

深度信息在分離目標或者背景時,其中編碼了很多有用信息;

合成深度圖像可以快速生成,用它們訓練可以高效地轉移到現實圖像中;

用深度圖像訓練過的網絡對此前未見過的物體泛化結果更好

案例三:讓機器人整理床鋪

整理床鋪可以運用于家庭機器人身上,因為它沒有時間限制,并且可以允許出現小差錯。在此前的文章中,我們研究了用RGB圖像,將其看作是序列決策問題,實現更好的模擬學習。

數據集和深度圖像

我們將整理床鋪的任務看作是檢測毯子的四個角,家庭機器人需要抓起毯子,并且把它的角和床對齊。我們最初的假設是深度圖像含有足夠的有關毯子的幾何形狀的信息。

為了手機訓練數據,我們使用的是白色的毯子,將四個角用紅色標記,如上圖所示。重復幾次將毯子隨意仍在床上,然后從機器人內置的RGB-D傳感器中采集RGB圖像和深度圖像。

接下來,我們訓練一個深度卷積神經網絡,只從深度圖像中檢測它的四個角。我們希望網絡可以泛化到能檢測出不同毯子的四角。我們的深度網絡使用了YOLO中的與訓練權重,之后添加了幾個圖層。結果表明,利用預訓練權重是非常有效果的。

毯子檢測結果

我們將訓練策略實施之后,模型表現出了優秀的結果,超越了無學習的基準策略,幾乎和人類完成的效果相當。雖然我們這里檢測的標準是毯子是否最大程度地覆蓋了床,不過這也說明,只有完成了精準的檢測,才能實現高度覆蓋。

結語

通過這三個項目的實踐,我們的結果表明深度圖像在進行物體抓取、圖像分割和不規則物體頂點檢測三方面,包含了許多有用的線索。我們認為,隨著深度相機質量的提高,深度圖像對機器人的應用越來越重要。有了深度圖像,訓練樣本的合成更加簡單,背景噪音也能更容易地過濾掉。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 傳感器
    +關注

    關注

    2550

    文章

    51039

    瀏覽量

    753088
  • 機器人
    +關注

    關注

    211

    文章

    28384

    瀏覽量

    206919
  • 深度學習
    +關注

    關注

    73

    文章

    5500

    瀏覽量

    121113

原文標題:深度感知+深度學習,伯克利的機器人面對陌生目標也能成功取物

文章出處:【微信號:jqr_AI,微信公眾號:論智】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    【「具身智能機器人系統」閱讀體驗】+初品的體驗

    解決許多技術的和非技術的挑戰,如提高智能體的自主性、處理復雜環境互動的能力及確保行為的倫理和安全性。 未來的研究需要將視覺、語音和其他傳感技術與機器人技術相結合,以探索更加先進的知識表示和記憶模塊,利用強化
    發表于 12-20 19:17

    《具身智能機器人系統》第1-6章閱讀心得之具身智能機器人系統背景知識與基礎模塊

    與環境持續互動來優化決策策略。書中還進一步討論了強化學習的基本原理,包括狀態空間、動作空間、獎勵函數的設計,以及策略網絡的訓練方法。 具身智能機器人系統是一個多學科知識交叉的復雜工程體
    發表于 12-19 22:26

    鴻蒙機器人與鴻蒙開發板聯動演示

    鴻蒙機器人與鴻蒙開發板聯動演示,機器人的角色為迎賓機器人,開發板負責人賓客出現監聽
    發表于 12-02 14:55

    【書籍評測活動NO.51】具身智能機器人系統 | 了解AI的下一個浪潮!

    復雜環境互動的能力及確保行為的倫理和安全性。 未來的研究需要將視覺、語音和其他傳感技術與機器人技術結合,探索更加先進的知識表示和記憶模塊,利用強化學習進一步優化決策過程。 具身智能的發
    發表于 11-11 10:20

    醫療機器人有哪些_醫療機器人有哪些應用

    醫療機器人是醫用機器人工程的重要應用,結合了各個學科最新研究和發展的成果,并廣泛應用于醫學診療、康復等醫學領域。醫療機器人的類型多種多樣,以
    的頭像 發表于 10-21 15:16 ?776次閱讀

    開源項目!用ESP32做一個可愛的無用機器人

    巧妙設計的杠桿將開關推回“關”位置。這種玩具很常見,許多人已經制作并上傳到YouTube上。 作者每年都會挑戰自己制作一個技術產品,今年他決定制作這個復雜的項目——可愛無用機器人。這個機器人參考了日本
    發表于 09-03 09:34

    碼垛機器人應用行業前景

    機器人的需求也會不斷增加。?? 技術革新的推動:?隨著人工智能、?機器視覺、?深度學習等技術的飛速發展,?碼垛機器人正逐步實現智能化升級,?
    的頭像 發表于 08-14 16:59 ?439次閱讀
    碼垛<b class='flag-5'>機器人</b>應用行業前景

    ROS機器人開發更便捷,基于RK3568J+Debian系統發布!

    本帖最后由 Tronlong創龍科技 于 2024-7-19 17:18 編輯 ROS系統是什么 ROS(Robot Operating System)是一個適用于機器人的開源的元操作系統。它
    發表于 07-09 11:38

    機器人視覺技術中常見的圖像分割方法

    機器人視覺技術中的圖像分割方法是一個廣泛且深入的研究領域。圖像分割是將圖像劃分為多個區域或對象的
    的頭像 發表于 07-09 09:31 ?659次閱讀

    Al大模型機器人

    理解能力強大: AI大模型機器人可以理解和生成自然語言,能夠進行復雜的對話和語言任務。它們能夠識別語言中的語義、語境和情感,并據此作出適當的回應。廣泛的知識儲備: 這些模型基于大規模的數據集進行訓練,擁有
    發表于 07-05 08:52

    碼垛機器人的組成和工作原理

    幾個部分組成: ?1、機身:碼垛機器人的機身通常由機械臂、底座、控制系統等部件組成,用于支撐和移動物品。 ?2、抓取機構:碼垛機器人抓取
    的頭像 發表于 07-04 15:58 ?433次閱讀

    機器人視覺技術中圖像分割方法有哪些

    機器人視覺技術是人工智能領域的一個重要分支,它涉及到圖像處理、模式識別、機器學習等多個學科。圖像分割
    的頭像 發表于 07-04 11:34 ?934次閱讀

    基于FPGA EtherCAT的六自由度機器人視覺伺服控制設計

    和增強系統處理圖像的實時性,本文提出了一種伊瑟特的六自由度機器人視覺伺服控制系統,將攝像頭集成到基于 Zynq的伊瑟特主站上,提高了視覺伺服的實時性.經測試,該平臺能夠對視覺檢測目標的變化做出及時的反應
    發表于 05-29 16:17

    華為云在人形機器人領域展開合作

    華為云與人形機器人領域的創新企業樂聚機器人近日達成合作,共同致力于探索“華為盤古大模型+夸父人形機器人”的全新應用場景。這是華為云首次與人形機器人企業展開
    的頭像 發表于 03-25 10:49 ?676次閱讀

    富唯智能機器人集成了協作機器人、移動機器人和視覺引導技術

    智能機器人還集成了協作機器人、移動機器人和視覺引導技術,具有物料高精度抓取或放置功能,可滿足各種復雜場景的協作搬運需求。
    的頭像 發表于 01-17 11:58 ?431次閱讀
    主站蜘蛛池模板: 啊叫大点声欠CAO的SAO贷| 5g在线视讯年龄确认海外禁止进入| 一二三四中文字幕在线看| 97伦理电影在线不卡| 国产成人免费观看| 快播电影频道| 十九岁在线观看免费完整版电影| 亚洲视频免费看| 爱情岛论坛免费在线观看| 国精产品一区二区三区| 末成年美女黄网站色大片连接| 无码不卡中文字幕在线观看| 最近韩国HD免费观看国语| 国产成人免费手机在线观看视频| 久久人妻少妇嫩草AV無碼| 三级网站视频在线观看| 在线播放一区二区精品产| 国产成人精品免费视频下载| 久久全国免费观看视频| 无码爽死成人777在线观看网站 | 日韩一区二区三区四区区区| 亚洲中文字幕在线精品| 动漫美女禁区| 美女伊人网| 亚洲精品乱码一区二区三区| 边做边爱BD免费看片| 快播h动漫网站| 亚洲精品自在在线观看| 动漫成人片| 免费在线视频一区| 影音先锋男人资源813.| 国产欧美另类久久久品 | 某上海少妇3P黑人完整版BD| 亚洲看片网站| 东日韩二三区| 欧美成人亚洲高清在线观看| 伊人久久电影院| 国产骚妇BB网| 色橹橹欧美在线观看视频高清 | 欧美18在线| 中文字幕AV亚洲精品影视|