色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

基于視覺的機器人抓取系統

新機器視覺 ? 來源:CSDN ? 作者:ljc_coder ? 2022-05-07 15:38 ? 次閱讀

0

導讀

抓取綜合方法是機器人抓取問題的核心,本文從抓取檢測、視覺伺服和動態抓取等角度進行討論,提出了多種抓取方法。各位對機器人識別抓取感興趣的小伙伴,一定要來看一看!千萬別錯過~

/ contents

1. 引言

1.1抓取綜合方法

1.2 基于視覺的機器人抓取系統

2. 抓取檢測、視覺伺服和動態抓取

2.1抓取檢測

2.2 視覺伺服控制

2.3動態抓取

3. 本文實現的方法

3.1網絡體系結構

3.2 Cornell 抓取數據集

3.3 結果評估

3.4視覺伺服網絡體系結構

3.5VS數據集

54164836-cd42-11ec-bce3-dac502259ad0.png

1

引言

找到理想抓取配置的抓取假設的子集包括:機器人將執行的任務類型、目標物體的特征、關于物體的先驗知識類型、機械爪類型,以及最后的抓取合成。

注:從本文中可以學習到視覺伺服的相關內容,用于對動態目標的跟蹤抓取或自動調整觀察姿態。因為觀察的角度不同,預測的抓取框位置也不同:抓取物品離相機位置越近,抓取預測越準。

1.1

抓取綜合方法

抓取綜合方法是機器人抓取問題的核心,因為它涉及到在物體中尋找最佳抓取點的任務。這些是夾持器必須與物體接觸的點,以確保外力的作用不會導致物體不穩定,并滿足一組抓取任務的相關標準。

抓取綜合方法通常可分為分析法和基于數據的方法。

分析法是指使用具有特定動力學行為的靈巧且穩定的多指手構造力閉合

基于數據的方法指建立在按某種標準的條件下,對抓取候選對象的搜索和對象分類的基礎上。(這一過程往往需要一些先驗經驗)

1.2

基于視覺的機器人抓取系統

基于視覺的機器人抓取系統一般由四個主要步驟組成,即目標物體定位、物體姿態估計、抓取檢測(合成)和抓取規劃。

一個基于卷積神經網絡的系統,一般可以同時執行前三個步驟,該系統接收對象的圖像作為輸入,并預測抓取矩形作為輸出。

而抓取規劃階段,即機械手找到目標的最佳路徑。它應該能夠適應工作空間的變化,并考慮動態對象,使用視覺反饋。

目前大多數機器人抓取任務的方法執行一次性抓取檢測,無法響應環境的變化。因此,在抓取系統中插入視覺反饋是可取的,因為它使抓取系統對感知噪聲、物體運動和運動學誤差具有魯棒性。

2

抓取檢測、視覺伺服和動態抓取

抓取計劃分兩步執行:

首先作為一個視覺伺服控制器,以反應性地適應對象姿勢的變化。

其次,作為機器人逆運動學的一個內部問題,除了與奇異性相關的限制外,機器人對物體的運動沒有任何限制。

2.1

抓取檢測

早期的抓取檢測方法一般為分析法,依賴于被抓取物體的幾何結構,在執行時間和力估計方面存在許多問題。

此外,它們在許多方面都不同于基于數據的方法。

基于數據的方法:Jiang、Moseson和Saxena等人僅使用圖像,從五個維度提出了機器人抓取器閉合前的位置和方向表示。

如下圖,該五維表示足以對抓取姿勢的七維表示進行編碼[16],因為假定圖像平面的法線近似。因此,三維方向僅由給出。

5430f10e-cd42-11ec-bce3-dac502259ad0.png

本文的工作重點是開發一種簡單高效的CNN,用于預測抓取矩形。

在訓練和測試步驟中,所提出的網絡足夠輕,可以聯合應用第二個CNN,解決視覺伺服控制任務。因此,整個系統可以在機器人應用中實時執行,而不會降低兩項任務的精度。

2.2

視覺伺服控制

經典的視覺伺服(VS)策略要求提取視覺特征作為控制律的輸入。我們必須正確選擇這些特征,因為控制的魯棒性與此選擇直接相關。

最新的VS技術探索了深度學習算法,以同時克服特征提取和跟蹤、泛化、系統的先驗知識以及在某些情況下處理時間等問題。

Zhang等人開發了第一項工作,證明了在沒有任何配置先驗知識的情況下,從原始像素圖像生成控制器的可能性。作者使用Deep Q-Network ,通過深度視覺運動策略控制機器人的3個關節,執行到達目標的任務。訓練是在模擬中進行的,沒有遇到真實的圖像。

遵循強化學習方法的工作使用確定性策略梯度設計新的基于圖像的VS或Fuzzy Q-Learning,依靠特征提取,控制多轉子空中機器人。

在另一種方法中,一些研究視覺伺服深度學習的工作是通過卷積神經網絡進行的。CNN的泛化能力優于RL,因為RL學習的參數是特定于環境和任務的。

本文設計了四種卷積神經網絡模型作為端到端視覺伺服控制器的潛在候選。網絡不使用參考圖像和當前圖像以外的任何類型的附加信息來回歸控制信號

因此,所提出的網絡作為實際上的控制器工作,預測速度信號,而不是相對姿態。

2.3

動態抓取

學習感知行為的視覺表征,遵循反應范式,直接從感覺輸入生成控制信號,無需高級推理,有助于動態抓取。

強化學習方法適用于特定類型的對象,并且仍然依賴于某種先驗知識,因此,最近大量研究探索了將深度學習作為解決閉環抓取問題的方法。

Levine等人提出了一種基于兩個組件的抓取系統。第一部分是預測CNN,其接收圖像和運動命令作為輸入,并輸出通過執行這樣的命令,所產生的抓取將是令人滿意的概率。第二個部分是視覺伺服功能。這將使用預測CNN來選擇將持續控制機器人成功抓取的命令。這稱為是深度強化學習,需要很久的訓練時間。

2019年,Morrison, Corke 和 Leitner 開發了一種閉環抓取系統,在這種系統中,抓取檢測和視覺伺服不是同時學習的。作者使用完全CNN獲取抓取點,并應用基于位置的視覺伺服,使抓取器的姿勢與預測的抓取姿勢相匹配。

3

本文實現的方法

VS的目的是通過將相機連續獲得的圖像與參考圖像進行比較,引導操縱器到達機器人能夠完全看到物體的位置,從而滿足抓取檢測條件。因此,該方法的應用涵蓋了所有情況,其中機器人操作器(相機安裝在手眼模式下)必須跟蹤和抓取對象。

該系統包括三個階段:設計階段、測試階段和運行階段。第一個是基于CNN架構的設計和訓練,以及數據集的收集和處理。在第二階段,使用驗證集獲得離線結果,并根據其準確性、速度和應用領域進行評估。第三階段涉及在機器人上測試經過訓練的網絡,以評估其在實時和現實應用中的充分性。

在運行階段,系統運行的要求是事先獲得目標對象的圖像,該圖像將被VS用作設定點。只要控制信號的L1范數大于某個閾值,則執行控制回路。

54611fc8-cd42-11ec-bce3-dac502259ad0.png

單個參考圖像作為視覺伺服CNN的輸入之一呈現給系統。相機當前獲取的圖像作為該網絡的第二個輸入,并作為抓取CNN的輸入。這兩個網絡都連續運行,因為抓取CNN實時預測矩形以進行監控,VS網絡執行機器人姿勢的實時控制。

VS CNN預測一個速度信號,該信號乘以比例增益,以應用于相機中。機器人的內部控制器尋找保證相機中預測速度的關節速度。在每次循環執行時,根據機器人的當前位置更新當前圖像,只要控制信號不收斂,該循環就會重復。

當滿足停止條件時,抓取網絡的預測映射到世界坐標系。機器人通過逆運動學得到并到達預測點,然后關閉夾持器。

3.1

網絡體系結構

5475b3b6-cd42-11ec-bce3-dac502259ad0.png

該卷積網絡架構被用于抓取檢測。網絡接收224×224×3的RGB圖像作為輸入,無深度信息。

layer 1 由32個3×3卷積組成,layer 2 包含164個卷積。在這兩種情況下,卷積運算都是通過步長2和零填充(zero-padding)執行的,然后是批標準化(batch normalization)和2×2最大池化。layer 3 包含96個卷積,其中卷積使用步長1和零填充執行,然后僅執行批標準化。layer 4 ,也是最后一層,卷積層由128個卷積組成,以步長1執行,然后是2×2最大池化。

在最后一層卷積之后,生成的特征映射在包含4608個元素的一維向量中被展開,進一步傳遞到兩個全連接(FC)層,每個層有256個神經元。在這些層次之間,訓練期間考慮50%的dropout rate。

最后,輸出層由5個神經元組成,對應于編碼抓取矩形的**值。在所有層中,使用的激活函數都是ReLU**,但在輸出層中使用線性函數的情況除外。

3.2

Cornell 抓取數據集

為了對數據集真值進行編碼,使用四個頂點的和坐標編譯抓取矩形。

54d16eea-cd42-11ec-bce3-dac502259ad0.png

和參數分別表示矩形中心點的和坐標,可從以下公式獲得:

54e82e28-cd42-11ec-bce3-dac502259ad0.png

計算夾持器開口和高度,同樣根據四個頂點計算:

5520b98c-cd42-11ec-bce3-dac502259ad0.png

最后,表示夾持器相對于水平軸方向的由下式給出:

5533c90a-cd42-11ec-bce3-dac502259ad0.png

3.3

結果評估

預測矩形()和真值矩形()之間的角度差必須在30度以內。

雅卡爾指數(交并比)需要大于0.25,而不是像一般那樣“達到0.25即可”。

3.4

視覺伺服網絡體系結構

與抓取不同,設計用于執行機械手視覺伺服控制的網絡接收兩個圖像作為輸入,并且必須回歸六個值,考慮到線性和角度相機速度。

這些值也可以分為兩個輸出,共有四個模型處理VS任務。

模型1-直接回歸(最終實驗效果最佳)。它基本上與抓取網絡相同,除了在第三卷積層中包含最大池化和不同的輸入維度,這導致特征圖上的比例差異相同。

5568554e-cd42-11ec-bce3-dac502259ad0.png

模型2-任務特定回歸。網絡輸入被串聯,第三組特征圖由兩個獨立的層序列處理(多任務網絡)。因此,網絡以兩個3D矢量的形式預測6D速度矢量。具體來說,該結構由一個共享編碼器和兩個特定解碼器組成 - 一個用于線速度,另一個用于角速度。

558b3fdc-cd42-11ec-bce3-dac502259ad0.png

模型3-串聯特征的直接回歸和模型4-相關特征的直接回歸,兩個模型的結構類似,通過關聯運算符()區分。

模型3簡單連接;模型4使用相關層。

55f27b5c-cd42-11ec-bce3-dac502259ad0.png

模型3簡單地由第三個卷積層產生的特征映射連接,因此第四個層的輸入深度是原來的兩倍。而模型4有一個相關層,幫助網絡找到每個圖像的特征表示之間的對應關系。原始相關層是flow network FlowNet的結構單元。

3.5

VS數據集

該數據集能夠有效地捕獲機器人操作環境的屬性,具有足夠的多樣性,以確保泛化。

機器人以參考姿態為中心的高斯分布的不同姿態,具有不同的標準偏差(SD)。

下表為參考姿勢(分布的平均值)和機器人假設的標準偏差集(SD)。

560343c4-cd42-11ec-bce3-dac502259ad0.png

SD選擇考慮了機器人在VS期間必須執行的預期位移值。

從高SD獲得的圖像有助于網絡了解機器人產生大位移時圖像空間中產生的變化。

當參考圖像和當前圖像非常接近時,從低SD獲得的實例能夠減少參考圖像和當前圖像之間的誤差,從而在穩態下獲得良好的精度。

平均SD值有助于網絡在大部分VS執行期間進行預測。

獲得數據后,數據集以**的形式構造,其中圖像為I**,****是拍攝該圖像時對應的相機姿態。

為泰特-布萊恩角內旋(按照變換)

已處理數據集的每個實例都采用()表示。是選擇作為所需圖像的隨機實例;選擇另一個實例作為當前圖像;是二者的變換。

通過齊次變換矩陣形式表示每個姿勢(由平移和歐拉角表示)來實現(和),然后獲得

最后,對于實際上是控制器的網絡,其目的是其預測相機的速度信號,即:E控制信號。 被轉化為

是比例相機速度。由于在確定標記比例速度時不考慮增益,因此使用了周期性項,并且在控制執行期間必須對增益進行后驗調整。

速度由表示:

56648e68-cd42-11ec-bce3-dac502259ad0.png

其中,是旋轉矩陣;****同一矩陣第i行和第j列的元素;是與當前相機位置到期望相機位置的平移向量;是比例增益(初始設置為1)。

審核編輯 :李倩


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 機器人
    +關注

    關注

    211

    文章

    28390

    瀏覽量

    206951
  • 圖像
    +關注

    關注

    2

    文章

    1084

    瀏覽量

    40453
  • 視覺
    +關注

    關注

    1

    文章

    147

    瀏覽量

    23937

原文標題:【機器人識別抓取綜述】基于視覺的機器人抓取—從物體定位、物體姿態估計到平行抓取器抓取估計

文章出處:【微信號:vision263com,微信公眾號:新機器視覺】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    【「具身智能機器人系統」閱讀體驗】+初品的體驗

    《具身智能機器人系統》 一書由甘一鳴、俞波、萬梓燊、劉少山老師共同編寫,其封面如圖1所示。 本書共由5部分組成,其結構和內容如圖2所示。 該書可作為高校和科研機構的教材,為學生和研究人員提供系統
    發表于 12-20 19:17

    《具身智能機器人系統》第1-6章閱讀心得之具身智能機器人系統背景知識與基礎模塊

    、谷歌的RT系列等前沿產品中展露鋒芒。這些突破性成果標志著AI正從虛擬世界邁向物理世界的深度交互。 而研讀《具身智能機器人系統》前六章,我對具身智能(Embodied Artificial
    發表于 12-19 22:26

    解鎖機器人視覺與人工智能的潛力,從“盲人機器”改造成有視覺能力的機器人(上)

    正如人類依賴眼睛和大腦來解讀世界,機器人也需要自己的視覺系統來有效運作。沒有視覺機器人就如同蒙上雙眼的人類,僅能執行預編程的命令,容易碰撞障礙物,并犯下代價高昂的錯誤。這正是
    的頭像 發表于 10-12 09:56 ?390次閱讀
    解鎖<b class='flag-5'>機器人</b><b class='flag-5'>視覺</b>與人工智能的潛力,從“盲人<b class='flag-5'>機器</b>”改造成有<b class='flag-5'>視覺</b>能力的<b class='flag-5'>機器人</b>(上)

    智能移動機器人

    富唯智能移動機器人分為復合機器人和轉運機器人,搭載ICD核心控制器,實現一體化控制,最快可實現15分鐘現場機器人的快速部署,無縫對接產線,配合自研2D/3D
    的頭像 發表于 08-27 17:22 ?335次閱讀
    智能移動<b class='flag-5'>機器人</b>

    水星Mercury X1輪式人形機器人結合openc算法&STag標記碼視覺系統實現精確抓取

    本案例展示了如何利用視覺系統提升機械臂的抓取精度,成功實現了人形機器人的雙臂抓取不在局限于單臂抓取。 引言 如今市面上已經有了許多不同類型的
    的頭像 發表于 08-12 11:02 ?1448次閱讀
    水星Mercury X1輪式人形<b class='flag-5'>機器人</b>結合openc算法&STag標記碼<b class='flag-5'>視覺系統</b>實現精確<b class='flag-5'>抓取</b>!

    工業機器人視覺技術的應用分為哪幾種?

    工業機器人視覺技術的應用非常廣泛,涉及到許多不同的領域和場景。以下是一些主要的應用領域和相關技術: 物體識別與定位 物體識別與定位是工業機器人視覺技術的基礎應用之一。通過使用攝像頭和其
    的頭像 發表于 07-09 09:38 ?686次閱讀

    機器人視覺與計算機視覺的區別與聯系

    機器人視覺與計算機視覺是兩個密切相關但又有所區別的領域。 1. 引言 在當今科技迅猛發展的時代,機器人和計算機視覺技術在各個領域發揮著越來越
    的頭像 發表于 07-09 09:27 ?641次閱讀

    機器人視覺的應用范圍

    機器人視覺是一種將計算機視覺技術應用于機器人領域的技術,它使得機器人能夠感知和理解周圍環境,實現自主決策和執行任務。隨著人工智能、
    的頭像 發表于 07-04 11:33 ?589次閱讀

    機器人視覺的作用是什么

    的應用越來越廣泛,成為推動機器人技術發展的重要力量。 二、機器人視覺的基本原理 視覺感知:機器人視覺系統
    的頭像 發表于 07-04 11:24 ?692次閱讀

    簡述機器人控制系統的組成

    機器人控制系統機器人技術的核心,它負責接收輸入信號,處理信息,控制機器人的運動和執行任務。一個完整的機器人控制
    的頭像 發表于 06-16 15:14 ?1401次閱讀

    基于FPGA EtherCAT的六自由度機器人視覺伺服控制設計

    和增強系統處理圖像的實時性,本文提出了一種伊瑟特的六自由度機器人視覺伺服控制系統,將攝像頭集成到基于 Zynq的伊瑟特主站上,提高了視覺伺服
    發表于 05-29 16:17

    富唯智能案例|3D視覺引導機器人抓取鞋墊上下料

    隨著制造業對自動化、智能化需求的不斷提升,如何實現鞋墊上下料的精準、高效操作成為了企業亟待解決的問題。傳統的上下料方式往往依賴人工,存在效率低下、精度不足等問題。而富唯智能的3D視覺引導機器人抓取解決方案,則能夠有效解決這些問題
    的頭像 發表于 04-08 16:57 ?404次閱讀
    富唯智能案例|3D<b class='flag-5'>視覺</b>引導<b class='flag-5'>機器人</b><b class='flag-5'>抓取</b>鞋墊上下料

    視覺機器人焊接的研究現狀

    視覺機器人焊接技術是將計算機視覺機器人技術相結合,實現自動焊接過程中的實時檢測、跟蹤和控制。這一領域的研究一直處于不斷發展之中,吸引了眾多研究人員和工程師的關注。本文將就
    的頭像 發表于 04-02 15:34 ?521次閱讀
    <b class='flag-5'>視覺</b><b class='flag-5'>機器人</b>焊接的研究現狀

    機器人視覺定位抓取技術原理總結

    首先,攝像頭的“眼睛”會捕捉到目標物體的圖像信息,無論是簡單的形狀還是復雜的紋理,都會被一一記錄下來。這些圖像信息隨后被轉化為電信號,傳遞給機器人的“大腦”——圖像處理系統
    發表于 01-26 09:27 ?1353次閱讀

    富唯智能機器人集成了協作機器人、移動機器人視覺引導技術

    智能機器人還集成了協作機器人、移動機器人視覺引導技術,具有物料高精度抓取或放置功能,可滿足各種復雜場景的協作搬運需求。
    的頭像 發表于 01-17 11:58 ?431次閱讀
    主站蜘蛛池模板: 亚洲黄色成人| 男人边吃奶边挵进去呻吟漫画| 国产AV午夜精品一区二区入口 | 久久久乱码精品亚洲日韩| 国产三级在线观看视频| 丰满的大白屁股ass| 出租屋交换人妻 全文| 粗壮挺进邻居人妻无码| 不用播放器的黄| 俄罗斯乌克兰战争原因 | 亚洲永久免费视频| 亚洲欧美中文在线一区| 亚洲精品天堂无码中文字幕影院 | 欧美精品3atv一区二区三区| 久久亚洲精品专区蓝色区| 久久精品熟女亚洲AV国产| 久久精选视频| 麻豆精品无码久久久久久久久| 久久亚洲精品成人综合| 芒果视频看片在线观看| 欧美freesex黑人又粗又| 欧美特黄三级成人| 日本一本二本三区免费免费高清| 日本ccc三级| 玩高中女同桌肉色短丝袜脚文 | 美女的避毛| 欧美一区二区三区激情视频| 日本又黄又裸一级大黄裸片| 色大姐综合网| 亚洲高清国产拍精品影院| 亚洲熟女乱色一区二区三区| 在线免费视频国产| 99久久99久久免费精品蜜桃| yellow视频免费观看| 国产高清视频免费在线观看| 狠狠色丁香婷婷久久综合 | 高中生被C到爽哭视频免费| 国产啪精品视频网免费| 精品国产乱码久久久久久上海公司 | 123成人站| yin乱教师系列合集|