色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

基于NVIDIA Jetson的機器人面臨的結果、系統和挑戰

星星科技指導員 ? 來源:NVIDIA ? 作者:Mitesh Patel ? 2022-04-13 09:14 ? 次閱讀

進行高精度的實時推理是一項具有挑戰性的任務,尤其是在能見度較低的環境中。借助 NVIDIA Jetson 嵌入式平臺,最近結束的國防高級研究計劃局( DARPA )地下挑戰賽( SubT )團隊能夠以高精度和高吞吐量檢測感興趣的物體。在這篇文章中,我們將介紹在系統競賽的最后一站中團隊所面臨的結果、系統和挑戰。

SubT 挑戰賽是由 DARPA 組織和協調的國際機器人競賽。該競賽鼓勵研究人員為機器人開發新的方法來繪制、導航和搜索環境,這些環境會帶來各種挑戰,例如能見度低、存在危險、地圖未知或通信基礎設施差。

2019 冠狀病毒疾病包括三個初步的電路事件:隧道電路、城市電路和洞穴電路(由于 COVID-19 大流行而取消),以及最終的綜合挑戰課程。每個賽道和決賽都在不同的環境和不同的地形中舉行。據活動組織者介紹,比賽在 3 個不同的階段舉行, 2021 九月在 KY 。路易斯維爾舉行了最后一場比賽。

SubT Challenge 的競爭對手利用 NVIDIA 技術滿足其硬件和軟件需求。團隊使用桌面/服務器 GPU 來訓練使用 NVIDIA Jetson 嵌入式平臺部署在機器人上的模型,以實時檢測感興趣的工件和對象,這是確定獲勝團隊的主要標準。七分之五的競爭對手也使用 Jetson 平臺進行實時目標檢測。

次級挑戰

SubT 挑戰的靈感來自于第一響應者在搜索救援行動或災難響應期間面臨的真實場景。

通過本次比賽開發的最先進的方法將有助于降低搜索救援人員和急救人員在探索未知地下環境時的傷亡風險。此外,自動機器人將協助工作人員探索環境,尋找幸存者、感興趣的物體,并進入對人類有風險的地點。

圖 1 。 DARPA 地下挑戰探索了繪制、導航和搜索復雜地下環境的創新方法和新技術。 – 圖片由 DARPA 提供 。

技術挑戰

這場比賽包含了各種技術挑戰,比如應對一些機器人可能無法輕松操縱的未知、無結構和不平的地形。

這些環境通常沒有任何與中央司令部通信的基礎設施。從感知角度來看,這些環境的可見度很低,機器人必須找到感興趣的工件和物體。

競爭團隊的任務是通過開發新型傳感器融合方法,以及開發新的或修改現有機器人平臺來應對這些挑戰,這些平臺具有不同的定位和檢測感興趣對象的能力。

CERBERUS 團隊

CERBERUS 團隊(用于地下環境中自主探索的協作步行和飛行機器人)是世界各地多所大學和工業組織的聯合財團。

該團隊與四個名為 ANYmal 的四足機器人、五個主要由內部制造、具有可變大小和有效載荷能力的無人機,以及一個超級巨型機器人形式的漫游機器人一起參加了比賽。在比賽決賽中,該團隊最終使用了四個 ANYmal 機器人和超級巨型機器人進行探索和人工制品檢測。

每個 ANYmal 機器人都配備了兩臺基于 CPU 的計算機和一臺 NVIDIA Jetson AGX Xavier 。漫游者機器人配備了 NVIDIA GTX 1070 GPU 。

CERBERUS 團隊使用改進版的 You Only Look One ( YOLO )模型進行目標檢測。該模型使用兩個 NVIDIA RTX 3090 GPU 在 40000 個標記圖像上進行訓練。

在部署到 Jetson 上進行實時推理之前,使用 TensorRT 對訓練后的模型進行了進一步優化。 Jetson AGX Xavier 能夠以 20 赫茲的集體頻率進行推理。在比賽總決賽中, CERBERUS 團隊率先發現了環境中 40 件文物中的 23 件,奪得了第一名。

CERBERUS 團隊還使用 GPU 繪制地形高程圖,并訓練 ANYmal 四足機器人的移動策略控制器。使用 Jetson AGX Xavier 實時繪制高程圖。 ANYmal 機器人在崎嶇地形下的移動策略訓練是使用桌面 GPU 離線完成的。

團隊聯袂主演

在南加利福尼亞州 NASA 噴氣推進實驗室( JPL )的研究人員以及其他大學和工業合作者的帶領下,團隊合作地下自主機器人( Co STAR )在 2020 年的比賽中獲勝,該比賽專注于探索復雜的地下城市環境。

他們還成功地參加了 2021 屆混合人工和自然環境的比賽,排名第五。聯袂主演的團隊帶著四個位置、四個哈士奇機器人和兩架無人機參加了比賽。

在最后一輪中,由于意外的硬件問題,團隊最終使用了一個 Spot 和三個哈士奇機器人。每個機器人都配備了一臺基于 CPU 的計算機以及一臺 NVIDIA Jetson AGX Xavier 。

在目標檢測方面,該團隊使用 RGB 和熱圖像。他們使用 YOLO v5 模型的中型變體來處理高分辨率圖像以進行實時推斷。該團隊訓練了兩種不同的模型,對捕獲的 RGB 和熱圖像進行推理。

基于圖像的模型使用約 54000 個標記幀進行訓練,而熱圖像模型使用約 2400 個標記圖像進行訓練。為了訓練模型在他們的定制數據集上,團隊 Co Star 使用了在 COCO 數據集上的預訓練的 YOLO V5 模型,并使用NVIDIA 傳輸學習工具包(稱為 TAO 工具包)進行傳輸學習。

使用兩個內部部署的 NVIDIA A100 GPU 和一個由八個 V100 GPU 組成的 AWS 實例對模型進行訓練。在 Jetson AGX Xavier 上部署模型之前,團隊使用 TensorRT 修剪模型。

使用這種設置,團隊合作星能夠在 28 赫茲的頻率下對五臺 RealSense 相機接收到的 RGB 圖像和一臺熱敏相機接收到的圖像進行推斷。在最后一次運行中,機器人能夠檢測到指定區域中存在的所有 13 個工件。由于部署現場意外的硬件問題導致部署延遲,因此勘探時間有限。

配備 NVIDIA Jetson 平臺和NVIDIA GPU 硬件,在 DARPA SUT 事件中競爭的團隊能夠有效地訓練模型以進行實時推理,解決地下環境所帶來的挑戰與精確的目標檢測。

關于作者

Mitesh Patel 是 NVIDIA 的開發者關系經理,他與高等教育研究人員合作,使用 NVIDIA SDK 和平臺執行他們的想法。在加入NVIDIA 之前,他是富士施樂帕洛阿爾托實驗室有限公司的高級研究科學家,致力于開發室內本地化技術,用于醫院的資產跟蹤和制造設施的送貨車跟蹤等應用。 Mitesh 于 2014 在澳大利亞悉尼科技大學獲得了來自自動系統中心( CAS )的機器人學博士學位。

審核編輯:郭婷

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • NVIDIA
    +關注

    關注

    14

    文章

    4981

    瀏覽量

    102996
  • gpu
    gpu
    +關注

    關注

    28

    文章

    4729

    瀏覽量

    128897
  • 計算機
    +關注

    關注

    19

    文章

    7489

    瀏覽量

    87868
收藏 人收藏

    評論

    相關推薦

    【「具身智能機器人系統」閱讀體驗】+初品的體驗

    《具身智能機器人系統》 一書由甘一鳴、俞波、萬梓燊、劉少山老師共同編寫,其封面如圖1所示。 本書共由5部分組成,其結構和內容如圖2所示。 該書可作為高校和科研機構的教材,為學生和研究人員提供系統
    發表于 12-20 19:17

    開發小型機器人面臨哪些難題

    盡管不同商用場景的大多區域都十分相似,但非標準化的場景屬性無法避免的導致了不少corner case。面對狹窄場景,“強悍”的商用清潔機器人迎來了自己的“職業危機”。
    的頭像 發表于 11-22 09:44 ?175次閱讀

    初創公司借助NVIDIA Metropolis和Jetson提高生產線效率

    初創公司使用 NVIDIA Metropolis 視覺 AI 和 Jetson 邊緣 AI 平臺提高生產線效率。
    的頭像 發表于 11-19 14:39 ?178次閱讀

    使用NVIDIA Jetson打造機器人導盲犬

    Selin Alara Ornek 是一名富有遠見的高中生。她使用機器學習和 NVIDIA Jetson邊緣 AI 和機器人平臺,為視障人士打造了
    的頭像 發表于 11-09 13:51 ?240次閱讀

    使用機器學習和NVIDIA Jetson邊緣AI和機器人平臺打造機器人導盲犬

    Selin Alara Ornek 是一名富有遠見的高中生。她使用機器學習和 NVIDIA Jetson 邊緣 AI 和機器人平臺,為視障人士打造了
    的頭像 發表于 11-08 10:05 ?388次閱讀

    NVIDIA 加速人形機器人發展

    開發者可以訪問新的 NVIDIA NIM 微服務,用于 Isaac Lab 和 Isaac Sim 中的機器人仿真、OSMO 機器人云計算編排服務和遠程操作數據捕獲工作流等 ? ? ? 丹佛
    發表于 07-30 09:15 ?739次閱讀
    <b class='flag-5'>NVIDIA</b> 加速人形<b class='flag-5'>機器人</b>發展

    德國機器人面臨中國競爭與國內經濟下滑的雙重壓力

    在6月18日的一則消息中,德國機械工程行業協會(VDMA)揭示了其國內機器人產業正面臨的雙重挑戰:來自中國的激烈競爭和國內經濟形勢的疲軟。
    的頭像 發表于 06-18 15:59 ?429次閱讀

    全球機器人開發領域采用NVIDIA 機器人開發和生產

    比亞迪電子、西門子、泰瑞達和 Alphabet 旗下公司 Intrinsic 采用 NVIDIA Isaac 機器人平臺開發自主機械臂、人形機器人和移動機器人 ?
    的頭像 發表于 06-03 18:25 ?1230次閱讀

    Nvidia Jetson Nano + CYW55573/AWXB327MA-PUR M.2無法使用操作系統內置的網絡管理器管理Wi-Fi如何解決?

    我們使用的是 Nvidia Jetson Nano + CYW55573/AWXB327MA-PUR M.2 ,請參閱 Nvidia Jetson 與英飛凌 AIROC Wi-Fi 6
    發表于 05-23 06:47

    使用NVIDIA Isaac Manipulator生成抓取姿勢和機器人運動

    NVIDIA 宣布與 Intrinsic.ai 就工業機器人任務的基礎技能模型學習展開合作。
    的頭像 發表于 05-17 10:33 ?1256次閱讀
    使用<b class='flag-5'>NVIDIA</b> Isaac Manipulator生成抓取姿勢和<b class='flag-5'>機器人</b>運動

    其利天下技術·搭載無刷電機的掃地機器人的前景如何?

    地毯并增加吸力,或是繞過障礙物進行清掃。同時,通過手機APP遠程控制、語音指令等方式,用戶可以方便地操作掃地機器人,實現個性化的清潔需求。 3.掃地機器人面臨的技術壁壘與客戶體驗問題 盡管掃地機器人
    發表于 05-05 15:03

    透過NVIDIA GR00T模型和Jetson Thor芯片看人形機器人未來發展

    ,具身智能作為行業熱詞不脛而走,實際上NVIDIA等公司早就在這一領域開始了布局。 具身智能指機器人或智能系統能夠通過感知器和執行器與其所處的環境進行實時互動。從概念上說,具身智能的實例范圍很廣,包括
    的頭像 發表于 04-10 00:14 ?3497次閱讀
    透過<b class='flag-5'>NVIDIA</b> GR00T模型和<b class='flag-5'>Jetson</b> Thor芯片看人形<b class='flag-5'>機器人</b>未來發展

    NVIDIA Isaac機器人平臺升級,加速AI機器人技術革新

    NVIDIA Isaac機器人平臺近期實現重大升級,通過引入最新的生成式AI技術和先進的仿真技術,顯著加速了AI機器人技術的發展步伐。該平臺正不斷擴展其基礎模型、機器人學習框架、AI工
    的頭像 發表于 03-27 10:36 ?672次閱讀

    FPGA模擬MIPI相機接入Jetson方案

    視覺相機是機器智能/自動化的關鍵,NVIDIA Jetson支持多個合作伙伴的Camera,這些相機包括USB、以太網、MIPI等接口的相機。
    的頭像 發表于 01-04 09:51 ?2388次閱讀
    FPGA模擬MIPI相機接入<b class='flag-5'>Jetson</b>方案

    使用 NVIDIA Isaac 仿真并定位 Husky 機器人

    如何使用 ROS 2 Husky 官方軟件包將該機器人導入 NVIDIA Isaac Sim 并創建仿真。 本 Demo 中的 Husky 機器人配備了 NVIDIA
    的頭像 發表于 12-26 18:05 ?1321次閱讀
    使用 <b class='flag-5'>NVIDIA</b> Isaac 仿真并定位 Husky <b class='flag-5'>機器人</b>
    主站蜘蛛池模板: 最新高清无码专区| 国产美女又黄又爽又色视频网站| 青青青久草| 国产欧美在线亚洲一区刘亦菲 | SM高H黄暴NP辣H调教性奴| 美女扒开腿让男人桶个爽| 在线国产三级| 年轻的的小婊孑2中文字幕| wwwwxxxx欧美| 色狠狠一区| 国产色婷亚洲99精品AV| 亚洲乱码一区二区三区香蕉| 国内精品国内自产视频| 亚洲精品国产国语| 精品久久久爽爽久久久AV| 最新国产av.在线视频| 免费看美女的网站| wwwwxxxxx中国| 翁公与小莹在客厅激情| 国产成人在线小视频| 伸进同桌奶罩里摸她胸作文| 中文字AV字幕在线观看| 蜜桃精品成人影片| GAY东北澡堂激情2022| 三级全黄的视频| 国产色婷亚洲99精品AV在| 亚洲人成影院在线播放| 久久强奷乱码老熟女| 亚洲 日韩 国产 中文视频| 毛篇片在线观看| 久久国产高清字幕中文| 红尘影院在线观看| 风流少妇BBWBBW69视频| 亚洲 欧美 国产 综合 播放| 男女边吃奶边做边爱视频| 超碰97视频在线观看| 野花视频在线观看免费最新动漫| 日韩成人在线视频| 久久这里只有精品视频9| 国产精品嫩草99AV在线| a级毛片高清免费视频|