色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

谷歌開發pipeline,在移動設備上可實時計算3D目標檢測

牽手一起夢 ? 來源:機器之心 ? 作者:佚名 ? 2020-03-13 15:41 ? 次閱讀

3月13日消息,谷歌宣布推出 MediaPipe Objectron,這是一種適用于日常物體的移動端實時3D目標檢測 pipeline,它能夠檢測 2D 圖像中的目標,并通過新創建 3D 數據集上訓練的機器學習模型來估計這些目標的姿態和大小。它在安卓、IOS 網頁等各種平臺上都能應用機器學習媒體模型,并加入了移動端試試 3D 檢測模型。目前 MediaPipe包含人臉檢測、手部檢測、頭發分割和視頻自動橫豎屏轉換等功能。

MediaPipe 是一個用于構建 pipeline 進而處理不同模態感知數據的跨平臺開源框架,Objectron 則在 MediaPipe 中實現,其能夠在移動設備上實時計算目標的定向 3D 邊界框。從單個圖像進行 3D 目標檢測。MediaPipe 可以在移動端上實時確認目標對象的位置、方向以及大小。整個模型非常精簡,速度也非常快,研究者將整套方案都開源了出來。

獲取真實的3D訓練數據

隨著依賴于 3D 傳感器(如 LIDAR)的自動駕駛行業發展普及,現在已有大量街道場景的 3D 數據,但對于日常生活中擁有更細顆粒度的目標來說,有標注的 3D 數據集就非常有限了。所以,為了解決此問題,谷歌團隊使用了 AR 會話(Session)數據開發了一種全新的數據 Pipeline。

此外,隨著 ARCore 以及 ARkit 的出現,數億體量的智能手機擁有了 AR 功能,并且能夠通過 AR 會話取獲取更多的信息,包括相機姿態、稀疏 3D 點云、光照估計以及平面區域估計。為了標記真實數據,團隊構建了一個全新的標注工具,并且與 AR 會話數據一起使用,該標注工具使標注者得以快速標記目標的 3D 邊界框。

該工具使用了分屏視圖來顯示 2D 的視頻幀,同時在其左側疊加 3D 邊界框,并在右側顯示 3D 點云,攝像機方位以及所檢測到的水平面。標注器在 3D 視圖中繪制 3D 邊界框,并通過查看 2D 視頻幀中的投影來驗證其位置。

左:帶標注的 3D 邊界框所形成的投影展示在邊界框頂部,更易于驗證標注;右:通過檢測到的目標表面以及稀疏點云數據,可以為不同的相機姿態標注真實世界中的 3D 邊界框。

AR 合成數據

之前常用的方法會根據合成數據補充真實數據,以提高預測的準確性。然而這樣的做法通常會導致質量低下、不真實的數據,且如果要執行圖像的真實感渲染,又需要更多的計算力。

研究者采用了另一種稱之為 AR 合成數據(AR Synthetic Data Generation)的方法,只要將對象放到 AR 系統的工作場景中,我們就能利用相機姿態估計、水平面檢測、光照估計生成物理上可能存在的位置及場景。這種方法能生成高質量合成數據,并無縫匹配實際背景。通過結合真實數據與 AR 合成數據,研究者能將模型的準確性提高約 10%。

3D 目標檢測的流程是什么樣的

對于 3D 目標檢測,研究者先構建了一個單階段模型 MobilePose,以預測單張 RGB 圖像中某個目標的姿態和物理大小。該模型的主干是一個編碼器-解碼器架構,其構建在 MobileNet V2 的基礎上。研究者應用了多任務學習方法,來從檢測與回歸的角度聯合預測目標的形狀,且在預測形狀的過程中,其只依賴于標注的分割圖像。

MobilePose-Shape 網絡在中間層會帶有形狀預測模塊。

在模型的訓練中,如果數據沒有標注形狀,那也是可行的。只不過借助檢測邊界框,研究者可以預測形狀中心與分布。

為了獲得邊界框的最終 3D 坐標,研究者利用了一種完善的姿態估計算法(EPnP),它可以恢復對象的 3D 邊界框,而無需知道對象維度這一先驗知識。給定 3D 邊界框,我們可以輕松計算對象的姿態和大小。

下圖顯示了網絡架構和后處理過程,該模型輕巧到可以在移動設備上實時運行(在 Adreno 650 mobile GPU 上以 26 FPS 的速度運行)。

3D 目標檢測的神經網絡架構與后處理過程。

模型的示例結果,其中左圖為估計邊界框的原始 2D 圖像,中間為帶高斯分布的目標檢測,最右邊為預測的分割 Mask。

在 MediaPipe 中進行檢測和追蹤

當模型對移動設備獲得的每一幀圖像進行計算的時候,它可能會遇到晃動的情況,這是因為每一幀對目標邊界框預測本身的模糊性造成的。為了緩解這個問題,研究者采用了檢測+追蹤的框架,這一框架近期被用于 2D 檢測和追蹤中。這個框架減少了需要在每一幀上運行網絡的要求,因此可以讓模型的檢測更為精確,同時保證在移動端上的實時性。它同時還能保持識別幀與幀之間的目標,確保預測的連貫性,減少晃動。

為了進一步提升這一 pipeline 的效率,研究者設置模型在每幾幀后再進行一次模型推理。之后,他們使用名為快速動作追蹤(instant motion tracking)和 Motion Stills 技術進行預測和追蹤。當模型提出一個新的預測時,他們會根據重疊區域對檢測結果進行合并。

為了鼓勵研究者和開發者基于這一 pipeline 進行試驗,谷歌目前已經將研究成果開源到了 MediaPipe 項目中,包括端到端的移動設備應用 demo,以及在鞋、椅子兩個分類中訓練好的模型。研究者希望這一解決方案能夠更好地幫助到社區,并產生新的方法、應用和研究成果。團隊也希望能夠擴大模型到更多類別中,進一步提升在移動端設備的性能表現。

責任編輯:gt

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 3D
    3D
    +關注

    關注

    9

    文章

    2875

    瀏覽量

    107488
  • 谷歌
    +關注

    關注

    27

    文章

    6164

    瀏覽量

    105310
收藏 人收藏

    評論

    相關推薦

    AI模型部署邊緣設備的奇妙之旅:目標檢測模型

    以及邊緣計算能力的增強,越來越多的目標檢測應用開始直接在靠近數據源的邊緣設備運行。這不僅減少了數據傳輸延遲,保護了用戶隱私,同時也減輕了云
    發表于 12-19 14:33

    CASAIM自動化檢測設備3D尺寸檢測形位公差測量設備

    隨著科技的不斷發展,自動化檢測設備正朝著高精度、高效率、自動化和柔性化的方向發展,能夠不需要人工干預的情況下完成檢測任務。CASAIM自動化檢測
    的頭像 發表于 11-20 16:22 ?146次閱讀

    中興通訊與中國移動發布全球首創AI裸眼3D新品,引領3D科技新浪潮

    科技飛速發展的今天,裸眼3D技術以其獨特的沉浸式體驗,正逐漸成為科技領域的新寵。近日,全球領先的通訊科技企業中興通訊攜手中國移動備受矚目的2024MWC上海展
    的頭像 發表于 06-28 15:32 ?996次閱讀

    工業鏡頭3D結構光檢測中實際應用

    工業鏡頭3D結構光檢測中實際應用
    的頭像 發表于 06-01 08:34 ?303次閱讀
    工業鏡頭<b class='flag-5'>在</b><b class='flag-5'>3D</b>結構光<b class='flag-5'>檢測</b>中實際應用

    VIVERSE 推行實時3D渲染: 探索Polygon Streaming技術力量與應用

    商業領域和娛樂行業中,3D渲染技術一直是推動視覺體驗革新的關鍵力量。隨著技術的進步,實時3D渲染技術逐漸成為主流,近期VIVERSE平臺對外發布引入一項全新技術——Polygon
    的頭像 發表于 05-31 15:49 ?2336次閱讀
    VIVERSE 推行<b class='flag-5'>實時</b><b class='flag-5'>3D</b>渲染: 探索Polygon Streaming技術力量與應用

    3D視覺技術慣性環料領域的未來發展

    隨著制造業的智能化和自動化水平不斷提升,慣性環作為汽車發動機減震器中的核心組件,其精準、高效的料過程顯得尤為關鍵。作為實現這一目標的重要技術手段,3D視覺技術慣性環
    的頭像 發表于 05-21 16:06 ?306次閱讀
    <b class='flag-5'>3D</b>視覺技術<b class='flag-5'>在</b>慣性環<b class='flag-5'>上</b>料領域的未來發展

    機器人3D視覺引導系統框架介紹

    通過自主開發3D掃描儀可獲準確并且快速地獲取場景的點云圖像,通過3D識別算法,實現在對點云圖中的多種目標物體進行識別和位姿估計。
    發表于 04-29 09:31 ?333次閱讀
    機器人<b class='flag-5'>3D</b>視覺引導系統框架介紹

    友思特應用 | 穩步前行:基于FPGA 3D相機實現輪胎定位檢測應用

    乘用車輛的長期穩定行駛離不開輪胎等零部件的定期檢測。友思特 3D相機實時采集車輛四輪的三維點云圖,提取關鍵信息并進行計算分析,實現車輛四輪
    的頭像 發表于 04-24 17:00 ?375次閱讀
    友思特應用 | 穩步前行:基于FPGA <b class='flag-5'>3D</b>相機實現輪胎定位<b class='flag-5'>檢測</b>應用

    包含具有多種類型信息的3D模型

    三維視圖。事實,AE可以3D BIM模型元素與時間因素聯系起來后創建4D模型,從而更廣泛地進行產品的可視化預覽,更精確地分析建筑項目的實施進度。 以下五個BIM軟件平臺是目前最受
    發表于 03-28 17:18

    Nullmax提出多相機3D目標檢測新方法QAF2D

    今天上午,計算機視覺領域頂會CVPR公布了最終的論文接收結果,Nullmax感知部門的3D目標檢測研究《Enhancing 3D Objec
    的頭像 發表于 02-27 16:38 ?1133次閱讀
    Nullmax提出多相機<b class='flag-5'>3D</b><b class='flag-5'>目標</b><b class='flag-5'>檢測</b>新方法QAF2<b class='flag-5'>D</b>

    基于深度學習的方法處理3D點云進行缺陷分類應用

    背景部分介紹了3D點云應用領域中公開訪問的數據集的重要性,這些數據集對于分析和比較各種模型至關重要。研究人員專門設計了各種數據集,包括用于3D形狀分類、3D物體
    的頭像 發表于 02-22 16:16 ?1129次閱讀
    基于深度學習的方法<b class='flag-5'>在</b>處理<b class='flag-5'>3D</b>點云進行缺陷分類應用

    ELF 1 開發實現讀取攝像頭視頻進行目標檢測

    當前,將AI或深度學習算法(如分類、目標檢測和軌跡追蹤)部署到嵌入式設備,進而實現邊緣計算,正成為輕量級深度學習算法發展的一個重要趨勢。今天將與各位小伙伴分享一個實際案例:
    的頭像 發表于 01-24 10:38 ?686次閱讀
    <b class='flag-5'>在</b>ELF 1 <b class='flag-5'>開發</b>板<b class='flag-5'>上</b>實現讀取攝像頭視頻進行<b class='flag-5'>目標</b><b class='flag-5'>檢測</b>

    友思特C系列3D相機:實時3D點云圖像

    3D相機
    虹科光電
    發布于 :2024年01月10日 17:39:25

    如何搞定自動駕駛3D目標檢測

    可用于自動駕駛場景下基于圖像的3D目標檢測的數據集總結。其中一些數據集包括多個任務,這里只報告了3D檢測基準(例如KITTI
    發表于 01-05 10:43 ?584次閱讀
    如何搞定自動駕駛<b class='flag-5'>3D</b><b class='flag-5'>目標</b><b class='flag-5'>檢測</b>!

    ad中3d封裝放到哪個層

    廣告中,3D封裝通常放置視覺設計層。視覺設計是廣告中至關重要的一個層面,通過圖像、顏色和排版等視覺元素來引起目標受眾的注意,并傳達廣告的信息。
    的頭像 發表于 01-04 15:05 ?1037次閱讀
    主站蜘蛛池模板: ABO成结顶腔锁住| 露露的性战k8经典| a在线视频免费观看| 午夜性伦鲁啊鲁免费视频| 少妇人妻偷人精品视蜜桃| 久久久91精品国产一区二区 | 在线免费国产| 日韩熟女精品一区二区三区| 久草在线在线精品观看99| 国产精品婷婷久青青原| 99久久99久久免费精品蜜桃| 亚洲精品久久久午夜福利电影网 | 天天久久影视色香综合网| 妞干网手机免费视频| 久久激情影院| 久久www免费人成_看片高清| 国产成人精品免费视频大全办公室| 96.8在线收听| 777久久人妻少妇嫩草AV| 在线视频免费国产成人| 在线观看成人3d动漫入口| 亚洲精品无码不卡在线播HE| 香蕉尹人综合精品| 午夜男人免费福利视频 | 护士喂我吃乳液我脱她内裤| 国产精品JIZZ在线观看A片| 国产黄a三级三级三级| 国产免费看片| 精品久久电影网| 两个奶被男人揉了一个晚上| 猫咪www958ii| 年轻的女职工在线观看| 欧美国产在线一区| 日本浴室日产在线系列 | 国产精品涩涩涩视频网站| 国产人妻人伦精品1国产| 国产在线综合色视频| 久久精品影院永久网址| 明星三级电影| 午夜福利影院私人爽爽| 伊人精品影院一本到综合|