色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

如何使用 NVIDIA Omniverse Replicator 生成的合成數據訓練缺陷檢測模型

NVIDIA英偉達企業解決方案 ? 來源:未知 ? 2023-04-19 04:05 ? 次閱讀

美國質量協會(ASQ)的數據顯示,制造商因缺陷而遭受的損失可占其銷售總收入的近 20%。用戶日常使用的電話、汽車、電視和電腦產品都須通過精密制造產出,方能在各類條件和場景中發揮作用。

基于 AI計算機視覺應用正在以更快、更有效的方式幫助制造業檢測制造流程中存在的缺陷,以幫助企業提高產量、保持產品質量的穩定性并減少誤報。事實上,根據谷歌云制造業報告所示,當前已有 64% 的制造企業通過部署 AI 來幫助其開展日常活動,其中有 39% 的制造企業將 AI 用于質量檢查。

驅動相關視覺應用的 AI 模型必須經過訓練和調優,以預測眾多用例中存在的特定缺陷,例如:

  • 汽車制造缺陷:如裂紋、車漆瑕疵或誤裝等

  • 半導體電子產品缺陷:如印刷電路板(PCB)元件錯位、斷裂、存在多余的焊點或存在灰塵或頭發等異物

  • 電信設施缺陷:如蜂窩塔和電線桿上存在裂縫或被腐蝕等

這類感知 AI 模型的訓練需要采集存在特定缺陷的圖像來完成。但這類圖像采集在生產環境中很難做到且成本高昂。

NVIDIA Omniverse Replicator 可生成用于訓練 AI 模型的合成數據,來幫助企業克服數據挑戰。NVIDIA Omniverse 是一個基于通用場景描述(USD)的計算平臺,可賦能個人和團隊開發 3D 工作流和應用。NVIDIA Omniverse Replicator 是 Omniverse 平臺中的一項可擴展的基礎應用。

開發人員可基于 Omniverse Replicator,通過改變各項參數(如缺陷類型、位置、環境照明等),輕松生成不同的數據集來啟動和加快模型訓練與迭代。用戶可通過訪問 Develop on NVIDIA Omniverse 了解更多有關信息

https://developer.nvidia.cn/omniverse

本文將介紹如何充分利用合成數據來訓練對象檢測模型、使用有限的真值數據來進一步提高準確性以及使用模型處理中從未出現過的圖像來對模型進行驗證。本文將基于該方法來展示合成數據在克服真實數據缺失方面存在的價值,以及如何通過模型訓練縮小仿真與現實之間的差距。

開發缺陷檢測模型

以下示例是在車身(錐形前臉)上生成劃痕(如圖 1 所示)。需要注意的是,該工作流程需要使用 Adobe Substance 3D Designer 或存在預先生成的劃痕庫、NVIDIA Omniverse 以及所下載的 USD 格式的樣本。

此工作流以在 Adobe Substance 3D Designer 中創建一組缺陷開始,也就是本示例中的“劃痕”,然后將缺陷與 CAD 零件導入 NVIDIA Omniverse 中,再將 CAD 零件置于特定場景中(例如生產線或車間)并在相應位置放置傳感器或攝像頭。

場景設置完畢后,基于 NVIDIA Omniverse Replicator,以程序性的方式將缺陷置于 CAD 零件上,來生成用于模型訓練和評估的注釋數據。整體的迭代流程將持續進行,直至模型達到預期的關鍵績效指標(KPI)為止。

e8c3d6ae-de23-11ed-bfe3-dac502259ad0.png

圖 2:基礎計算機視覺模型訓練流程

創建草圖

磨損和劃痕是制造業常見的表面缺陷。制造業中會使用名為法線貼圖的紋理映射技術在 3D 環境中展現這些紋理。法線貼圖利用 RGB 圖像來表示高度信息,可直接對應 3D 空間中相對于一個表面所對應的 X、Y 和 Z 軸。

本例中使用的法線貼圖是在 Adobe Substance 3D Designer 中所創建的。此外,Blender 或 Autodesk Maya 等多數建模軟件也可用于生成法線貼圖。

e8dd7f6e-de23-11ed-bfe3-dac502259ad0.png

圖 3:在 Adobe Substance 3D Designer 中創建的劃痕實例

雖然開發人員可先將劃痕導入 Omniverse,而后再隨機調整其大小和位置。但最好是建立一個完整的法線圖庫并將其以文件形式保存,并用以生成一組具有魯棒性的合成數據。開發人員所生成的法線貼圖應該包含各類形狀和大小,以代表不同程度的劃痕。

場景設置

接下來該進行場景設置了。首先,借助 Omniverse Code 導入相關零件的 CAD 模型。該示例中是導入了一個“SOLIDWORKS.SLDPRT”文件,該文件是 Sierra Cars RX3 賽車的前臉面板模型。

e8f4bb98-de23-11ed-bfe3-dac502259ad0.png

圖 4:Sierra RX3 的完整 CAD 裝配體

在將 CAD 文件導入 Omniverse 后,可對場景背景進行設置以便能盡可能接近基于真值數據構建的環境。本示例是使用了車間的激光雷達掃描圖。

e909b6ba-de23-11ed-bfe3-dac502259ad0.png

圖 5:在 Omniverse 中組裝 USD 格式的場景,并將不同材質應用于面板中并將其置于車間掃描圖中

為方便復制,此示例中還將背景和 CAD 模型整合成為了可在 Omniverse Exchange 中下載的 USD 場景。

使用擴展程序來構建隨機化劃痕

為了給該模型創建一個多樣化的訓練數據集,開發人員需要生成各種合成劃痕以反映不同劃痕可能留下的不同類型的痕跡。該示例使用了基于 Omniverse Kit 構建的參考擴展程序以隨機化劃痕的位置、大小和角度。詳情請訪問 GitHub 上的 NVIDIA-Omniverse/kit-extension-sample-defectsgen 了解。

e9390f32-de23-11ed-bfe3-dac502259ad0.png

圖 6:Omniverse 中的 Defects Sample Extension

需注意的是,該參考擴展程序用于操作可將法線貼圖作為紋理投射到 CAD 零件表面的 proxy 對象。改變擴展程序中的參數實際上是在改變投射紋理的立方體大小和形狀。

e94cbef6-de23-11ed-bfe3-dac502259ad0.gif

圖 7:示例 - 在 CAD 零件表面程序性生成劃痕

利用所需參數運行擴展程序后,將能夠輸出一組帶注釋的參考圖像并將以 .png、.json 和 .npy 文件格式保存至一個可利用擴展程序進行定義的文件夾中。

模型訓練和驗證

Omniverse 擴展程序輸出的是可用于大量本地或云端模型訓練平臺的標準文件格式。此外,開發人員還可以通過構建自定義寫入器來格式化相關數據,以便將其用于特定的模型和平臺之中。

該示例中開發人員建立了一個可將輸出結果導入 Roboflow 的自定義 COCO JSON 寫入器。Roboflow 是一個可用于訓練和部署計算機視覺模型的網絡平臺。

e981fc9c-de23-11ed-bfe3-dac502259ad0.png

圖 8:Roboflow 中完整的合成數據集

開發人員首先是在 Roboflow 用戶界面中使用了一組包含 1000 張合成圖像數據集來訓練 YOLOv8 模型,以加快對象檢測速度。這項操作的主要目的在于查看模型在該數據集中的表現情況,這僅僅只是一個開始。模型訓練是一個迭代過程,因此訓練伊始可以使用規模較小的數據集,而后在迭代中持續擴大數據集的規模并提升數據集的多樣性。

e9a2ca6c-de23-11ed-bfe3-dac502259ad0.png

圖 9:合成數據生成所產出的初步結果顯示模型準確率為 74%、34% 和 39%

雖然初始模型展示的結果較好,但并不完美(如圖 9 所示)。在初始模型中仍存在以下缺陷:

  • 未有效檢測出長劃痕

  • 捕捉了反光邊緣

  • 車間地板上的劃痕也被包含在內

為解決這些問題,可以采取以下解決措施:

  • 調整擴展程序參數以涵蓋長度更長的劃痕

  • 在所生成的場景中加入零件的更多角度

  • 改變照明和背景場景

另一個辦法是使用真值圖像來強化合成數據。雖然 Replicator 會對文件進行自動注釋,但該示例中仍使用了 Roboflow 的內置工具來進行手動注釋。

e9c815f6-de23-11ed-bfe3-dac502259ad0.png

圖 10:Roboflow 內置用于手動注釋圖像的工具

通過上述調整可訓練該模型于每張驗證圖像中發現更多的劃痕,甚至能在置信度閾值更高的情況下來完成此操作。

e9f1c7a2-de23-11ed-bfe3-dac502259ad0.png

圖 11:通過 Roboflow 用戶界面調整模型參數

入門

事實上在現實世界中,并非總是能夠獲得足夠的真值圖像。開發人員可以使用 NVIDIA Omniverse Replicator 生成的合成數據來縮小仿真與現實之間的差距。

如若想要自行生成合成數據,開發人員需先下載 NVIDIA Omniverse。

https://developer.nvidia.cn/omniverse/get-started

用戶可以從 GitHub 下載并安裝參考擴展程序,并使用 Omniverse Code 來探索相關工作流,而后通過修改代碼來構建自定義的缺陷檢測生成工具。此外,用戶還可以通過 Omniverse Exchange 上的缺陷檢測演示包來訪問配套的 USD 文件和樣本。

用戶可點擊“閱讀原文”,免費下載標準許可證以使用 NVIDIA Omniverse,或在 Omniverse 頁面了解 Omniverse Enterprise 如何連接企業團隊。

ea27e3fa-de23-11ed-bfe3-dac502259ad0.png ?

即刻掃描下方海報二維碼在 NVIDIA On-Demand 上觀看 GTC 精選回放,包括主題演講相關精選、中國本地精選內容、生成式 AI 專題以及全球各行業及領域最新成果! ea2ce616-de23-11ed-bfe3-dac502259ad0.jpg


原文標題:如何使用 NVIDIA Omniverse Replicator 生成的合成數據訓練缺陷檢測模型

文章出處:【微信公眾號:NVIDIA英偉達企業解決方案】歡迎添加關注!文章轉載請注明出處。


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 英偉達
    +關注

    關注

    22

    文章

    3771

    瀏覽量

    90991

原文標題:如何使用 NVIDIA Omniverse Replicator 生成的合成數據訓練缺陷檢測模型

文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達企業解決方案】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    NVIDIA Isaac Sim滿足模型的多樣化訓練需求

    光輪智能借助?NVIDIA Isaac Sim,通過 3D 生成與建模技術構建高度逼真的虛擬場景,將現實世界的復雜場景抽象并轉化為高質量的訓練數據源,從而更有效地滿足
    的頭像 發表于 11-23 14:55 ?526次閱讀

    NVIDIA助力Figure發布新一代對話式人形機器人

    該初創公司展示了新型機器人,其使用 NVIDIA Isaac Sim 處理合成數據,并使用基于 NVIDIA 加速計算進行實時推理訓練生成
    的頭像 發表于 11-04 10:10 ?256次閱讀

    AI大模型訓練數據來源分析

    學術機構、政府組織或企業公開發布,涵蓋了各種類型的數據,如圖像、文本、音頻、視頻等。例如: ImageNet :一個廣泛用于圖像識別任務的大規模圖像數據集。 Common Crawl :提供了大量的網頁抓取數據以供自然語言處理
    的頭像 發表于 10-23 15:32 ?546次閱讀

    Foxconn利用NVIDIA AI和Omniverse訓練機器人

    全球最大電子制造商 Foxconn 正準備制造 NVIDIA 最復雜的產品之一,并開始使用 NVIDIA Omniverse 和 Isaac 平臺驅動的數字孿生。
    的頭像 發表于 10-10 09:40 ?397次閱讀

    NVIDIA Omniverse微服務助力構建大規模數字孿生

    NVIDIA Omniverse Cloud Sensor RTX 生成用于加速自動駕駛汽車、機械臂、移動機器人、人形機器人和智能空間 AI 開發工作的合成數據
    的頭像 發表于 09-09 10:20 ?492次閱讀

    NVIDIA為AI城市挑戰賽構建合成數據

    在一年一度的 AI 城市挑戰賽中,來自世界各地的數百支參賽隊伍在 NVIDIA Omniverse 生成的基于物理學的數據集上測試了他們的 AI
    的頭像 發表于 09-09 10:04 ?475次閱讀

    NVIDIA Nemotron-4 340B模型幫助開發者生成合成訓練數據

    Nemotron-4 340B 是針對 NVIDIA NeMo 和 NVIDIA TensorRT-LLM 優化的模型系列,該系列包含最先進的指導和獎勵模型,以及一個用于
    的頭像 發表于 09-06 14:59 ?302次閱讀
    <b class='flag-5'>NVIDIA</b> Nemotron-4 340B<b class='flag-5'>模型</b>幫助開發者<b class='flag-5'>生成</b><b class='flag-5'>合成</b><b class='flag-5'>訓練</b><b class='flag-5'>數據</b>

    NVIDIA AI Foundry 為全球企業打造自定義 Llama 3.1 生成式 AI 模型

    Foundry 提供從數據策管、合成數據生成、微調、檢索、防護到評估的全方位生成式 AI 模型服務,以便部署自定義 Llama 3.1
    發表于 07-24 09:39 ?706次閱讀
    <b class='flag-5'>NVIDIA</b> AI Foundry 為全球企業打造自定義 Llama 3.1 <b class='flag-5'>生成</b>式 AI <b class='flag-5'>模型</b>

    NVIDIA發布Omniverse微服務,為物理AI提供超強助力

    NVIDIA Omniverse Cloud Sensor RTX生成用于加速自動駕駛汽車、機械臂、移動機器人、人形機器人和智能空間AI開發工作的合成數據 ? CVPR—
    發表于 06-18 16:35 ?510次閱讀
    <b class='flag-5'>NVIDIA</b>發布<b class='flag-5'>Omniverse</b>微服務,為物理AI提供超強助力

    NVIDIA Omniverse 將為全新 OpenPBR 材質模型提供原生支持

    、組合、模擬和協作的可擴展框架和生態系統,OpenUSD 使開發者能夠構建可互操作的 3D 工作流,開啟了工業數字化的新時代。 此外,NVIDIA Omniverse 還將為全新 OpenPBR 材質模型
    的頭像 發表于 06-14 11:23 ?625次閱讀
    <b class='flag-5'>NVIDIA</b> <b class='flag-5'>Omniverse</b> 將為全新 OpenPBR 材質<b class='flag-5'>模型</b>提供原生支持

    Omniverse教程(12):NVIDIA Omniverse USD Presenter的基礎應用

    如前所述,NVIDIA Omniverse? 是一個參考開發平臺,通過模塊化的開發框架能夠輕松擴展和自定義。
    的頭像 發表于 05-20 10:09 ?682次閱讀
    <b class='flag-5'>Omniverse</b>教程(12):<b class='flag-5'>NVIDIA</b> <b class='flag-5'>Omniverse</b> USD Presenter的基礎應用

    【大語言模型:原理與工程實踐】大語言模型的預訓練

    大語言模型的核心特點在于其龐大的參數量,這賦予了模型強大的學習容量,使其無需依賴微調即可適應各種下游任務,而更傾向于培養通用的處理能力。然而,隨著學習容量的增加,對預訓練數據的需求也相
    發表于 05-07 17:10

    如何應對工業缺陷檢測數據短缺問題?

    這篇論文介紹了一種文本引導的變分圖像生成方法,旨在解決工業制造中的異常檢測和分割問題。傳統方法通過訓練缺陷數據的分布來進行異常
    發表于 03-14 10:15 ?463次閱讀
    如何應對工業<b class='flag-5'>缺陷</b><b class='flag-5'>檢測</b><b class='flag-5'>數據</b>短缺問題?

    NVIDIA Omniverse中的物理模擬功能

    NVIDIA Omniverse? Simulation 作為 NVIDIA Omniverse? 平臺的關鍵組件之一,由 NVIDIA
    的頭像 發表于 03-08 11:30 ?1060次閱讀
    <b class='flag-5'>NVIDIA</b> <b class='flag-5'>Omniverse</b>中的物理模擬功能

    描繪未知:數據缺乏場景的缺陷檢測方案

    Neuro-T 視覺平臺 克服了數據缺乏狀況的困難,通過零代碼設置 GAN模型 和 無監督學習模型 ,輕松實現缺陷圖像的標注、繪制和導出。 工業應用中存在較多的
    的頭像 發表于 01-25 10:46 ?563次閱讀
    描繪未知:<b class='flag-5'>數據</b>缺乏場景的<b class='flag-5'>缺陷</b><b class='flag-5'>檢測</b>方案
    主站蜘蛛池模板: 国产色婷婷亚洲99精品| 日本全彩黄漫无遮挡| 国内精品久久久久影院男同志| pkf女尸studiosxnxx| 2018久久视频在线视频观看| 一区二一二| 一本色道久久综合亚洲精品蜜桃冫| 丝瓜涩涩屋黄瓜香蕉丝瓜| 日韩精品一区二区三区AV在线观看| 欧美高清69hd| 麒麟色欧美影院在线播放| 欧美阿v在线免播播放| 欧美日韩午夜群交多人轮换| 欧美gv明星| 欧美亚洲国产激情一区二区| 欧美久久综合性欧美| 日本少妇内射视频播放舔| 日韩精品在线看| 无人区乱码1区2区3区网站| 午夜dj影院视频观看| 亚洲 欧美无码原创区| 亚洲欧美一区二区三区久久| 亚洲中文字幕AV在天堂| 伊人久久大香线蕉综合影| 最新国产精品视频免费看| 99久久全国免费久久爱| 边摸边吃奶边做带声音| 国产成人在线免费| 国产午夜在线观看视频播放| 红杏俱乐部| 麻美ゆま夫の目の前で犯| 泡妞高手在都市完整版视频免费 | 92精品国产成人观看免费 | 午夜福利试看120秒体验区| 性欧美sexovideotv| 一区两区三不卡| 97超级碰久久久久香蕉人人| xxnx日本| 国产午夜视频在线| 狼群影院视频在线观看WWW| 嗯啊快停下我是你老师啊H|