描述

ADE20K 涵蓋了場景、對象、對象部分的各種注釋，在某些情況下甚至是部分的部分。有 25k 張復雜日常場景的圖像，其中包含自然空間環境中的各種對象。每個圖像平均有 19.5 個實例和 10.5 個對象類。基于 ADE20K，我們構建了場景解析和實例分割的基準。

視覺場景的語義理解是計算機視覺的圣杯之一。ImageNet、COCO 和 Places 等大規模圖像數據集的出現，以及深度卷積神經網絡 (CNN) 方法的快速發展，為視覺場景理解帶來了巨大進步。

給定客廳的視覺場景，配備訓練有素的 CNN 的機器人可以準確預測場景類別。然而，為了在場景中自由導航并操縱里面的物體，機器人需要從輸入圖像中消化更多的信息：它不僅要識別和定位沙發、桌子、杯子和電視等物體，還要識別和定位它們的位置。部分，例如沙發的座椅或杯子的把手，以允許正確操作，以及分割地板、墻壁和天花板等物品以進行空間導航。

使用 OpenVINO 工具包

初始化 OpenVINO 環境

設置環境變量

?

OpenVINO 的模型優化器首先用于生成模型（.onnx）的 IR（中間表示）文件（.bin 和 .xml）。然后部署模型。

Model Optimizer是一個跨平臺的命令行工具，可促進訓練和部署環境之間的轉換，執行靜態模型分析，并調整深度學習模型以在端點目標設備上實現最佳執行。模型優化器過程假設您擁有使用受支持的深度學習框架訓練的網絡模型。

模型優化器生成網絡的中間表示 (IR) ，可以使用推理引擎讀取、加載和推斷。

生成 IR 文件

生成 IR 文件

?

.xml和.bin類型的文件是從模型優化器中獲得的。

街景分割

?

大學走廊分割

?

?

命令提示符：輸出

?

使用 OpenVINO工具包 - 基準應用程序

基準工具用于估計深度學習干擾性能。可以針對兩種推理模式測量性能：

1）同步（面向延遲）

2）異步（面向吞吐量）

更改了各種參數，并對基準工具進行了觀察。

下圖給出了在 CPU、GPU 和兩種模式下測試的所有參數及其值的列表。

?

輸出參數

?

基準工具輸出的快照

?

基準值

?

未來范圍

• ADE20K 型號在醫療行業有應用。隨著機器人手術數量的增加，可以結合該模型來提高手術的效率和準確性。
• 該模型還可以被用于家庭清潔目的的各種機器人使用，從而提高其操作效率。

?