人工智能應用程序由機器學習模型提供動力，這些模型經(jīng)過訓練，能夠根據(jù)圖像、文本或音頻等輸入數(shù)據(jù)準確預測結果。從頭開始訓練機器學習模型需要大量的數(shù)據(jù)和相當多的人類專業(yè)知識，這往往使這個過程對大多數(shù)組織來說過于昂貴和耗時。

遷移學習是從零開始構建定制模型和選擇現(xiàn)成的商業(yè)模型集成到 ML 應用程序之間的一種愉快的媒介。通過遷移學習，您可以選擇與您的解決方案相關的 pretrained model ，并根據(jù)反映您特定用例的數(shù)據(jù)對其進行再培訓。轉移學習在“定制一切”方法（通常過于昂貴）和“現(xiàn)成”方法（通常過于僵化）之間取得了正確的平衡，使您能夠用較少的資源構建定制的解決方案。

這個 NVIDIA TAO 工具包 使您能夠將轉移學習應用于預訓練的模型，并創(chuàng)建定制的、可用于生產(chǎn)的模型，而無需人工智能框架的復雜性。要訓練這些模型，必須有高質(zhì)量的數(shù)據(jù)。 TAO 專注于開發(fā)過程中以模型為中心的步驟，而 Innotescus 專注于以數(shù)據(jù)為中心的步驟。

Innotescus 是一個基于網(wǎng)絡的平臺，用于注釋、分析和管理基于計算機視覺的機器學習的健壯、無偏見的數(shù)據(jù)集。 Innotecus 幫助團隊在不犧牲質(zhì)量的情況下擴大運營規(guī)模。該平臺包括圖像和視頻的自動和輔助注釋、 QA 流程的共識和審查功能，以及用于主動數(shù)據(jù)集分析和平衡的交互式分析。 Innotecus 和 TAO 工具包使企業(yè)能夠在定制應用程序中成功應用遷移學習，從而在短時間內(nèi)獲得高性能的解決方案，從而提高成本效益。

在這篇文章中，我們通過構建NVIDIA TAO 工具包與 NoNeTeSUS 來解決構建健壯的對象檢測模型的挑戰(zhàn)。此解決方案緩解了企業(yè)在構建和部署商業(yè)解決方案時遇到的幾個常見問題。

YOLO 目標檢測模型

您在本項目中的目標是使用 Innotecus 上整理的數(shù)據(jù)，將轉移學習應用于 TAO 工具包中的 YOLO 對象檢測模型。

目標檢測是利用圖像或視頻中的邊界框對目標進行定位和分類的能力。它是計算機視覺技術最廣泛的應用。目標檢測解決了許多復雜的現(xiàn)實挑戰(zhàn)，例如：

語境與場景理解

智能零售的自動化解決方案

自動駕駛

精準農(nóng)業(yè)

你為什么要用 YOLO 來制作這個模型？傳統(tǒng)上，基于深度學習的對象檢測器通過兩個階段進行操作。在第一階段，模型識別圖像中的感興趣區(qū)域。在第二階段，對每個區(qū)域進行分類。

通常，許多區(qū)域被發(fā)送到分類階段，由于分類是一項昂貴的操作，兩級目標檢測器的速度非常慢。 YOLO 代表“你只看一次”顧名思義， YOLO 可以同時進行本地化和分類，從而獲得高度準確的實時性能，這對于大多數(shù)可部署解決方案至關重要。 2020 年 4 月， YOLO 的第四次迭代是 published 。它已經(jīng)在許多應用程序和行業(yè)上進行了測試，并被證明是健壯的。

圖 1 顯示了訓練目標檢測模型的通用管道。對于這個更傳統(tǒng)的開發(fā)流程的每一步，我們都會討論人們遇到的典型挑戰(zhàn)，以及 TAO 和 Innotecus 的結合如何解決這些問題。

圖 1 。典型的人工智能開發(fā)工作流程

在開始之前，請安裝 TAO 工具包并驗證 Innotescus API 的實例。

安裝 TAO 工具包

圖 2 。 TAO 工具包堆棧

TAO 工具包可以作為 CLI 或 Jupyter 筆記本運行。它只與 Python3 （ 3.6.9 和 3.7 ）兼容，所以首先安裝必備軟件。

Install docker-ce.

在 Linux 上，檢查 post-installation 步驟以確保 Docker 可以在沒有sudo的情況下運行。

pip3 install nvidia-pyindex
pip3 install nvidia-tao

通過運行复制tao --help檢查您是否正確完成了安裝。

訪問 Innotecus API

Innotecus 可以作為基于 web 的應用程序訪問，但您也可以使用其 API 演示如何以編程方式完成相同的任務。首先，安裝 Innotecus 庫。

pip install innotescus

通過運行tao --help檢查您是否正確完成了安裝。

訪問 Innotecus API

Innotecus 可以作為基于 web 的應用程序訪問，但您也可以使用其 API 演示如何以編程方式完成相同的任務。首先，安裝 Innotecus 庫。

pip install innotescus

接下來，使用從平臺檢索的client_id和client_secret值對 API 實例進行身份驗證。

圖 3 。生成和檢索 API 密鑰

from innotescus import client_factory

client = client_factory(client_id=’client_id’, client_secret=’client_secret’)現(xiàn)在，您已經(jīng)準備好通過 API 與平臺進行交互，您將在接下來的管道中完成每一步。

數(shù)據(jù)收集

你需要數(shù)據(jù)來訓練模型。盡管數(shù)據(jù)收集經(jīng)常被忽視，但可以說是開發(fā)過程中最重要的一步。收集數(shù)據(jù)時，你應該問自己幾個問題：

培訓數(shù)據(jù)是否充分代表了每個感興趣的對象？

您是否考慮了預期部署模型的所有場景？

你有足夠的數(shù)據(jù)來訓練模型嗎？

你不能總是完整地回答這些問題，但是有一個全面的數(shù)據(jù)收集計劃可以幫助你在開發(fā)過程的后續(xù)步驟中避免問題。數(shù)據(jù)收集是一個耗時且昂貴的過程。由于 TAO 提供的模型是經(jīng)過預培訓的，因此再培訓的數(shù)據(jù)要求要小得多，為組織節(jié)省了這一階段的大量資源。

在本實驗中，使用 MS COCO 驗證 2017 數(shù)據(jù)集 中的圖像和注釋。這個數(shù)據(jù)集有 5000 張包含 80 個不同類別的圖像，但您只使用包含至少一個人的 2685 張圖像。

%matplotlib inline
from pycocotools.coco import COCO
import matplotlib.pyplot as plt dataDir=’Your Data Directory’
dataType=’val2017’
annFile=’{}/annotations/instances_{}.json’.format(dataDir,dataType) coco=COCO(annFile) catIds = coco.getCatIds(catNms=[‘person’]) # only using ‘person’ category

imgIds = coco.getImgIds(catIds=catIds) for num_imgs in len(imgIds): img = coco.loadImgs(imgIds[num_imgs])[0] I = io.imread(img[‘coco_url’])使用 Innotescus 客戶端的已驗證實例，開始設置一個項目并上傳以人為中心的數(shù)據(jù)集。

#create a new project
client.create_project(project_name)
#upload data to the new project

client.upload_data(project_name, dataset_name, file_paths, data_type, storage_type)data_type：此數(shù)據(jù)集保存的數(shù)據(jù)類型。接受值：

DataType.IMAGE

DataType.VIDEO

storage_type：數(shù)據(jù)的來源。接受值：

StorageType.FILE_SYSTEM

StorageType.URL

該數(shù)據(jù)集現(xiàn)在可以通過 Innotescus 用戶界面訪問

數(shù)據(jù)整理

既然你有了最初的數(shù)據(jù)集，開始整理它以確保數(shù)據(jù)集的平衡。研究反復表明，這個過程的這一階段花費了機器學習項目 80% 左右的時間。

使用 TAO 和 Innotescus ，我們重點介紹了預注釋和審閱等技術，這些技術可以在不犧牲數(shù)據(jù)集大小或質(zhì)量的情況下節(jié)省時間。

預注釋

Pre annotation 使您能夠使用模型生成的注釋來刪除準確標記 2685 圖像子集所需的大量時間和手動工作。您使用的 YOLOv4 與您正在重新培訓的模型相同，以生成預注釋，供注釋者進行細化。

因為預注釋可以在注釋任務的簡單部分上節(jié)省大量時間，所以可以將注意力集中在模型尚無法處理的更難的示例上。

YOLOv4 包含在 TAO 工具包中，支持 k 均值聚類、訓練、評估、推理、修剪和導出。要使用該模型，必須首先創(chuàng)建一個 YOLOv4 spec 文件，該文件包含以下主要組件：

yolov4_config

training_config

eval_config

nms_config

augmentation_config

dataset_config

spec 文件是protobuf文本（prototxt）消息，其每個字段可以是基本數(shù)據(jù)類型，也可以是嵌套消息。

接下來，下載帶有預訓練權重的模型。 TAO 工具箱 Docker 容器提供了對預訓練模型庫的訪問，這些模型是訓練深層神經(jīng)網(wǎng)絡的一個很好的起點。由于這些模型托管在 NGC 目錄中，因此必須首先下載并安裝 NGC CLI 。

安裝 CLI 后，可以在 NGC repo 上查看預訓練計算機視覺模型列表，并下載預訓練模型。

ngc registry model list nvidia/tao/pretrained_*
ngc registry model download-version /path/to/model_on_NGC_repo/ -dest /path/to/model_download_dir/

下載模型并更新規(guī)范文件后，現(xiàn)在可以通過運行推斷子任務來生成預注釋。

tao yolo_v4 inference [-h] -i /path/to/imgFolder/ -l /path/to/annotatedOutput/ -e /path/to/specFile.txt -m /path/to/model/ -k $KEY

推理子任務的輸出是一系列 KITTI 格式的注釋，保存在指定的輸出目錄中。

通過基于 web 的用戶界面或使用 API 手動將預先說明上傳到 Innotescus 平臺。由于 KITTI 格式是 Innotecus 接受的眾多格式之一，因此不需要預處理。

圖 7 。預注釋上載過程

#upload pre-annotations generated by YOLOv4

• 复制project_name：包含受影響數(shù)據(jù)集和任務的項目的名稱。
• 复制dataset_name：要應用這些注釋的數(shù)據(jù)集的名稱。
• 复制task_type：使用這些注釋創(chuàng)建的注釋任務的類型。复制TaskType類的可接受值：
  • 复制CLASSIFICATION
  • 复制OBJECT_DETECTION
  • 复制SEGMENTATION
  • 复制INSTANCE_SEGMENTATION
• 复制data_type：注釋對應的數(shù)據(jù)類型。接受值：
  • 复制DataType.IMAGE
  • 复制DataType.VIDEO
• 复制annotation_format：存儲這些注釋的格式。复制AnnotationFormat類中接受的值：
• 复制COCO
• 复制KITTI
• 复制MASKS_PER_CLASS
• 复制PASCAL
• 复制CSV
• 复制MASKS_SEMANTIC
• • 复制复制MASKS_INSTANCE
  • 复制INNOTESCUS_JSON
  • 复制YOLO_DARKNET
  • 复制YOLO_KERAS
• 复制file_paths：包含要上載的注釋文件的文件路徑列表。
• 复制task_name：這些注釋所屬任務的名稱；如果該任務不存在，則會創(chuàng)建該任務并使用這些注釋填充它。
• 复制task_description：正在創(chuàng)建的任務的描述，如果該任務尚不存在。
• 复制overwrite_existing_annotations：如果任務已經(jīng)存在，則此標志允許您覆蓋現(xiàn)有批注。
• 复制pre_annotate：允許您將批注作為預批注導入。

將預注釋導入平臺并節(jié)省大量初始注釋工作后，進入 Innotecus 以進一步更正、細化和分析數(shù)據(jù)。

審查和糾正

成功導入預注釋后，前往平臺對預注釋進行檢查和更正。雖然預訓練模型節(jié)省了大量的注釋時間，但它仍然不夠完美，需要一些人在回路中的交互來確保高質(zhì)量的訓練數(shù)據(jù)。圖 8 顯示了您可能進行的典型更正的示例。

除了第一次修復和提交預注釋外， Innotecus 還可以對圖像和注釋進行更集中的采樣，以便進行多階段審查。這使大型團隊能夠系統(tǒng)高效地確保整個數(shù)據(jù)集的高質(zhì)量。

圖 9 。無害化過程

探索性數(shù)據(jù)分析

探索性數(shù)據(jù)分析（ EDA ）是從多個統(tǒng)計角度調(diào)查和可視化數(shù)據(jù)集的過程，以全面了解數(shù)據(jù)中存在的潛在模式、異常和偏差。在深思熟慮地解決數(shù)據(jù)集包含的統(tǒng)計不平衡之前，這是一個有效且必要的步驟。

Innotecus 提供預先計算的指標，用于理解數(shù)據(jù)和注釋的類別、顏色、空間和復雜性分布，并使您能夠在圖像和注釋元數(shù)據(jù)中添加自己的信息層，以將特定于應用程序的信息納入分析。

以下是如何使用 Innotecus 的潛水可視化來理解數(shù)據(jù)集中存在的一些模式和偏差。下面的散點圖顯示了圖像熵在數(shù)據(jù)集中沿 x 軸的分布，圖像熵是圖像中的平均信息或隨機程度。你可以看到一個清晰的模式，但你也可以發(fā)現(xiàn)異常，比如低熵或信息含量的圖像。

圖 10 。 Innotescus 上的數(shù)據(jù)集圖

這樣的異常值引發(fā)了如何處理數(shù)據(jù)集中異常的問題。識別異?？梢宰屇闾岢鲆恍╆P鍵問題：

您是否希望模型在部署時會遇到低熵輸入？

如果是這樣，您是否需要在培訓數(shù)據(jù)集中添加更多此類示例？

如果不是，這些示例是否會對培訓有害，是否應該將其從培訓數(shù)據(jù)集中刪除？

在另一個例子中，查看每個注釋的區(qū)域，相對于它所在的圖像。

圖 12 。使用俯沖圖調(diào)查 Innotecus 計算的許多指標

在圖 13 中，這兩幅圖像顯示了數(shù)據(jù)集中注釋大小的變化。雖然一些注釋捕捉了占據(jù)大量圖像的人，但大多數(shù)注釋顯示的是遠離相機的人。

在這里，很大一部分注釋在各自圖像大小的 0% 到 10% 之間。這意味著數(shù)據(jù)集偏向于小對象，或遠離相機的人。那么，您是否需要在訓練數(shù)據(jù)中添加更多具有更大注釋的示例，以表示離攝像機更近的人？以這種方式理解數(shù)據(jù)分布有助于您開始考慮數(shù)據(jù)擴充計劃。

通過 Innotescus ， EDA 變得直觀。它為您提供了所需的信息，以便對數(shù)據(jù)集進行強大的擴充，并在開發(fā)過程的早期消除偏見。

利用數(shù)據(jù)集擴充實現(xiàn)集群再平衡

集群再平衡的增強背后的想法是強大的。 這方法顯示了在最近的數(shù)據(jù)中心 AI 競賽由 Andrew Ng 和深入學習的 21% 的性能提升。人工智能。

為每個數(shù)據(jù)點（每個邊界框注釋）生成 N 維特征向量，并將所有數(shù)據(jù)點聚集在更高維空間中。當使用相似的特征對對象進行聚類時，可以擴充數(shù)據(jù)集，使每個聚類具有相同的表示形式。

我們選擇使用[red channel mean, green channel mean, blue channel mean, gray image std, gray image entropy, relative area]作為 N 維特征向量。這些指標是從 Innotecus 導出的， Innotecus 會自動計算這些指標。您還可以使用預訓練模型生成的嵌入來填充特征向量，這可能會更健壯。

您使用 k – 均值聚類， k = 4 作為聚類算法，使用 UMAP 將維度減少到兩個，以便可視化。下面的代碼示例生成顯示 UMAP 圖的圖形，用這四個簇進行顏色編碼。

import umap
from sklearn.decomposition import PCA
from sklearn.cluster import KMeans # k-means on the feature vector
kmeans = KMeans(n_clusters=4, random_state=0).fit(featureVector) # UMAP for dim reduction and visualization
fit = umap.UMAP(n_neighbors=5, min_dist=0.2, n_components=2, metric=’manhattan’) u = fit.fit_transform(featureVector) # Plot UMAP components
plt.scatter(u[:,0], u[:,1], c=(kmeans.labels_))
plt.title(‘UMAP embedding of kmeans colours’)

圖 14 。四個簇，在二維上繪制

當您查看每個集群中對象的數(shù)量時，您可以清楚地看到不平衡，這將告訴您應該如何增加數(shù)據(jù)以進行再培訓。這四個簇分別代表 854 、 1523 、 1481 和 830 幅圖像。如果一個圖像的對象位于多個簇中，請將該圖像與其大多數(shù)對象分組以進行增強。

clusters = {} for file, cluster in zip(filename, kmeans.labels_): if cluster not in clusters.keys(): clusters[cluster] = [] clusters[cluster].append(file) else: clusters[cluster].append(file) for numCls in range(0, len(clusters)): print(‘Cluster {}: {} objects, {} images’.format(numCls+1, len(clusters[numCls]), len(list(set(clusters[numCls])))))

輸出：

Cluster 1: 2234 objects, 854 images
Cluster 2: 3490 objects, 1523 images
Cluster 3: 3629 objects, 1481 images
Cluster 4: 1588 objects, 830 images

定義好集群后，可以使用imgaugPython 庫引入增強技術來增強訓練數(shù)據(jù)：平移、圖像亮度調(diào)整和縮放增強。您可以進行擴展，使每個集群包含 2000 個圖像，總計 8000 個。在增強圖像時，复制imgaug確保注釋坐標也得到適當更改。

import imgaug as ia
import imgaug.augmenters as iaa # augment images
seq = iaa.Sequential([ iaa.Multiply([1.1, 1.5]), # change brightness, doesn’t affect BBs iaa.Affine( translate_px={“x”:60, “y”:60}, scale=(0.5, 0.8) ) # translate by 60px on x/y axes & scale to 50-80%, includes BBs
]) # augment BBs and images
image_aug, bbs_aug = seq(image=I, bounding_boxes=boundingBoxes)

使用相同的 UMAP 可視化技術，增加的數(shù)據(jù)點現(xiàn)在為紅色，您可以看到數(shù)據(jù)集現(xiàn)在更加平衡，因為它更像高斯分布。

圖 15 。重新平衡的集群

模特訓練

利用平衡良好、高質(zhì)量的訓練數(shù)據(jù)，最后一步是訓練模型。

YOLOv4 TAO 工具包再培訓

要開始重新訓練模型，首先確保 spec 文件包含感興趣的類，以及預訓練模型和訓練數(shù)據(jù)的正確目錄路徑。在training_config部分更改訓練參數(shù)。保留 30% 的擴充數(shù)據(jù)集作為測試數(shù)據(jù)集，以比較預訓練模型和再訓練模型的性能。

ttraining_config { batch_size_per_gpu: 8 num_epochs: 80 enable_qat: false checkpoint_interval: 10 learning_rate { soft_start_cosine_annealing_schedule { min_learning_rate: 1e-7 max_learning_rate: 1e-4 soft_start: 0.3 } } regularizer { type: L1 weight: 3e-5 } optimizer { adam { epsilon: 1e-7 beta1: 0.9 beta2: 0.999 amsgrad: false } } pretrain_model_path: “path/to/model/model.hdf5”
}

運行訓練命令。

tao yolo_v4 train -e /path/to/specFile.txt -r /path/to/result -k $KEY

后果

如您所見，平均精度提高了 14.93% ，比預訓練模型的地圖提高了 21.37% ：

表 1 。利用策展數(shù)據(jù)集對遷移學習前后的績效進行建模

總結

使用 NVIDIA TAO 工具包進行預注釋和模型培訓，使用 Innotecus 進行數(shù)據(jù)細化、分析和整理，您將 YOLOv4 在 person 類上的平均精度提高了 20% 以上。你不僅提高了所選課程的成績，而且比沒有遷移學習的顯著好處時，你所用的時間和數(shù)據(jù)更少。

遷移學習是在資源有限的環(huán)境中生成高性能、特定于應用程序的模型的一種好方法。使用 TAO 工具包和 Innotecus 等工具，可以讓各種規(guī)模和背景的團隊都能使用。

關于作者

Shashank Deshpande 是位于賓夕法尼亞州匹茲堡的 Innotescus 的聯(lián)合創(chuàng)始人和主要 ML 開發(fā)人員。 Shashank 擁有歐洲經(jīng)委會卡內(nèi)基梅隆大學的碩士學位，擁有 9 年以上的計算機視覺和機器學習經(jīng)驗。 Shashank 的研究興趣主要是目標檢測和跟蹤、圖像分割和探索性數(shù)據(jù)分析。他最近在安得烈 NG 的以數(shù)據(jù)為中心的人工智能競爭中排名第二。

審核編輯：郭婷