計算機(jī)視覺識別的定義

計算機(jī)視覺識別是一種人工智能技術(shù)，旨在使計算機(jī)系統(tǒng)從數(shù)字圖像、視頻等視覺信息中識別和提取有意義信息的能力。它通過利用圖像處理、機(jī)器學(xué)習(xí)和其他相關(guān)技術(shù)來實現(xiàn)這一目標(biāo)，并可以完成多種任務(wù)，例如圖像識別、物體檢測、人臉識別等。計算機(jī)視覺技術(shù)在各種行業(yè)中都有著廣泛的應(yīng)用，如自動駕駛、安全監(jiān)控、醫(yī)學(xué)診斷等。

計算機(jī)視覺識別是如何工作的？

計算機(jī)視覺識別的工作方式主要通過以下幾個步驟：

1. 圖像預(yù)處理：對圖像進(jìn)行預(yù)處理，如去噪、校正圖像像素等，以確保圖像質(zhì)量。

2.特征提取：通過各種圖像處理技術(shù)，從圖像中提取有用的特征信息，如邊緣、輪廓、顏色值等。

3. 特征分類：使用機(jī)器學(xué)習(xí)算法對提取的特征進(jìn)行分類，以便對圖像中的物體進(jìn)行識別。

4. 識別結(jié)果輸出：根據(jù)分類結(jié)果，輸出識別結(jié)果，如圖像中的物體類型、人臉識別等。

每一個步驟都需要使用合適的算法和技術(shù)，才能確保視覺識別輸出結(jié)果準(zhǔn)確性和高效性。

下圖左側(cè)是亞伯拉罕·林肯灰度圖像緩沖區(qū)的簡單插圖，每個像素由一組 8 位數(shù)字表示，范圍從 0（黑色）到 255（白色），右側(cè)是識別圖像時軟件識別出的不同的顏色值。

計算機(jī)視覺識別的主要應(yīng)用功能

1、圖像分類

顧名思義就是將圖像進(jìn)行類別篩選，通過深度學(xué)習(xí)方法識別圖片屬于哪種分類類別，其主要重點在于一張圖像只包含一種分類類別，即使該影像內(nèi)容可能有多個目標(biāo)，所以單純圖像分類的應(yīng)用并不普遍。

不過由于單一目標(biāo)識別對深度學(xué)習(xí)算法來說是正確率最高的，所以實際上很多應(yīng)用會先通過目標(biāo)檢測方法找到該目標(biāo)，再縮小擷取影像范圍進(jìn)行圖像分類。所以只要是目標(biāo)檢測可應(yīng)用的范圍，通常也會使用圖像分類方法。

圖像分類，需要先對本地圖像進(jìn)行邊框標(biāo)記，這個操作需要手動標(biāo)記才能完成，這樣就催生出一個職業(yè) - 人工智能標(biāo)注師，比如下圖左側(cè)是原始圖片，右圖是被標(biāo)記過的圖像，就會把它標(biāo)注到貓的分類中。

2、目標(biāo)監(jiān)測

一張圖像內(nèi)可有一或多個目標(biāo)物，目標(biāo)物也可以是屬于不同類別。算法主要能達(dá)到兩種目的：找到目標(biāo)坐標(biāo)及識別目標(biāo)類別。

簡單來說，就是除了需要知道目標(biāo)是什么，還需要知道它在哪個位置。

目標(biāo)檢測應(yīng)用非常普遍，包含前面提到的人臉識別相關(guān)技術(shù)結(jié)合應(yīng)用，或是制造業(yè)方面的瑕疵檢測，甚至醫(yī)院用于X光、超音波進(jìn)行特定身體部位的病況檢測等。

3、語義分割

算法會針對一張圖像中的每個像素進(jìn)行識別，也就是說不同于目標(biāo)檢測，語義分割可以正確區(qū)別各目標(biāo)的邊界像素，簡單來說，語義分割就是像素級別的圖像分類，針對每個像素進(jìn)行分類。當(dāng)然這類應(yīng)用的模型就會需要較強(qiáng)大的GPU和花較多時間進(jìn)行訓(xùn)練。

實例分割是語義分割的升級版本。它不是將相同的像素值分配給同一類中的所有對象，而是分段并顯示同一類的不同實例。如果在圖像中檢測到多個相同的對象，則會相應(yīng)地對其進(jìn)行標(biāo)記，如下圖所示，綿羊 1、綿羊 2 和綿羊 3會被單獨分割識別出來，它通常用于計數(shù)。

流行的計算機(jī)視覺庫和框架

MMDetection

MMDetection是一個基于PyTorch的開源對象檢測工具箱。它由訓(xùn)練配方、預(yù)訓(xùn)練模型和數(shù)據(jù)集組成。它運行在Linux，Windows和macOS上，需要Python 3.6+，CUDA 9.2+和PyTorch 1.5+。他們還發(fā)布了用于計算機(jī)視覺研究的庫mmcv。通過模塊調(diào)用的方法，我們可以用少量的代碼實現(xiàn)新的算法。大大提高代碼復(fù)用率。

邊緣設(shè)備部署

MMDeploy是一個開源深度學(xué)習(xí)模型部署工具集，它是OpenMMLab項目的一部分，如果你想了解如何在 NVIDIA Jetson 系列邊緣平臺（如 Seeed 的 reComputer）上安裝 MMDeploy。可以通過部署指南來學(xué)習(xí)部署過程。

OpenCV

OpenCV是最受歡迎的開源計算機(jī)視覺和ML軟件庫之一。它旨在為計算機(jī)視覺應(yīng)用程序提供通用基礎(chǔ)架構(gòu)。它可以在Windows，Linux，Android和macOS上運行，可用于Python，Java，C++和MATLAB。

邊緣設(shè)備部署

我們的合作伙伴 alwaysAI 將 OpenCV 構(gòu)建為邊緣計算環(huán)境的核心部分。這意味著在每個 alwaysAI 應(yīng)用程序中，您都可以添加導(dǎo)入 cv2 并在您的應(yīng)用程序中使用 OpenCV。alwaysAI 圍繞 OpenCV 構(gòu)建了一套工具，以實現(xiàn)端到端流程的無縫銜接，并解決了使用邊緣設(shè)備時一些常見痛點。

NVIDIA VPI 邊緣部署

NVIDIA 視覺編程接口 （VPI） 是一個軟件庫，可在 NVIDIA NVIDIA Jetson 系列邊緣平臺設(shè)備中，實現(xiàn)計算機(jī)視覺和圖像處理算法。VPI 為 CPU 和 NVIDIA CUDA 算法實現(xiàn)提供了統(tǒng)一的 API，以及 VPI 和 OpenCV 以及 CUDA 之間的互操作性。

TensorFlow

TensorFlow是一個端到端的開源ML平臺，能夠執(zhí)行無數(shù)的任務(wù)，包括計算機(jī)視覺。TensorFlow Lite允許您在移動和邊緣設(shè)備上運行模型，而TensorFlow JS適用于Web。它運行在Windows，macOS和WSL2上，支持Python，C，C++，Java等。

邊緣設(shè)備部署

在小型或微型處理設(shè)備上部署機(jī)器學(xué)習(xí)，主要是通過TensorFlow Lite 框架來進(jìn)行部署，TensorFlow Lite 主要對微型機(jī)器學(xué)習(xí)功能進(jìn)行了優(yōu)化，重點關(guān)注延遲、隱私、連接、大小和功耗。

邊緣計算硬件設(shè)備

人工智能AI正在加快速度從“云端”走向“邊緣”，進(jìn)入到越來越小的小型或微型控制設(shè)備中，在終端和邊緣側(cè)的微處理器上實現(xiàn)機(jī)器學(xué)習(xí)，下面介紹兩款邊緣計算硬件設(shè)備。

SeeedreTerminal

reTerminal是 Raspberry Pi一體機(jī)，由 Raspberry Pi計算模塊（CM4）提供支持，集成了一個IPS面板式多點觸摸屏，配備雙頻2.4GHz / 5GHz Wi-Fi和藍(lán)牙5.0，預(yù)裝了基于Raspberry Pi的Linux系統(tǒng)，提供存儲4 GB RAM和32 GB eMMC。通過模塊化設(shè)計，該機(jī)配備了多個可訪問組件和高速連接器。可以更好的部署AI開發(fā)應(yīng)用程序，也可以執(zhí)行適合作為工業(yè)設(shè)施的工業(yè)級功能。

使用Seeed reTerminal 設(shè)備快速部署TensorFlow Lite 框架，具體方法請看下面的地址：

reComputer for Jetson

Jetson 的 reComputer 系列是采用 NVIDIA Advanced AI 嵌入式系統(tǒng)構(gòu)建的緊湊型邊緣計算機(jī)：J10（Nano 4GB）和 J20（Jetson Xavier NX 8GB 和 Jetson Xavier 16GB）。

憑借豐富的擴(kuò)展模塊、工業(yè)外設(shè)和熱管理，reComputer for Jetson 已準(zhǔn)備好通過將流行的 DNN 模型和 ML 框架部署到邊緣并以高性能進(jìn)行推理來幫助您加速和擴(kuò)展下一代 AI 產(chǎn)品。

審核編輯：劉清