逐項(xiàng)拆解之MobileNet

首先來看較為經(jīng)典的MobileNet神經(jīng)網(wǎng)絡(luò)維度。這里稍微提一下MobileNet的由來：谷歌在2017年提出了專注于移動(dòng)端或者嵌入式設(shè)備中的輕量級(jí)CNN網(wǎng)絡(luò)，其最大的創(chuàng)新點(diǎn)是提出了深度可分離卷積。mobileNet-V2是對(duì)mobileNet-V1的改進(jìn)，是一種輕量級(jí)的神經(jīng)網(wǎng)絡(luò)。mobileNet-V2保留了V1版本的深度可分離卷積，增加了線性瓶頸（Linear Bottleneck）和倒殘差（Inverted Residual），而MobileNet-V3是谷歌基于MobileNet-V2之后的又一項(xiàng)力作，在精度和時(shí)間上均有提高。MobileNet-V3做了哪些修改呢？它引入了SE結(jié)構(gòu)、修改了尾部結(jié)構(gòu)和channel的數(shù)量，做了非線性變換的改變。MobileNet-V3提供了兩個(gè)版本，一個(gè)是mobileNet-V3 Large，也就是AI Benchmark這次測(cè)試用的版本，另一個(gè)是MobileNet-V3 Small版本，分別對(duì)應(yīng)了對(duì)計(jì)算和存儲(chǔ)要求高與低的版本。

AI-Benchmark主要選取了V2和V3 Large兩個(gè)版本進(jìn)行測(cè)試。下圖這個(gè)數(shù)據(jù)柱狀圖表達(dá)的是什么意思呢？這里包含了CPU、AI加速器分別對(duì)于量化和浮點(diǎn)模型的處理表現(xiàn)，主要從推理速度和準(zhǔn)確性兩個(gè)維度去評(píng)估平臺(tái)/設(shè)備的AI能力，時(shí)間單位是毫秒。

灰色的柱形圖代表競(jìng)品，紫色的代表T770。可以看到，在mobileNet-V2維度，T770在CPU量化、CPU浮點(diǎn)、加速器量化的處理上基本是優(yōu)于競(jìng)品的。加速器浮點(diǎn)上略有差距，在mobileNet-V3 Large維度，T770在CPU量化、CPU浮點(diǎn)、加速器浮點(diǎn)的處理上是優(yōu)于競(jìng)品的，加速器量化上略有差距，兩者數(shù)據(jù)各有千秋，從MobileNet神經(jīng)網(wǎng)絡(luò)整體維度，T770優(yōu)于競(jìng)品。

逐項(xiàng)拆解之Inception-V3

Inception-V3 架構(gòu)的主要思想是 factorized convolutions (分解卷積) 和 aggressive regularization (激進(jìn)的正則化)。可以看到，在精度基本一致的情況下，在CPU浮點(diǎn)、加速器量化這兩個(gè)關(guān)鍵維度上，T770運(yùn)行Inception-V3的運(yùn)行速度更快，加速器浮點(diǎn)模型數(shù)據(jù)的運(yùn)行速度上略有差距，但精度略優(yōu)于競(jìng)品，如下圖所示：

逐項(xiàng)拆解之EfficientNet

EfficientNet是谷歌研究人員在一篇 ICML 2019 論文《EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks》中提出的一種新型模型縮放方法。可以看到，T770運(yùn)行EfficientNet的表現(xiàn)與競(jìng)品相當(dāng)，在CPU浮點(diǎn)、加速器量化、加速器浮點(diǎn)模型數(shù)據(jù)的運(yùn)行速度上均有優(yōu)勢(shì)。

剛才提到的MobileNet、Inception-V3、EfficientNet網(wǎng)絡(luò)結(jié)構(gòu)常用于圖像分類、目標(biāo)檢測(cè)、語義分割等技術(shù)開發(fā)中。這些神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可應(yīng)用的常見場(chǎng)景有手機(jī)相冊(cè)中的相冊(cè)分類，手勢(shì)識(shí)別等，工業(yè)上可用于快遞分揀、頭盔檢測(cè)、頭盔識(shí)別等場(chǎng)景，在醫(yī)學(xué)領(lǐng)域會(huì)用于皮膚真菌識(shí)別等應(yīng)用。當(dāng)然這些神經(jīng)網(wǎng)絡(luò)所能支撐的場(chǎng)景，不限于剛剛介紹到的，可利用這些AI能力開發(fā)出更多的基于對(duì)物體/事物的分類場(chǎng)景。

T770在這些神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上的不俗表現(xiàn)表明：T770有更全面、更強(qiáng)大的能力去支撐這些場(chǎng)景的開發(fā)。

逐項(xiàng)拆解之Inception-V3 Parallel

接下來再看Inception-V3 Parallel (NN-INT8)，你肯定會(huì)想，怎么又來一個(gè)Inception-V3，剛才不是show過了？是重復(fù)了嗎？搞錯(cuò)了嗎？當(dāng)然沒有！這里介紹的是Inception-V3 Parallel的能力，即同時(shí)處理多個(gè)Inception-V3，對(duì)應(yīng)的是平臺(tái)/設(shè)備對(duì)于AI并發(fā)處理的能力，怎么去理解這個(gè)并發(fā)處理呢？舉個(gè)栗子吧，哦，今天忘記帶栗子了，不好意思(╯▽╰)。

簡(jiǎn)單來講，就是應(yīng)用程序同時(shí)下發(fā)多個(gè)任務(wù)處理，再簡(jiǎn)單點(diǎn)講就是，同時(shí)在做兩件事情或多件事情，比如圖片分類和手勢(shì)識(shí)別同時(shí)進(jìn)行。還不明白？再簡(jiǎn)單點(diǎn)，就好比人在吃飯的同時(shí)刷抖音短視頻。

OK，我們來看下具體數(shù)據(jù)，下圖顯示的是AI加速器對(duì)1/2/4/8個(gè)量化模型同時(shí)處理的能力，可以明顯看到，T770在AI多任務(wù)處理能力上占有明顯優(yōu)勢(shì)。

逐項(xiàng)拆解之Yolo-v4 Tiny

我們?cè)倏碮olo-V4 Tiny結(jié)構(gòu)，它是Yolo-V4的精簡(jiǎn)版，屬于輕量化模型，參數(shù)只有600萬，相當(dāng)于原來的十分之一，這使檢測(cè)速度有了很大提升，非常有利于在端側(cè)進(jìn)行部署，在智能安防領(lǐng)域中已有大量應(yīng)用，比如車輛識(shí)別、人員識(shí)別、路徑預(yù)測(cè)和跟蹤、行為分析、安全帽識(shí)別等。

先看下具體數(shù)據(jù)，如下圖，除加速器量化模型部分略有不足之外，其他均有優(yōu)勢(shì)，如CPU量化、浮點(diǎn)，加速器浮點(diǎn)等。

逐項(xiàng)拆解之DPED – ResNet

再看一下T770在DPED - ResNet處理維度的表現(xiàn)，解釋一下，DPED是DSLR Photo Enhancement Dataset，而DSLR指的是Digital Single Lens Reflex Camera，即數(shù)碼單反相機(jī)。講到這一點(diǎn)，不得不提到一篇論文《DSLR-Quality Photos on Mobile Devices with Deep Convolutional Networks》，這是一篇發(fā)布于2017年關(guān)于圖像增強(qiáng)的神經(jīng)網(wǎng)絡(luò)論文，大概成果就是將手機(jī)照片作為輸入，將DSLR相機(jī)拍出的照片作為target，通過網(wǎng)絡(luò)使其學(xué)習(xí)到一個(gè)映射函數(shù)，目的是讓手機(jī)拍出單反相機(jī)照片的效果。

基于DPED，我們可以將老舊或低質(zhì)量的照片轉(zhuǎn)化為高質(zhì)量的照片，而且轉(zhuǎn)化效果很好，可用于照片美化等應(yīng)用場(chǎng)景。如下圖，可以看到T770在對(duì)DPED - ResNet處理的錯(cuò)誤率一致的情況下，錯(cuò)誤率都很低，處理速度上有明顯優(yōu)勢(shì)。

逐項(xiàng)拆解之LSTM

接下來，我們?cè)倏匆幌耇770在長短期記憶網(wǎng)絡(luò)（Long-Short Term Memory，LSTM）方面的性能。由于獨(dú)特的設(shè)計(jì)結(jié)構(gòu)，LSTM適合處理和預(yù)測(cè)時(shí)間序列中間隔和延遲非常長的重要事件。LSTM的表現(xiàn)通常比時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)及隱馬爾科夫模型（HMM）更好，比如用在不分段連續(xù)手寫識(shí)別上。

2009年，用LSTM構(gòu)建的人工神經(jīng)網(wǎng)絡(luò)模型贏得ICDAR手寫識(shí)別比賽冠軍。LSTM還普遍應(yīng)用在自主語音識(shí)別，2013年，運(yùn)用TIMIT自然演講數(shù)據(jù)庫實(shí)現(xiàn)了17.7%錯(cuò)誤率紀(jì)錄。作為非線性模型，LSTM可作為復(fù)雜的非線性單元，用于構(gòu)造更大型深度神經(jīng)網(wǎng)絡(luò)。

下圖可以看到，T770在對(duì)LSTM處理的錯(cuò)誤率一致的情況下，處理速度上有著明顯優(yōu)勢(shì)。

逐項(xiàng)拆解之U-Net

U-Net是比較早的使用全卷積網(wǎng)絡(luò)進(jìn)行語義分割的算法之一，因網(wǎng)絡(luò)形狀酷似U而得名。圖像語義分割(Semantic Segmentation)是圖像處理和機(jī)器視覺技術(shù)中，關(guān)于圖像理解的重要一環(huán)，也是 AI 領(lǐng)域中一個(gè)重要的分支。語義分割對(duì)圖像中每一個(gè)像素點(diǎn)進(jìn)行分類，確定每個(gè)點(diǎn)的類別（如屬于背景、人或車等），從而進(jìn)行區(qū)域劃分。目前，語義分割已經(jīng)被廣泛應(yīng)用于自動(dòng)駕駛、無人機(jī)落點(diǎn)判定等場(chǎng)景中。U-Net在醫(yī)學(xué)領(lǐng)域也得到了應(yīng)用，比如醫(yī)學(xué)圖像解析，也就是從一副醫(yī)療圖像中，識(shí)別出特定的人體部位，比方說“前列腺”、“肝臟”等等。

下圖可以看到，T770和競(jìng)品對(duì)U-net處理的錯(cuò)誤率都極低，而T770在擁有極低錯(cuò)誤率的同時(shí)，處理速度明顯占優(yōu)。