作者 Mark Patrick

將AI推向邊緣的影響

在上一篇文章中，我們探索了將AI推向網(wǎng)絡(luò)邊緣的一些有力論點。本篇連載文章中，我們將討論哪些AI應(yīng)用能真正從這種方法中受益。首先，回顧一下在網(wǎng)絡(luò)邊緣實施AI的原因可以提供一些重要提示。請查看以下任何一項是否適用于項目：

● 無法訪問快速、穩(wěn)定的網(wǎng)絡(luò)連接
● 產(chǎn)品在受限環(huán)境中運行
● 項目需要交付實時AI
● 可用預(yù)算有限

考慮到上述因素，通過在邊緣運行ML模型可以使哪些具體的AI項目更容易運行？

虛擬助手

Apple在2010年推出Siri，一如既往地再次引領(lǐng)了潮流。這為其他許多虛擬助手鋪平了道路，其中最著名的便是亞馬遜的Alexa和Google Assistant。虛擬助手使科幻風(fēng)格的語音控制成為現(xiàn)實，并通過以下方式工作：

1、首先要說一個喚醒詞或啟動語音助手。對于Amazon Echo這樣的獨立式設(shè)備，則會不斷監(jiān)聽喚醒詞，并使用簡單的語音模式匹配在本地進行處理。這就是為什么Alexa僅識別特定喚醒詞（Alexa、Amazon、Echo和計算機）的原因；
2、設(shè)備現(xiàn)在連接到云端服務(wù)器，并發(fā)送收聽內(nèi)容的錄音；
3、云服務(wù)器運行語音到文本ML模型，將錄制的語音轉(zhuǎn)換為自然語言文本塊；
4、文本則會借助自然語言處理解析以提取含義；
5、服務(wù)器會計算出所請求的內(nèi)容，然后將適當(dāng)?shù)拿罨騼?nèi)容發(fā)送回設(shè)備。

通過將ML模型移到邊緣來增進這種體驗的方式顯而易見：語音助手將具有更快的響應(yīng)速度、不需要連接到互聯(lián)網(wǎng)即可嵌入語音控制。也就是說，被調(diào)用的應(yīng)用程序本身可能需要網(wǎng)絡(luò)連接（例如音樂流媒體服務(wù)

面部識別

面部識別是發(fā)展速度最快的AI應(yīng)用之一。這一技術(shù)仍在發(fā)展，一路上小問題不斷。例如，兩年前，亞馬遜旗下的Rekognition深陷種族主義的爭議和指控之中。這套系統(tǒng)在接受了2.5萬張圖像的訓(xùn)練后，錯誤地將28個美國少數(shù)族裔議員識別為臭名遠(yuǎn)播的罪犯。1

2019年，英國最大的警察機關(guān)大都會警察局 (Met) 對面部識別技術(shù)進行了早期試驗，結(jié)果顯示這項技術(shù)在81%的時候都不準(zhǔn)確。但是，最新的面部識別系統(tǒng)正在變得越來越準(zhǔn)確。Met今年年初宣布將在大型活動中采用這項技術(shù)掃描已證實的鬧事者。

許多需要面部識別的用例都需要這項技術(shù)近乎實時地工作。因此，應(yīng)用程序更依賴于將ML模型移動到網(wǎng)絡(luò)邊緣。Met所采用的系統(tǒng)基于NEC NeoFace Watch，它是完全獨立的設(shè)備，并具備實時工作能力。NEC的技術(shù)還瞄準(zhǔn)了其他幾個市場，包括零售、企業(yè)活動、節(jié)日和其他大型活動以及交通運輸。

實時監(jiān)控

重工業(yè)和采礦業(yè)依賴于極其龐大和昂貴的機械。如果這種機器出現(xiàn)意外停機，企業(yè)可能蒙受數(shù)以百萬計的損失。例如，許多采礦作業(yè)都依賴于巨型大功率泵來保持巷道無水，并將開采出的泥漿泵送至選礦廠。如果這些泵當(dāng)中有一臺出現(xiàn)災(zāi)難性故障，則整個運營都將中斷。因此，礦業(yè)公司在AI系統(tǒng)中投入巨資，以期借助這些系統(tǒng)提前預(yù)測潛在的故障。

目前，這些系統(tǒng)通常基于從設(shè)備上安裝的物聯(lián)網(wǎng)傳感器傳輸數(shù)據(jù)。然后，數(shù)據(jù)會被集中處理，并將任何必要的警告回傳到相應(yīng)的操作人員。但是，礦山和施工工地的范圍可能達(dá)到數(shù)十公里，通常地形險惡，因此將ML模型直接集成到邊緣設(shè)備中將簡化整個過程。

在邊緣運行AI和ML模型需要什么？

將AI轉(zhuǎn)移到網(wǎng)絡(luò)邊緣需要三樣?xùn)|西：合適的硬件、新工具和用于創(chuàng)建ML模型的新范式。下面我們將逐一進行介紹。

經(jīng)過優(yōu)化的硬件

如前文所討論的那樣，ML模型通常依賴于大量的并行運算。本質(zhì)上講，它們需要原始的計算能力。但是，在算力和設(shè)備消耗的實際功率之間始終要進行權(quán)衡與取舍。要將ML模型推向邊緣，需要消耗功率盡可能少的設(shè)備。當(dāng)需要嵌入設(shè)備時更是如此。幸運的是，現(xiàn)在有各種各樣的高性能、低功耗MCU。

合適的工具

接下來需要合適的工具鏈以在微控制器上運行ML模型。絕大多數(shù)ML框架被設(shè)計在64位Intel系列的CPU或GPU上運行。相比之下，所有合適的微控制器都具有32位精簡指令集架構(gòu)，例如ARM Cortex系列的MCU。但是，TensorFlow Lite等ML框架的開發(fā)使ML模型可以在此類MCU上運行。

一次建模，即可隨處運行

最后一塊拼圖是創(chuàng)建和運行ML模型的不同范式。這可以用“一次建模，即可隨處運行”這句話來概括。顧名思義：先創(chuàng)建模型（通常使用大功率的經(jīng)ML優(yōu)化的機器），然后使用工具鏈將其轉(zhuǎn)換為可以在任何微控制器上運行的代碼。遺憾的是，這樣也損失了從持續(xù)學(xué)習(xí)或強化學(xué)習(xí)中受益的能力。

權(quán)衡

下表列出了在邊緣模型上運行ML模型時所做出的一些權(quán)衡。但愿它能提供一些有助于確定是否將您的下一個AI項目移至最前沿的指引。

結(jié)論

將ML模型推向邊緣，實現(xiàn)了AI的新用例，從而有望帶來可嵌入式AI的革命。這些在MCU上運行ML模型所需的MCU硬件和工具的發(fā)展，均為這類技術(shù)的擴展奠定了基礎(chǔ)。

資料來源：

1、https://www.nytimes.com/2018/07/26/technology/amazon-aclu-facial-recognition-congress.html

2、https://news.sky.com/story/met-polices-facial-recognition-tech-has-81-error-rate-independent-report-says-11755941

作為貿(mào)澤電子的EMEA技術(shù)營銷經(jīng)理，Mark Patrick負(fù)責(zé)該地區(qū)技術(shù)內(nèi)容的創(chuàng)建和發(fā)布——這些內(nèi)容為貿(mào)澤的工程領(lǐng)域用戶提供有力支持、向其傳遞行業(yè)前沿信息并為其提供靈感，是貿(mào)澤戰(zhàn)略發(fā)展的關(guān)鍵。

在領(lǐng)導(dǎo)技術(shù)營銷團隊之前，Patrick曾就職于EMEA供應(yīng)商營銷團隊，在與主要制造合作伙伴建立和發(fā)展關(guān)系方面發(fā)揮過至關(guān)重要的作用。

除了擔(dān)任過各種技術(shù)和營銷職位外，Patrick之前還曾在Texas Instruments公司的應(yīng)用支持與技術(shù)銷售部工作過八年。

在骨子里，他還是一位“注重實踐”的工程師，對老式合成器和摩托車充滿熱情，他認(rèn)為修這兩樣?xùn)|西都不在話下。Patrick擁有考文垂大學(xué)電子工程學(xué)一等榮譽學(xué)位。

相關(guān)閱讀：
離網(wǎng)絡(luò)邊緣更近一步