TinyML 也是機器學習的一種，他的特點就是縮小深度學習網(wǎng)絡可以在微型硬件中使用，主要應用在智能設備上。

超低功耗嵌入式設備正在“入侵”我們的世界，借助新的嵌入式機器學習框架，它們將進一步推動人工智能驅動的物聯(lián)網(wǎng)設備的普及。

FPGA一直以低功耗、可重構的特點在各個領域內(nèi)應用，同時也可以大大增加物聯(lián)網(wǎng)應用環(huán)境，所以在FPGA上應用TinyML是否是FPGA方便的最佳應用？我們接下來分析一下TinyML的特點再來總結。

接下來讓我們翻譯這個行話：什么是 TinyML？而且，更重要的是 - 它可以（也不能）用于什么？

什么是 TinyML？

機器學習是一個流行詞，已經(jīng)存在了一段時間，有許多有用的應用程序需要理解混沌數(shù)據(jù)，目前的應用中它很少與硬件相關聯(lián)。通常，如果一定要與硬件那么通常通過云相關聯(lián)，而云通常與延遲、耗電和連接速度有關。

然而，在設備中應用機器學習并不是什么新鮮事。幾年來，我們的大多數(shù)手機都內(nèi)置了某種神經(jīng)網(wǎng)絡。設備音樂識別，以及許多相機模式（如夜視和人像模式）只是依賴嵌入式深度學習的幾個例子。這些算法可以識別我們更有可能再次使用的應用程序，并關閉不需要的應用程序來延長手機電池。然而，嵌入式 AI 面臨著許多挑戰(zhàn)，其中最重要的挑戰(zhàn)就是功率和空間。這就是 TinyML 的用武之地。

設備上的傳感器數(shù)據(jù)需要強大的計算能力，這會導致存儲容量有限、中央處理器 (CPU) 有限和數(shù)據(jù)庫性能下降等問題。TinyML 通過將人工智能嵌入到小塊硬件中，將機器學習帶到了“現(xiàn)場”。有了它，就可以利用深度學習算法在設備上訓練網(wǎng)絡并縮小它們的大小，而無需將數(shù)據(jù)發(fā)送到云端，從而減少分析它的延遲。

TinyML：了解基礎知識

Google 的 TinyML 大師和 TensorFLow Lite 工程負責人 Pete Warden 與 Daniel Situnayake 一起出版了一本書。這本書“TinyML：在 Arduino 和超低功耗微控制器上使用 TensorFlow Lite 進行機器學習”已成為該領域的參考。

最后，TensorFlow Lite是谷歌創(chuàng)建的嵌入式機器學習框架，它有一個專門為微控制器設計的子類別。2019 年，除了 TensorFlow Lite 之外，其他框架開始專注于讓深度學習模型更小、更快，并適配嵌入式硬件，包括uTensor和Arm 的 CMSIS-NN。與此同時，許多教程開始出現(xiàn)，內(nèi)容是關于如何在 AI 驅動的微控制器上使用 TinyML 和類似框架來訓練、驗證然后通過推理引擎在硬件上部署小型神經(jīng)網(wǎng)絡集。

機器學習通常與優(yōu)化有關，但 TinyML 不僅僅是與優(yōu)化有關：一些云應用程序編程接口 (API) 只是排除交互性，并且從功耗角度來看過于受限。最重要的是，這些限制使邊緣計算變得更慢、更昂貴且更不可預測。

與前面提到的基于手機上應用的機器學習的不同之處在于，TinyML 使電池或能量收集設備能夠運行，而無需因功率限制而手動充電或更換電池。把它想象成一個永遠在線的數(shù)字信號處理器。這轉化為一種運行功率低于 1 毫瓦的設備（夸張描述），因此該設備要么能夠使用電池運行多年，要么可以使用能量收集。這也意味著這些設備根本無法通過無線電連接，因為即使是低功率的短距離無線電也會使用數(shù)十到數(shù)百毫瓦的功率，并且它只允許短時間的功率爆發(fā)。這些限制還導致需要能夠在限制為數(shù)十 KB 的極小內(nèi)存限制下運行的代碼，因此需要將 TinyML 與 raspberry 或手機上的代碼區(qū)分開來。

TinyML：當前的應用概覽

根據(jù)Emerging Spaces 對 Pitchbook的評論，自 2020 年 1 月以來，TinyML 已投資 2600 萬美元，其中包括加速器、早期投資者和后期投資者的風險投資。與 AI 和 ML 的其他更成熟的分支（例如數(shù)據(jù)標簽）相比，這相對較小。在趨勢中，交易數(shù)量與認知計算、下一代安全和 AIOps 等其他熱門話題競爭。

TinyML:工作機制

TinyML 算法的工作機制與傳統(tǒng)機器學習模型幾乎完全相同，通常在用戶計算機或云中完成模型的訓練。訓練后處理是 TinyML 真正發(fā)揮作用之處，通常稱為“深度壓縮”（deep compression）。

深度壓縮示意圖。來源： ArXiv 論文

TinyML：展望未來

今年秋天，哈佛大學推出了課程CS249R：微型機器學習，提到“機器學習的爆炸式增長和 TensorFlow (TF) 等平臺的易用性使其成為現(xiàn)代計算機科學專業(yè)學生不可或缺的學習課題”。

今天，世界上有超過 2500 億個嵌入式設備在運行，預計每年增長 20%。，這些設備正在收集大量數(shù)據(jù)，并在云端處理這些數(shù)據(jù)提出了相當大的挑戰(zhàn)。在這 2500 億臺設備中，目前正在生產(chǎn)的大約 30 億臺能夠支持目前正在生產(chǎn)的 TensorsFlow Lite。TinyML 可以彌合邊緣硬件和設備智能之間的差距。

總結

隨著物聯(lián)網(wǎng)設備的增加，多傳感器的融合以及數(shù)量處理也是比較大的特點，所以低功耗的FPGA在這方面會大方異彩。

在這方面，F(xiàn)PGA廠商Lattice早就推出了基于超低功耗（iphone手機上曾用的up5k）FPGA的TinyML開發(fā)平臺，并且開源了聲音和人臉識別的開源方案，鏈接如下：

https://github.com/tinyvision-ai-inc

https://www.latticesemi.com/Products/DevelopmentBoardsAndKits/HimaxHM01B0

隨著新智能設備和物聯(lián)網(wǎng)設備數(shù)量的增加，TinyML在低功耗FPGA上的應用有可能在無處不在、更便宜、可擴展且更可預測的邊緣嵌入 AI 設備上大量應用，從而改變 ML 的應用范式。

審核編輯 ：李倩