數據科學家，Jetpac公司CTOPete Warden發表了一篇博文，詳細闡述了微型化是機器學習應用的一條出路，并且相信機器學習可以在微小的、低功耗的芯片上運行，利用深度學習可以做到非常高的能源利用率。谷歌大腦負責人Jeff Dean也轉發這篇博文，并且也強調了其技術可行性。

當Azeem邀請我到CogX做演講時，他希望我能把核心集中于引導用戶思考的某一個點上。前幾年，我的首要任務是讓人們相信，深度學習是一場真正的革命，而不僅僅是一時的風尚，目前已經有足夠多的例子可以證明這個觀點。我之所以知道這個觀點是正確的，并不是因為我是一個預言家，而是因為我有機會可以花時間去親自動手操作這項技術。所以我非常相信深度學習的價值，因為我親眼見到了這些效果，并且知道，阻止它從實驗室走向工業界的唯一屏障，僅僅在于更廣泛的應用場景需要投入更多的研究時間。

今天，我將談論另一種鮮為人知的，但我確信無疑的趨勢。那就是我相信機器學習可以在微小的、低功耗的芯片上運行，這種技術將解決目前方案中的瓶頸問題，這就是我在CogX上要講的。

微型電腦已經足夠便宜，且非常普及

因為市場過于分散，以至于很難得到確切的數字，但最好的估計是今年將有超過400億的微控制器售出，考慮到他們所使用的產品的持久性，可能會有數千億個微控制器在使用。微控制器(或MCUs)包含一個小CPU，僅僅只有幾千字節的RAM，并且被嵌入到消費者、醫療、汽車和工業設備中。它們的設計目的是為了得到低功耗、低成本的產品，預計這一產品今年的平均價格將低于50美分。

它們并沒有得到太多的關注，因為它們經常被用來取代舊的電動機械系統在汽車、洗衣機或遙控器上的功能。這些設備的控制邏輯和以前使用的模擬電路和繼電器幾乎沒有什么區別，除了可能有一些可編程功能的微小改變。對于制造商來說，最大的好處是，標準的控制器可以用軟件來編程，而不是去定制電子設備，這樣可以降低制造過程的成本，也更容易生產。

能源是限制因素

任何需要電源的設備都面臨著布線問題的限制，而且一旦開始布線也有可能引來其他新的問題，例如，在手術室中與工廠的地板上。為了將電源電壓從輸電電壓轉換到設備可用電壓是非常昂貴且浪費的。甚至是像手機或筆記本電腦這種便攜式設備也需要非常頻繁的充電。

幾乎任何智能產品的終極目標都是為了讓設備可以部署在任何地方，而不需要什么維護手段。為了實現這一目標，最大的障礙是：大多數的電子系統都需要使用能源。下面是一些基于智能手機能耗數據的常見組件的粗略數字（更多細節請參閱我的以前的博文【1】）：

一個顯示器可能需要400毫瓦。

有源電池收音機可能使用800毫瓦。

藍牙可能使用100毫瓦。

加速度計是21毫瓦。

陀螺儀是130毫瓦。

GPS是176毫瓦。

一個微控制器本身可能只使用1毫瓦或者更少，但外設可能會使用更多的電能，一枚硬幣電池可以提供2500焦耳的能量，所以電池即使要給1毫瓦的設備供電，也只能維持一個月左右，當然，目前大多數的產品都使用了輪轉和睡眠，以避免經常開機，但即便如此，問題仍未的到解決。

CPU和傳感器幾乎不使用電源，而收音機和顯示器使用的電量很多

一般來說處理器、傳感器可以將電力成本降低到微瓦級別，但顯示器、無線電等設備需要更多的電力成本，甚至是低功耗、藍牙等設備也需要幾十毫瓦。數據移動的過程導致了更大的能量開銷，似乎有這樣一條規則，一個操作所需要的能量與發送數據的距離成正比。CPU和傳感器發送的距離只有幾毫米，而且非常便宜，而無線電發送的距離很遠，并且價格昂貴。我認為即使技術上有所改善，這種差距仍然會進一步擴大。

我們獲取的傳感器數據比我們使用的多

幾年前，我和一些研究衛星攝像的工程師交談過。他們的問題是，他們使用手機攝像頭已經可以拍攝高清的視頻，但衛星上只有少量內存來存儲結果，每幾個小時，需要通過有限的帶寬下載到地球上的基站中。我才突然發現，幾乎所有的傳感器場景都面臨著同樣的問題。即使是家里的攝像頭也受到wifi和寬帶連接帶寬的限制。我的一個朋友，他12月份的ISP使用率大大超出今年的限額，當他逐層分析后，發現主要原因居然是因為屋里閃爍的圣誕燈導致視頻流壓縮比急劇下降。

還有很多這樣的例子，我們的可穿戴設備和手機上的所有加速器都只是用來檢測可能喚醒設備的事件，或者是基本的步驟計數，所有可能的更復雜的活動檢測都無法涉及。

這對機器學習意味著什么？

如果你接受上面的所有觀點，那么很明顯，有一個巨大的尚未開發的市場等待著用正確的技術來開啟。我們需要一種能在廉價的微控制器上工作的東西，它只需要很少的能量，它依賴于計算而不是無線電，它能把我們所有浪費的傳感器數據變成有用的東西。這就是機器學習，尤其是深度學習所填補的空白。

深度學習在已有的微控制器上是計算密集且可用的

在深度學習實現方面，它們幾乎都是受計算限制的。這一點很重要，因為我所研究的其他問題幾乎都是受到訪問大量內存的速度限制。相比之下，神經網絡把大部分事件都花在了大矩陣相乘上，同樣的數字在不同的組合中可以重復使用，這意味著CPU大部分時間都花在計算兩個緩存的數字相乘上，而從內存中獲取新值的時間要少得多。

這很重要，因為從內存中獲取數據需要更大的能量開銷（這可能是距離-能量的一個明顯例子——因為內存比寄存器更遠）。相對較低的內存需求意味著低功耗的SRAM或閃存可以用于存儲，這使得深度學習應用程序非常適合于微控制器，尤其是當使用8位計算而不是浮點數時，因為MCUs通常已經有類似dsp的指令，非常適合。這一想法并不是特別新穎，因為谷歌和蘋果已經開始有所行動，在這些芯片上進行語音識別，但在ML或嵌入式世界中，似乎沒有多少人意識到深度學習和MCUs的結合價值。

深度學習可以做到非常高的能源利用率

我花了很多時間去思考焦耳/運算（picojoules per op.，CPU算數單元的能量開銷）的問題。因為這樣我可以得出一個大概的估計，知道一個神經網絡大概要消耗多少能量。例如，MobileNetV2圖像分類網絡在最小的版本中要2200萬個操作，如果知道每個操作需要5微微焦的能量，那么他就需要110微瓦的能量，如果我們每秒分析一幀，那么只有110微瓦，一枚硬幣電池可以持續使用一年。這些數字在目前的dsp元件中是非常有競爭力的。

深度學習能夠感知傳感器的數據

在過去幾年，利用神經網絡接收圖像、音頻、加速度等噪聲信號，并從中提取出價值這一難題，突然變得可能。因為我們可以在微控制器中運行這些模型，而傳感器本身只需要很少的電量，所以我們可以從傳感器數據中獲取更多的價值。例如，我希望讓所有設備都有一個簡單的語音交互能力。用于理解短語，或可以使用圖像傳感器完成目標檢測，這樣可以不依賴按鈕來完成很多操作。希望這種語音交互組件可以在50美分硬幣電池下運行一年，并且這在我們當前的技術上是可行的。

另一個例子是，我想要一個小型電池驅動的圖像傳感器，我可以對它進行編程，以查找特定的作物害蟲或雜草，并在被發現時發出警報。它們可以分散在農田周圍，以一種更環保的方式指導諸如除草或殺蟲劑等干預措施。

讓我印象深刻的一個工業例子是一個工廠的經營者對“Hans”的描述。他是一個資深工程師，每天都要沿著一排機器走，并把手放在每一個機器上，聽著，然后告訴工頭哪些機器需要離線維修，這些都是基于經驗和直覺的。如果你能在每臺機器上安裝一個電池驅動的加速度計和麥克風(一個“Cyber-Hans”)，倘若出現異常，這些機器將提前給工廠警告。

類似的想法還有很多，但最讓我興奮地是，我不知道這些設備將如何使用，但背后的技術是如此迷人，這將建立我無法想象的全新應用程序。對我來說，就像80年代家用電腦出現時的樣子。我不知道它們會變成什么，當時大多數人都用它來玩游戲或存儲地址簿，但我知道這種設備將為世界帶來太多的可能性。

召開會議而不是發送文件的唯一理由是為了傳達信息之外的情感。我想和CogX觀眾分享的是我對ML在小型設備上的應用前景。我不知道未來會出現什么細節，但我知道可用于機器學習微型化、廉價化的電池驅動芯片即將問世，它將帶來一批無法想象的新應用。