描述

這是在使用 32 位浮點精度的微控制器上訓練深度學習模型的嘗試。我們通過構建一個機器人來實現這一點，該機器人學習如何使用深度強化學習以最小距離跟隨最近的障礙物。訓練過程的演示可以在這里找到。

訓練過程的演示可以在這里找到。該項目的靈感來自于Pete Warden ( Google TensorFlow)、Neil Tan (ARM) 在微控制器上運行神經網絡所做的工作。

介紹

實時機器學習 (RTML) 是指主動解釋和學習實時到達的數據。它要求代理人根據先前的知識解決不熟悉的問題，并經常做出實時決策。我們在嵌入式系統的開發和部署環境中討論 RTML。

目前，地球上活躍著近 150 億個嵌入式處理器，它們收集并有時處理大量數據。這些數據中的大部分都被丟棄了，因為這些微型計算機通常不具備在其上運行復雜解釋任務的硬件功能。出于這個原因，數據通過無線網絡發送到功能更強大的中央計算機進行處理。但是這種形式的基于云的架構（其中邊緣設備僅執行數據收集）可能由于以下原因而變得不利：

• 發送數據需要邊緣設備和中央計算機之間的通信。這個過程對處理器來說是非常耗能的，因此只能間歇性地完成
• 由于無線通信協議的設計方式，傳輸數據時的延遲保證權衡是不可避免的。這可能會嚴重延遲從數據中采取關鍵行動的時間。
• 關于數據包從微處理器到達和被微處理器接收所花費的時間，無線通信協議也具有不確定的行為，這對于需要關鍵響應的任務來說也是非常不希望的。
• 這種不確定的通信鏈路要求微處理器幾乎一直處于活動狀態，這是空閑功耗的主要來源之一。

這就是深度學習的力量所在。深度學習算法實現中最大最密集的操作是矩陣乘法，硬件高效實現已經存在并且完全受算術限制。即使使用現有技術，微處理器和 DSP 也能夠在不到一毫瓦的情況下處理數千萬或數億次計算，而且更高效的低能耗加速器即將出現。經過訓練后，這些模型能夠運行復雜的推理任務并保持對噪聲的穩健性，這是實時數據的典型特征。通過在邊緣設備中加入深度學習功能使邊緣設備更智能，將解決所有源于數據交換的問題，并使其成為從現實世界數據中快速做出重要決策的合適且可靠的候選者。設備在部署到現場后還可以進行持續改進。

以下是深度學習框架如何在資源受限的嵌入式系統上開發和運行的一些更廣泛的方法：

• 現有算法的內存高效實現
• 低精度量化訓練/推理
• 訓練期間的低精度乘法
• 使用修剪和霍夫曼編碼壓縮神經網絡
• 使浮點數學對 AI 硬件高效

在本項目中，我們重點介紹第一種方法，并簡要介紹第二種方法。據我們所知，這將是第一個開發用于在具有平臺獨立性的嵌入式系統上訓練和運行推理的深度學習庫。

使用深度策略梯度網絡進行強化學習

有關策略梯度網絡的精彩介紹，請參閱本教程。所有用于矩陣操作和實施深度學習算法的庫都是用 C++ 自定義編寫的。

對于這個項目，網絡構建如下：

• 輸入層的維度為 1x1。它攜帶超聲波傳感器測量到的最近障礙物的距離。
• 隱藏層的維度為 3x1，具有 RELU 激活。
• 輸出層的維度為 5x1，具有 softmax 激活，對應于機器人可以行進的 5 種可能速度。

訓練在每一集之后進行，其中網絡對 5 個動作進行采樣，執行它們并存儲計算出的獎勵。