控制和測試軟件用C代碼實(shí)現(xiàn)。該軟件將權(quán)重值和輸入向量放入主存儲器，并使用一組配置寄存器控制硬件模塊。權(quán)重矩陣的每行結(jié)尾是相應(yīng)的偏置值。輸入向量包含一個額外的單位值，使得矩陣向量乘法僅添加矩陣行的最后一個元素。零填充用于匹配矩陣行尺寸和向量尺寸，這使流同步更容易。

由于LSTM的循環(huán)性質(zhì)，每次循環(huán)c和h都被覆蓋。這樣做可以最大限度地減少CPU完成的內(nèi)存復(fù)制次數(shù)。為了實(shí)現(xiàn)多層LSTM，將上一層的輸出復(fù)制到下一層的位置，以便在層之間保留以進(jìn)行錯誤度量。此外，控制軟件還需要通過在控制寄存器中設(shè)置不同的存儲位置來更改不同層的權(quán)重。

實(shí)驗(yàn)和實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)實(shí)現(xiàn)了一個字符級語言模型，它預(yù)測了給定前一個字符的下一個字符。根據(jù)字符，模型生成一個看起來像訓(xùn)練數(shù)據(jù)集的文本，它可以是一本書或大于2 MB字的大型互聯(lián)網(wǎng)語料庫。本實(shí)驗(yàn)選取莎士比亞的一部分作品進(jìn)行了訓(xùn)練。實(shí)驗(yàn)實(shí)現(xiàn)了一個隱藏層大小為128的2層LSTM模型。
該方案在包含Zynq-7000 SOC XC7Z020的Zedboard上實(shí)現(xiàn)。它包含雙ARM Cortex-A9 MPCore，該實(shí)驗(yàn)采用的C代碼LSTM的實(shí)現(xiàn)在Zedboard的雙ARM Cortex-A9處理器上運(yùn)行，時鐘頻率為667 MHz。在FPGA上的實(shí)現(xiàn)運(yùn)行的時鐘頻率為142 MHz的。芯片總功率為1.942 W，硬件利用率如表1所示。

表1

圖6展示了不同嵌入式平臺上的前饋LSTM字符級語言模型的執(zhí)行時間，時間越越好。我們看到，即使是在142MHz的時鐘頻率下，該實(shí)現(xiàn)依然比嵌入在Zynq 7020 FPGA上的ARM Cortex-A9 CPU的實(shí)現(xiàn)快了21倍。

圖6

圖7展示了不同嵌入式平臺的單位功耗性能（值越大表示性能越好）。從圖中結(jié)果可以看出，F(xiàn)PGA的實(shí)現(xiàn)單位功耗性能遠(yuǎn)超其他平臺，這進(jìn)一步說明了FPGA實(shí)現(xiàn)的優(yōu)越性。

圖7

引用：
Recurrent Neural Networks Hardware Implementation on FPGA, Andre Xian Ming Chang, Berin Martini, Eugenio Culurciello