NeuRRAM在邊緣計算領(lǐng)域的新突破。

近日清華大學(xué)團隊參與的一個國際研究團隊設(shè)計并制造了一種芯片——NeuRRAM，該芯片可以直接在內(nèi)存中運行計算，并且可以運行各種 AI 應(yīng)用程序。

NeuRRAM 神經(jīng)形態(tài)芯片使人工智能更接近于在廣泛的邊緣設(shè)備上運行，與云斷開連接，它們可以隨時隨地執(zhí)行復(fù)雜的認(rèn)知任務(wù)，而無需依賴與中央服務(wù)器的網(wǎng)絡(luò)連接。應(yīng)用遍及世界的每一個角落和我們生活的方方面面，從智能手表到 VR 耳機、工廠中的智能傳感器和用于太空探索的漫游車。 NeuRRAM 芯片的能效不僅是最先進的“內(nèi)存計算”芯片的兩倍，這種在內(nèi)存中運行計算的創(chuàng)新混合芯片，它還提供與傳統(tǒng)數(shù)字芯片一樣準(zhǔn)確的結(jié)果。傳統(tǒng)的人工智能平臺體積更大，通常受限于使用在云中運行的大型數(shù)據(jù)服務(wù)器。 NeuRRAM芯片用途廣泛，支持多種不同的神經(jīng)網(wǎng)絡(luò)模型和架構(gòu)。因此，該芯片可用于許多不同的應(yīng)用，包括圖像識別和重建以及語音識別。

NeuRRAM在邊緣計算上的潛能

傳統(tǒng)觀點認(rèn)為，內(nèi)存計算的更高效率是以多功能性為代價的，但 NeuRRAM 芯片在不犧牲多功能性的情況下獲得了效率。

目前，人工智能計算既耗電又昂貴。邊緣設(shè)備上的大多數(shù)人工智能應(yīng)用程序都涉及將數(shù)據(jù)從設(shè)備移動到云端，人工智能在云端對其進行處理和分析。然后將結(jié)果移回設(shè)備。這是因為大多數(shù)邊緣設(shè)備都是電池供電的，因此只能用于計算的電量有限。

通過降低邊緣 AI 推理所需的功耗，這款 NeuRRAM 芯片可以帶來更強大、更智能、更易于訪問的邊緣設(shè)備和更智能的制造。它還可以帶來更好的數(shù)據(jù)隱私，因為將數(shù)據(jù)從設(shè)備傳輸?shù)皆茣砀叩陌踩L(fēng)險。

在 AI 芯片上，將數(shù)據(jù)從內(nèi)存轉(zhuǎn)移到計算單元是一大瓶頸。研究人員表示“這相當(dāng)于每天兩個小時的通勤時間為八小時。”

為了解決這個數(shù)據(jù)傳輸問題，研究人員使用了電阻式隨機存取存儲器，這是一種非易失性存儲器，允許直接在存儲器內(nèi)而不是在單獨的計算單元中進行計算。使用 RRAM 芯片進行計算不一定是新事物，但通常會導(dǎo)致在芯片上執(zhí)行的計算的準(zhǔn)確性降低，并且芯片架構(gòu)缺乏靈活性。

NeuRRAM 的新特點是，現(xiàn)在極高的效率與各種 AI 應(yīng)用的極大靈活性相結(jié)合，與標(biāo)準(zhǔn)數(shù)字通用計算平臺相比，準(zhǔn)確性幾乎沒有損失。精心設(shè)計的方法是在硬件和軟件的抽象層上進行多層次“協(xié)同優(yōu)化”的關(guān)鍵，團隊需要考慮從芯片的設(shè)計到運行各種 AI 任務(wù)的配置。

NeuRRAM芯片性能

研究人員通過一種稱為能量延遲積或 EDP 的方法來測量芯片的能量效率。EDP結(jié)合了每次操作消耗的能量和完成操作所需的時間。通過這一措施，與最先進的芯片相比，NeuRRAM 芯片的 EDP 低 1.6 到 2.3 倍（越低越好），計算密度高 7 到 13 倍。

研究人員在芯片上運行各種 AI 任務(wù)。它在手寫數(shù)字識別任務(wù)上達(dá)到了 99%的準(zhǔn)確率；85.7%的圖像分類任務(wù)；84.7%的谷歌語音命令識別任務(wù)。此外，該芯片還在圖像恢復(fù)任務(wù)中實現(xiàn)了 70%的圖像重建誤差降低。這些結(jié)果可與現(xiàn)有的數(shù)字芯片相媲美，這些芯片在相同的位精度下執(zhí)行計算，但大大節(jié)省了能源。

研究人員指出，該論文的一個關(guān)鍵貢獻(xiàn)是所有特色結(jié)果都是直接在硬件上獲得的。在之前的許多內(nèi)存計算芯片工作中，AI 基準(zhǔn)測試結(jié)果通常部分通過軟件模擬獲得。

下一步包括改進架構(gòu)和電路，并將設(shè)計擴展到更先進的技術(shù)節(jié)點。研究人員還計劃解決其他應(yīng)用，例如脈沖神經(jīng)網(wǎng)絡(luò)。研究人員說：“我們可以在設(shè)備層面做得更好，改進電路設(shè)計以實現(xiàn)附加功能并解決各種應(yīng)用。”

NeuRRAM新架構(gòu)

NeuRRAM 能源效率的關(guān)鍵是一種創(chuàng)新的方法來檢測內(nèi)存中的輸出。傳統(tǒng)方法使用電壓作為輸入并測量電流作為結(jié)果。但這導(dǎo)致需要更復(fù)雜和更耗電的電路。在 NeuRRAM 中，該團隊設(shè)計了一種神經(jīng)元電路，可以感應(yīng)電壓并以節(jié)能的方式執(zhí)行模數(shù)轉(zhuǎn)換。這種電壓模式感測可以在單個計算周期內(nèi)激活 RRAM 陣列的所有行和所有列，從而實現(xiàn)更高的并行度。

在 NeuRRAM 架構(gòu)中，CMOS 神經(jīng)元電路與 RRAM 權(quán)重物理交錯。它不同于傳統(tǒng)的設(shè)計，其中 CMOS 電路通常位于 RRAM 權(quán)重的外圍。神經(jīng)元與 RRAM 陣列的連接可以配置為用作神經(jīng)元的輸入或輸出。這允許在各種數(shù)據(jù)流方向上進行神經(jīng)網(wǎng)絡(luò)推理，而不會產(chǎn)生面積或功耗方面的開銷。這反過來又使架構(gòu)更易于重新配置。

為了確保人工智能計算的準(zhǔn)確性可以在各種神經(jīng)網(wǎng)絡(luò)架構(gòu)中保持不變，研究人員開發(fā)了一套硬件算法協(xié)同優(yōu)化技術(shù)。這些技術(shù)在各種神經(jīng)網(wǎng)絡(luò)上得到了驗證，包括卷積神經(jīng)網(wǎng)絡(luò)、長短期記憶和受限玻爾茲曼機。

作為神經(jīng)形態(tài) AI 芯片，NeuroRRAM 跨 48 個神經(jīng)突觸核心執(zhí)行并行分布式處理。為了同時實現(xiàn)高通用性和高效率，NeuRRAM 通過將神經(jīng)網(wǎng)絡(luò)模型中的層映射到多個核上以對多個數(shù)據(jù)進行并行推理來支持?jǐn)?shù)據(jù)并行。此外，NeuRRAM 通過將模型的不同層映射到不同的內(nèi)核并以流水線方式執(zhí)行推理來提供模型并行性。

審核編輯：劉清