人工智能時代對計算芯片的算力和能效都提出了極高要求。存算一體芯片技術被認為是有望解決處理器芯片“存儲墻”瓶頸，大幅提升人工智能算力能效和算力密度的關鍵技術和重要解決方案。SRAM存算一體芯片技術由于其在兼容性、魯棒性、靈活性等方面的優勢，已經得到多個旗艦公司的認可和相關領域的產業布局。本文回顧SRAM存算一體芯片領域近年來的研究現狀和發展趨勢，分析并總結了該領域未來的研究需求，凝練關鍵科學問題并進一步探討前沿研究方向。

01. 引言

近年來人工智能算法不斷發展，以ChatGPT為代表的大模型更是進一步為科學、技術和社會帶來令人振奮的機遇。人工智能作為戰略性通用技術，催生了諸多的新興行業與應用，如自然語言處理、視頻智能處理、人臉識別、無人駕駛等，吸引了眾多研究機構及產業界的高度關注和廣泛參與。人工智能的成功不僅得益于算法理論的創新，更依賴于處理器芯片飛速提升的運算和存儲能力，從而使得在更大規模的數據集上設計更復雜、更精準的神經網絡成為可能。今年10月17日，美國商務部工業安全局（BIS）公布最新半導體管制規則，在“計算性能”限制的基礎上新增對芯片“性能密度”的參數限制，將芯片總體算力和算力密度的重要性提升到新的高度。高算力和高算力密度芯片作為數字經濟時代新的核心生產力，對推動科技進步、行業數字化轉型以及經濟社會發展發揮重要作用。

根據計算架構區分，人工智能芯片的技術路線主要有傳統的馮諾依曼架構和新興非馮計算架構。基于馮諾依曼架構的人工智能處理器又分為通用計算架構和專用計算架構兩類。通用計算架構是指采用傳統通用計算芯片實現人工智能算法，如CPU、GPU等。大量實驗和測試結果已表明傳統的通用芯片已無法滿足應用場景對高能效和高有效算力的嚴苛要求。專用計算架構是指專門針對神經網絡等人工智能算法定制的專用處理器，其典型代表如 美國麻省理工Eyeriss芯片、谷歌張量處理器TPU芯片等。然而，目前的人工智能芯片的發展仍面臨著一系列挑戰和限制。人工智能模型的推理和訓練均需要大量的計算和數據移動，大量的數據需要在計算單元和存儲單元之間頻繁流動，傳統馮諾依曼架構的“存儲墻”問題日益成為該計算架構的發展瓶頸。隨著神經網絡應用規模快速增長，最先進的AI芯片使用近存計算技術以緩解“存儲墻”瓶頸。例如采用三維堆疊的HBM和2.5D的Chiplet集成方式以提升芯片外部至芯片內部的數據帶寬，同時節約數據搬運的能量消耗。NorthPole采用分布式片上存儲的近存計算，將片上存儲均等分布于所有計算陣列中，依靠龐大的片上存儲系統部署整個網絡，避免芯片外部與芯片內部的數據交互。然而220MB的片上存儲依然無法滿足大模型需求，同時龐大的片上存儲將會產生額外的芯片面積代價。

針對傳統馮諾依曼計算架構面臨的“存儲墻”瓶頸，存算一體這種新興計算架構旨在把傳統以計算為中心的架構轉變為以數據為中心的架構，減少或避免數據搬移，從而消除傳統馮·諾依曼結構架構面臨的“存儲墻”瓶頸。存算一體作為一種新興計算范式，其核心思想就是將計算操作與數據訪存過程結合在一起，從而提高計算性能和效率。根據存儲墻的介質不同，常見用于存算一體架構的存儲技術路線包括RRAM、SRAM、Flash等，各條技術路線均有各自獨特的優勢和待解決問題。目前，多個國際芯片產業巨頭已經在存算一體計算芯片領域進行研發布局，并且在ISSCC等旗艦會議發表多個標志性芯片，并逐漸形成有望解決人工智能計算能效的重要解決方案?；趪a工藝的SRAM存算一體芯片設計技術，有望在同等工藝上可大幅提升計算芯片的“性能密度”，從而大幅提升單位面積下的有效計算性能。

2023年9月，國家自然科學基金委員會組織第347期雙清論壇（青年）組織集成電路領域青年專家學者探討我國集成電路領域存在的關鍵問題和未來發展方向。存算一體芯片技術作為人工智能芯片的重要技術路線，已得到國內外工業界和學術界的廣泛關注和重視。本文結合國家重大戰略需求和學科發展前沿，總結當前存算一體芯片的發展情況，凝練SRAM存算一體芯片的關鍵科學問題，進而提出創新技術路線，支撐我國的人工智能發展戰略，為基于國產現有先進工藝的人工智能芯片突破“性能密度（算力密度）”瓶頸，提供一整套創新解決方案。

02. 研究背景與意義

人工智能是未來信息技術領域的國家戰略競爭焦點。隨著計算機技術的飛速發展和計算能力的提高，人工智能開始取得突破性的進展。特別是在機器學習和深度學習領域，通過利用大數據和強大的算法，使得計算機可以從數據中學習和自主推理。同時，云計算和大數據技術的興起為人工智能的應用提供了強大的支持。在應用層面，人工智能技術已經在多個領域取得了重大突破，在無人駕駛、智慧安防、人臉識別、智能制造等多個領域帶來了顛覆性的進步。此外，通用大模型和行業大模型成為了目前人工智能算法的一個重要發展趨勢。硬件技術的進步是人工智能發展的重要推動力，人工智能芯片是人工智能產業物理基礎和關鍵核心技術。圖形處理器GPU和專用人工智能芯片極大地提高了計算速度和效率，加速了深度學習和人工智能算法的應用。而大模型對數據量、硬件算力極高的要求，更是給人工智能芯片提出了新的挑戰。

傳統技術路線帶來的算力提升，與智能應用需求之間的算力缺口鴻溝呈指數擴大態勢。以數據中心算力需求為例，IDC預測未來五年全球算力規模將以超過50%的速度增長，到2025年整體規模將達到3300EFlops。2025年全球物聯網設備數將超過400億臺，產生數據量接近80ZB，數據中心處理量超過50%以上。此外，大模型的算力需求更是呈指數增長，而芯片算力則是呈線性增長。根據目前的芯片算力和GPT-4的訓練需求推算，最快的加速器單芯片運行GPT-4模型訓練任務需要3.17年。

爆炸式指數增長的海量數據導致云端和邊緣端處理的能量消耗呈爆炸式指數增長態勢，傳統計算芯片的功耗增長難以為繼，難以滿足大規模人工智能的計算需求。隨著芯片集成度的提升和信息技術的發展，到2030年，數據量將達到612ZB，是2020年的13倍，對能耗的需求指數上升，按目前能耗需求推斷，至2030年，能耗將占世界總電力能源的21%?；谠屑夹g路線的芯片面臨著能效瓶頸，能耗成為未來增長的天花板。此外，高能耗帶來的散熱問題，大大提升了板級設計難度以及數據中心運營成本。因此，急需高能效的革新技術以應對智能應用的功耗瓶頸問題。

03. SRAM存算一體芯片研究現狀與發展趨勢

3.1技術原理

以神經網絡為代表的人工智能算法涉及到各種張量和向量計算，其中最具代表性的算子為矩陣向量乘法，這些算子通常具有數據量大、計算量大、并行度要求高的特點。傳統處理器在執行人工智能算法時，由于存儲和計算分離，在存儲器與運算器之間存在大量的數據搬運，造成巨大的功耗和延時開銷，導致數據搬運的功耗遠遠高于計算功耗，成為了馮諾依曼架構加速器的發展瓶頸。如圖1所示，存算一體技術的核心思想是將存儲器與運算器融合在一起，通過將相對固定的權重數據存放在存儲器中，把輸入特征向量廣播輸入到陣列中，實現在存儲器內部執行矩陣向量乘法計算，在完成高并行數據訪問和計算的同時有效避免了大量權重數據的搬運，從而達到提高運算速度與能量效率的目的，因此存算一體非常適合用來加速人工智能算法中的矩陣和向量運算。

基于當前不同的存儲器件類型，存在多種存算一體技術路線，包括易失性存儲器SRAM、DRAM，以及非易失性存儲器MRAM、PCM、RRAM、Flash等。SRAM與CMOS邏輯工藝兼容，操作電壓低，讀寫速度快，沒有耐久性限制，DRAM利用電容存儲電荷的方式如1T1C結構來保存數據，能夠獲得較高的存儲密度。非易失性存儲器技術方案由于具有存儲密度較高且掉電數據不丟失的特點，在對待機功耗或成本更為敏感的應用場景中具備較大的發展潛力，其中MRAM和PCM的耐久性較好，可擦寫次數分別超過了百萬億次和十億次，MRAM與RRAM的制備能夠兼容CMOS后道工藝，工藝可演進性較好，目前在臺積電等工藝廠商的40nm、22nm等先進節點已經逐步開始研發和量產，NAND Flash則可以通過三維堆疊的方式不斷增加堆疊層數來提高存儲密度。從計算方式的角度看，由于MRAM、PCM和RRAM的開關比較低，導致本征計算精度不高，因此在對計算精度要求較高的場景下不適合采用模擬計算方案；而SRAM、DRAM和Flash可以實現較高的開關比，因此計算方式的選擇較為靈活。

圖1 SRAM存算一體電路示意圖

3.2SRAM存算一體芯片研究現狀

基于SRAM的存算一體技術起步相對較晚，密歇根大學和北海道大學分別于2017年在VLSI會議上，發表了基于SRAM的存算一體芯片，這也是最早一批在集成電路方向發表的基于SRAM的存算一體芯片論文。此后，基于SRAM的存算一體芯片發展迅猛，從2018年開始，ISSCC會議開始設立存算一體相關的會議議題，投稿與發表數逐年增長，計算方式從模擬計算轉向數字與模擬計算并存，所支持的計算精度也從一開始只能支持二值化精度到現在能支持浮點精度。

近年來，國內外學術界和工業界已經有多個單位在集成電路領域旗艦會議發表了基于SRAM的存算一體芯片的相關研究成果。臺積電在2021年至2023年的ISSCC會議上分別展示了他們在22nm、5nm以及4nm工藝節點上設計的數字域存算一體宏，在加法器樹的面積和性能優化、存儲和計算單元設計、陣列版圖的布線規劃和改進、基于多閾值電壓平衡漏電和延遲的設計等方面取得了重要進展。在2023年的ISSCC和VLSI會議上，聯發科分別介紹了他們在12nm工藝節點上的模擬域和數字域存算一體宏設計，分別實現了對PVT不敏感的高魯棒性和高識別率的電容型存算一體陣列，以及基于緊湊型SRAM單元的無能效損失和低峰值電流的高性能數字域存算一體陣列。此外，英特爾實驗室和意法半導體也在SRAM存算一體領域的研究做出了一些探索和嘗試，表明各大國際芯片設計和制造廠商已經開始布局基于SRAM的存算一體計算IP的技術研發。

相較于工業界偏向穩定性、魯棒性和靈活性的實用性探索，學術界關于SRAM存算一體技術的研究更加注重于嘗試針對各種不同應用需求提出新的可能的解決思路和方案。在2023年ISSCC會議上，北京大學介紹了在22nm工藝節點上設計的差值求和的模擬域存算一體芯片，目的是解決邊緣端AI場景中存在大量不變的冗余數據信息所導致的計算功耗浪費問題；東南大學則針對高精度、片上訓練等需求以及邊緣端深度可分離卷積神經網絡的加速效率問題，在28nm工藝節點上分別設計了兩款數字域浮點存算一體芯片和基于水平權重移位與垂直輸入移位的模擬域存算一體芯片；此外，北京清華大學和臺灣清華大學等高校也在該領域深耕多年，在國際會議上持續發表了一系列研究成果。

綜上所述，相較于其他新型非易失性存儲器，基于SRAM的存算一體技術路線盡管起步較晚，但憑借其工藝兼容性、設計靈活性、電路可靠性等優勢，近五年發展十分迅猛，在學術界不斷嘗試和探索的過程中逐漸引起工業界的重點關注，在AI算法愈發向更大模型演進使得硬件算力和功耗愈發受到重視的今天，基于SRAM的存算一體技術展現出了強勁的性能優勢和應用潛力，使得多個國際芯片巨頭開始在該領域進行研發和產業布局。

3.3SRAM存算一體芯片發展趨勢與挑戰

SRAM存算一體技術由于具備工藝成熟度高和強魯棒性的優勢，已經成為當前主流存算一體解決方案之一。SRAM存算一體從早期的模擬域計算，逐漸發展到現在的能夠支持無精度損失的數字域計算，支持更復雜的算法模型和與算法一致的量化方案，提供更高的魯棒性和更低的設計復雜度；從早期較為落后的工藝節點，發展到現在能夠采用先進的5nm及以下的設計方案，使得算力密度和能效享受到極大的工藝微縮帶來的性能紅利；從早期只能支持低精度數據格式，逐步發展為支持INT8/INT16以及BF16等更高精度的數據格式；從早期的只能支持神經網絡推斷功能，發展至同時支持網絡訓練和推斷的訓推一體化；從單存算一體宏陣列IP設計發展至多陣列集成的SoC實現；以及從支持簡單全連接、卷積等單一算子，逐漸演變為支持多種、多類型的張量計算算子，SRAM存算一體技術正向著更高精度、更高性能、更低功耗、更高的系統復雜度發展。

SRAM存算一體盡管具有工藝成熟度高、易于集成等優勢，但目前仍舊面臨著包括單元電路設計、可靠性、利用率、計算架構、計算完備性、軟件生態等關鍵問題和挑戰。

單元電路設計：以往的存算分離架構使得單元設計可以針對各自不同的需求，分別采用面向高密度存儲單元的push rule和面向邏輯單元的logic rule指導其電路設計和工藝制造；而存算融合的新型電路架構使得存儲單元和計算單元緊密結合，如何兼顧存儲效率和計算效率對存算單元電路設計提出了新的挑戰。

可靠性：大規模高密度高并行計算使得電路可靠性和魯棒性問題進一步凸顯，成為走向應用的一大障礙。例如，由于較高的計算密度和并行度，陣列在運行過程中會出現較高的瞬態峰值電流，對IR-drop、電源串擾、響應速度等電源穩定性問題提出了挑戰；此外，兼顧存儲和計算的可測性設計目前也欠缺較為成熟的解決方案。

利用率：算子種類和大小各不相同，面對真實應用中靈活多變的算子需求，在一個固定大小的存算一體陣列上部署神經網絡計算可能會造成計算資源利用率顯著降低，導致無法充分發揮SRAM存算一體技術在算力密度、能效等方面帶來的性能優勢。

計算架構：由于在執行神經網絡計算時，盡管權重數據已經被存放在存算一體陣列中，但輸入數據、輸出數據以及中間計算結果的存儲仍然需要依賴片上緩存，使得有限的片上緩存容量可能會成為新的系統瓶頸，導致片外訪存開銷顯著增加。

計算完備性：盡管存算一體針對張量運算能夠顯著提高算力密度和能效，但真實應用場景中一個完整的AI業務依然需要標量和矢量計算以及非線性計算，這對基于SRAM存算一體的AI加速器的計算完備性提出了新的需求。

軟件生態：NVIDIA公司的CUDA 生態主導著目前絕大部分的AI應用開發，使得GPU占據了大部分AI加速器市場。因此除了底層電路的優化和性能提升以外，為了實現存算一體技術落地同樣需要與之配套的編譯器及工具鏈，從而打破以CUDA為主導的軟件生態，構建出新的能夠兼容基于SRAM存算一體異構處理器的軟件開發環境。

04. SRAM存算一體芯片的創新路線

SRAM存算一體技術的發展涉及電路、架構、系統、軟硬件協同以及生態系統等多個層級。開展跨層級深入研究和全面布局，對于探索SRAM存算一體技術發展路線，實現引領性突破至關重要。在該領域的研究不僅是為人工智能大模型、科學計算等戰略性新應用提供足夠的計算能力，還旨在突破硬件算力和能效方面的瓶頸，為未來的科技創新提供堅實的基礎支撐?；谇把豐RAM存算一體技術的相關進展，本文總結SRAM存算一體芯片在電路、架構、系統、軟硬件協同、生態等各個層級的創新技術路線。

在電路層級，我們提出研究發展先進工藝的SRAM存算一體以及可靠性與可測性設計，充分挖掘先進節點工藝所帶來的性能紅利。通過探索現代工藝技術潛力并基于DTCO（Design Technology Co-optimization）的設計工藝協同優化設計思想，實現存儲和計算的高度集成，為計算領域帶來重大突破。在先進工藝的基礎上，研究人員基于更小的晶體管尺寸和更高的集成度，設計并改進能夠實現存儲單元與邏輯單元緊湊堆疊的更高密度的SRAM存算單元。這種緊湊性帶來的優勢在于可以在更小的空間內容納更多的存儲和計算資源，從而大幅度提升芯片的整體性能。同時，先進工藝所帶來的低功耗特性也可以有效降低設備的能耗。其次，可靠性和可測性的設計是確保存算單元工作強魯棒的關鍵。通過引入先進的自診斷和錯誤校正技術，在硬件層面實現對存算單元的實時監測和修復，提高了計算系統的穩定性，增加設備壽命。

在架構層級，我們提出基于異構SRAM存算一體的前沿處理器架構。探索通過異構架構設計滿足多樣的算子計算需求，通過緊耦合不同類型的計算引擎，包括基于ALU的標量計算單元、基于PE的向量計算單元、基于SRAM存算一體的張量計算單元等。標量計算單元適用于處理單一數據元素的計算，向量計算單元則擅長處理大規模數據的并行計算，而張量計算單元則專門用于高維度數據的復雜運算。這種多樣性的計算引擎緊密結合，為各種復雜任務提供高效靈活的計算支持，從而提高了計算系統的適應性和性能。此外，異構SRAM存算一體架構還具有較高的能效和節能優勢，由不同類型的計算引擎在同一芯片上協同工作，減少了數據傳輸和處理過程中的能量損耗，提高了整體的能源利用率。

在系統層級，我們提出研究發展基于3D堆疊集成的SRAM存內計算與DRAM近存計算混合的前沿計算系統。基于硅通孔、銅銅混合鍵合等先進封裝技術，可實現高密度、大容量DRAM存儲芯片和高算力SRAM存內計算芯片之間的垂直多層 3D異質集成，能有效緩解計算芯片與片外存儲之間的數據帶寬瓶頸，解決當前SRAM存算一體芯片片上存儲容量有限的問題，滿足AI大模型對高帶寬通信和大容量存儲的需求。3D堆疊技術還可以使得不同層級的存儲，特別是大容量的片外HBM DRAM，和SRAM存算一體計算引擎之間的數據通路大幅縮短，從而實現近存計算系統，有效降低路徑上的負載電容，加速數據的讀寫速度。此外，減少負載電容也可以降低數據傳輸過程中的能耗，從而使得系統在執行計算任務時能夠更高效地利用能源。

在軟硬件協同層級，我們提出研究發展基于多層次抽象建模的跨層次聯合仿真、基于STCO（System Technology Co-optimization）的系統工藝協同優化和驗證的新方法及SRAM存算一體自動化編譯EDA工具。通過跨層次聯合仿真與優化，設計者可以在早期階段就發現系統層面的問題，提前進行優化和調整，從而節省了后期修復問題的成本和時間。通過全面考慮硬件和軟件之間的相互影響，設計者可以更好地平衡系統的性能、功耗和面積等PPA指標。研發SRAM存算一體宏的硬件編譯器EDA工具，用戶可以根據應用需求配置SRAM存算一體宏的陣列尺寸、計算精度、存儲計算資源比例等關鍵參數，在給定工藝下自動化生成所需的SRAM存算一體宏的行為級模型、電路原理圖和物理版圖等，從而實現SRAM存算一體宏的快速開發和應用部署。在驗證方面，跨層次的驗證方法允許設計者同時驗證硬件和軟件之間的交互，確保它們在系統層面的一致性。通過聯合驗證，可以提前發現硬件和軟件之間的兼容性問題，提高系統的可靠性和穩定性。為了支持跨層次設計方法，相關的EDA工具也需要不斷創新，這些工具旨在提供全面的性能分析和優化功能，幫助設計者快速找到系統的性能瓶頸，并提供自動化的優化建議。

在生態層級，我們提出研究發展開源硬件與SRAM存算一體軟件生態的融合，旨在解決計算完備性難題和突破CUDA生態。以RISC-V為代表的開源硬件設計方法，為開發者提供了一個開放、透明的硬件基礎，根據具體需求定制指令集滿足各種不同應用場景的需求。借助開源的硬件與軟件開發生態，支撐SRAM存算一體架構依托全球開發者社區的力量，促進硬件設計和軟件開發之間的緊密合作。此外，該軟硬件生態的結合與探索也在CUDA之外提供了其他可能的路徑，從而為計算生態系統帶來了更大的多樣性和創新性。

SRAM存算一體的創新技術路線和布局涉及多個關鍵層級，需要在電路、架構、系統、軟硬件協同和生態層級上進行深入、細致的研究。只有在各個層級的協同下，SRAM存算一體芯片才能真正地實現性能優化、功耗控制、穩定性提升以及開放性拓展，為未來計算領域帶來創新和突破。

05. 總結與建議

存算一體芯片技術是在人工智能時代的關鍵芯片技術之一。本文通過總結SRAM存算一體芯片研究的需求與現狀、關鍵問題和挑戰、創新技術路線等，認為SRAM存算一體芯片是符合國家戰略需求的關鍵技術，有望在同等工藝上可大幅提升計算芯片的“性能密度”，提升單位面積下的有效計算性能。針對SRAM存算一體芯片的技術特點，需要從電路到生態等多層級的跨層次布局與發展，建議設立面向存算一體的研究計劃，同時布局新型存儲器和SRAM存算一體；在發展戰略中覆蓋器件、電路、陣列、架構、軟硬件協同、生態等環節，縱向多環節協同創新，避免各環節之間的割裂；最后，以主流應用，牽引主流賽道的技術路線創新，為國家戰略做支撐和服務。

作者團隊介紹：

本文作者為北京大學集成電路學院葉樂教授,國家杰青。北京大學黃如院士-葉樂教授團隊在AI及存算一體、高精度/高能效模擬信號鏈、低功耗電路及架構等方向上處于學科前沿水平，在有集成電路設計奧林匹克之稱的ISSCC上連續發表了9篇ISSCC成果，近3年獲得的榮譽包括2篇ISSCC論文被遴選為Highlight亮點論文、ISSCC 2021年度最佳芯片展示獎（國內首次）、2021年度中國半導體十大研究進展等。2023年ISSCC中，課題組首次提出了基于差值求和的SRAM存內計算（ΔΣCIM）陣列電路，大幅減少了對數值不變輸入特征的冗余操作，可使存內計算陣列能耗減少35.8%，該工作已在22nm工藝下進行了流片驗證。

審核編輯：湯梓紅