AI算力發展如何解決內存墻和功耗墻問題

?? ??目前 AI 大模型的算力水平顯著供不應求。以 Open AI 的算力基礎設施為例，芯片層面 GPGPU 的需求最為直接受益，其次是 CPU、AI 推理芯片、FPGA 等。AI 服務器市場的擴容，同步帶動高速網卡、HBM、DRAM、NAND、PCB 等需求提升。同時，圍繞解決大算力場景下 GPU“功耗墻、內存墻”問題的相關技術不斷升級，如存算一體、硅光/CPO 產業化進程有望提速。

1.“內存墻”、“功耗墻”等掣肘 AI 的算力發展

“存”“算”性能失配，內存墻導致訪存時延高，效率低。內存墻，指內存的容量或傳輸帶寬有限而嚴重限制 CPU 性能發揮的現象。內存的性能指標主要有“帶寬”(Bandwidth)和“等待時間”(Latency)。近 20 年間，運算設備的算力提高了 90000 倍，提升非常快。雖然存儲器從 DDR 發展到 GDDR6x，能夠用于顯卡、游戲終端和高性能運算，接口標準也從 PCIe1.0a 升級到 NVLink3.0，但是通訊帶寬的增長只有 30 倍，和算力相比提高幅度非常緩慢。

馮諾依曼架構下，數據傳輸導致嚴重的功耗損失。馮·諾依曼架構要求數據在存儲器單元和處理單元之間不斷地“讀寫”，這樣數據在兩者之間來回傳輸就會消耗很多的傳輸功耗。根據英特爾的研究表明，當半導體工藝達到 7nm 時，數據搬運功耗高達 35pJ/bit，占總功耗的63.7%。數據傳輸造成的功耗損失越來越嚴重，限制了芯片發展的速度和效率，形成了“功耗墻”問題。

AI 模型參數量極速擴大，GPU 內存增長速度捉襟見肘。在 GPT-2 之前的模型時代，GPU 內存還能滿足 AI 大模型的需求。近年來，隨著 Transformer 模型的大規模發展和應用，模型大小每兩年平均增長了 240 倍。GPT-3 等大模型的參數增長已經超過了 GPU 內存的增長。傳統的設計趨勢已經不適應當前的需求，芯片內部、芯片之間或 AI 加速器之間的通信成為了 AI訓練的瓶頸。AI 訓練不可避免地遇到了“內存墻”問題。

AI 模型運算量增長速度不斷加快，推動硬件算力增長。預訓練技術的進步導致了各領域模型計算量的快速增長，大約每兩年就要增加 15 倍。而 Transformer 類模型的運算量更是每兩年就要增加 750 倍。這種近乎指數的增長趨勢促使 AI 硬件的研發方向發生變化，需要更高的峰值算力。

當前的研究為了實現更高的算力，甚至不惜簡化或者優化其他部分組件，例如內存的分層架構，將 DRAM 容量用于需要高性能訪問的熱數據，將容量層用于處理需要大容量但性能要求不那么高的任務，以適應不同的數據類型、用例、技術需求和預算限制，適用于 AI、ML 和 HPC 等眾多應用場景，能幫助企業以經濟高效的方式滿足內存需求。

2.“內存墻”、“功耗墻”等問題解決路徑

2.2.1.存算一體技術：以 SRAM、RRAM 為主的新架構，大算力領域優勢大存算一體在存儲器中嵌入計算能力，以新的運算架構進行乘加運算。存算一體是一種以數據為中心的非馮諾依曼架構，它將存儲功能和計算功能有機結合起來，直接在存儲單元中處理數據。存算一體通過改造“讀”電路的存內計算架構，可以直接從“讀”電路中得到運算結果，并將結果“寫”回存儲器的目標地址，避免了在存儲單元和計算單元之間頻繁地轉移數據。存算一體減少了不必要的數據搬移造成的開銷，不僅大幅降低了功耗（降至 1/10~1/100），還可以利用存儲單元進行邏輯計算提高算力，顯著提升計算效率。它不僅適用于 AI 計算，也適用于感存算一體芯片和類腦芯片，是未來大數據計算芯片架構的主流方向。

存算一體技術可分為查存計算、近存計算、存內計算和存內邏輯，提供多種方式解決內存墻問題。

查存計算：早期技術，在存儲芯片內部查表來完成計算操作。

近存計算：早已成熟，計算操作由位于存儲區域外部的獨立計算芯片/模塊完成。典型代表是 AMD 的 Zen 系列 CPU，以及封裝 HBM 內存（包括三星的 HBM-PIM）與計算模組（裸Die）的芯片。

存內計算：計算操作由位于存儲芯片/區域內部的獨立計算單元完成，存儲和計算可以是模擬或數字的。典型代表是 Mythic、千芯科技、閃億、知存、九天睿芯等。

存內邏輯：通過在內部存儲中添加計算邏輯，直接在內部存儲執行數據計算。典型代表包括 TSMC（在 2021 ISSCC 發表論文）和千芯科技。

SRAM、RRAM 是存算一體介質的主流研究方向。存算一體的成熟存儲器有幾種，比如 NOR FLASH、SRAM、DRAM、RRAM、MRAM 等 NVRAM。

FLASH 是非易失性存儲，成本低，可靠性高，但制程有瓶頸。

SRAM 速度快，能效比高，在存內邏輯技術發展后有高能效和高精度的特點。

DRAM 容量大，成本低，但速度慢，需要不斷刷新電力。

新型存儲器 PCAM、MRAM、RRAM 和 FRAM 也適用于存算一體。其中 RRAM 在神經網絡計算中有優勢，是下一代存算一體介質的主流方向之一。除了 SRAM 之外，RRAM 也是未來發展最快的新型存儲器之一，它結構簡單，速度高，但材料不穩定，工藝還需 2-5 年才能成熟。

存算一體有著廣泛的應用場景，在不同大小設備上均有需求。

從技術領域來看，存算一體可以應用于：

（1）AI 和大數據計算：將 AI 計算中大量乘加計算的權重部分存在存儲單元中，從而在讀取的同時進行數據輸入和計算處理，在存儲陣列中完成卷積運算。

（2）感存算一體：集傳感、儲存和運算為一體構建感存算一體架構，在傳感器自身包含的 AI存算一體芯片上運算，來實現零延時和超低功耗的智能視覺處理能力。

（3）類腦計算：使計算機像人腦一樣將存儲和計算合二為一，從而高速處理信息。存算一體天然是將存儲和計算結合在一起的技術，是未來類腦計算的首選和產品快速落地的關鍵。

從應用場景來分，存算一體可以適用于各類人工智能場景和元宇宙計算，如可穿戴設備、移動終端、智能駕駛、數據中心等。

（1）針對端側的可穿戴等小設備，對成本、功耗、時延難度很敏感。端側競品眾多，應用場景碎片化，面臨成本與功效的難題。存算一體技術在端側的競爭力影響約占 30%。（例如 arm占 30%，降噪或 ISP 占 40%，AI 加速能力只占 30%）

（2）針對云計算和邊緣計算的大算力設備，是存算一體芯片的優勢領域。存算一體在大算力領域的競爭力影響約占 90%。

傳統存儲大廠紛紛入局，新興公司不斷涌現。

（1）國外方面，三星電子在多個技術路線進行嘗試，發布新型 HBM-PIM（存內計算）芯片、全球首個基于 MRAM（磁性隨機存儲器）的存內計算研究等。臺積電在 ISSCC 2021 上提出基于數字改良的 SRAM 設計存內計算方案。英特爾也早早提出近內存計算戰略，將數據在存儲層級向上移動，使其更接近處理單元進行計算。