存內計算這個概念從被提出開始，就選定了AI作為主要應用領域，但苦于當時的需求并不算高，技術也還在完善成熟中，我們更多是在一些學術論壇和行業會議上見到存儲廠商和AI芯片廠商對其高談闊論。

可誰知道2023年我們迎來了消費級存儲市場的萎靡，卻又在ChatGPT的應援之下帶火了高帶寬內存。這不，三星、SK海力士等廠商紛紛迎來了HBM訂單和單價的瘋漲，也使得他們打算加速推進PIM的開發進度。

SK海力士的AiM方案

SK海力士在近期提出了他們的首個PIM方案，AiM。AiM是一個基于GDDR6的存內計算方案，專門為了加速內存負載密集的機器學習應用而設計。而GDDR6作為當下GPU產品的主要顯存形式之一，提供了足夠的帶寬，但并沒有提供額外的計算能力，更別說卸載CPU、GPU的運算任務了。

AiM存內加速器方案 / SK海力士

而在機器學習應用中，SK海力士的AiM方案可以卸載96%的計算任務，交由DRAM的存內計算單元來完成，實現了超高的內存bank并行度，顯著減少了CPU與內存之間的數據移動，而且相比HBM，GDDR6明顯是一個成本更低的方案。

正是因為有了這些優勢，AiM可以說是專為GPT類應用打造的，SK海力士也給出了在GPT模型下的性能評估。對于GPT-2和GPT-3乃至現在的GPT-4來說，都屬于內存負載密集型的應用，所以也更容易遇到內存墻的問題。

SK海力士AiM的另一大優勢在于他們已經實現了全套軟件棧，包括設備驅動、runtime庫、框架和應用等，也支持AiM軟件仿真器，支持用戶自行開發AI應用，而無需硬件評估板。

三星的PIM進程

其實其他廠商也早有在PIM上布局，尤其是三星。早在2021年初推出HBM2E后，三星就已經開始規劃如何充分利用這些高帶寬內存的性能，其中之一就是PIM。與SK海力士不同的是，三星打造的首個PIM為HBM-PIM，在內存核心中了集成了名為可編程計算單元的AI引擎，用于處理一部分的邏輯功能。

同年的HotChips大會上，三星展示了將其HBM-PIM集成到Xilinx的Alveo AI加速器系統中。根據三星提供的數據，該方案提供了2.5倍的系統性能提升，同時將功耗降低了60%。從三星半導體的PIM技術展示也來看，他們也計劃將這一技術應用到GDDR和LPDDR中，不過這幾年間的主要技術公開展示都集中在HBM-PIM上。

除了這種將PIM集成到商用AI加速器的方案以外，三星也同時推出了直接將PIM集成到DRAM模塊中的方案AXDIMM，通過直接在DRAM模塊中對多組內存芯片進行并行運算，減少了CPU和DRAM之間的大量數據移動。

三星稱在基于AI的推薦應用中，AXDIMM可以使得整體系統能效提高40%，不過對于GPT這種生成式AI類的應用能夠帶來多少提升我們就不得而知了，畢竟三星的PIM方案推出時大部分AI應用還停留在圖片分類、文字翻譯和語音識別上。

小結

從這些PIM產品的布局來看，集成式的方案或許對AI加速器廠商來說更有吸引力，不管這些計算單元是CPU、GPU、FPGA還是ASIC芯片。但無論是三星還是SK海力士，這些方案落地到產品上都需要一定的時間，所以我們可能得等到下一代產品中，才能看到存內計算的存在。

但不得不說，對于已有布局存內計算的存儲廠商來說，這無疑是一大利好。過去這種和負責計算的邏輯芯片搶活干的設計無疑是自砸招牌，但現在看來卻已經成了一種趨勢，這類存儲廠商對于市場波動的抵抗力也會更強一些。只不過目前看來這類PIM技術目前還是優先針對功耗相對較高的內存，未來要想在移動市場有所成就，還得看這些存儲廠商后續會推出怎樣的LPDDR-PIM方案。

審核編輯 ：李倩