電子發(fā)燒友網(wǎng)報道（文/黃晶晶）2022年11月發(fā)布的GPT-3使用1750億個參數(shù)，而今年5月發(fā)布的最新版本GPT-4o則使用超過1.5萬億個參數(shù)。在過去幾年里，這些大語言模型的規(guī)模增長了超過400倍。但我們看到，在相同時間內(nèi)硬件內(nèi)存的規(guī)模僅增長了兩倍。

那么要完成這些AI模型的任務(wù)，就必須投入額外數(shù)量的GPU和AI加速器，才能滿足對內(nèi)存容量和帶寬的需求。同時內(nèi)存系統(tǒng)也必須不斷升級。Rambus在內(nèi)存系統(tǒng)領(lǐng)域擁有超過30年的高性能內(nèi)存系統(tǒng)開發(fā)和研究經(jīng)驗，一直以來都是市場的領(lǐng)導(dǎo)者。近日，Rambus研究員兼杰出發(fā)明家Steven Woo博士和Rambus大中華區(qū)總經(jīng)理蘇雷先生接受媒體采訪，分享了Rambus的HBM4控制器IP新品，以及對內(nèi)存市場的看法。

HBM內(nèi)存技術(shù)演進(jìn)

HBM高性能內(nèi)存具有非常高的帶寬和密度，遠(yuǎn)高于市面上常見的普通DRAM。HBM內(nèi)存非常適用于AI訓(xùn)練、高性能計算和網(wǎng)絡(luò)應(yīng)用。

Steven Woo博士解析，HBM的DRAM堆棧使用多層堆棧的架構(gòu)，實現(xiàn)高內(nèi)存帶寬、高容量和高能效。其中一個內(nèi)存晶片通過中介層的物理連接，與處理器進(jìn)行相應(yīng)的連接，每個HBM內(nèi)存設(shè)備與處理器之間的數(shù)據(jù)通路由1024根“線”或信號路徑組成。上面這些部分共同與一個基板相連接，最后基板焊接在PCB上面。


他進(jìn)一步指出，隨著命令、地址、時鐘和其他附加信號的加入，HBM3所需的信號路徑數(shù)量增加到約1700條。上千條信號路徑遠(yuǎn)遠(yuǎn)超出了標(biāo)準(zhǔn)PCB所能支持的范圍。因此，采用硅中介層作為橋梁，將內(nèi)存設(shè)備和處理器連接起來。類似于集成電路，硅中介層上可以蝕刻出間距非常小的信號路徑，從而實現(xiàn)所需數(shù)量的信號線來滿足HBM接口的要求。正是由于這種精巧的結(jié)構(gòu)設(shè)計和HBM DRAM的堆疊方式，HBM內(nèi)存才能提供極高的內(nèi)存帶寬、優(yōu)異的能效、極低的延遲，同時占用最小的面積。

下圖可以看到，不同代際的HBM內(nèi)存在數(shù)據(jù)傳輸速度、單個堆棧帶寬、堆棧厚度以及最大設(shè)備容量等方面的具體參數(shù)。



可以看到，每一代HBM最明顯變化就是單個堆棧帶寬的急劇增加。HBM3E單個設(shè)備的帶寬超過了1.2TB/s。HBM3設(shè)備正在變得非常流行，主要的DRAM制造商，如SK海力士、美光和三星，已經(jīng)宣布推出HBM3E設(shè)備，數(shù)據(jù)傳輸速率最高可達(dá)9.6Gbps。從單個堆棧的角度來看，HBM4的帶寬將達(dá)到1.6TB/s，而這只是單個堆棧的帶寬，最終的實際帶寬可能會更高。隨著行業(yè)推出越來越快的HBM內(nèi)存器件，Rambus作為內(nèi)存控制器IP提供商，在這一過程中扮演著重要角色。

Rambus HBM4控制器IP

Rambus最新推出業(yè)內(nèi)首款HBM4控制器IP，可以支持新一代HBM內(nèi)存的部署，適用于最先進(jìn)的處理器，包括AI加速器、圖形處理器和高性能計算應(yīng)用。

HBM4的控制器IP提供了32個獨立通道的接口，總數(shù)據(jù)寬度可達(dá)2048位。基于這一數(shù)據(jù)寬度，當(dāng)數(shù)據(jù)速率為6.4Gbps時，HBM4的總內(nèi)存吞吐量將比HBM3高出兩倍以上，達(dá)到1.64TB/s。與Rambus的HBM3E控制器一樣，HBM4內(nèi)存控制器IP也是一個模塊化、高度可配置的解決方案。




根據(jù)客戶在應(yīng)用場景中的獨特需求，可提供定制化服務(wù)，涵蓋尺寸、性能和功能等方面。關(guān)鍵的可選功能包括ECC、RMW和錯誤清理等。此外，為了確保客戶能夠根據(jù)需要選擇各種第三方PHY并應(yīng)用于系統(tǒng)中，Rambus與領(lǐng)先的PHY供應(yīng)商開展了合作，確保客戶在開發(fā)過程中能夠一次流片成功。

依托于多年來在HBM內(nèi)存領(lǐng)域積累的豐富經(jīng)驗。在HBM市場上，Rambus的市場份額位居第一，并且已經(jīng)成功完成了超過100次的HBM設(shè)計。此前，其成功交付了業(yè)界領(lǐng)先的HBM3E內(nèi)存控制器，以及業(yè)界最高數(shù)據(jù)傳輸速率的HBM2E內(nèi)存控制器，速率達(dá)到每秒4 Gbps。因此，客戶可以放心選擇Rambus，因為Rambus在構(gòu)建成功系統(tǒng)方面擁有多年的經(jīng)驗，能夠為他們提供所需的全方位支持。


為了幫助客戶實現(xiàn)一次流片成功，Rambus提供的三大支持包括控制器測試平臺、驗證IP、物理層PHY支持，支持各種第三方PHY。



其IP產(chǎn)品組合提供了高性能芯片和處理器解決方案的核心構(gòu)建模塊，包括HBM和GDDR內(nèi)存控制器、PCIe和CXL協(xié)議控制器，以及后量子密碼學(xué)、Root of Trust和加密等安全功能。


Rambus大中華區(qū)總經(jīng)理蘇雷先生表示，得益于我們在HBM領(lǐng)域多年的經(jīng)驗和專業(yè)知識，在整個中華區(qū)，乃至于整個全球市場份額Rambus都是排名前列。Rambus的HBM控制器IP能夠得到中國客戶的認(rèn)可，除了Rambus HBM的技術(shù)先進(jìn)，比如說信號完整性、電源完整性，以及應(yīng)對其他挑戰(zhàn)等之外，也非常注重售中和售后的服務(wù)。針對客戶的項目產(chǎn)品規(guī)格、配置方面我們會在技術(shù)方面給予一些最佳的建議和參考。幫助客戶提前規(guī)避一些技術(shù)難題，并且更加快速地推出產(chǎn)品，這對客戶來說是非常寶貴的產(chǎn)品附加值。這些都不斷驅(qū)動著我們在HBM領(lǐng)域繼續(xù)保持全球領(lǐng)先。

Rambus HBM4控制器IP現(xiàn)已開放授權(quán)，早期設(shè)計客戶可立即申請。預(yù)計客戶在2025年將其集成到芯片設(shè)計中，這些芯片設(shè)計預(yù)計將在2026年上市。


小結(jié)：

Rambus認(rèn)為未來的人工智能將繼續(xù)在性能、功效和內(nèi)存容量方面取得重大改進(jìn)。這將需要許多不同的公司共同努力，Rambus 這樣的內(nèi)存IP公司將改進(jìn)內(nèi)存系統(tǒng)，處理器廠商也必須通過壓縮數(shù)據(jù)和使用新的數(shù)字格式等方式來改進(jìn)處理。軟件開發(fā)人員將來要與硬件開發(fā)人員更多地合作，進(jìn)行軟硬件協(xié)同設(shè)計。總之合力推動AI的應(yīng)用進(jìn)程。