電子發燒友網報道(文/黃晶晶)生成式AI帶來的產業技術革新不僅在于性能越來越強大的GPU,它同時正在推進存儲產品的變化和技術的進步。近日,美光副總裁暨客戶端存儲事業部總經理Prasad Alluri在接受包括電子發燒友網在內的少數媒體采訪時指出,與過往不同,閃存和內存曾各自為政,主要致力于提高密度。AI的興起帶來了兩大轉變,一是與系統架構的協同優化;二是將能效作為關鍵優化參數。為此,美光科技正積極優化存儲產品、賦能AI在數據中心、PC、智能手機乃至汽車等各領域的應用與發展。
AI數據中心:兩大存儲池的不同存儲策略
Prasad Alluri表示,在探討AI基礎設施對數據中心存儲的具體影響時,我們可以將其視為兩個獨立的存儲池來分析。
首先,存在一個龐大的數據池,用于存儲供模型訓練所需的數據。以GPT-4為例,據估算,其訓練過程消耗了互聯網上約四分之一的數據,這足以說明大模型所需數據的龐大規模。為了訓練這類模型,必須具備存儲海量數據的能力,我們可以形象地稱之為“數據湖”,即所有待訓練數據均匯聚于此。
對于這一存儲場景,最關鍵的屬性在于能夠高效且經濟地傳輸數據。將容量與經濟性相結合,意味著需要摒棄主要依賴大容量硬盤驅動器的傳統架構,轉而采用大容量SSD。此舉不僅能減少物理占用空間,還能降低能耗,從而提升整體能源經濟性。在此方面,美光科技推出的6500 ION系列產品正是針對大容量存儲需求而優化的理想解決方案。
另一方面是訓練過程實際發生的存儲池,即緊鄰GPU的存儲池。此時,需考慮的是如何將數據湖中的數據高效送入GPU內存以供訓練。在此過程中,設備的讀寫性能至關重要,尤其是隨機讀取性能。對于這類靠近GPU訓練集群的存儲,美光9550 SSD從設計之初便旨在滿足這些需求。9550 SSD隨機讀取性能領先業界,速率高達3,300 KIOPS,這正是訓練集群所亟需的。
此外,美光9550 SSD提供業界領先的能效,并在支持各類AI工作負載方面表現出眾,包括使用大規模存儲加速器(BaM)進行圖神經網絡(GNN)訓練(SSD平均功耗降低高達43%,整體系統能耗減少高達29%)、NVIDIA Magnum IO GPUDirect Storage(每傳輸1TB數據,SSD能耗降低高達81%)、MLPerf(SSD能耗降低高達35%,系統能耗降低高達13%)以及使用Microsoft DeepSpeed對Llama 大語言模型(LLM)訓練進行微調(SSD能耗降低高達 21%)。
AI PC的存儲需求,將遠超微軟的“基準要求”
微軟為AI PC產品Copilot+設定了基準要求,其中NPU的算力起始于40 TOPS,內存方面則規定了至少16GB的容量,以及256GB的存儲空間作為最低配置。不過,Prasad Alluri表示,這些僅是基礎指導線,并未全面界定AI PC的真正內涵。
“要深入理解AI PC,我們需將焦點放在用戶體驗上。AI PC的核心在于通過諸如翻譯或圖像編輯等任務來提升生產力,且這些任務需在設備上高效完成。正是這種整體體驗定義了AI PC,而非單純的技術規格。為了滿足用戶的這些期望,我們認為所需的內存量遠超最低指導線。事實上,當前多數OEM在打造AI PC時,已配備了24GB至32GB的DRAM。”
從存儲角度來看,盡管OEM目前提供的最低容量為512GB,但我們認為對于AI工作負載而言,更理想的容量應接近1TB。
不過,這不僅僅關乎容量大小,功耗效率和性能同樣至關重要。在存儲領域,目標是以最高效的方式將AI模型從存儲加載到內存中。為此,需要在不增加功耗的前提下,獲得盡可能高的吞吐量。美光高性能客戶端3500 SSD在相同功耗下提供了業界領先的性能。
針對于AI PC,美光科技加速了LPDDR5X在AI PC中的應用普及。與同類SODIMM產品相比,LPDDR5X的性能提升了約1.5倍。此外,還專為AI個人電腦設計了一種新型內存模塊——LPCAMM2。與傳統SODIMM產品相比,LPCAMM2不僅性能提升1.5倍,而且功耗降低高達58%,空間節省達64%。這款新產品于今年早些時候推出,主要圍繞三大目標設計:提升性能、降低功耗以及減小體積。在標準PC中,通常需要兩個SODIMM并排放置,占用主板大量空間。而LPCAMM2則將這些功能集成到一個DIMM中,從而顯著提升了電源效率和性能。
在當前的PC環境中,以我們內部使用的Microsoft Copilot為例,它高度依賴云計算,將大部分復雜任務卸載到云端。然而,未來的AI個人電腦將能夠在本地處理部分工作負載,減少對云端的依賴。這樣,模型復雜性將降低,AI個人電腦能在保持高性能的同時,實現更高效的能源利用,提高數據處理的靈活性和速率。
在PC的本地存儲中完全可以放置多個模型,并根據用戶查詢的上下文加載這些模型。例如,如果用戶需要語音轉文本服務,您可以加載相關模型;如果用戶需要圖像創建,您可以加載相應的模型。在此過程中,關鍵在于以節能方式從存儲中加載數據,因此,SSD的性能至關重要,它需在最低功耗下實現最高吞吐量,即充分利用PCIe 4.0 的四通道。
為此,美光科技的3500 SSD不僅在最低功耗下提供行業領先的性能。同時,該SSD中內置了啟發式算法。當檢測到AI工作負載時,驅動器可以主動加載所需的正確模型或數據。這些就是為實現高效能和電源效率所做的優化。
QLC越發重要,閃存層數應從縱橫向提升
當本網記者問及當前QLC對于AI存儲越來越重要,美光的看法與規劃,以及3D NAND閃存的層數將如何發展等問題時,Prasad Alluri也給出了詳細的分析。
Prasad Alluri表示,從NAND技術的視角來看,最關鍵的因素在于每平方毫米的容量密度。也就是我們最終追求的是比特面密度(Bit Areal Density),因為這將有助于降低成本。
但是,有多種方法可以實現這一目的。其中一種是對單個物理單元提升容量。這正是四階存儲單元(QLC)技術大顯身手的地方,而我們在這一領域始終保持領先地位,特別是在PC市場率先推出了這一技術。目前,美光科技在該領域的市場占有率位居前列。盡管我們尚未宣布針對數據中心的具體計劃,但我們仍在持續投資QLC技術,并致力于提高容量密度,這是推動技術進步的重要途徑之一。
另外,在NAND技術中可以通過堆疊更多層來增加單位面積內的容量。美光科技最近推出了第九代(G9)TLC NAND技術。雖然目前尚不清楚3D NAND的層數何時會達到極限,但在未來的幾代產品中,美光的閃存層數將繼續增加。
但他也強調,層數并非實現比特面密度提升的唯一關鍵因素,因為橫向擴展同樣至關重要。除了關注3D堆疊層的數量外,還需要考慮單元之間水平位置的接近程度。這種橫向優化是美光提高比特面密度的另一個關鍵領域。
-
存儲
+關注
關注
13文章
4296瀏覽量
85798 -
數據中心
+關注
關注
16文章
4761瀏覽量
72034 -
美光
+關注
關注
5文章
709瀏覽量
51418 -
AI PC
+關注
關注
0文章
123瀏覽量
236
發布評論請先 登錄
相關推薦
評論