新應用需要深入了解不同類型 DRAM 的權衡。

如何構建高性能芯片的選擇越來越多，但附加內存的選擇幾乎沒有變化。為了在汽車、消費和超大規模計算中實現最大性能，選擇歸結為一種或多種 DRAM，而最大的權衡是成本與速度。

DRAM 仍然是任何這些架構中的重要組成部分，盡管多年來一直在努力用更快、更便宜或更通用的內存取代它，甚至將其嵌入到 SoC 中。但 DRAM 制造商并沒有保持不變，而是根據性能、功耗和成本推出了多種選擇。這些仍然是基本的權衡，要駕馭這些因素，需要深入了解內存的使用方式、所有部件的連接方式，以及芯片或系統的關鍵屬性是什么。

Rambus產品管理高級總監 Frank Ferro 表示：“我們繼續看到對更多帶寬內存需求的非常激進的趨勢，即使在宏觀經濟形勢下也是如此。有很多公司都在研究不同類型的內存架構。這包括解決帶寬問題的各種方法，無論是具有大量片上內存的處理器還是其他方式。雖然這種方法將是最便宜和最快的，但容量非常低，因此人工智能算法必須針對這種類型的架構進行定制。”

Chiplets

Chiplets沒有減少對附加內存的需求。總體而言，向異構計算（尤其是小芯片）的發展只會加速對高帶寬內存的需求，無論是 HBM、GDDR6 還是 LPDDR6。

HBM 是三者中最快的。但到目前為止，HBM 一直基于 2.5D 架構，這限制了它的吸引力。“制作 2.5D 中介層仍然是相對昂貴的技術，”Ferro 說。“供應鏈問題并沒有太大幫助。在過去的兩年里，這種情況有所緩解，但它確實凸顯了當你在做這些復雜的 2.5D 系統時的一些問題，因為你必須組合很多組件和基板。如果其中任何一件不可用，就會擾亂整個流程或造成很長的交付周期。”

用于最大數據吞吐量的 HBM 堆棧。來源：Rambus

將 HBM 連接到其他一些封裝方法（例如扇出）或使用不同類型的中介層或橋接器堆疊芯片的工作已經進行了一段時間。這些將變得必不可少，因為更多的前沿設計包括某種類型的高級封裝，這些封裝具有可能在不同工藝節點開發的異構組件。

“很多 HBM 空間實際上更多地是關于制造問題而不是 IP 問題，” Cadence的 IP 集團產品營銷集團總監 Marc Greenberg 說。“當你有一個內部帶有硅中介層的系統時，你需要弄清楚如何構建一個帶有硅中介層的系統。首先，如何在那里制造硅中介層？它比普通的硅芯片大得多。它必須變薄。它必須綁定到將要在其上的各種芯片。它需要封裝。HBM 解決方案涉及很多專業制造。這最終超出了 IP 領域，更多地進入了 ASIC 供應商和 OSAT 所做的領域。”

汽車中的高帶寬存儲器

HBM 獲得極大興趣的領域之一是汽車。但仍有一些障礙需要克服，目前還沒有解決這些障礙的時間表。

Synopsys產品營銷總監 Brett Murdock表示：“HBM3 具有高帶寬、低功耗和良好的密度”. “唯一的問題是它很貴。那是那個記憶的一個失敗。HBM 的另一個缺點是它還沒有資格用于汽車，盡管它非常適合汽車。在汽車領域，正在發生的一件有趣的事情是所有電子設備都在集中化。隨著集中化的發生，基本上現在你的主干中有一個服務器。發生的事情太多了，不一定總是發生在單個 SoC 或單個 ASIC 上。因此，現在汽車公司開始關注小芯片，以及他們如何在他們的設計中使用小芯片來獲得他們在該集中域中所需的所有計算能力。巧妙的是，小芯片的潛在用途之一是使用中介層。如果他們現在使用內插器，他們并沒有解決 HBM 的內插器問題。他們正在解決小芯片的插入器問題，也許 HBM 會加入進來。然后，如果他們已經在為車輛進行小芯片設計，也許就不再那么昂貴了。”

HBM 非常適合這一領域，因為需要在車輛周圍快速移動大量數據。“想想汽車中的攝像頭數量，所有這些攝像頭的數據速率和處理所有信息的速度都是天文數字。HBM 是所有汽車行業人士都想去的地方，”Murdock說。“成本對他們來說可能并沒有那么高，因為它只是整理技術，整理汽車中的中介層，以及整理 HBM 設備的汽車溫度。

不過，這可能需要一段時間。與此同時，GDDR 似乎是一顆冉冉升起的新星。雖然它的吞吐量比 HBM 更有限，但對于許多應用來說仍然足夠，并且已經通過汽車認證。

Rambus 的 Ferro 說：“HBM 絕對會進入汽車應用領域，在這些應用中，汽車會與不動的東西對話。” “但在車輛方面，GDDR 做得很好。LPDDR 已經在汽車中，您可以用 GDDR 替換多個 LPDDR，獲得更小的占用空間和更高的帶寬。然后，隨著 AI 處理的提升，LPDDR5 和 LPDDR6 開始達到一些相當可觀的速度 [現在分別接近 8Gbps 和 10Gbps]，它們也將成為汽車中非常可行的解決方案。仍然會有一些 DDR，但 LPDDR 和 GDDR 將成為汽車最喜歡的技術。”

根據 Cadence 的 Greenberg 的說法，這種方法可能會在相當長的一段時間內運作良好。“僅使用標準 PCB 和標準制造技術的解決方案似乎比嘗試在方程式中引入硅中介層并使其符合溫度或振動或 10 年的要求更明智。一生。與 GDDR-6 相比，在車輛中驗證 HBM 解決方案似乎是一個更大的挑戰，在 GDDR-6 中，可以將內存放在 PCB 上。如果我在一家汽車公司負責一些汽車項目，我只會選擇 HBM 作為最后的選擇。”

邊緣 AI/ML 內存

GDDR 和 LPDDR5，甚至可能是 LPDDR6，在一些邊緣加速卡上也開始看起來像是可行的解決方案。

“對于進行邊緣 AI 推理的 PCIe 卡，多年來我們已經在 NVIDIA 等公司的加速卡中看到了 GDDR，”Ferro 說。“現在我們看到越來越多的公司愿意考慮替代方案。例如，Achronix 正在其加速卡中使用 GDDR6，并開始研究如何使用 LPDDR，盡管其速度仍然只有 GDDR 的一半左右。它在爬升，它提供了更多的密度。這是另一種解決方案。這些給出了一個很好的權衡。它們提供了性能和成本優勢，因為它們仍然使用傳統的 PCB。如果過去使用過 DDR，則可以扔掉很多 DDR，并用一個 GDPR 或兩個 LPDDR 替換它們。這就是我們現在看到的很多情況，因為開發人員試圖弄清楚如何在成本、功率和價格之間取得適當的平衡。這始終是邊緣的挑戰。”

與往常一樣，權衡是許多因素的平衡。

格林伯格指出，在當前 AI 革命的早期階段，第一批 HBM 存儲器正在被使用。“人們正在采用一種成本是無目標/帶寬是無目標的方法。HBM 很自然地融入其中，有人希望有一個典型的例子來說明他們可以從系統中獲得多少帶寬。他們會基于 HBM 構建一個芯片，根據他們對該芯片的性能指標獲得風險投資資金，而且沒有人真的太擔心這一切的成本。現在我們看到的是，也許您需要一些好的指標，也許是您可以使用 HBM 實現的 75%，但您希望它的成本降低一半。我們該怎么做？我們所看到的 GDDR 的吸引力在于它可以實現成本更低的解決方案，但帶寬絕對接近 HBM 空間。”

默多克也看到了做出正確記憶選擇的困難。“對于高帶寬要求，通常他們會做出成本權衡決定。我是否會去 HBM，如果不是因為成本因素，它通常非常適合該應用程序？我們有客戶詢問我們有關 HBM 的信息，試圖在 HBM 和 LPDDR 之間做出選擇。這確實是他們做出的選擇，因為他們需要帶寬。他們可以在這兩個地方的任何一個地方得到它。我們已經看到工程團隊在 SoC 周圍放置了多達 16 個 LPDDR 接口實例，以滿足他們的帶寬需求。當你開始談論那么多實例時，他們會說，'哦，哇，HBM 真的非常適合這個要求。但這仍然歸結為成本，因為很多這些公司只是不想支付 HBM3 帶來的溢價。”

HBM 還需要考慮架構方面的問題。“HBM 一開始就是一個多通道接口，因此使用 HBM，您可以在一個 HBM 堆棧上擁有 32 個偽通道，”Murdock 說。“有 16 個頻道，所以實際上是 32 個偽頻道。偽通道是您在每個偽通道的基礎上執行實際工作負載的地方。因此，如果您在那里有 16 個偽通道，而不是如果您將大量不同的 LPDDR 實例放到您的 SoC 上，在這兩種情況下，必須弄清楚您的流量將如何定位整個通道中的整體地址空間定義。”

對于 AI/機器學習開發人員，LPDDR 通常采用 bi-32 封裝，然后具有 2-16 位通道。

“你可以在你的架構中做出一個基本的選擇，”他解釋道。“從系統的角度來看，是否將內存上的這兩個 16 位通道視為真正獨立的通道？或者是否將它們放在一起并使其看起來像一個 32 位通道？他們總是選擇 16 位通道，因為這給了他們更高性能的接口。在內存中，我有兩個通道。我有兩倍的打開頁面，我可能會從中點擊并通過頁面點擊減少我的整體系統延遲。它使性能更好的系統擁有更多更小的通道，這就是我們在 HBM 上看到的情況。從 HBM2e 到 HBM3，我們非常明確地放棄了該通道和偽通道大小以應對此類市場。我們甚至在 DDR4 的 DDR5 中看到了這一點。

對于邊緣 AI 推理，Greenberg 一直在觀察這些應用走在前沿，并發現 GDDR-6 是一項很棒的技術。“有很多芯片都希望具有該功能。這使 AI 推理接近邊緣，因此可能會接收多個攝像頭輸入或多個其他傳感器輸入。然后，在邊緣使用人工智能，你可以深入了解你正在處理的數據，而不是將所有數據發送回服務器來執行該功能。”

Greenberg 預計很快就會有大量芯片問世，這些芯片將具有各種有趣的功能，而無需將大量數據發送回服務器。他希望 GDDR6 在那里發揮重要作用。

“前幾代 GDDR 主要針對顯卡，”他說。“GDDR6 具有很多特性，使其更適合作為通用內存。事實上，雖然我們確實有用戶將其用于顯卡，但大多數人實際上將其用于 AI 邊緣應用程序，”Greenberg說。“如果需要盡可能多的帶寬，而且不關心成本多少，那么 HBM 是很好的解決方案。但是，如果不需要那么多的帶寬，或者如果成本是一個問題，那么 GDDR6 在該領域發揮有利作用。GDDR6的優勢在于可以在標準的FR4 PCB上完成。制造過程中不需要特殊材料。沒有特殊工藝，甚至PCB本身也不需要背鉆。它不需要有隱藏的過孔或類似的東西。”

最后，GDDR 領域的最后一個趨勢是努力使 GDDR 對消費者更加友好。“它仍然有一些非常有利于圖形引擎的規范部分，但作為一項技術，GDDR 正在朝著消費者的方向發展，”他說。“隨著 GDDR 類技術的更廣泛部署，它將繼續朝著這個方向發展。”

審核編輯：劉清