在近期舉行的處理器和系統工程師年度盛會Hot Chips上，NVIDIA 首席科學家 Bill Dally 發表了主題演講。在演講中，其描述了后摩爾定律時代計算機性能正在發生結構性的變化。

點擊觀看 Bill Dally 在 Hot Chips 主題演講完整視頻

他表示，每一款新處理器都具備獨創性，需要經過不懈的努力，發明并驗證新的電子元件。這與上一代產品的開發截然不同，當時的工程師主要依賴于芯片更小、更快的物理特性。

Dally 在 NVIDIA Research 領導著一支 300 多人的團隊，過去十年間他們將單個 GPU 的 AI 推理性能提高了 1000 倍（詳見下圖）。

IEEE Spectrum 最先以 NVIDIA 創始人兼首席執行官黃仁勛的名字將這一驚人的性能提升命名為 "黃氏定律（Huang’s Law） "，后來《華爾街日報》的一篇專欄文章又讓該定律廣為流傳。

這樣的飆升速度是對以同樣驚人的速度崛起的大語言模型的回應，該模型用于生成式 AI，并且每年都以數量級的速度增長。

Dally 說："這為硬件行業的發展設定了步調，因為我們必須滿足這種需求。”

在演講中，Dally 詳細介紹了推動性能提升 1000 倍的要素。

其中，提升幅度最大的一次達到了 16 倍，這源于人們找到了更簡單的方法來表示計算機運算使用的數字。

新的運算方法

最新的 NVIDIA Hopper 架構及其 Transformer 引擎采用 8 位和 16 位浮點與整數運算的動態組合。這種運算方法專為滿足當今生成式 AI 模型的需求而量身定制。Dally 詳細介紹了該運算方法帶來的性能提升和節能效果。

Dally 領導的團隊通過編寫高級指令，指導 GPU 組織工作，實現了 12.5 倍的性能提升。這些復雜的指令有助于以更低的能耗做更多的工作。

因此，計算機就可以像“專用加速器一樣高效，同時保留 GPU 的所有可編程性”，Dally 介紹道。

此外，NVIDIA Ampere 架構還增加了結構化稀疏功能，這種創新方法可以在不影響模型精度的前提下簡化了 AI 模型的權重。Dally 表示，這項技術將性能提高了兩倍，并且未來有望實現更大的性能提升。

Dally 還介紹了可實現 GPU 之間高速互聯的 NVLink 以及用于系統間的 NVIDIA 網絡如何使單個 GPU 的性能提高 1000 倍。

進步之路不止步

Dally 指出，盡管 NVIDIA 在過去十年里將 GPU 的半導體節點從 28 納米推進到 5 納米，但這種技術僅僅貢獻了性能提升總量的 2.5 倍。

與摩爾定律下的前一代計算機設計相比，這是巨大的轉變。摩爾定律認為，隨著芯片變得越來越小、越來越快，處理器的性能每隔兩年翻一倍。

登納德縮放比例定律（Dennard scaling）在某種程度上對此進行了描述。該定律由 IBM 科學家 Robert Denard 在 1974 年與人合著的一篇論文中提出。但遺憾的是，物理微縮遇到了自然限制，例如更小、更快的器件所能承受的熱量。

前景樂觀

Dally 表示，盡管摩爾定律提出的性能提升在放緩，但黃氏定律仍將繼續存在，他對此充滿信心。

例如，他概括介紹了未來的幾個機會，包括進一步簡化數字表示方式、在 AI 模型中創建更多稀疏性以及設計更優的內存和通信電路。

因為每一代新的芯片和系統都需要新的創新，所以這是屬于計算機工程師的美好時代，Dally 補充說。

Dally 相信，計算機設計領域的新動態為 NVIDIA 工程師們提供了他們最渴望的三個機會：成為致勝團隊的一員、與聰明人共事以及從事有影響力的設計。

GTC 2024 將于 2024 年 3 月 18 至 21 日在美國加州圣何塞會議中心舉行，線上大會也將同期開放。點擊“閱讀原文”或掃描下方海報二維碼，關注更多會議及活動信息。