作為全球 AI 基礎設施的全新引擎，NVIDIA H100 GPU 實現了數量級的性能飛躍

　　加利福尼亞州圣克拉拉市 —— GTC 大會 —— 太平洋時間 2022 年 3 月 22 日 —— 為推動 AI 數據中心的新一輪發展，NVIDIA 于今日宣布推出采用 NVIDIA Hopper? 架構的新一代加速計算平臺。與上一代產品相比，該平臺實現了數量級的性能飛躍。

　　這一全新架構以美國計算機領域的先驅科學家 Grace Hopper 的名字命名，將取代兩年前推出的 NVIDIA Ampere 架構。

　　NVIDIA 同時發布其首款基于 Hopper 架構的 GPU — NVIDIA H100。該款 GPU 集成了 800 億個晶體管。H100 是全球范圍內最大的性能出眾的加速器，擁有革命性的 Transformer 引擎和高度可擴展的 NVIDIA NVLink? 互連技術等突破性功能，可推動龐大的 AI 語言模型、深度推薦系統、基因組學和復雜數字孿生的發展。

　　NVIDIA 創始人兼 CEO 黃仁勛表示： “數據中心正在轉變成‘AI 工廠’。它們處理大量數據，以實現智能。NVIDIA H100 是全球 AI 基礎設施的引擎，讓企業能夠利用其實現自身 AI 業務的加速。”

　　H100 技術突破

　　H100 NVIDIA GPU 為加速大規模 AI 和 HPC 設定了新的標準，帶來了六項突破性創新：

　　● 世界最先進的芯片 —— H100 由 800 億個晶體管構建而成，這些晶體管采用了專為 NVIDIA 加速計算需求設計的尖端的 TSMC 4N 工藝，因而能夠顯著提升 AI、HPC、顯存帶寬、互連和通信的速度，并能夠實現近 5TB/s 的外部互聯帶寬。H100 是首款支持 PCIe 5.0 的 GPU，也是首款采用 HBM3 的 GPU，可實現 3TB/s 的顯存帶寬。20個 H100 GPU 便可承托相當于全球互聯網的流量，使其能夠幫助客戶推出先進的推薦系統以及實時運行數據推理的大型語言模型。

　　● 新的 Transformer 引擎 —— Transformer 現在已成為自然語言處理的標準模型方案，也是深度學習模型領域最重要的模型之一。H100 加速器的 Transformer 引擎旨在不影響精度的情況下，將這些網絡的速度提升至上一代的六倍。

　　● 第二代安全多實例 GPU —— MIG 技術支持將單個 GPU 分為七個更小且完全獨立的實例，以處理不同類型的作業。與上一代產品相比，在云環境中 Hopper 架構通過為每個 GPU 實例提供安全的多租戶配置，將 MIG 的部分能力擴展了 7 倍。

　　● 機密計算 —— H100 是全球首款具有機密計算功能的加速器，可保護 AI 模型和正在處理的客戶數據?？蛻暨€可以將機密計算應用于醫療健康和金融服務等隱私敏感型行業的聯邦學習，也可以應用于共享云基礎設施。

　　● 第 4 代 NVIDIA NVLink —— 為加速大型 AI 模型，NVLink 結合全新的外接 NVLink Switch，可將 NVLink 擴展為服務器間的互聯網絡，最多可以連接多達 256 個 H100 GPU，相較于上一代采用 NVIDIA HDR Quantum InfiniBand網絡，帶寬高出9倍。

　　● DPX 指令 —— 新的 DPX 指令可加速動態規劃，適用于包括路徑優化和基因組學在內的一系列算法，與 CPU 和上一代 GPU 相比，其速度提升分別可達 40 倍和 7 倍。Floyd-Warshall 算法與 Smith-Waterman 算法也在其加速之列，前者可以在動態倉庫環境中為自主機器人車隊尋找最優線路，而后者可用于 DNA 和蛋白質分類與折疊的序列比對。

　　H100 的多項技術創新相結合，進一步擴大了 NVIDIA在 AI 推理和訓練的領導地位，利用大規模 AI 模型實現了實時沉浸式應用。H100 將支持聊天機器人使用功能超強大的monolithic Transformer 語言模型 Megatron 530B，吞吐量比上一代產品高出 30 倍，同時滿足實時對話式 AI 所需的次秒級延遲。利用 H100，研究人員和開發者能夠訓練龐大的模型，如包含 3950 億個參數的混合專家模型，訓練速度加速高達9倍，將訓練時間從幾周縮短到幾天。

　　NVIDIA H100 的廣泛采用

　　NVIDIA H100 可部署于各種數據中心，包括內部私有云、云、混合云和邊緣數據中心。這款產品預計于今年晚些時候全面發售，屆時企業可從全球各大云服務提供商和計算機制造商處購買，或者直接從 NVIDIA 官方渠道購買。

　　NVIDIA 的第四代 DGX? 系統 DGX H100 配備 8 塊 H100 GPU，以全新的 FP8 精度提供 32 Petaflop 的 AI 性能，并支持擴展，能夠滿足大型語言模型、推薦系統、醫療健康研究和氣候科學的海量計算需求。

　　DGX H100 系統中的每塊 GPU 都通過第四代 NVLink 連接，可提供 900GB/s 的帶寬，與上一代相比，速度提升了 1.5 倍。NVSwitch? 支持所有八塊 H100 GPU 通過 NVLink 全互聯。新一代 NVIDIA DGX SuperPOD? 超級計算機可通過外部 NVLink Switch 互聯，最多可連接 32 個 DGX H100 節點。

　　Hopper 已在行業內獲得各大云服務提供商的廣泛支持，包括阿里云、AWS、百度智能云、Google Cloud、Microsoft Azure、Oracle Cloud、騰訊云和火山引擎，這些云服務商均計劃推出基于 H100 的實例。

　　全球領先的系統制造商，包括源訊、BOXX Technologies、思科、戴爾科技、富士通、技嘉、新華三、慧與 （HPE）、浪潮、聯想、寧暢和超微預計推出各種采用 H100 加速器的服務器。

　　規模各異的 NVIDIA H100

　　H100 將提供 SXM 和 PCIe 兩種規格，可滿足各種服務器設計需求。此外，NVIDIA還會推出融合加速器，耦合 H100 GPU 與 NVIDIA ConnectX?-7 400Gb/s InfiniBand 和以太網智能網卡。

　　NVIDIA H100 SXM 提供 4 GPU 和 8 GPU 配置的 HGX? H100 服務器主板，可助力企業將應用擴展至一臺服務器和多臺服務器中的多個 GPU?；?HGX H100 的服務器可為 AI 訓練和推理以及數據分析和 HPC 應用提供更高的應用性能。

　　H100 PCIe 通過 NVLink 連接兩塊 GPU，相較于 PCIe 5.0，可提供 7 倍以上的帶寬，為主流企業級服務器上運行的應用帶來卓越的性能。PCIe規格便于集成到現有的數據中心基礎設施中。

　　H100 CNX 是一款全新的融合加速器。這款加速器將 H100 與 ConnectX-7 智能網卡相結合，可為 I/O 密集型應用（如企業級數據中心內的多節點 AI 訓練和邊緣 5G 信號處理）提供強勁性能。

　　NVIDIA Hopper 架構 GPU 還可與 NVIDIA Grace? CPU 通過 NVLink-C2C 互聯，與 PCIe 5.0 相比，可將 CPU 和 GPU 之間的通信速度提高 7 倍以上。這一組合，即Grace Hopper 超級芯片，可用于大規模 HPC 和 AI 應用。

　　NVIDIA 軟件支持

　　H100 NVIDIA GPU 由功能強大的軟件工具提供支持，可助力開發者和企業構建并加速 AI、HPC 等一系列應用。其中包括用于語音、推薦系統和超大規模推理等工作負載的 NVIDIA AI 軟件套件的重大更新。

　　NVIDIA 還發布了 60 多個針對 CUDA-X? 的一系列庫、工具和技術的更新，以加速量子計算和 6G 研究、網絡安全、基因組學和藥物研發等領域的研究進展。

　　供貨信息

　　NVIDIA H100 將自第三季度起開始供貨。