2023 年 GTC 大會上，英偉達 CEO 發布了四個全新推理平臺，每個平臺都包含針對特定的 AIGC 推理工作負載優化的 NVIDIA GPU 以及專用軟件：

1）用于圖像渲染和 AI 視頻的 L4。L4 提供增強的視頻解碼/轉碼、視頻流、增強現實以及生成 AI 視頻等功能，可提供比 CPU 高 120 倍的 AI 視頻性能，一臺 8 卡 L4 服務器能夠替代 100 多臺用于處理 AI 視頻的雙插槽 CPU 服務器。

2）用于 Omniverse、圖像生成、文本轉圖像等各類生成式 AI 的 L40。L40 針對圖形和支持 AI 的 2D、視頻和 3D 圖像生成進行了優化。L40 平臺作為 Omniverse 的引擎，用于在數據中心構建和運行元宇宙應用程序，推理性能是云推理 GPU T4 的 10 倍。

3）用于大語言模型（LLM）推理的 H100 NVL。H100 NVLGPU 適用于大規模部署 ChatGPT 等大型 LLM。H100 NVL 通過 NVLINK 將兩張 H100 PCIE 橋接在一起，其中的每張卡擁有 94GB HBM3 內存，同時內置 Transformer 引擎。與目前唯一可以在云上處理 GPT 模型的 HXG A100 相比，一臺搭載四對 H100 NVL 和雙 GPU NVLINK 的服務器可以將推理速度提高 10 倍。

4）Grace Hopper Superchip 適用于推薦模型、向量數據庫和大型語言模型的 AI 數據庫，并通過 NVLink-C2C 技術為 Grace CPU 和 Hopper GPU 之間提供高達 900GB/s 的高速連接，CPU 查詢和存儲巨型嵌入表，GPU 負責將收到的結果進行推理，整體是 PCIE 速度的 7 倍。

一、DGX CloudAI超級計算服務DGX Cloud提供專用的NVIDIA DGX AI超級計算集群，搭配NVIDIA AI軟件，可讓企業立即訪問為生成AI和其他突破性應用程序訓練高級模型所需的基礎設施和軟件。該服務使每個企業都可以使用簡單的網絡瀏覽器訪問自己的AI超級計算機，企業按月租用DGX Cloud集群，確保可快速輕松地擴展大型多節點訓練工作負載的開發，而無需等待通常需求量很大的加速計算資源。 NVIDIA Base Command平臺軟件：可使用其管理和監控DGX Cloud訓練工作負載，該軟件可在DGX Cloud以及本地NVIDIA DGX超級計算機上提供無縫的用戶體驗。使用Base Command Platform，客戶可將其工作負載與每項工作所需的正確數量和類型的DGX基礎設施相匹配。DGX Cloud包括NVIDIA AI Enterprise，平臺的軟件層，提供端到端的AI框架和預訓練模型。今日發布的NVIDIA AI Enterprise 3.1提供了新的預訓練模型、優化框架和加速數據科學軟件庫，為開發人員的AI項目提供了額外的快速啟動。行業巨頭案例：

①Amgen（世界領先的生物技術公司之一）正在使用DGX Cloud和NVIDIA BioNeMo大型語言模型軟件來加速藥物發現，包括NVIDIA AI Enterprise軟件，內含NVIDIA RAPIDS數據科學加速庫。

②CCC Intelligent Solutions (領先的財產和意外傷害保險經濟云平臺，CCC)正在使用DGX Cloud來加速和擴展其AI模型的開發和培訓。

③ServiceNow（數字業務平臺提供商）將DGX Cloud與本地NVIDIA DGX超級計算機結合使用，以實現靈活、可擴展的混合云AI超級計算，這有助于推動其在大型語言模型、代碼生成和因果分析方面的AI研究。二、Picasso Service云服務

用途：用于構建和部署生成式AI驅動的圖像、視頻和3D應用程序，具有高級文本到圖像、文本到視頻和文本轉3D功能，可通過簡單云API提高創造力、設計和數字模擬的生產力。用法：軟件制造商、服務提供商和企業可使用Picasso在其專有數據上訓練NVIDIA Edify基礎模型，以構建使用自然文本提示的應用程序，從而為數百個用例快速創建和定制視覺內容，包括產品設計、數字孿生、講故事和人物創作。拓展：要構建自定義應用程序，企業還可以從Picasso的Edify模型集開始，這些模型使用完全許可的數據進行預訓練，還可以使用Picasso來優化和運行生成式AI模型。三、NVIDIA BioNeMo服務BioNeMo Service是一種用于早期藥物發現中生成AI的云服務，具有九種最先進的大型語言和擴散模型。可通過Web界面或完全托管的API訪問，并且可以在NVIDIA DGX Cloud上進一步訓練和優化，生物學生成式AI的工作流程得到了優化和統包。 BioNeMo服務具有九個AI生成模型，涵蓋了開發AI藥物發現管道的廣泛應用：AlphaFold 2、ESMFold和OpenFold用于根據一級氨基酸序列預測3D蛋白質結構、用于蛋白質特性預測的ESM-1nv和ESM-2、用于蛋白質生成的ProtGPT2、MegaMolBART和MoFlow用于小分子生成、用于預測小分子與蛋白質結合結構的DiffDock等。

四、推出四種配置：L4、L40、H100 NVL、Grace Hopper

L4：一臺8-GPU L4服務器將取代一百多臺用于處理AI視頻的雙插槽CPU服務器。L40：針對Omniverse、圖形渲染以及文本轉圖像和文本轉視頻等生成式AI，推出L40，其性能是云推理GPU T4的10倍。

H100 NVL：針對ChatGPT等大型語言模型的推理，推出Hopper GPU，配備雙GPU NVLink的 PCIE H100 , H100 NVL配備94GB HBM3顯存，可處理擁有1750億參數的GPT-3, 同時還可支持商用PCIE服務器輕松擴展。

Grace Hopper：新超級芯片，通過900GB/秒高速一致性芯片到芯片接口，非常適合處理大型數據集，例如推薦系統和大型語言模型的AI數據庫借助Grace Hopper，Grace可以查詢嵌入表，并將結果直接傳入到Hopper，速度比PCIE快7倍。

五、Omniverse應用Omniverse是實現工業數字化的數字到物理操作系統，是云原生，同時不限平臺，可讓團隊隨時隨地在我們的虛擬工場中展開協作。Omniverse網絡中的網絡正在呈指數級增長，還連接了Siemens Teamcenter、NX和Process Simulate、RockWell Automation Emulate3D、Cesium、Unity等許多應用。應用于汽車企業數字化：①沃爾沃汽車公司和通用汽車使用Omniverse USD Composer連接和統一其資產工作流，并將汽車零部件在虛擬環境中組裝成數字孿生汽車，在工程和仿真中， Omniverse將Powerflow空氣動力學可視化。 ②新一代梅賽德斯-奔馳和捷豹陸虎汽車，使用Omniverse Drive Sim生成，梅賽德斯奔馳使用Omniverse為新車型構建、優化和規劃組裝流水線。 ③豐田公司使用Omniverse構建工廠的數字孿生。

三款專為Omniverse設計的系統：

①新工作站，由NVIDIA Ada RTX GPU和英特爾最新款CPU提供動力支持，適合光線追蹤、物理仿真、神經圖形和生成式AI，2023年3月起，BOXX、戴爾、惠普、聯想將提供這款工作站。

②新型NVIDIA OVX服務器，由Omniverse優化而來，OVX由服務器GPU Ada RTX L40和BlueField-3組成，將由戴爾、HPE、Quanta、技嘉、聯想和Supermicro提供。

③Omniverse Cloud，基于NVIDIA OVX運算系統推出， 每一層Omniverse堆棧包括芯片、系統、網絡和軟件都是新發明，正將Omniverse連接到微軟365生產力套件。

六、超算及云服務

發布Grace、Grace-Hopper和BlueField-3三款新芯片，適用于超級節能加速數據中心，更新了100個加速庫,包括用于量子計算的cuQuantum、用于組合優化的cuOpt、以及用于計算光刻的cuLitho（與臺積電、ASML和Synopsys合作，達到2nm及更高制程），可將計算光刻用時提速40倍。計算光刻：500套DGX H100（包含4000顆Hopper GPU）可完成與4萬顆CPU運算服務器相同的工作量，但速度快40倍，功耗低9倍，即意味著GPU加速后，生產光掩模的計算光刻工作用時可以從幾周減少到八小時。 NVIDIA DGX AI超級計算機是生成式大型言模型取得突破的引擎，DGX H100 AI超級計算機正在生產,并即將通過全球不斷擴大的OEM和云服務合作伴網絡面世。DGX沒有止步于研究，正在成為現代化AI工廠，Nvidia通過與Azure、Google GCP、Oracle OCI合作，拓展NVIDIA DGX Cloud業務模式。

七、總結

英偉達推出了新的推理平臺，包括四種配置和一個體系架構：

①適用于處理AI視頻的8-GPU服務器L4。

②適用于Omniverse和圖形渲染的L40。

③適用于擴展LLM推理的H100PCIE。

④適用于推薦系統和向量數據庫的Grace-Hopper。 此外，通過與Google合作，Google GCP成為首款NVIDIA AI云，NVIDIA AI Foundations是一個云服務和代工廠，用于構建自定義語言模型和生成式AI，包括語言視覺和生物學模型構建服務。

Omniverse是實現工業數字化的數字到物理操作系統，可以統一端到端工作流，并將價值3萬億美元的汽車行業數字化；在Azure上進行托管，與微軟合作，將Omniverse Cloud引入各行業。

審核編輯 ：李倩