谷歌云、D-ID、Cohere 將新平臺用于各種生成式 AI 服務，包括聊天機器人、文本生成圖像內容、AI 視頻等

加利福尼亞州圣克拉拉 - GTC - 太平洋時間 2023 年 3 月 21 日 – NVIDIA 于今日推出四款推理平臺。這些平臺針對各種快速興起的生成式 AI 應用進行了優化，能夠幫助開發人員快速構建用于提供新服務和洞察的 AI 驅動的專業應用。

這些平臺將 NVIDIA 的全棧推理軟件與最新的 NVIDIA Ada、Hopper 和 Grace Hopper 處理器相結合，包括今天推出的 NVIDIA L4 Tensor Core GPU 和 NVIDIA H100 NVL GPU。各平臺針對 AI 視頻、圖像生成、大型語言模型部署、推薦系統推理等需求激增的工作負載進行了優化。

NVIDIA 創始人兼首席執行官黃仁勛表示：“生成式 AI 的興起需要更加強大的推理計算平臺。生成式 AI 應用的數量是無限的，它唯一的限制就是人類的想象力。為開發人員提供最強大、靈活的推理計算平臺將加快新服務的創造速度，這些新服務將以前所未有的方式改善我們的生活。”

加速生成式 AI 的各種推理工作負載集

每個平臺都包含一個為特定生成式 AI 推理工作負載而優化的 NVIDIA GPU 和專用的軟件：

• 適用于 AI 視頻的 NVIDIA L4 可提供比 CPU 高出 120 倍的 AI 視頻性能，同時能效提高了 99%。這款適用于幾乎所有工作負載的通用 GPU 提供更加強大的視頻解碼和轉碼能力、視頻流式傳輸、增強現實、生成式 AI 視頻等。

• 適用于圖像生成的 NVIDIA L40 針對圖形以及 AI 支持的 2D、視頻和 3D 圖像生成進行了優化。L40 平臺是 NVIDIA Omniverse（一個用于在數據中心構建和運行元宇宙應用的平臺）的引擎，與上一代產品相比，其 Stable Diffusion 推理性能提高了 7 倍，Omniverse 性能提高了 12 倍。

• 適用于大型語言模型部署的 NVIDIA H100 NVL 是規模化部署像 ChatGPT 這樣的大型語言模型（LLMs）的理想平臺。這款新的 H100 NVL 擁有 94GB 內存和 Transformer 引擎加速，在數據中心規模，與上一代 A100 相比，GPT-3 上的推理性能提高了多達 12 倍。

• 適用于推薦模型的 NVIDIA Grace Hopper 是圖形推薦模型、矢量數據庫和圖神經網絡的理想平臺。通過 NVLink-C2C 以 900 GB/s 的速度連接 CPU 和 GPU，Grace Hopper 的數據傳輸和查詢速度比 PCIe 5.0 快了 7 倍。

這些平臺的軟件層采用 NVIDIA AI Enterprise 軟件套件，包括用于高性能深度學習推理的軟件開發套件 NVIDIA TensorRT，以及幫助實現模型部署標準化的開源推理服務軟件 NVIDIA Triton Inference Server。

早期采用者與支持

谷歌云是 NVIDIA 推理平臺的重要云合作伙伴和早期客戶。該公司正在將 L4 平臺整合到其機器學習平臺 Vertex AI 中，并且是第一家提供 L4 實例的云服務提供商，其 G2 虛擬機的私人預覽版已于今天推出。

NVIDIA 和谷歌今天分別宣布了首批在谷歌云上使用 L4 的兩家機構——Descript 和 WOMBO，前者使用生成式 AI 幫助創作者制作視頻和播客，后者提供 “Dream” 這一 AI 驅動的文本-數字藝術轉換應用程序。

另一個早期采用者快手提供了一個短視頻應用程序，利用 GPU 對傳入的實時流媒體視頻進行解碼、捕捉關鍵幀并優化音視頻。然后，它使用一個基于 Transformer 的大型模型理解多模態內容，從而提高全球數億用戶的點擊率。

快手高級副總裁于越表示：“快手推薦系統所服務的社區每天的用戶人數超過 3.6 億，他們每天貢獻 3000 萬條 UGC 視頻。在相同的總體擁有成本下，相較于 CPU，NVIDIA GPU 將系統的端到端吞吐量提高了 11 倍，將延遲降低了 20%。”

領先的生成式 AI 技術平臺 D-ID，通過使用 NVIDIA L40 GPU 從文本中生成逼真的數字人，支持任何內容來生成人臉，不僅幫助專業人士改進視頻內容，同時減少了大規模視頻制作的成本和麻煩。

D-ID 研發副總裁 Or Gorodissky 表示：“L40 的性能十分驚人。有了它，我們將推理速度提高了一倍。D-ID 十分高興能夠將這個新硬件作為我們產品的一部分，以前所未有的性能和分辨率實現 AI 人的實時流傳輸，并降低我們的計算成本。”

領先的 AI 制作工作室 Seyhan Lee 使用生成式 AI 為電影、廣播和娛樂行業開發沉浸式體驗和迷人的創意內容。

Seyhan Lee 聯合創始人 Pinar Demirdag 表示：“L40 GPU 為我們的生成式 AI 應用帶來了驚人的性能提升。憑借 L40 的推理能力和內存容量，我們可以部署非常先進的模型，并以驚人的速度和精度向客戶提供創新的服務。”

語言 AI 領域的先鋒 Cohere 所運行的平臺使得開發人員能夠在保護數據隱私和安全的情況下，構建自然語言模型。

Cohere 首席執行官 Aidan Gomez 表示：“憑借 NVIDIA 的全新高性能 H100 推理平臺，我們可以使用先進的生成式模型為客戶提供更加優質、高效的服務，推動對話式 AI、多語言企業搜索、信息提取等各種 NLP 應用的發展。”

供應情況

NVIDIA L4 GPU 私人預覽版現已通過谷歌云平臺以及 30 多家計算機制造商所組成的全球網絡提供。

NVIDIA L40 GPU 現已通過全球領先的系統提供商提供，并且合作伙伴平臺的數量將在今年持續增加。

Grace Hopper 超級芯片已開始樣品供貨，預計下半年將全面投產。H100 NVL GPU 也將于下半年面市。

NVIDIA AI Enterprise 現在通過各大云市場以及數十家系統提供商和合作伙伴提供。NVIDIA AI Enterprise 為客戶提供 NVIDIA 企業級支持、定期安全審查以及 NVIDIA Triton Inference Server、TensorRT 和 50 多個預訓練模型與框架的 API 穩定性。

NVIDIA LaunchPad 上免費提供的動手實驗室可以試用用于生成式 AI 的 NVIDIA 推理平臺。樣品實驗室的內容包括訓練和部署一個客服聊天機器人、部署一個端到端 AI 工作負載、在 H100 上調整和部署一個語言模型以及使用 NVIDIA Triton 部署一個欺詐檢測模型。

掃描海報二維碼，或點擊“閱讀原文”，即可觀看 NVIDIA 創始人兼首席執行官黃仁勛 GTC23 主題演講重播！

?

百里挑一！

3 月 23 日不可錯過的演講!

GTC23 | 黃仁勛與 Ilya Sutskever 的爐邊談話重磅來襲！— 看 AI 的現狀和未來