NVIDIA Dynamo 提高了推理性能，同時降低了擴展測試時計算 (Scaling Test-Time Compute) 的成本；在 NVIDIA Blackwell 上的推理優化將 DeepSeek-R1 上的吞吐量提高了 30 倍

NVIDIA 發布了開源推理軟件 NVIDIA Dynamo，旨在以高效率、低成本加速并擴展 AI 工廠中的 AI 推理模型。

作為 NVIDIA Triton 推理服務器的后續產品，NVIDIA Dynamo 是一款全新的 AI 推理服務軟件，旨在為部署推理 AI 模型的 AI 工廠最大化其 token 收益。它協調并加速數千個 GPU 之間的推理通信，并使用分離服務將大語言模型 (LLM) 的處理階段和生成階段在不同 GPU 上分離開來。這使得每個階段的特定需求可以進行單獨優化，并確保更大程度地利用 GPU 資源。

NVIDIA Dynamo 完全開源并支持 PyTorch、SGLang、NVIDIA TensorRT-LLM 和 vLLM，使企業、初創公司和研究人員能夠開發和優化在分離推理時部署 AI 模型的方法。

“全世界各行業都在訓練 AI 模型以不同的方式進行思考和學習，從而使模型復雜度持續升級。” NVIDIA 創始人兼首席執行官黃仁勛表示，“為了實現自定義推理 AI 的未來，NVIDIA Dynamo 可以在這些模型上進行規模化部署，從而為 AI 工廠實現降本增效”。