NVIDIA NeMo Megatron 框架; 可定制的大規(guī)模語言模型Megatron 530B；多GPU、多節(jié)點 Triton推理服務(wù)器助力基于語言的AI開發(fā)和部署，推動行業(yè)和科學(xué)發(fā)展

NVIDIA為全球企業(yè)開發(fā)和部署大型語言模型打開了一扇新的大門——使這些企業(yè)能夠建立他們自己的、特定領(lǐng)域的聊天機器人、個人助理和其他AI應(yīng)用程序，并能夠以前所未有的水平理解語言中的微妙和細微差別。

NVIDIA推出了為訓(xùn)練具有數(shù)萬億參數(shù)的語言模型而優(yōu)化的NVIDIA NeMo Megatron框架、為新領(lǐng)域和語言進行訓(xùn)練的可定制大型語言模型（LLM）Megatron 530B以及具有多GPU、多節(jié)點分布式推理功能的NVIDIA Triton推理服務(wù)器。

這些工具與NVIDIA DGX系統(tǒng)相結(jié)合，提供了一個可部署到實際生產(chǎn)環(huán)境的企業(yè)級解決方案，以簡化大型語言模型的開發(fā)和部署。

“大型語言模型已被證明是靈活且功能強大的，無需專門的培訓(xùn)或監(jiān)督，即可回答深層次領(lǐng)域問題，翻譯語言，理解和總結(jié)文件，編寫故事和計算程序。” NVIDIA應(yīng)用深度學(xué)習(xí)研究副總裁Bryan Catanzaro表示。“ 為新的語言和領(lǐng)域建立大型語言模型可能仍然是最大的超級計算的應(yīng)用，現(xiàn)在這些功能對全球的企業(yè)也變得觸手可及。”

NVIDIA NeMo Megatron和Megatron 530B

加速大型語言模型開發(fā)

NVIDIA NeMo Megatron是在Megatron的基礎(chǔ)上發(fā)展起來的開源項目，由NVIDIA研究人員主導(dǎo)，研究大型轉(zhuǎn)換語言模型的高效訓(xùn)練。Megatron 530B是世界上最大的可定制語言模型。

NeMo Megatron框架使企業(yè)能夠克服訓(xùn)練復(fù)雜自然語言處理模型的挑戰(zhàn)。經(jīng)過優(yōu)化，可以在NVIDIA DGX SuperPOD的大規(guī)模加速計算基礎(chǔ)設(shè)施上進行擴展。

NeMo Megatron通過數(shù)據(jù)處理庫自動處理LLM訓(xùn)練的復(fù)雜性，這些數(shù)據(jù)處理庫可以攝入、策劃、組織和清理數(shù)據(jù)。利用先進的數(shù)據(jù)、張量和管道并行化技術(shù)，它能使大型語言模型的訓(xùn)練有效地分布在成千上萬的GPU上。企業(yè)可以通過NeMo Megatron框架進一步訓(xùn)練它以服務(wù)新的領(lǐng)域和語言。

NVIDIA Triton推理服務(wù)器

助力實時大型語言模型推理

此外，今日發(fā)布的最新NVIDIA Triton推理服務(wù)器中的多GPU、多節(jié)點特性，使大型語言模型推理工作負載能夠?qū)崟r在多個GPU和節(jié)點上擴展。這些模型需要的內(nèi)存比單個GPU甚至是包含多個GPU的大型服務(wù)器所能提供的還要多，并且，實際應(yīng)用對其推理實時性有著極高的要求。

通過Triton推理服務(wù)器，Megatron530B能夠在兩個NVIDIA DGX系統(tǒng)上運行，將處理時間從CPU服務(wù)器上的1分鐘以上縮短到半秒，令實時應(yīng)用部署大型語言模型成為可能。

全球范圍開發(fā)的大規(guī)模定制語言模型

使用NVIDIA DGX SuperPOD構(gòu)建大型復(fù)雜語言模型的早期客戶包括SiDi、京東探索研究院和VinBrai。 SiDi是巴西的一家大型AI 研究和開發(fā)機構(gòu)，已經(jīng)采用三星虛擬助手，供全國 2 億巴西葡萄牙語者使用。 SiDi 首席執(zhí)行官John Yi 表示：“SiDi 團隊在AI 虛擬助理和聊天機器人開發(fā)方面擁有豐富的經(jīng)驗，此類開發(fā)既需要強大的 AI 性能，也需要經(jīng)過訓(xùn)練并適應(yīng)人類語言不斷變化的細微差別的專用軟件。NVIDIA DGX SuperPOD 非常適合推動我們團隊的先進工作，幫助我們?yōu)榘臀鞯钠咸蜒勒Z者提供領(lǐng)先的AI 服務(wù)。” 京東探索研究院，是以供應(yīng)鏈為基礎(chǔ)的領(lǐng)先技術(shù)和服務(wù)提供商京東的研發(fā)部門，他們利用 NVIDIA DGX SuperPOD 開發(fā)NLP，應(yīng)用于智能客戶服務(wù)、智能零售、智能物流、物聯(lián)網(wǎng)、醫(yī)療健康等領(lǐng)域。 VinBrain，越南的醫(yī)療健康 AI 公司，他們使用 DGX SuperPOD 為100 家醫(yī)院的放射科醫(yī)生和遠程醫(yī)療醫(yī)生開發(fā)和部署了一種臨床語言模型。在這些醫(yī)院，已有 600 多名醫(yī)療健康從業(yè)者使用該模型。

供應(yīng)情況

企業(yè)可以利用今天同期發(fā)布的NVIDIA LaunchPad，免費體驗開發(fā)和部署大型語言模型。行業(yè)組織可以申請加入搶先體驗計劃，了解用于訓(xùn)練大規(guī)模語言模型的 NVIDIA NeMo Megatron 加速框架。

NVIDIA Triton可從NVIDIA NGC目錄中獲得，該目錄是GPU優(yōu)化的AI軟件中心，包括框架、工具包、預(yù)訓(xùn)練模型和Jupyter Notebooks，并可從Triton GitHub repository中獲取開放源代碼。

Triton也包含在NVIDIA AI Enterprise軟件套件中，該套件由NVIDIA優(yōu)化、認證和支持。企業(yè)可以使用該軟件套件，在內(nèi)部數(shù)據(jù)中心和私有云的主流加速服務(wù)器上運行語言模型推理。

NVIDIA DGX SuperPOD 和NVIDIA DGX 系統(tǒng)通過NVIDIA 的全球經(jīng)銷商提供，這些合作伙伴能夠根據(jù)要求為符合條件的客戶提供詢價服務(wù)。

責(zé)任編輯：haq