案例簡(jiǎn)介

本案例中基于京東和 NVIDIA 英偉達(dá)聯(lián)合部署的 DGX SuperPOD 分布式集群，京東探索研究院聯(lián)合悉尼大學(xué)共同開發(fā)了織女模型，在 DGX SuperPOD 集群上可高效擴(kuò)展并快速完成迭代，一舉刷新 GLUE 兩大挑戰(zhàn)性任務(wù)榜單。

? 本案例為 NVIDIA DGX SuperPOD 平臺(tái)加速大模型訓(xùn)練

? 本案例主要應(yīng)用到 DGX A100、Mellanox HDR Infiniband、DGX SuperPOD、和 NVPS 服務(wù)

? DGX SuperPOD 是一套完整的解決方案

客戶簡(jiǎn)介及客戶挑戰(zhàn)

京東探索研究院致力于世界前沿技術(shù)的研究，其中人工智能方向涵蓋 CV、NLP、多模態(tài)等。大規(guī)模語音模型的研究更是京東探索研究院的重中之重。

以語言模型為例，在過去 2-3 年的時(shí)間，語言模型大小每年都在以 1-2 個(gè)數(shù)量級(jí)的速度在增加，如今，則已達(dá)到萬億參數(shù)的級(jí)別。而模型的結(jié)構(gòu)和復(fù)雜性日益變化，這對(duì) GPU 集群的架構(gòu)提出了不一樣的要求。

從系統(tǒng)層面看，既有的 GPU 計(jì)算集群主要是以支持單機(jī)任務(wù)、小規(guī)模多機(jī)任務(wù)為主，相較之下，其多機(jī)之間網(wǎng)絡(luò)擴(kuò)展能力則較弱，而大規(guī)模擴(kuò)展能力也較為受限。因此，在既有的 GPU 集群架構(gòu)下，較無法滿足服務(wù)大模型的計(jì)算需求。

對(duì)于京東探索研究院而言，掌握時(shí)效是關(guān)鍵，更快的模型訓(xùn)練意味著能加速迭代、擴(kuò)展嘗試空間、使產(chǎn)品落地更迅速，并提高業(yè)務(wù)收益。在模型越來越復(fù)雜多樣、計(jì)算需求越來越大、單任務(wù)計(jì)算規(guī)模越來越大的背景下，如何快速新建一個(gè)可高效擴(kuò)展并易用的 GPU 集群，以滿足應(yīng)對(duì)上述挑戰(zhàn)，是亟待解決的核心問題。

應(yīng)用方案

基于以上挑戰(zhàn)，京東探索研究院選擇了采用 NVIDIA DGX SuperPOD 方案來提供支持，并成功給業(yè)務(wù)側(cè)帶來了巨大的提升及解決企業(yè)痛點(diǎn)。

NVIDIA DGX SuperPOD 是一套完整的解決方案，基于 DGX A100 服務(wù)器、HDR Infiniband 200G 網(wǎng)卡和 NVIDIA Quantum QM8790 交換機(jī)構(gòu)建了一套全互聯(lián)架構(gòu)，在保證單機(jī)計(jì)算能力最強(qiáng)的同時(shí)，采用計(jì)算和存儲(chǔ)網(wǎng)絡(luò)相隔離的方案，最大程度地從網(wǎng)絡(luò)上保證集群的互聯(lián)能力。

安裝部署方面，NVIDIA 為 DGX SuperPOD 提供專業(yè)的部署服務(wù)，包括單機(jī)系統(tǒng)部署、IB 網(wǎng)絡(luò)配置、調(diào)度安裝調(diào)試、監(jiān)控部署、多機(jī)環(huán)境、基礎(chǔ)性能驗(yàn)證等，從基礎(chǔ)系統(tǒng)方面，保證了最快交付。

使用方面，NVIDIA 為 DGX SuperPOD 部署了 Slurm 調(diào)度系統(tǒng)，并基于 NGC 和客戶主要的幾類模型，提供了完整的作業(yè)腳本，用戶只需簡(jiǎn)單修改幾行參數(shù)來適配自己的模型，即可一鍵方便地運(yùn)行起大規(guī)模分布式任務(wù)。

性能方面，DGX SuperPOD經(jīng)過一系列的基礎(chǔ)優(yōu)化（CUDA-X， Magnum IO， NGC）和評(píng)測(cè)驗(yàn)證（MLPerf），提供最好的 AI 訓(xùn)練性能，在京東探索研究院針對(duì)CV、NLP、跨模態(tài)等領(lǐng)域設(shè)計(jì)和研發(fā)的數(shù)十個(gè)模型上，經(jīng)過雙方一系列系統(tǒng)級(jí)的合作優(yōu)化，在 DGX SuperPOD 上達(dá)到了比較理想的加速比和擴(kuò)展性。

使用 DGX SuperPOD 方案，用戶只需要關(guān)注自己的 AI 模型和算法研究，無需關(guān)注硬件和系統(tǒng)層的配置、優(yōu)化、擴(kuò)展性等問題，讓 AI 研究人員把寶貴的時(shí)間和精力專注在前沿的 AI 技術(shù)研究上。

使用效果及影響

使用了 DGX SuperPOD 集群方案，極大地加速了用戶的 AI 訓(xùn)練和迭代速度，為用戶進(jìn)一步探索出更強(qiáng)大更智能的 AI 模型建立了堅(jiān)實(shí)的基石。

在 DGX SuperPOD 交付給用戶僅僅兩個(gè)多月之后，京東探索研究院就聯(lián)合悉尼大學(xué)在傳統(tǒng) “預(yù)訓(xùn)練-微調(diào)” 的范式下，利用 DGX SuperPOD 的高效擴(kuò)展能力，通過研究和工程上的全方位創(chuàng)新，研發(fā)出了織女模型，在通用語言理解評(píng)估基準(zhǔn)（GLUE）的兩項(xiàng)挑戰(zhàn)性任務(wù)，即情感分析任務(wù) SST（The Stanford Sentiment Treebank）和指代消解任務(wù) WNLI （Winograd NLI）中首次超越人類，位居所有參賽機(jī)構(gòu)第一。

“強(qiáng)悍的織女模型在京東探索研究院建設(shè)的全國首個(gè)基于 DGX SuperPOD 架構(gòu)的超大規(guī)模計(jì)算集群 “天琴α” 上完成訓(xùn)練，該集群具有全球領(lǐng)先的大規(guī)模分布式并行訓(xùn)練技術(shù)，其近似線性加速比的數(shù)據(jù)、模型、流水線并行技術(shù)持續(xù)助力織女模型的高效訓(xùn)練。”

審核編輯：郭婷