Microsoft 的目標是，通過結合使用 Azure 與 NVIDIA GPU 和 Triton 推理軟件，率先將一系列強大的 AI Transformer 模型投入生產用途。

如果您的軟件能喚起人們喜悅的淚水，您就是在傳播歡樂。

Translator 是一項 Microsoft Azure 認知服務，通過應用一些規模龐大的 AI 模型來幫助更多人進行交流。

“有太多精彩的故事可以講了!” Translator 開發經理 Vishal Chowdhary 表示。

比如，在 2010 年海地遭受 7.0 級地震后，在短短 5 天的沖刺期里為相關應用緊急添加海地克里奧爾語支持，進而為救援人員提供幫助。再比如，祖父母在使用這款軟件，與講著他們不懂的語言的遠方孫輩進行第一次實時交流時，感動到哽咽。

雄心勃勃的目標

“我們的愿景是，讓成千上萬的開發者都已經在使用的這個 API，能打破不同語言、不同模式之間的阻礙。” Chowdhary 說。

考量全球現行的語言大約有 7000 種，這真的是個雄心勃勃的目標。

因此，團隊采用了一種強大而復雜的工具，即是混合專家系統(MoE)AI 方法。

在推動自然語言處理快速發展進步的 Transformer 模型中，這是非常先進的一種。它具有 50 億個參數，其規模比團隊在生產過程中用于自然語言處理的最大模型大了 80 倍。

MoE 模型涉及到龐大的計算量，很難找到能將其投入生產環境中使用的用戶。在初始測試中，基于 CPU 的服務器無法滿足團隊要在一秒鐘內完成翻譯一個文檔的要求。

27 倍的提速

隨后，該團隊使用 NVIDIA Triton 推理服務器(本周 GTC 大會上宣布的 NVIDIA AI Enterprise 2.0 平臺的其中一部分)在加速系統上進行了測試。

Chowdhary 說：“借助 NVIDIA GPU 和 Triton，我們得以實現這一目標，且非常高效?！?/p>

事實上，相較于未經優化的 GPU 運行時，該團隊實現了高達 27 倍的提速。

“這讓我們可以構建一個模型來執行不同的語言理解任務，例如匯總、生成文本和翻譯等，而不必為每個任務開發單獨的模型?！?負責監督測試的 Microsoft 首席研究員 Hanny Hassan Awadalla 表示。

Triton 如何提供幫助

Microsoft 的模型能將大型任務(如翻譯多個文檔)拆分為許多個小任務，在每個小任務中翻譯幾百個句子。Triton 的動態批處理功能將諸多此類請求整合起來，從而充分利用 GPU 的強大功能。

對于 Triton 使用 CPU、GPU 或其他加速器在各種模式下運行各種模型的能力，讓該團隊贊不絕口。

Chowdhary 的團隊十多年來一直在開發大規模分布式系統。Chowdhary 表示：“這種解決方案周到地考慮了我的工作場景，提供了我想要的各種功能，就像是我給自己親手定制的解決方案一樣。

在幕后，有兩個軟件組件是 Triton 取得成功的關鍵。一個是 NVIDIA 擴展型 FasterTransformer，這是一個處理推理計算的軟件層，可支持 MoE 模型。另一個是 CUTLASS，這是一個 NVIDIA 數學庫，有助于高效實現模型。

在四周內提供已驗證的原型

盡管測試十分復雜，但該團隊通過與 NVIDIA 工程師合作并運用 Triton 的強大力量，在不到一個月的時間內就獲得了可投入正常運轉的端到端原型。

“在如此之短的時間內制作出一款達到可發布程度的產品，這樣的效率實在令人印象深刻，對此我真的非常感激。” Awadalla 這樣說道。

雖然這是該團隊第一次使用 Triton，但 “我們使用它來發布 MoE 模型，不用花費太多力氣就重新構建了運行時環境，現在我衷心希望在我們的長期托管系統中納入這款解決方案?！?Chowdhary 補充表示。

采取后續措施

加速后的服務將采用審慎的步驟實施，初期會用于少數幾種主要語言的文檔翻譯。

Chowdhary 表示：“我們的最終目標是，讓客戶能在所有場景中通過透明的方式獲享這些新模型的優點?！?/p>

這項工作是 Microsoft 的一項涉獵更廣泛的計劃的一部分。其目的是推動 Office 和 Teams 等眾多產品的進步，幫助各類開發者與客戶(從專注于打造一款應用的小型公司到財富 500 強企業)取得發展。

為了給這一計劃鋪平道路，Awadalla 的團隊于去年 9 月發表了一項研究成果，介紹如何在 NVIDIA A100 Tensor Core GPU 上訓練具有多達 2 千億個參數的 MoE 模型。自那之后，該團隊還在具有超過 3 千億個參數的模型上使用 80G 版本的 A100 GPU，將性能提升了 8 倍。

Adawalla 表示：“為了更好地表示更多的語言，尤其是我們手頭沒有太多數據的語言，模型必定會越來越大?！?/p>

原文標題：GTC22 | 促進人際交流：微軟使用 NVIDIA Triton 改善 Translator 翻譯工具的 AI 質量和效率

文章出處：【微信公眾號：NVIDIA英偉達】歡迎添加關注!文章轉載請注明出處。

審核編輯：湯梓紅