韓國先進的移動運營商構建包含數百億個參數的大型語言模型，并使用 NVIDIA DGX SuperPOD 平臺和 NeMo Megatron 框架訓練該模型。

在韓國受歡迎的 AI 語音助手 GiGA Genie 每天會與 800 萬人交談。

這款 AI 賦能的揚聲器由電信公司 KT 提供，不僅能控制電視和提供實時流量更新信息，還能根據語音命令完成大量其他家居輔助任務。得益于大型語言模型 (LLM)（能根據龐大的文本數據集識別、理解、預測和生成人類語言的機器學習算法），這款揚聲器掌握了以極為復雜的韓語進行對話的技能。

該公司構建了包含數百億個參數的 LLM，并且使用NVIDIA DGX SuperPOD數據中心基礎架構平臺與NeMo Megatron框架來訓練和部署這些模型。

毫無疑問，韓語 (Hangul) 是一種極為復雜的語言。它包含四種類型的復合動詞，而且詞語通常由兩個或更多個詞根組成。

KT 是韓國先進的移動運營商，擁有超過 2200 萬用戶。該公司通過開發包含大約 400 億個參數的 LLM，提高了智能揚聲器對此類詞語的理解能力。此外，通過與 Amazon Alexa 進行集成，GiGA Genie 也可以使用英語與用戶交談。

KT 的 LLM 開發團隊負責人 Hwijung Ryu 說道：“借助基于Transformer的模型，我們顯著改善了 GiGA Genie 智能揚聲器和我們客戶服務平臺 AI 聯絡中心 (AICC) 的品質。”

AICC 是基于云的一體式平臺，可提供 AI 語音代理和其他與客戶服務相關的應用。

它可以接聽電話并提供客戶需要的信息，或者快速將客戶轉接到人工代理，以便對更詳細的詢問進行解答。Ryu 指出，無需人工干預的 AICC 每天可以管理韓國各地打來的 10 萬多個電話。

他補充說道：“LLM 使 GiGA Genie 能夠更好地理解語言并生成更接近人類語言的句子，而 AICC 能更快地對詢問類型進行匯總和分類，從而將咨詢時間縮短 15 秒?！?/p>

訓練大型語言模型

開發 LLM 可能是一個成本高昂且耗費時間的過程，并需要深厚的專業技術知識和巨大的全棧技術投資。

NVIDIA AI 平臺簡化并加快了 KT 的這一過程。

Ryu 說：“我們利用 NVIDIA DGX SuperPOD 的強大性能以及 NeMo Megatron 的優化算法和 3D 并行技術，更有成效地訓練了 LLM 模型。NeMo Megatron 不斷采用新功能，這是我們認為它在提高模型準確性方面的巨大優點?！?/p>

3D 并行對訓練 KT 的 LLM 至關重要，它是一種分布式訓練方法，可將超大規模的深度學習模型分散到多臺設備上。Ryu 指出，NeMo Megatron 使團隊能夠以盡可能高的吞吐量輕松完成這項任務。

他補充道：“我們考慮過使用其他平臺，但很難找到從硬件級別到推理級別都能提供全棧環境的替代平臺。NVIDIA 還提供來自產品、工程團隊等的出色專業知識，使我們輕松解決了多個技術問題?！?/p>

Ryu 表示，通過使用 NeMo Megatron 中的超參數優化工具，KT 訓練其 LLM 的速度比使用其他框架快 2 倍。借助這些工具，用戶可以自動找到更適合 LLM 訓練和推理的配置，從而簡化和加快開發與部署過程。

KT 還計劃使用NVIDIA Triton 推理服務器來提供優化的實時推理服務，以及使用NVIDIA Base Command Manager輕松監控和管理其 AI集群中的數百個節點。

Ryu 說：“得益于 LLM，KT 可以比以往更快地發布充滿競爭力的產品。我們還確信我們的技術可以推動其他公司的創新，因為它可以用來增加價值和創造新穎的產品?！?/p>

KT 計劃在 11 月向開發者發布 20 多個自然語言理解和自然語言生成 API（應用程序編程接口）。這些 API 可用于多種任務，包括文檔摘要和分類、情緒識別和潛在不當內容的過濾等。

審核編輯：湯梓紅