預訓練 AI 模型是為了完成特定任務而在大型數據集上訓練的深度學習模型。這些模型既可以直接使用，也可以根據不同行業的應用需求進行自定義。

如果要教一個剛學會走路的孩子什么是獨角獸，那么我們首先應該向孩子展示這種生物的圖像并描述其獨有特征。

那么，如果要教一臺人工智能（AI）機器什么是獨角獸，該從什么地方做起呢？

預訓練 AI 模型提供了解決方案。

預訓練 AI 模型是一種為了完成某項特定任務而在大型數據集上進行訓練的深度學習模型，它是一種類腦神經算法的表現形式，可以根據數據找到模式或進行預測。預訓練 AI 模型既可以直接使用，也可以根據某個應用的具體需求進行進一步微調。

為什么使用預訓練 AI 模型？

開發者可以使用預訓練模型并根據需求對其進行自定義，無需從頭開始構建 AI 模型。

無論是識別一匹虛構的馬，檢測自動駕駛汽車的安全隱患，還是根據醫學影像診斷癌癥，要構建一個 AI 應用，開發者首先需要一個能夠完成特定任務的 AI 模型。而這個模型需要大量具有代表性的數據進行學習。

模型的學習過程需要經歷好幾層傳入數據，并在每一層強調與目標相關的特征。

例如，在創建一個能夠識別獨角獸的模型時，首先會為其提供獨角獸、馬、貓、老虎和其他動物的圖像作為傳入數據。

然后再構建具有代表性的數據特征層。從線條、顏色等簡單特征開始，深入到復雜的結構特征。依據計算出的概率，這些特征將被賦予不同程度的相關性。

舉個例子，當一個生物看起來越像馬，它是獨角獸而不是貓或老虎的概率就越大。這些概率值被存儲在 AI 模型的每個神經網絡層。隨著層數的增加，模型對表征的理解程度也在提高。

若要從頭開始創建一個這樣的模型，開發者通常需要調用包含數十億行數據的巨大數據集，并且這些數據可能十分昂貴且難以獲得。但如果因此在數據上讓步，就會導致模型性能不佳。

預先計算的概率表征（也稱權重）能夠節省開發者或企業的時間、金錢和精力。已建立完成的預訓練模型可通過這些權重進行訓練。

高質量的預訓練模型搭配大量準確且具有代表性的權重可以提高 AI 部署的成功率。

權重可以被修改，而且可以通過添加更多數據為模型進行進一步的自定義或微調。

在預訓練模型基礎上進行構建的開發者可以更快創建出 AI 應用，因為他們無需處理堆積如山的傳入數據或去計算密集的數據層的概率。

換言之，使用預訓練 AI 模型就像是用一件成衣根據自己的需求進行剪裁，而不用從布料和針線做起。

預訓練 AI 模型通常被用于遷移學習，可以基于多種模型架構類型而構建。其中一種流行的架構類型是 Transformer 模型，一種通過追蹤連續數據中的關系來學習上下文和意義的神經網絡。

AI 公司 Clarifai 是NVIDIA 初創加速計劃的高級合作伙伴。Clarifai 的平臺高級副總裁 Alfredo Ramos 表示，預訓練模型可以將 AI 應用的開發時間縮短一年并節約數十萬美元的成本。

預訓練模型如何推動 AI 的發展？

預訓練模型簡化并加快了 AI 的開發，許多開發者和公司通過它們來加速各種 AI 用例。

預訓練模型主要推動了以下幾個領域的 AI 發展：

• 自然語言處理：預訓練模型被用于翻譯、聊天機器人等自然語言處理應用。大型語言模型一般基于 Transformer 模型架構構建，是預訓練模型的延伸。世界上最大的 AI 模型之一NVIDIA NeMo Megatron就是一個預訓練大型語言模型。

• 語音 AI：預訓練模型能幫助語音 AI 應用在不同的語言下也能直接使用。用例包括呼叫中心自動化、AI 助手和語音識別技術。

• 計算機視覺：如上文所述的獨角獸模型，預訓練模型可以幫助 AI 快速識別生物或者物體、地點和人。預訓練模型通過這種方式加速計算機視覺，為體育運動、智慧城市等領域的應用提供近似于人類的視覺能力。

• 醫療：在醫療應用方面，MegaMolBART（NVIDIA BioNeMo服務和框架的一部分）等預訓練 AI 模型能夠理解化學語言并學習現實世界分子中原子之間的關系，為科學界提供了一種加快藥物研發的強大工具。

• 網絡安全：預訓練模型為實施 AI 網絡安全解決方案打下了基礎，并幫助人類安全分析師更快的發現威脅。包括人類和機器的數字指紋及異常、敏感信息和網絡釣魚檢測等多種情況。

• 藝術和創作流程：為推動最新的 AI 藝術浪潮，預訓練模型可以在GauGAN和NVIDIA Canvas等工具的幫助下加快創作流程。

預訓練 AI 模型的自定義和微調為其帶來了無限的應用可能性，因此也可以用于更多其他行業。

何處獲取預訓練 AI 模型

谷歌、Meta、微軟、NVIDIA 等公司正在發明用于構建 AI 模型的尖端模型架構和框架。

這些模型有時會在模型中心或作為開放源碼發布，使開發者能夠對預訓練 AI 模型進行微調、提高其準確性并擴展模型庫。

NVIDIA NGC匯集了通過 GPU 優化的 AI 軟件、模型和 Jupyter Notebook 示例，包括各種預訓練模型以及為 NVIDIA AI 平臺優化的 AI 基準和訓練方式。

NVIDIA AI Enterprise是一套全面且安全的云原生 AI 與數據分析軟件套件，包含未加密的預訓練模型。這讓希望將 NVIDIA 預訓練模型整合到其自定義 AI 應用中的開發者和企業能夠查看模型權重和偏差、提高可解釋性并輕松進行調試。

在 GitHub、Hugging Face 等平臺也有數千個可供使用的開源模型。

十分重要的是，在訓練預訓練模型時，模型數據必須透明、可解釋、符合隱私要求，并且是獲得同意許可且無偏見的道德數據。

NVIDIA 預訓練 AI 模型

為幫助更多開發者將 AI 原型投入到生產中，NVIDIA 提供了幾種開箱即用的預訓練模型：

• NVIDIA SegFormer是一個在 GitHub 上提供的 Transformer 模型，可實現簡單、高效、強大的語義分割。

• NVIDIA 的專用計算機視覺模型經數百萬張圖像訓練而成，可用于智慧城市、停車管理等應用。

• NVIDIA NeMo Megatron是一個大型可定制語言模型，包含在 NVIDIA NeMo 中。NeMo 是一個用于構建靈活、高性能對話式 AI、語音 AI 和生物學應用的開源框架。

• NVIDIA StyleGAN是一個基于風格的生成器架構，用于生成式對抗網絡（或稱 GAN）。它可以使用遷移學習來無限生成各種不同風格的繪畫。

除此之外，NVIDIA 還能夠提供：

• NVIDIA Riva：一款用于構建和部署語音 AI 應用的 GPU 加速軟件開發工具包，包含了十種語言的預訓練模型。

• MONAI：由 NVIDIA 和倫敦國王學院聯合開發的開源醫療研究 AI 框架，包含了用于醫學影像的預訓練模型

點擊閱讀原文，進一步了解NVIDIA 預訓練 AI 模型。

掃描海報二維碼，即可觀看 NVIDIA 創始人兼首席執行官黃仁勛 GTC23 主題演講重播！