簡(jiǎn)化和優(yōu)化生成式 AI 開發(fā)的工具備受追捧，需求與日俱增。借助基于檢索增強(qiáng)生成（RAG）（該技術(shù)通過從指定外部來源獲取事實(shí)資料，來提高生成式 AI 模型的準(zhǔn)確性和可靠性）的應(yīng)用和自定義模型，開發(fā)者能夠根據(jù)其具體需求調(diào)整 AI 模型。

此類工作在過去可能需要復(fù)雜的設(shè)置，而新工具使這項(xiàng)工作變得空前簡(jiǎn)單。

NVIDIA AI Workbench 可協(xié)助 AI 開發(fā)者構(gòu)建自己的 RAG 項(xiàng)目、自定義模型等等，這些功能簡(jiǎn)化了開發(fā)者的工作流。該工具是在 COMPUTEX 展會(huì)上推出的 RTX AI Toolkit 的一部分，它是一套用于自定義、優(yōu)化和部署 AI 功能的工具和軟件開發(fā)套件。復(fù)雜的技術(shù)任務(wù)有可能誤導(dǎo)專家并讓初學(xué)者難以上手，而 AI Workbench 使其復(fù)雜度大大降低。

NVIDIA AI Workbench 是什么？

用戶可免費(fèi)使用 NVIDIA AI Workbench，用戶能夠在各類 GPU 系統(tǒng)（如筆記本電腦和工作站到數(shù)據(jù)中心和云計(jì)算）上開發(fā)、試驗(yàn)、測(cè)試 AI 應(yīng)用和制作 AI 應(yīng)用原型。該工具為各類用戶跨系統(tǒng)創(chuàng)建、使用和共享 GPU 開發(fā)環(huán)境提供了新的方法。

用戶只需花幾分鐘即可輕松安裝，在本地或遠(yuǎn)程機(jī)器上啟動(dòng)并運(yùn)行 AI Workbench。然后，用戶就可以新建項(xiàng)目或從 GitHub 上的示例中復(fù)制一個(gè)項(xiàng)目。一切都通過 GitHub 或 GitLab 進(jìn)行，因此用戶可以輕松進(jìn)行協(xié)作和分發(fā)工作。深入了解如何開始使用 AI Workbench。

AI Workbench 如何助力解決 AI 項(xiàng)目的挑戰(zhàn)

開發(fā) AI 工作負(fù)載從一開始就需要手動(dòng)執(zhí)行一些通常來說很復(fù)雜的流程。

設(shè)置 GPU、更新驅(qū)動(dòng)和管理版本不兼容問題可能會(huì)很麻煩。在不同系統(tǒng)之間復(fù)制項(xiàng)目可能需要一遍又一遍地重復(fù)手動(dòng)流程。復(fù)制項(xiàng)目時(shí)若出現(xiàn)數(shù)據(jù)碎片化和版本控制問題等不一致情況，還可能阻礙協(xié)作。各種設(shè)置流程、移動(dòng)憑據(jù)和機(jī)密，以及更改環(huán)境、數(shù)據(jù)、模型和文件位置都會(huì)限制項(xiàng)目的可移植性。

借助 AI Workbench，數(shù)據(jù)科學(xué)家和開發(fā)者可以更輕松地跨異構(gòu)平臺(tái)管理工作和協(xié)作。該工具在開發(fā)流程的各個(gè)方面實(shí)現(xiàn)了集成和自動(dòng)化，并具有以下特點(diǎn)：

易于設(shè)置：AI Workbench 簡(jiǎn)化了 GPU 加速的開發(fā)環(huán)境的設(shè)置流程，讓技術(shù)知識(shí)有限的用戶也能操作。

無縫協(xié)作：AI Workbench 與 GitHub 和 GitLab 等版本控制和項(xiàng)目管理工具集成，有助于減少協(xié)作時(shí)可能產(chǎn)生的不便。

從本地?cái)U(kuò)展到云端時(shí)保持一致性：AI Workbench 確保跨多個(gè)環(huán)境依然可以保持一致性，支持在本地工作站或 PC 和數(shù)據(jù)中心或云端之間擴(kuò)容或縮容。

利用 RAG 處理文檔，操作比以往更加順暢

NVIDIA 提供 Workbench 項(xiàng)目開發(fā)示例，協(xié)助用戶開始使用 AI Workbench。混合式 RAG Workbench 項(xiàng)目就是一個(gè)例子：它在本地工作站、PC 或遠(yuǎn)程系統(tǒng)上運(yùn)行基于文本的自定義 RAG Web 應(yīng)用來處理用戶的文檔。

每個(gè) Workbench 項(xiàng)目都在一個(gè)“容器”（即包含運(yùn)行 AI 應(yīng)用所需的所有必要組件的軟件）中運(yùn)行。混合式 RAG 示例將主機(jī)上的 Gradio 聊天界面前端與容器化 RAG 服務(wù)器配對(duì)，而后端負(fù)責(zé)處理用戶請(qǐng)求并在向量數(shù)據(jù)庫和所選的大語言模型之間傳輸數(shù)據(jù)。

該 Workbench 項(xiàng)目支持 NVIDIA GitHub 頁面上提供的各種 LLM。此外，該項(xiàng)目的混合特性允許用戶選擇在何處運(yùn)行推理。

Workbench 項(xiàng)目讓用戶可以對(duì)開發(fā)環(huán)境和代碼進(jìn)行版本控制。

開發(fā)者可以在主機(jī)上運(yùn)行嵌入模型，并在 Hugging Face 文本生成推理服務(wù)器上本地運(yùn)行推理，在目標(biāo)云資源上使用 NVIDIA 推理端點(diǎn)（如 NVIDIA API 目錄），或使用自托管微服務(wù)（如 NVIDIA NIM 或第三方服務(wù)）運(yùn)行推理。

混合式 RAG Workbench 項(xiàng)目還包括：

性能指標(biāo)：用戶可以評(píng)估基于 RAG 和非 RAG 的用戶查詢?cè)诿糠N推理模式中的表現(xiàn)情況。這些指標(biāo)包括檢索時(shí)間、首 Token 延遲（Time to First Token, TTFT）和 Token 速率（Token Velocity）。

檢索透明度：面板會(huì)顯示精確文本片段（在向量數(shù)據(jù)庫中檢索到的語義相關(guān)度最高的內(nèi)容），并且這些片段會(huì)被輸入到 LLM 中，以提高回復(fù)與用戶請(qǐng)求的相關(guān)度。

響應(yīng)自定義：用戶可以使用各種參數(shù)調(diào)整響應(yīng)，例如要生成的最大令牌數(shù)、溫度和頻率懲罰。

您只需在本地系統(tǒng)上安裝 AI Workbench，即可開啟此項(xiàng)目。您可將混合式 RAG Workbench 項(xiàng)目從 GitHub 帶入到用戶帳戶并復(fù)制到本地系統(tǒng)。

如需了解詳情，請(qǐng)前往 AI Decoded 用戶指南獲取更多資源。此外，社區(qū)成員還提供實(shí)用的視頻教程，例如下面來自 Joe Freeman 的教程。

自定義、優(yōu)化、部署

開發(fā)者經(jīng)常試圖針對(duì)特定用例自定義 AI 模型。微調(diào)是一種通過使用額外數(shù)據(jù)訓(xùn)練模型，進(jìn)而改變模型的技術(shù)，該技術(shù)可用于風(fēng)格遷移或改變模型行為。AI Workbench 也有助于進(jìn)行微調(diào)。

Llama-factory AI Workbench 項(xiàng)目提供適用于各種模型的 QLoRa（一種可大幅減少內(nèi)存需求的微調(diào)方法），并可通過簡(jiǎn)單的圖形用戶界面實(shí)現(xiàn)模型量化。開發(fā)者可以使用公開或自有的數(shù)據(jù)集來滿足其應(yīng)用的需求。

微調(diào)完成后，用戶即可對(duì)模型進(jìn)行量化以提高性能并減少顯存占用，然后將其部署到原生 Windows 應(yīng)用進(jìn)行本地推理或部署到 NVIDIA NIM 進(jìn)行云推理。如需了解該項(xiàng)目的完整教程，請(qǐng)?jiān)?NVIDIA RTX AI Toolkit 倉庫中進(jìn)行查找。

真正的混合式設(shè)計(jì)：隨時(shí)隨地運(yùn)行 AI 任務(wù)

上述的混合式 RAG Workbench 項(xiàng)目在多個(gè)方面采用混合式設(shè)計(jì)。除了提供推理模式選擇外，該項(xiàng)目還可以在 NVIDIA RTX 工作站和 GeForce RTX PC 上本地運(yùn)行，或擴(kuò)展到遠(yuǎn)程云服務(wù)器和數(shù)據(jù)中心。

用戶可以在自己選擇的系統(tǒng)上運(yùn)行所有 Workbench 項(xiàng)目，并且不會(huì)在設(shè)置基礎(chǔ)設(shè)施方面產(chǎn)生開銷。在 AI Workbench 快速入門指南中查找更多關(guān)于微調(diào)和自定義的示例和說明。