搭建一個企業(yè)內(nèi)部AI 問答機器人、知識庫的場景,我們可以選擇大廠的云服務,這相對于大多數(shù)用戶來說,是最省事的方案。但很多企業(yè)可能會有一些私有化的數(shù)據(jù),或者受限于企業(yè)內(nèi)部的安全性要求,只能走模型私有化部署的方式。

很多人想到模型私有化部署,會以為要數(shù)據(jù)中心的多臺服務器來做,其實不然。

辦公室里搭建 AI 工作站,已經(jīng)可以完美地支持企業(yè)內(nèi)部知識庫和一些POC場景的需求,比如進行量化的 70B 模型的訓練和推理工作。所以在辦公室環(huán)境下,同樣可以搭建一個 AI 問答機器人。

贊奇科技基于 NVIDIA ChatRTX 搭建的企業(yè)問答機器人

但搭建一個AI 問答機器人又是一個涉及硬件選擇、安裝、開發(fā)環(huán)境部署的綜合過程。

最近贊奇的工程師團隊測試了幾款主流大模型,就采用 AI 工作站搭建一個本地問答機器人提供了一些建議參考,這里抓一些重點給大家:

第一步 確定需求與目標

這一步至關(guān)重要,需要確定以下關(guān)鍵點:

性能要求:了解所做任務的復雜度,如知識庫所需要采樣的數(shù)據(jù)庫的大小,未來的用戶并發(fā)量等,以此來預估所需的計算資源和存儲空間等,通常我們可以用現(xiàn)有機器跑任務測試的方式來評估。

預算范圍:明確愿意投入的資金等成本范圍。對預算沒有概念的小伙伴可以通過詢問,或者參考公開市場價格等方式來加速了解。

第二步 選擇合適的硬件

根據(jù)需求我們來制定硬件配置,AI 工作站比較關(guān)鍵的配置有 GPU、CPU、內(nèi)存、機箱等。

GPU

GPU 是 AI 工作站中非常核心的算力,也是 AI 工作站中需要首先考慮的配件。目前適用于專業(yè) AI 工作站的顯卡主要有 NVIDIA RTX? 5880 Ada (48GB) 及 NVIDIA RTX? 5000 Ada (32GB) 等,這兩款顯卡屬于 NVIDIA 專業(yè)級顯卡,主動散熱、功耗很低而且非常穩(wěn)定,靜音也適合辦公室使用。

我們可以看看兩款顯卡的參數(shù):

我們需要根據(jù)算力需求來配置工作站中的顯卡,包括顯卡型號和數(shù)量。AI 工作站可至多支持 4 張高性能專業(yè)顯卡,同時一個工作站中需要配置同一型號的顯卡,并且一般采用單卡、雙卡和四卡的配置。

這就需要我們同時要了解不同型號顯卡的性能,才能來匹配任務需求。這是個極大的挑戰(zhàn)。很多人對顯卡性能并不熟悉,而且在不同的任務情況下,顯卡的表現(xiàn)也會有所不同。我們可以參考與我們類似的任務在顯卡上的測評數(shù)據(jù)來評估。有條件的話,在購買時建議最好提前測試下。

顯卡實測數(shù)據(jù)

很多企業(yè)采用 AI 工作站來做知識庫、智能問答等應用,主要任務是本地的模型微調(diào)和推理,模型大小普遍選擇在 7B/8B,13B,32B 和 70B。

NVIDIA 解決方案合作伙伴贊奇科技,分別對 AI 工作站中搭載 NVIDIA RTX 5880 Ada、NVIDIA RTX 5000 Ada 的單卡、雙卡、四卡配置進行了模型訓練和推理的測試,測試數(shù)據(jù)供大家在選型時參考。

AI 工作站搭載 NVIDIA RTX 5000 Ada 的實測

NVIDIA RTX 5000 Ada

(圖片源于 NVIDIA)

測試環(huán)境:

CPU: Intel(R) Xeon(R) w5-3433

內(nèi)存:64G DDR5 * 8

GPU: NVIDIA RTX 5000 Ada * 4

操作系統(tǒng):ubuntu22.04

Driver Version: 550.107.02

CUDA: 12.1

推理框架:vllm

測試數(shù)據(jù)(以下數(shù)據(jù)均為多次測試數(shù)據(jù)的平均值):

AI 工作站搭載 NVIDIA RTX 5880 Ada 的實測

NVIDIA RTX 5880 Ada

(圖片源于 NVIDIA)

測試環(huán)境:

CPU: Intel(R) Xeon(R) w5-3433

內(nèi)存:64G DDR5 * 8

GPU: NVIDIA RTX 5880 Ada * 4

操作系統(tǒng):ubuntu 22.04

Driver Version: 550.107.02

CUDA: 12.1
推理框架:vllm

測試數(shù)據(jù)(以下數(shù)據(jù)均為多次測試數(shù)據(jù)的平均值):

噪音測試

無論是搭載 4 張 NVIDIA RTX 5880 Ada, 還是 4 張 NVIDIA RTX 5000 Ada 的品牌 AI 工作站,在壓測情況下機器出風口測得的噪音水平控制在 50-60 分貝,基本上接近環(huán)境音的水平,辦公室噪音?那是沒有的!

以上測試數(shù)據(jù)均來源于贊奇科技 。

其他配置

CPU 要注意考慮和 GPU 的匹配問題。實際使用中,具有較高核心數(shù)和主頻的CPU 運行速度更快,更高的緩存也會提升運行效率。4卡工作站環(huán)境中內(nèi)存建議 256GB 以上,存儲也要依據(jù)使用需求來確定。

機箱要考慮電源、噪音、兼容性、擴展性等因素,電源的話要計算所有組件的最大功率消耗并留有余量,以應對峰值和未來硬件升級的可能。噪音和散熱情況一定要提前了解,因為這會直接影響辦公環(huán)境(還有心情)。

當然也可以更省事一點兒,參考我們本次測試所采用的工作站的配置環(huán)境!

第三步

安裝操作系統(tǒng)、配置開發(fā)環(huán)境+

AI 工作站到位安裝好后,可以根據(jù)偏好和軟件兼容性,選擇合適的操作系統(tǒng)、驅(qū)動程序、軟件等進行安裝。同時配置開發(fā)環(huán)境所需的工具、模型、數(shù)據(jù)集等。

當然,您也可以聯(lián)系我們,一站式配置好軟硬件相關(guān)的環(huán)境,做到開箱即用!

第四步

測試與優(yōu)化

通過運行一些基本的小型 AI 項目,驗證工作站在實際任務中的運行速度、穩(wěn)定性、散熱情況、噪音等情況。同時還可以利用 NVIDIA System Management Interface 等工具監(jiān)控 GPU 使用情況,根據(jù)需要調(diào)整代碼或資源配置以提高顯卡效率。

實際過程中,大部分靠譜廠商出廠過程中會包含上述步驟。此時我們需要做的工作是在上述環(huán)境準備完善的前提下,上傳自己的數(shù)據(jù),通過 RAG 或者微調(diào)的方式對自己的數(shù)據(jù)做一次整理。接下來,就迎接自己內(nèi)部的問答機器人吧!

審核編輯 黃宇