大家好，我是雄雄，歡迎關(guān)注微信公眾號(hào)：雄雄的小課堂

@TOC

寫(xiě)在前面

華為云 828，領(lǐng) 8280 元上云禮券，買(mǎi)高性能服務(wù)器?。?！

這不，手里就拿到了一臺(tái) 4 核 12G，10M 的 Flexus X 實(shí)例云服務(wù)器，拿到后，就想著測(cè)測(cè)它的性能，看看有沒(méi)有官網(wǎng)說(shuō)的那么神奇?。?！

官網(wǎng)的活動(dòng)地址在這里，領(lǐng) 8280 元券：點(diǎn)我查看

服務(wù)器配置情況

下面，簡(jiǎn)單的給大家看看我手里的這臺(tái)服務(wù)器的配置，做個(gè)鋪墊，待會(huì)兒給大家上大招?。?！

cpu 的情況

內(nèi)存情況

硬盤(pán)情況

拿到服務(wù)器后，我不想再裝環(huán)境上浪費(fèi)時(shí)間，所以就安裝了個(gè)寶塔，這個(gè)面板在服務(wù)器中，占不了多少內(nèi)存，但是方便了裝環(huán)境，不用執(zhí)行裝環(huán)境的命令，只需要在軟件商店中，找到需要安裝的軟件，點(diǎn)擊后面的安裝即可。

評(píng)測(cè)之前環(huán)境準(zhǔn)備

在正式評(píng)測(cè)之前，我們需要準(zhǔn)備以下環(huán)境：

1.docker，不會(huì)安裝的可以自行百度

2.ollama，這個(gè)也很簡(jiǎn)單，執(zhí)行個(gè)命令就完事兒了

假使我們這兩個(gè)環(huán)境現(xiàn)在在云服務(wù)器上都安裝成功啦。

那么，現(xiàn)在我們開(kāi)始正式評(píng)測(cè)！??！

華為云 Flexus X 實(shí)例大模型評(píng)測(cè)

下面，我們開(kāi)始基于華為云的 Flexus X 實(shí)例云服務(wù)器評(píng)測(cè)一下大模型，因?yàn)槲覀儸F(xiàn)在還不知道這款服務(wù)器能跑多大的模型，所以我們就先從小模型開(kāi)始跑。

先來(lái)個(gè)小模型，下面我們可以直接使用 ollama 開(kāi)始跑模型，大家進(jìn)入 ollama 的官網(wǎng)，點(diǎn)擊右上角的 model 菜單：

然后就能看到下面所有 ollama 支持的大模型啦。

找到 qwen2，我們可以看到下面的 tag 里面分別有：0.5B，1.5B，7B，72B，這幾種。

千問(wèn) 0.5B 大模型

下面，我們先以最小的為例，試試看看：（注意，模型的質(zhì)量我們暫且不管，我們只評(píng)測(cè)響應(yīng)速度以及 CPU 和內(nèi)存的占用情況）

占用情況以寶塔面板上的統(tǒng)計(jì)圖為例，待會(huì)兒給大家截圖。

執(zhí)行下面的命令，開(kāi)始跑 0.5B 的大模型：

ollama run qwen2:0.5b

運(yùn)行情況如下：

占用情況如下：

結(jié)論：0.5B 的大模型，可以看到，這個(gè)速度快的驚人，沒(méi)說(shuō)的，繼續(xù)測(cè)下個(gè)大模型。

千問(wèn) 1.5B 大模型

這次我們測(cè) 1.5B 的大模型，比 0.5B 的多 1，看看這款 Flexus X 實(shí)例云服務(wù)器的表現(xiàn)怎么樣。

同樣，執(zhí)行下面的命令：

ollama run qwen2:1.5b

這里需要等待半天，讓下載。

下載過(guò)程中，我們可以看看寶塔上的內(nèi)存和 CPU 的占比情況。

基本上毫無(wú)壓力，繼續(xù)等待?。?！

等待的過(guò)程有點(diǎn)漫長(zhǎng).....

開(kāi)測(cè)?。?！

看看占用情況：

結(jié)論：比較完美，感覺(jué)和 0.5B 的區(qū)別不是很大，就是下載的時(shí)候慢了點(diǎn)，整體表現(xiàn)很棒。

gemma2 的 2b 大模型

0.5B 和 1.5B 的我們都測(cè)試過(guò)了，大家也可以從上圖中看的出來(lái)，一點(diǎn)壓力都沒(méi)有，響應(yīng)速度也很快，嗖嗖的就回答完畢了，質(zhì)量也還行，而且最主要的是服務(wù)器的性能完全是過(guò)剩的，沒(méi)跑滿(mǎn)，所以，我們接著加大力度測(cè)試。

現(xiàn)在我們測(cè)測(cè) gemma2 的 2b 大模型，運(yùn)行如下命令：

ollama run gemma2:2b

又到了等待的過(guò)程中了，總是這么漫長(zhǎng)~

在下載模型的過(guò)程中，我們可以看看占用情況：

一點(diǎn)問(wèn)題都沒(méi)有，幾乎沒(méi)有占多少，現(xiàn)在我們繼續(xù)等待。

等待完畢，開(kāi)始問(wèn)個(gè)問(wèn)題測(cè)試一下：

效果展示情況：

資源占用情況：

結(jié)論：通過(guò)效果圖 gif 中可以看的出來(lái)，響應(yīng)要比 1.5B 的稍微慢了點(diǎn)兒，但是這個(gè)速度還是可以接受，不過(guò)內(nèi)存占用稍微偏高了，由原來(lái)的 27 增加到了 34，倒是也能接受，畢竟模型的大小由原來(lái)的 900 多 M 到現(xiàn)在的 1.4G 了。

千問(wèn) 7B 大模型

現(xiàn)在，我們繼續(xù)增大模型，看看表現(xiàn)效果怎么樣。

這次我們測(cè)一下千問(wèn)的 7B 大模型，這是 2B 的 3 倍多，看看這款 Flexus X 實(shí)例云服務(wù)器跑 7B 的模型是個(gè)什么情況。

同樣，執(zhí)行下面的命令：

ollama run qwen2:7b

繼續(xù)等待：

7B 的模型，已經(jīng)到了 4G 多了，期待他能有個(gè)很好的表現(xiàn)。

現(xiàn)在是：2024 年 9 月 6 日 00:02:43，我的 7B 大模型還在下載中，已經(jīng)困的不行了....

再等等....

終于等它下載完啦，一共 4.4G，等的我都快做夢(mèng)啦。切記，如果有大文件上下傳的場(chǎng)景，買(mǎi)服務(wù)器的時(shí)候一定要選擇個(gè)大帶寬的，我的這個(gè)是 10M 的帶寬，感覺(jué)遇到大文件了，還是有點(diǎn)不足。

下面我們開(kāi)始進(jìn)行評(píng)測(cè)，首先還是老規(guī)矩，先運(yùn)行看看效果：

資源占用情況：

結(jié)論：大家可以看看效果圖中，可以發(fā)現(xiàn)，很明顯，相比起 2B 1.5B 的這種小模型來(lái)比，7B 的模型，在響應(yīng)方面確實(shí)是稍微慢了點(diǎn)兒，但是也沒(méi)有慢到一個(gè)字一個(gè)字的往出蹦，還是可以接受的。資源占用情況的話(huà)，CPU 占用上升到了 50.4% ，內(nèi)存在原來(lái)的 34 增加到了 49。也沒(méi)有跑滿(mǎn)服務(wù)器。

總結(jié)

先放一張各個(gè)大小的模型之間的對(duì)比吧，從 0.5B，到 1.5B，再到 7B，以及 72B。

大家可以從上圖中看的出來(lái)，模型越大，params 就越大，本文我們通過(guò)對(duì) 0.5b,1.5b,2b,7b 這幾個(gè)模型進(jìn)行評(píng)測(cè)對(duì)比，總體來(lái)說(shuō)，比我預(yù)想的要好很多，我以為 7b 的會(huì)卡的很，結(jié)果表現(xiàn)的很棒，這么看來(lái)，跑 8B 以?xún)?nèi)的模型是沒(méi)有問(wèn)題的。

在往上的大模型，可能會(huì)吃力，不過(guò) 8B 以?xún)?nèi)，其實(shí)小微企業(yè)足矣?。。?/p>

審核編輯 黃宇