如何在 OrangePi 5 Pro?的?NPU?上運行?LLM

在OrangePi5 Pro上訪問NPU需要安裝最新版Ubuntu的定制版本，還需要安裝特殊軟件，讓你能在NPU而不是CPU上運行專門轉換的LLM。整個過程肯定要比運行Ollama復雜得多，但如果你愿意迎接挑戰，就能獲得不菲的收益。所以，如果你感興趣，就讓我們深入了解一下吧！

安裝操作系統

首先要安裝合適的操作系統。我推薦 GitHub用戶Joshua Riek專門為Rockchip SoC定制的Ubuntu。你需要的是24.04版本，因為它擁有運行LLM所需的最新版NPU驅動程序。為OrangePi在SD卡上刷新操作系統的方法與Raspberry Pi基本相同，以下是簡要介紹：

1.將操作系統鏡像下載到你選擇的電腦上。

2.打開一個可以幫助閃存 SD卡的程序。在本指南中，我們將使用balenaEtcher。

3.選擇 “從文件閃存”，然后選擇之前下載的操作系統映像文件。

4.確保已插入 SD卡，然后單擊 “選擇目標”。

5.從列表中選擇 SD卡，然后單擊 “選擇”。

6.選擇 Flash！

這個過程可能需要 10分鐘才能完成，所以在程序運行時請耐心等待。

成功閃存操作系統后，將 SD卡傳輸到你的OrangePi中，然后打開電源。確保你手邊有鍵盤和顯示器，因為我們需要直接訪問我們的 SBC，至少需要足夠長的時間來安裝SSH。

安裝 SSH

在 OPi上完成初始操作系統設置后，按Ctrl + Alt + T鍵打開終端，在終端中輸入sudo apt install openssh-server。這將允許你從另一臺電腦訪問你的OrangePi。我們之所以要這么麻煩，是因為運行 LLM的程序在桌面上無法運行，但在SSH終端上可以運行。

在離開你的OrangePi之前，記下它的 IP地址，然后通過SSH登錄。如果你不喜歡SSH，也可以在你的設備上按照本指南操作，但你必須按Ctrl + Alt + F5退出桌面，只在shell中工作。

安裝 RKNN LLM和RKNN工具包2

現在，我們可以開始安裝運行 LLM的軟件了。RKNN LLM是在我們的機器上運行LLM的程序。RKNN Toolkit 2是讓其他軟件與NPU通信的軟件。我們將使用GitHub用戶Pelochus提供的腳本一次性安裝這兩個軟件。在終端中輸入：

sudo curl https://raw.githubusercontent.com/Pelochus/ezrknpu/main/install.sh | sudo bash

運行需要 5到10分鐘，請耐心等待。

安裝 LLM

安裝完 RKNN LLM和RKNN Toolkit 2后，就可以安裝模型了（這還需要5到10分鐘）。為了讓LLM利用OrangePi上Rockchip RK3588S SoC的NPU，需要使用RKNN Toolkit 2對其進行轉換（這遠遠超出了本指南的范圍）。

幸運的是，Pelochus維護著一個可與RK3588S配合使用的LLM的Hugging Face資源庫。遺憾的是，并非所有這些模型都與我們剛剛下載的軟件兼容。您需要尋找已使用RKLLM runtime 1.0.1轉換的模型。我們要安裝的是微軟的Phi-3 Mini型號，參數為3.8B。在終端中輸入以下命令：

GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/Pelochus/phi-3-mini-rk3588

命令第一部分的大寫字母將確保我們只先克隆較小的文件。如果我們試圖一次性克隆整個版本庫，可能會出現一些錯誤。接下來，導航到我們剛剛創建的新目錄（cd ~/phi-3-mini-rk3588），然后運行git lfs pull命令。這將下載數千兆字節的大型模型文件。