一、安裝
1. OriginBot系統(tǒng)安裝
目前OriginBot系統(tǒng)有V1和V2兩個(gè)版本，只有V2才支持harbot_llm，所以一定要給OriginBot安裝V2。
2. hobor_llm 安裝
①安裝 transformers
pip3 install transformers -i https://mirrors.aliyun.com/pypi/simple/
安裝的時(shí)候會(huì)提示部分依賴包版本沖突，我沒有修復(fù)也能直接運(yùn)行，所以看起來(lái)問題不大
②安裝hobot-dnn
sudo apt update
sudo apt install -y tros-hobot-llm
③下載模型文件
wget http://archive.sunrisepi.tech/llm-model/llm_model.tar.gz
sudo tar -xf llm_model.tar.gz -C /opt/tros/lib/hobot_llm/
④修改設(shè)備配置
# 修改BPU的保留內(nèi)存
# 替換dtb文件
sudo cp /opt/tros/lib/hobot_llm/config/hobot-dtb/*.dtb /boot/hobot/
# 重啟
reboot
# 調(diào)整CPU的頻率
sudo bash -c 'echo 1 > /sys/devices/system/cpu/cpufreq/boost'
sudo bash -c 'echo performance > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor'
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
模型
+關(guān)注
關(guān)注
1文章
3460瀏覽量
49772 -
系統(tǒng)
+關(guān)注
關(guān)注
1文章
1024瀏覽量
21648
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
LLM之外的性價(jià)比之選，小語(yǔ)言模型
? 電子發(fā)燒友網(wǎng)報(bào)道（文/周凱揚(yáng)）大語(yǔ)言模型的風(fēng)靡給AI應(yīng)用創(chuàng)造了不少機(jī)會(huì)，無(wú)論是效率還是創(chuàng)意上，大語(yǔ)言模型都帶來(lái)了前所未有的表現(xiàn)，這些大
【大語(yǔ)言模型：原理與工程實(shí)踐】探索《大語(yǔ)言模型原理與工程實(shí)踐》
《大語(yǔ)言模型》是一本深入探討人工智能領(lǐng)域中語(yǔ)言模型的著作。作者通過對(duì)語(yǔ)言模型的基本概念、基礎(chǔ)技術(shù)
發(fā)表于 04-30 15:35
【大語(yǔ)言模型：原理與工程實(shí)踐】揭開大語(yǔ)言模型的面紗
大語(yǔ)言模型（LLM）是人工智能領(lǐng)域的尖端技術(shù)，憑借龐大的參數(shù)量和卓越的語(yǔ)言理解能力贏得了廣泛關(guān)注。它基于深度學(xué)習(xí)，利用神經(jīng)網(wǎng)絡(luò)框架來(lái)理解和生成自然語(yǔ)言文本。這些
發(fā)表于 05-04 23:55
【大語(yǔ)言模型：原理與工程實(shí)踐】大語(yǔ)言模型的基礎(chǔ)技術(shù)
全面剖析大語(yǔ)言模型的核心技術(shù)與基礎(chǔ)知識(shí)。首先，概述自然語(yǔ)言的基本表示，這是理解大語(yǔ)言模型技術(shù)的前提。接著，詳細(xì)介紹自然
發(fā)表于 05-05 12:17
【大語(yǔ)言模型：原理與工程實(shí)踐】探索《大語(yǔ)言模型原理與工程實(shí)踐》2.0
《大語(yǔ)言模型“原理與工程實(shí)踐”》是關(guān)于大語(yǔ)言模型內(nèi)在機(jī)理和應(yīng)用實(shí)踐的一次深入探索。作者不僅深入討論了理論，還提供了豐富的實(shí)踐案例，幫助讀者理解如何將理論知識(shí)應(yīng)用于解決實(shí)際問題。書中的案
發(fā)表于 05-07 10:30
【大語(yǔ)言模型：原理與工程實(shí)踐】大語(yǔ)言模型的評(píng)測(cè)
大語(yǔ)言模型的評(píng)測(cè)是確保模型性能和應(yīng)用適應(yīng)性的關(guān)鍵環(huán)節(jié)。從基座模型到微調(diào)模型，再到行業(yè)模型和整體能
發(fā)表于 05-07 17:12
【大語(yǔ)言模型：原理與工程實(shí)踐】大語(yǔ)言模型的應(yīng)用
相關(guān)的文檔片段，將這些文檔與用戶問題結(jié)合成提示詞，再輸入給大語(yǔ)言模型。這種方法為大語(yǔ)言模型提供了問題背景知識(shí)，有效減少了“幻覺”現(xiàn)象的出現(xiàn)。
發(fā)表于 05-07 17:21
大語(yǔ)言模型：原理與工程時(shí)間+小白初識(shí)大語(yǔ)言模型
解鎖
我理解的是基于深度學(xué)習(xí)，需要訓(xùn)練各種數(shù)據(jù)知識(shí)最后生成自己的的語(yǔ)言理解和能力的交互模型。
對(duì)于常說(shuō)的RNN是處理短序列的數(shù)據(jù)時(shí)表現(xiàn)出色，耳真正厲害的是Transformer，此框架被推出后直接
發(fā)表于 05-12 23:57
OriginBot軌跡跟蹤運(yùn)行案例
運(yùn)行案例 啟動(dòng)底盤和雷達(dá) SSH連接OriginBot成功后，在終端中輸入如下指令，啟動(dòng)機(jī)器人底盤和激光雷達(dá)： $ros2 launch originbot
大語(yǔ)言模型簡(jiǎn)介：基于大語(yǔ)言模型模型全家桶Amazon Bedrock
本文基于亞馬遜云科技推出的大語(yǔ)言模型與生成式AI的全家桶：Bedrock對(duì)大語(yǔ)言模型進(jìn)行介紹。大語(yǔ)言模型
大語(yǔ)言模型概述
在科技飛速發(fā)展的當(dāng)今時(shí)代，人工智能技術(shù)成為社會(huì)進(jìn)步的關(guān)鍵推動(dòng)力之一。在廣泛關(guān)注的人工智能領(lǐng)域中，大語(yǔ)言模型以其引人注目的特性備受矚目。 大語(yǔ)言模型的定義及發(fā)展歷史 大
大語(yǔ)言模型(LLM)快速理解
自2022年，ChatGPT發(fā)布之后，大語(yǔ)言模型（LargeLanguageModel），簡(jiǎn)稱LLM掀起了一波狂潮。作為學(xué)習(xí)理解LLM的開始，先來(lái)整體理解一下大語(yǔ)言模型。一、發(fā)展歷史大
大語(yǔ)言模型開發(fā)語(yǔ)言是什么
在人工智能領(lǐng)域，大語(yǔ)言模型（Large Language Models, LLMs）背后，離不開高效的開發(fā)語(yǔ)言和工具的支持。下面，AI部落小編為您介紹大語(yǔ)言
大語(yǔ)言模型開發(fā)框架是什么
大語(yǔ)言模型開發(fā)框架是指用于訓(xùn)練、推理和部署大型語(yǔ)言模型的軟件工具和庫(kù)。下面，AI部落小編為您介紹大語(yǔ)言模
語(yǔ)言模型管理的作用
要充分發(fā)揮語(yǔ)言模型的潛力，有效的語(yǔ)言模型管理非常重要。以下，是對(duì)語(yǔ)言模型管理作用的分析，由AI部
工商網(wǎng)監(jiān)
評(píng)論