色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

基于北京迅為iTOP-RK3588大語言模型部署測試

北京迅為電子 ? 2024-04-25 14:35 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

人工智能AI)領(lǐng)域中的大模型(Large Model)逐漸成為研究的熱點。大模型,顧名思義,是指擁有海量參數(shù)和高度復(fù)雜結(jié)構(gòu)的深度學(xué)習(xí)模型。它的出現(xiàn),不僅推動了AI技術(shù)的突破,更為各行各業(yè)帶來了革命性的變化。


RK3588是瑞芯微推出的新一代旗艦級高端處理器,采用8nm工藝設(shè)計,搭載四核A76+四核A55的八核CPUArm高性能GPU,內(nèi)置6T算力的NPU。能夠高效地處理AI算法和模型,為大模型的運行提供了強大的硬件支持。

wKgZomYp-UCASVgJAABF-3JCGqI970.png

在北京迅為推出的搭載了RK3588處理器的iTOP-RK3588開發(fā)板上,使用RKLLM 工具套件支持在iTOP-RK3588平臺上進行LLM(大型語言模型)模型的轉(zhuǎn)換和部署。它與Hugging Face模型架構(gòu)兼容(Hugging Face是廣泛用于自然語言處理任務(wù)的模型架構(gòu)。目前,該系統(tǒng)支持以下模型:LLaMA、Qwen、Qwen2和Phi-2。支持量化技術(shù),即使用w8a8(8位權(quán)重,8位激活)和w4a16(4位權(quán)重,16位激活)精度進行模型量化。這可以在目標(biāo)平臺上更高效地存儲和計算模型,減小內(nèi)存占用。

wKgaomYp-UuADTMMAABtJ14dMhc249.png

iTOP-RK3588開發(fā)板體驗大模型

為了讓用戶更快速的體驗RKLLM ,北京迅為已經(jīng)對Linux內(nèi)核源碼中的NPU版本進行了升級,升級到了最新的0.9.6版本,具體如下所示:

wKgaomYp-VSAa1JLAAAUgIdinTg807.png

默認以將RKLLM動態(tài)庫集成在了Ubuntu和Debian系統(tǒng)中,用戶可以直接拷貝轉(zhuǎn)換完成的RKLLM大預(yù)言模型和推理程序進行測試。詳細說明請見NPU手冊中RKLLM模型轉(zhuǎn)換和測試相關(guān)步驟。

《iTOP-RK3588開發(fā)板NPU使用手冊》v1.1教程目錄

第1章 你好!NPU

1.1 NPU的誕生!

1.2 初識RKNPU

第2章 準(zhǔn)備RKNPU開發(fā)環(huán)境

2.1 開發(fā)環(huán)境

2.1 軟件架構(gòu)

2.2 SDK說明

第3章 讓NPU跑起來

3.1 在Linux系統(tǒng)中使用NPU

3.1.1 設(shè)置交叉編譯器

3.1.2 修改編譯工具路徑

3.1.3 更新RKNN模型

3.1.4 編譯demo

3.1.5 開發(fā)板運行demo

3.2 在Android系統(tǒng)中使用NPU

3.2.1下載編譯所需工具

3.2.2 修改編譯工具路徑

3.2.3 更新RKNN模型

3.2.4 編譯demo

3.2.5 開發(fā)板運行demo

第4章 體驗RKNN_DEMO

4.1 rknn_ssd_demo體驗

4.2 rkn_api_demo體驗

4.3 rknn_multiple_input_demo體驗

第5章 模型轉(zhuǎn)換

5.1 RKNN-Toolkit2 介紹

5.2 RKNN-Toolkit2環(huán)境搭建

5.2.1 安裝Miniconda

5.2.2 創(chuàng)建RKNN虛擬環(huán)境

5.2.3 安裝pycharm

5.2.4 配置pycharm

5.3 RKNN-Toolkit2工具的使用

5.3.1 模型運行在模擬

5.3.2 模型運行在RK3588開發(fā)板

第6章 其他模型轉(zhuǎn)換

6.1 使用tensorflow框架

6.2 使用caffe框架

6.3 使用tflite框架

6.4 使用onnx框架

6.5 使用darknet框架

6.6 使用pytorch框架

第 7章 使用RKNN-Toolkit-lite2

7.1 主要功能說明

7.2 環(huán)境搭建步驟

7.2.1 安裝Miniconda

7.2.2 創(chuàng)建RKNN虛擬環(huán)境

7.2.3 安裝RKNN-ToolkitLite 2軟件包

7.2.4 安裝opencv

7.3 運行測試程序

第8章 RKLLM大預(yù)言模型測試

8.1 RKLLM-Toolkit介紹

8.2 RKLLM-Toolkit環(huán)境搭建

8.2.1 安裝Miniconda

8.2.2 創(chuàng)建RKLLM虛擬環(huán)境

8.3 大語言模型轉(zhuǎn)換

8.4 推理程序編譯

8.5 開發(fā)板運行測試

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 測試
    +關(guān)注

    關(guān)注

    8

    文章

    5687

    瀏覽量

    128784
  • 人工智能
    +關(guān)注

    關(guān)注

    1806

    文章

    48987

    瀏覽量

    249134
  • RK3588
    +關(guān)注

    關(guān)注

    7

    文章

    418

    瀏覽量

    5876
收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    技術(shù)分享|iTOP-RK3588開發(fā)板Ubuntu20系統(tǒng)旋轉(zhuǎn)屏幕方案

    技術(shù)分享|iTOP-RK3588開發(fā)板Ubuntu20系統(tǒng)旋轉(zhuǎn)屏幕方案
    的頭像 發(fā)表于 04-18 15:19 ?502次閱讀
    技術(shù)分享|<b class='flag-5'>iTOP-RK3588</b>開發(fā)板Ubuntu20系統(tǒng)旋轉(zhuǎn)屏幕方案

    北京RK3588平臺成功適配“望獲”國產(chǎn)OS

    北京RK3588平臺成功適配“望獲”國產(chǎn)OS
    的頭像 發(fā)表于 04-09 15:35 ?417次閱讀
    <b class='flag-5'>北京</b><b class='flag-5'>迅</b><b class='flag-5'>為</b><b class='flag-5'>RK3588</b>平臺成功適配“望獲”國產(chǎn)OS

    分享 |基于RK3588開發(fā)板部署測試DeepSeek模型

    分享 |基于RK3588開發(fā)板部署測試DeepSeek模型
    的頭像 發(fā)表于 02-18 14:26 ?1611次閱讀
    分享 |<b class='flag-5'>迅</b><b class='flag-5'>為</b>基于<b class='flag-5'>RK3588</b>開發(fā)板<b class='flag-5'>部署</b><b class='flag-5'>測試</b>DeepSeek<b class='flag-5'>模型</b>

    RK3588開發(fā)板實時系統(tǒng)編譯-Preemption系統(tǒng)/ Xenomai系統(tǒng)編譯-實時系統(tǒng)燒寫-固件獲取方式

    iTOP-RK3588 開發(fā)板】基礎(chǔ)資料\\\\10_實時系統(tǒng)配套資料\\\\02_Preemption 實時系統(tǒng)鏡像” 路徑下或者“iTOP-3588 開發(fā)板\\\\01_【iTOP-RK3588
    發(fā)表于 02-11 14:50

    RK3588開發(fā)板實時系統(tǒng)編譯-Preemption系統(tǒng)/ Xenomai系統(tǒng)編譯-獲取Linux源碼包

    rk3588_linux_XXXXXXX.tar.gz(XX...為名稱的簡寫)”解壓壓縮包。 解壓后會生成一個 rk3588_linux 文件夾,如下圖所示 更多內(nèi)容可以關(guān)注
    發(fā)表于 01-09 11:03

    iTOP-RK3588開發(fā)板商業(yè)級/工業(yè)級/國產(chǎn)化/國產(chǎn)化工業(yè)級/郵票孔版本以及LPDDR5版本性能首選

    何處? 在2022年,北京電子推出了基于RK3588處理器的iTOP-RK3588開發(fā)板,一經(jīng)發(fā)布迅速成為了廣大用戶心中的首選。所以借著
    發(fā)表于 12-06 11:15

    RK3588 技術(shù)分享 | 在Android系統(tǒng)中使用NPU實現(xiàn)Yolov5分類檢測

    rknn_yolov5_android_apk_demo應(yīng)用工程文件夾進行編譯,編譯成功后,選擇iTOP-RK3588設(shè)備并運行應(yīng)用程序 當(dāng)APP運行時,您會在iTOP-RK3588
    發(fā)表于 10-24 10:13

    iTOP-RK3568/RK3588開發(fā)板獲麒麟軟件適配認證

    iTOP-RK3568/RK3588開發(fā)板獲麒麟軟件適配認證
    的頭像 發(fā)表于 10-18 14:56 ?1207次閱讀
    <b class='flag-5'>迅</b><b class='flag-5'>為</b><b class='flag-5'>iTOP-RK</b>3568/<b class='flag-5'>RK3588</b>開發(fā)板獲麒麟軟件適配認證

    瑞芯微RK3588開發(fā)板深度剖析丨首選的性能

    何處? 在2022年,北京電子推出了基于RK3588處理器的iTOP-RK3588開發(fā)板,一經(jīng)發(fā)布迅速成為了廣大用戶心中的首選。所以借著
    發(fā)表于 10-17 10:49

    探索巔峰性能 |瑞芯微RK3588開發(fā)板/核心板深度剖析

    何處? 在2022年,北京電子推出了基于RK3588處理器的iTOP-RK3588開發(fā)板,一經(jīng)發(fā)布迅速成為了廣大用戶心中的首選。所以借著
    發(fā)表于 09-25 11:15

    RK3588開發(fā)板!黑神話悟空,啟動?

    /BV1K1sTeXEX5/?spm_id_from=333.976.0.0 北京電子 在上面的視頻中,《黑神話:悟空》的游戲畫面成功在iTOP-RK3588上進行了展示,而游科官
    發(fā)表于 09-23 10:48

    RK3588開發(fā)板深度剖析丨首選的性能

    何處? 在2022年,北京電子推出了基于RK3588處理器的iTOP-RK3588開發(fā)板,一經(jīng)發(fā)布迅速成為了廣大用戶心中的首選。所以借著
    發(fā)表于 09-03 15:49

    RK3588!黑神話悟空,啟動?-電子RK3588開發(fā)板

    RK3588!黑神話悟空,啟動?-電子RK3588開發(fā)板
    的頭像 發(fā)表于 08-30 14:13 ?1329次閱讀
    <b class='flag-5'>RK3588</b>!黑神話悟空,啟動?-<b class='flag-5'>迅</b><b class='flag-5'>為</b>電子<b class='flag-5'>RK3588</b>開發(fā)板

    RK3588 技術(shù)分享 | 在Android系統(tǒng)中使用NPU實現(xiàn)Yolov5分類檢測

    rknn_yolov5_android_apk_demo應(yīng)用工程文件夾進行編譯,編譯成功后,選擇iTOP-RK3588設(shè)備并運行應(yīng)用程序 當(dāng)APP運行時,您會在iTOP-RK3588
    發(fā)表于 08-20 11:13

    探索巔峰性能 | RK3588開發(fā)板深度剖析

    何處? 在2022年,北京電子推出了基于RK3588處理器的iTOP-RK3588開發(fā)板,一經(jīng)發(fā)布迅速成為了廣大用戶心中的首選。所以借著
    發(fā)表于 08-09 15:44
    主站蜘蛛池模板: 成人在线视频在线观看 | 老王午夜69精品影院 | 国产精品免费一区二区三区视频 | 天天久久影视色香综合网 | 妹妹的第一次有点紧 | 儿子好妈妈的HD3中字抢劫 | 亚洲精品久久无码AV片银杏 | 久久性生大片免费观看性 | 婷婷精品国产亚洲AV在线观看 | 日本精品卡一卡2卡3卡四卡三卡 | 正在播放国产尾随丝袜美女 | 又粗又大又爽又黄的免费视频 | 牢记永久免费网址 | 嘟嘟嘟在线视频免费观看高清中文 | 午夜理论在线观看不卡大地影院 | 樱花草在线影视WWW日本动漫 | 男男校园园bl文全肉高h寝室 | 97视频视频人人碰视频 | 亚洲激情网站 | 2020精品国产视 | 97色色极品av影院 | 四房播播开心五月 | 国产亚洲精品久久久久久国 | 超碰caoporn| 寂寞夜晚免费观看视频 | 亚洲2017天堂色无码 | 牛牛在线(正)精品视频 | 黑人玩弄极品人妻系列 | 拔萝卜在线高清观看视频 | 婚后被调教当众高潮H喷水 回复术士勇者免费观看全集 | 被六个男人躁到一夜同性 | 欧美阿v在线免播播放 | 日韩亚洲不卡在线视频 | 亚洲人成在线播放网站岛国 | 久久笫一福利免费导航 | 色多多深夜福利免费观看 | 狠狠啪 日日啪 | 天美传媒果冻传媒入口视频 | 久久久久国产 | qvod 在线| 在线中文字幕网站 |

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學(xué)習(xí)
    • 獲取您個性化的科技前沿技術(shù)信息
    • 參加活動獲取豐厚的禮品