色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

NVIDIA JetPack 6.2引入Super模式

NVIDIA英偉達企業解決方案 ? 來源:NVIDIA英偉達企業解決方案 ? 2025-02-12 09:32 ? 次閱讀

NVIDIA Jetson Orin Nano Super 開發者套件的推出開創了小型邊緣設備生成式 AI 的新時代。全新的 Super 模式為生成式 AI 性能帶來了空前的提升,最多可提升至 1.7 倍,使其成為高性價比的生成式 AI 超級計算機。

JetPack 6.2 現已支持 Jetson Orin NanoJetson Orin NX 生產模組通過 Super 模式實現性能升級,最多可將生成式 AI 性能提升至 2 倍。現在,您可以為新的和現有的機器人和邊緣 AI 應用釋放更多價值并降低總體擁有成本。

本文將詳細介紹 Super 模式的詳細信息,包括新的功率模式、Jetson Orin Nano 和 Orin NX 模組上常用生成式 AI 模型的基準性能、文檔更新情況以及支持 Super 開發者套件的 NPN 合作伙伴。

Jetson Orin Nano 和Jetson Orin NX 系列的新參考功率模式

JetPack 6.2 通過在 GPU、DLA 內存和 CPU 時鐘上解鎖更高的頻率,提升 Jetson Orin Nano 和 Jetson Orin NX 系列的功耗。

9342a476-e85d-11ef-9310-92fbcf53809c.png

表 1. Jetson Orin Nano 和 Jetson Orin NX 模組的新參考功率模式

Jetson Orin Nano 模組現在有 25W 模式和無功率上限的全新 MAXN SUPER 模式。同樣,Jetson Orin NX 模組現在可以使用新的 40W 參考功率模式以及無功率上限的 MAXN SUPER 模式。

MAXN SUPER 是一種無功率上限的功率模式,所支持的 CPU、GPU、DLA、PVA 和 SOC 引擎核數量和時鐘頻率最高。在該模式下,如果模組總功率超過熱設計功率(TDP)上限,系統會將模組調低頻率,通過降低性能將功率控制在熱上限內。

我們強烈建議您建立自己的自定義功率模式,以便在功耗或熱穩定性與性能之間找到適合您的應用和需求的合適平衡點。

表 2 比較了 Jetson Orin Nano 4GB 和 8GB 以及 Jetson Orin NX 8GB 和 16GB 在原始模式和 Super 模式下的詳細規格。

934d71f8-e85d-11ef-9310-92fbcf53809c.png

表 2. Jetson Orin Nano 和 Jetson Orin NX 在原始模式和 Super 模式下的規格

在使用新的功率模式時,請確保產品當前或新的熱設計能夠適應功率模式的新規格。

最新功耗估算器工具

功耗估算器工具是 NVIDIA 提供的一個功能強大的工具,它可通過修改系統參數(例如 GPU、CPU、DLA 等的核數、最高頻率和負載水平)創建自定義功耗配置文件和 nvpmodel 配置文件。該工具能夠估算各種設置下的功耗,在需要平衡性能和功耗時可用于創建滿足需求的最佳參數設置。

我們已在功耗估算器工具中增加了 Super 模式。我們強烈建議您在部署高性能應用之前使用功耗估算器工具并進行實際驗證。

常用生成式 AI 模型的性能提升情況

在通過 JetPack 6.2 引入 Super 模式后,Jetson Orin Nano 和 Jetson Orin NX 模組的推理性能最多可提升至 2 倍。我們對最常用的大語言模型(LLM)、視覺語言模型(VLM)和視覺轉換器(ViT)進行了基準測試。

大語言模型

下圖和表格顯示了 Llama3.1 8B、Qwen2.5 7B 和 Gemma2 2B 等常用 LLM 在 Super 模式下的性能基準。

9361fcae-e85d-11ef-9310-92fbcf53809c.png

圖 1. 使用 Super 模式時的 LLM 性能提升情況

DNR 表示模組內存不足以運行特定模型。模型性能會受到節流行為的影響。

下表中的 LLM 生成性能(每秒 token 數)使用 MLC API 進行 INT4 量化后測量得出。

表 3 顯示了JetPack 6.2 為 Jetson Orin Nano 4GB 上的 LLM 所帶來的性能提升。

936caef6-e85d-11ef-9310-92fbcf53809c.png

表 3. Jetson Orin Nano 4GB 上常用 LLM 的基準性能(token/秒)

表 4 顯示了 JetPack 6.2 為 Jetson Orin Nano 8GB 上的 LLM 所帶來的性能提升。

9377a0b8-e85d-11ef-9310-92fbcf53809c.png

表 4. Jetson Orin Nano 8GB 上常用 LLM 的基準性能(token/秒)

表 5 顯示了 JetPack 6.2 為 Jetson Orin NX 8GB 上的 LLM 所帶來的性能提升。

9381999c-e85d-11ef-9310-92fbcf53809c.png

表 5. Jetson Orin NX 8GB 上常用 LLM 的基準性能(token/秒)

表 6 顯示了 JetPack 6.2 為 Jetson Orin NX 16GB 上的 LLM 所帶來的性能提升。

938c1a84-e85d-11ef-9310-92fbcf53809c.png

表 6. Jetson Orin NX 16GB 上常用 LLM 的基準性能(token/秒)

視覺語言模型

下圖和表格顯示了 VILA1.5 8B、LLAVA1.6 7B 和 Qwen2 VL 2B 等常用 VLM 在 Super 模式下的性能基準。

9396d488-e85d-11ef-9310-92fbcf53809c.png

圖 2. 使用 Super 模式運行時的 VLM 性能提升情況

DNR 表示模組內存不足以運行特定模型。模型性能會受到節流行為的影響。

表 7 顯示了 JetPack 6.2 為 Jetson Orin Nano 4GB 上的 VLM 所帶來的性能提升。

939faaf4-e85d-11ef-9310-92fbcf53809c.png

表 7. Jetson Orin Nano 4GB 上常用 VLM 的基準性能(token/秒)

表 8 顯示了 JetPack 6.2 為 Jetson Orin Nano 8GB 上的 VLM 所帶來的性能提升。

93a95d6a-e85d-11ef-9310-92fbcf53809c.png

表 8. Jetson Orin Nano 8GB 上常用 VLM 的基準性能(token/秒)

表 9 顯示了 JetPack 6.2 為 Jetson Orin NX 8GB 上的VLM所帶來的性能提升。

93b43faa-e85d-11ef-9310-92fbcf53809c.png

表 9. Jetson Orin NX 8GB 上常用 VLM 的基準性能(token/秒)

表 10 顯示了 JetPack 6.2 為 Jetson Orin NX 16GB 上的 VLM 所帶來的性能提升。

93be7c04-e85d-11ef-9310-92fbcf53809c.png

表 10. Jetson Orin NX 16 GB 上常用 VLM 的基準性能(token/秒)

所有 VILA 和 LLAVA 模型均使用 MLC 以 INT4 精度運行,其余模型使用 Hugging Face Transformer 以 FP4 精度運行。

視覺 Transformer

下圖和表格顯示了 CLIP、DINO 和 SAM2 等常用 ViT 在 Super 模式下的性能基準。

93c7c82c-e85d-11ef-9310-92fbcf53809c.png

圖 3. 使用 Super 模式運行時的 ViT 性能提升情況

DNR 表示模組上的內存不足以運行特定模型。模型性能會受到節流行為的影響。

表 11 顯示了 JetPack 6.2 為 Jetson Orin Nano 4GB 上的 ViT 所帶來的性能提升。

93cfd210-e85d-11ef-9310-92fbcf53809c.png

表 11. Jetson Orin Nano 4GB 上常用 ViT 的基準性能(token/秒)

表 12 顯示了 JetPack 6.2 為 Jetson Orin Nano 8GB 上的 ViT 所帶來的性能提升。

93d8523c-e85d-11ef-9310-92fbcf53809c.png

表 12. Jetson Orin Nano 8GB 上常用 ViT 的基準性能(token/秒)

表 13 顯示了 JetPack 6.2 為 Jetson Orin NX 8GB 上的 ViT 所帶來的性能提升。

93e23b76-e85d-11ef-9310-92fbcf53809c.png

表 13. Jetson Orin NX 8GB 上常用 ViT 的基準性能(token/秒)

表 14 顯示了 JetPack 6.2 為 Jetson Orin NX 16GB 上的 ViT 所帶來的性能提升。

93eccba4-e85d-11ef-9310-92fbcf53809c.png

表 14. Jetson Orin NX 16GB 上常用 ViT 的基準性能(token/秒)

所有 ViT 模型均使用 NVIDIA TensorRT 以 FP16 精度運行,測量單位為 FPS。

開始使用搭載 JetPack 6.2 的NVIDIA Jetson Orin Nano和 Jetson Orin NX

NVIDIA Jetson 生態系統提供了多種使用 JetPack 鏡像刷寫開發者套件和生產模組的方式。

可使用以下任何一種方法在 Jetson Orin Nano 開發者套件或模組上安裝 JetPack 6.2:

從 JetPack SDK 頁面獲得 SD 卡鏡像:

https://developer.nvidia.com/embedded/jetpack

根據下載和安裝說明,對 SDK Manager 進行刷寫:

https://developer.nvidia.com/sdk-manager

根據刷寫支持,刷寫 bootloader、kernel 和 root file system 的腳本:

https://docs.nvidia.com/jetson/archives/r36.4.3/DeveloperGuide/SD/FlashingSupport.html#flashing-support

新的刷寫配置

新功率模式僅適用于新的刷寫配置。默認刷寫配置沒有改變。如要啟用新功率模式,您必須在刷寫時使用新的刷寫配置。

下面是進行刷寫時使用的新的刷寫配置:

jetson-orin-nano-devkit-super.conf

刷寫或更新到 JetPack 6.2 后,運行以下命令以啟動新提供的 Super 模式。

在 Jetson Orin Nano 模組上啟動 MAXN SUPER 模式:

sudo nvpmodel -m 2

在 Jetson Orin NX 模組上啟動 MAXN SUPER 模式:

sudo nvpmodel -m 0

您還可以從頁面右上角的功率模式菜單中選擇 MAXN SUPER 和其他功率模式。

93f43c72-e85d-11ef-9310-92fbcf53809c.png

圖 4. 功率模式選擇菜單

Jetson AI Lab

Jetson AI 實驗室是 NVIDIA 探索和試驗針對邊緣設備優化的生成式 AI 技術的中心。它為開發者提供支持并為合作社區提供近 50 種教程、預構建容器和資源,幫助社區使用經過優化的推理基礎設施部署設備端 LLM、SLM、VLM、擴散策略和語音模型。

通過簡化前沿 AI 工具的訪問途徑,該實驗室使各級別的開發者都能在本地進行創新和部署生成式 AI,從而推動開源邊緣 AI 和機器人學習的發展。

Jetson 生態系統合作伙伴為 Super 模式做好準備

為了幫助客戶進行部署,Jetson 生態系統合作伙伴已通過增強自己的解決方案,支持這一輪性能提升。

9401ba64-e85d-11ef-9310-92fbcf53809c.png

NVIDIA Jetson Orin生命周期和路線圖

由于客戶對 Jetson Orin 的需求不斷增長,NVIDIA 最近宣布將 Jetson Orin 的產品生命周期延長至 2032 年。經過這次的性能提升,Jetson Orin Nano 和 Orin NX 系列已成為當前和未來模型的理想平臺。

即將發布的 JetPack 5.1.5 也將支持 Jetson Orin NX 和 Jetson Orin Nano 模組的 Super 模式。使用 JetPack 5 進行開發的開發者和客戶將從性能提升中受益。

940c9894-e85d-11ef-9310-92fbcf53809c.png

圖 5.JetPack 軟件路線圖

使用 JetPack 6.2提升應用性能

JetPack 6.2 是一個突破性的版本,它可在現有 Jetson 模組上實現驚人的 2 倍推理性能提升,且不會增加任何成本。對于希望提升應用性能的 Jetson 開發者和客戶而言,此次升級必不可少。現在就升級到 JetPack 6.2,充分釋放 Jetson 平臺的潛力。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 機器人
    +關注

    關注

    213

    文章

    29533

    瀏覽量

    211707
  • cpu
    cpu
    +關注

    關注

    68

    文章

    11048

    瀏覽量

    216106
  • NVIDIA
    +關注

    關注

    14

    文章

    5258

    瀏覽量

    105849
  • AI
    AI
    +關注

    關注

    88

    文章

    34405

    瀏覽量

    275650

原文標題:JetPack 6.2 為 Jetson Orin Nano 和 Jetson Orin NX 模組引入“Super”模式

文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達企業解決方案】歡迎添加關注!文章轉載請注明出處。

收藏 0人收藏

    評論

    相關推薦
    熱點推薦

    使用AD16488A時,通過DIO4引入外部時鐘,時鐘頻率為100Hz,會對最終傳感器的輸出有什么影響?

    請問在使用16488A時,通過DIO4引入外部時鐘,時鐘頻率為100Hz,會對最終傳感器的輸出有什么影響?對數據就緒信號DRY有什么影響呢? 手冊中看到了可能會造成角度變化的寄存器值溢出,但我用不到這個量。謝謝了!
    發表于 12-29 06:19

    NVIDIA Jetson的相關資料分享

    Jetson概述爆炸式增長的AI模型的復雜性專為自主機器開發人員設計的AI計算板加快AI處理的SDK“JetPack”概述NVIDIA Jetson是NVIDIA公司嵌入式單板計算機的一系列
    發表于 11-09 08:26

    NVIDIA將于7月2日發布Super顯卡

    今兒就是6月21日了,可外媒小規模流傳的NVIDIA 6月21日發布Super系列顯卡的消息可謂不攻自破,現在看來整個6月都不可能。
    發表于 06-22 10:06 ?1261次閱讀

    Super”或取代“Ti”成為NVIDIA顯卡新的增強版型號后綴

    消息稱,NVIDIA正密謀兩款顯卡新品,分別是GTX 1660 Super和GTX 1650 Super
    的頭像 發表于 09-12 16:27 ?1.2w次閱讀

    NVIDIA推出GTX 1660 Super顯卡的消息確認

    NVIDIA即將推出GTX 1660 Super顯卡早已是板上釘釘的事情,但具體時間、規格一直沒有得到完全確認。
    的頭像 發表于 10-14 14:53 ?3984次閱讀

    消息稱NVIDIA欲復活RTX 2060 Super產品線

    明明已經發布了RTX 3060 Ti/3060,后者也將在2月底上市發貨。可最新消息稱,NVIDIA欲重新復活RTX 2060和RTX 2060 Super產品線。據稱NVIDIA已經開始向AIC
    的頭像 發表于 01-21 16:23 ?1867次閱讀
    消息稱<b class='flag-5'>NVIDIA</b>欲復活RTX 2060 <b class='flag-5'>Super</b>產品線

    NVIDIA JetPack SDK AI應用程序指南

    NVIDIA JetPack SDKis是構建AI應用程序的最全面的解決方案。使用JetPackinstaller為您的Jetson開發人員工具包閃存最新的操作系統映像,為主機PC和開發人員工具包安裝開發人員工具,并安裝啟動開發環境所需的庫和api、示例和文檔。
    發表于 04-06 16:09 ?0次下載
    <b class='flag-5'>NVIDIA</b> <b class='flag-5'>JetPack</b> SDK AI應用程序指南

    jetpack FreeBSD應用容器

    ./oschina_soft/jetpack.zip
    發表于 05-11 09:17 ?1次下載
    <b class='flag-5'>jetpack</b> FreeBSD應用容器

    NVIDIA JetPack SDK的主要功能

    NVIDIA JetPack SDK是構建 AI 應用的全面解決方案,支持所有 Jetson 模塊和開發者套件。
    的頭像 發表于 10-17 12:05 ?3318次閱讀

    使用 NVIDIA DeepStream SDK 6.2 順利開發視覺 AI 應用

    NVIDIA 宣布用于構建高性能視頻分析和流式傳輸應用的人工智能(AI)分析工具套件? NVIDIADeepStream SDK 6.2 全面上市。此次更新增加了新的功能,包括改進后的多對象追蹤器
    的頭像 發表于 02-11 10:25 ?1245次閱讀

    C++17引入的一個新特性void_t簡析

    void_t是C++17引入的一個新特性,它的定義很簡單(有些編譯器的實現可能不是這樣,但也大體類似)
    的頭像 發表于 03-06 09:37 ?1443次閱讀

    RTX 4070 Ti SUPER詳細評測

    2024年1月9日,NVIDIA發布了GeForce RTX 40 SUPER系列顯卡,包括RTX 4070 SUPER、RTX 4070 Ti SUPER和RTX 4080
    發表于 01-29 10:31 ?5430次閱讀
    RTX 4070 Ti <b class='flag-5'>SUPER</b>詳細評測

    使用NVIDIA JetPack 6.0和YOLOv8構建智能交通應用

    本文將介紹如何使用 NVIDIA JetPack 6.0 中的全新 Jetson 平臺服務,來構建一個適用于邊緣的端到端交通分析解決方案。該系統集成了多個功能:使用視頻存儲工具包 (VST) 服務
    的頭像 發表于 08-23 16:49 ?903次閱讀
    使用<b class='flag-5'>NVIDIA</b> <b class='flag-5'>JetPack</b> 6.0和YOLOv8構建智能交通應用

    NVIDIA JetPack 6.0版本的關鍵功能

    NVIDIA JetPack SDK 支持 NVIDIA Jetson 模塊,為構建端到端加速 AI 應用提供全面的解決方案。JetPack 6 通過微服務和一系列新功能,擴展了 Je
    的頭像 發表于 09-09 10:18 ?979次閱讀
    <b class='flag-5'>NVIDIA</b> <b class='flag-5'>JetPack</b> 6.0版本的關鍵功能

    解析NVIDIA JetPack 6.1的新功能

    NVIDIA JetPack一直在不斷發展,通過提供量身定制的先進軟件滿足邊緣 AI 和機器人開發者日益增長的需求。每次發布的 JetPack 新版本都會升級性能、加入新功能與優化現有工具,以便為
    的頭像 發表于 11-28 10:41 ?904次閱讀
    解析<b class='flag-5'>NVIDIA</b> <b class='flag-5'>JetPack</b> 6.1的新功能
    主站蜘蛛池模板: 99久久久免费精品国产 | 欧美黄色一级 | 成人在线视频网站 | 纯肉小黄文高H | 色WWW永久免费视频首页 | 花季v3.0.2黄在线观看 | 99久久亚洲精品影院 | 飘雪在线观看免费完整版 | 99久久伊人一区二区yy5099 | 午夜伦理在线观看 | 狠狠色欧美亚洲狠狠色www | 极品少妇粉嫩小泬啪啪AV | 无遮18禁在线永久免费观看挡 | 99爱视频在线观看 | 曰本少妇高潮久久久久久 | 美女脱了内裤张开腿让男人桶到爽 | 亚洲中文字幕一二三四区苍井空 | 国产精品JK白丝AV网站 | 黄子佼81岁父亲现状曝光 | 口工漫画r18全彩啪啪 | 色老99九久精品偷偷鲁 | 1000部做羞羞事禁片免费视频网站 | 亚洲午夜精品AV无码少妇 | 张开腿我尝尝你的草莓 | 无码99久热只有精品视频在线 | 国产欧美一区二区三区久久 | jlzz中国jizz日本老师水多 | 精品人妻一区二区三区视频53 | 日本高清天码一区在线播放 | 伦理 电影在线观看百度影音 | 毛片网站在线观看 | 办公室里呻吟的丰满老师电影 | 91久久精一区二区三区大全 | 日韩精品无码久久一区二区三 | 无人区尖叫之夜美女姐姐视频 | 吃奶吸咪咪动态图 | 2021年国产精品久久 | 性美国人xxxxx18| lesbabes性欧美 | 久久久久嫩草影院精品 | 四虎影视永久无码精品 |

    電子發燒友

    中國電子工程師最喜歡的網站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術信息
    • 參加活動獲取豐厚的禮品