在使用 Jetson 模組等嵌入式系統(tǒng)時，必須根據(jù)功率分配和計(jì)算資源來優(yōu)化應(yīng)用。為避免性能以及熱節(jié)流問題，進(jìn)行監(jiān)控就顯得格外重要。

Jetson 模組自帶 GPU、CPU 和各種 AI 加速器，還配有高效率的功率管理集成電路（PMIC）、穩(wěn)壓器和電源樹來進(jìn)行功率效率優(yōu)化。NVIDIA 提供多種工具和資源，幫助您充分利用功率架構(gòu)并優(yōu)化資源使用：

• 各種功率模式

• 功率、散熱和電氣管理功能

• 用于監(jiān)控功率和散熱狀態(tài)的 Jetson Power GUI

• 用于提供模組命令行統(tǒng)計(jì)數(shù)據(jù)的 Tegrastats

• JTOP

Jetson 的功率模式

每個 Jetson 模組都支持多種預(yù)配置功率模式，也能夠針對 10 瓦、15 瓦、30 瓦等特定功率進(jìn)行預(yù)算優(yōu)化。每種功率分配在資源利用上都有多種可用配置。

這些功率模式可通過 nvpmodel 進(jìn)行設(shè)置，用戶可以選擇使用其中一種預(yù)配置模式，也可以創(chuàng)建符合自身需求的自定義功率模式。nvpmodel 配置支持特定頻率下一定數(shù)量的在線 GPU TPC、CPU、DLA 和 PVA 核，從而將模組控制在具體的功率分配范圍內(nèi)。

MAXN 模式也是一種靈活的功率模式。它可以為各種處理器和引擎提供最大的核心數(shù)和時鐘頻率，然后對其進(jìn)行調(diào)整，以創(chuàng)建可平衡性能和功耗的自定義功率模式。

功率、散熱和電氣管理功能

Jetson 提供各種功率、散熱和電氣管理功能：

• 時鐘門控

• 功率門控

• 動態(tài)電壓頻率調(diào)節(jié)

• 深度睡眠（SC7）模式

• 待機(jī)功率模式

了解更多信息，請查看 Jetson Linux 開發(fā)者指南：

https://docs.nvidia.com/jetson/archives/r35.4.1/DeveloperGuide/text/SD/PlatformPowerAndPerformance/JetsonOrinNanoSeriesJetsonOrinNxSeriesAndJetsonAgxOrinSeries.html#supported-modes-and-power-efficiency

Jetson Power GUI

NVIDIA 為 JetPack 提供了多種工具，來幫助用戶進(jìn)行散熱和功率管理，比如作為 JetPack 視覺組成部分進(jìn)行安裝的 Jetson Power GUI。

Jetson Power GUI 支持用戶對 Jetson 主板的功率和散熱狀態(tài)進(jìn)行監(jiān)測。用戶不僅可以通過主選項(xiàng)卡追蹤 CPU 和 GPU 的使用情況以及設(shè)備溫度，還可以通過實(shí)時監(jiān)控功能，快速識別任何可能導(dǎo)致性能節(jié)流的性能瓶頸或過度功耗。

有了 Jetson Power GUI 的支持，用戶就可以通過調(diào)整功率模式來平衡性能與功耗。基于所使用的 Jetson 主板，用戶可對預(yù)定義的功率模式進(jìn)行選擇。

圖1：Jetson Power 的啟動頁面

Power GUI 工具能夠?qū)⑴c功率有關(guān)的信息記錄到特定時間段的日志文件中，有效幫助捕獲和分析特定任務(wù)或特定時間段內(nèi)的行為。例如，捕獲 Jetson 啟動后最初 3 分鐘內(nèi)的性能信息。

圖2：Power GUI 的日志文件示例

“plot graph…”按鈕具備數(shù)據(jù)可視化功能，支持用戶繪制實(shí)時功率相關(guān)信息的圖表。捕獲的日志文件也可用于繪制圖表，進(jìn)而幫助用戶更加簡單、直觀地了解系統(tǒng)的運(yùn)行情況。

圖3：圖表繪制通道選擇

圖4：Jetson Power GUI 中繪制圖表的示例

Tegrastats

Tegrastats 是 NVIDIA 的一款命令行實(shí)用工具，用于報告 Jetson 平臺的內(nèi)存和處理器使用情況。該工具由 JetPack 提供，可在/core/utils/tegrastats 中找到。

Tegrastats 能夠提供有關(guān) CPU、GPU 和內(nèi)存等多個使用指標(biāo)的洞察分析，完成功耗監(jiān)控并實(shí)時更新功耗情況。這些指標(biāo)對了解系統(tǒng)性能至關(guān)重要。

Tegrastats 還提供熱行為相關(guān)信息，比如 CPU 和 GPU 的工作溫度。這樣有助于預(yù)防熱節(jié)流。

使用方法

要在 Jetson 上使用 Tegrastats，請使用以下命令。

在前臺運(yùn)行如下命令：

$tegrastats—interval

在該命令中， 是日志輸出的間隔時間，單位為毫秒。默認(rèn)情況下，Tegrastats 每秒更新一次統(tǒng)計(jì)數(shù)據(jù)。

在后臺運(yùn)行以下命令：

$ tegrastats —interval <int> -logfile <out_file> &

?

在該命令中， 是輸出文件的路徑名，Tegrastats 會將日志輸出寫入該文件。

下面是 Tegrastats 的輸出示例：

RAM 1545/31919MB (lfb 7400x4MB) SWAP 0/15959MB (cached 0MB) CPU
[0%@1190,0%@1190,0%@1190,0%@1190,0%@1190,0%@1190,0%@1190,0%@1190]
EMC_FREQ 1%@408 GR3D_FREQ 0%@318 VIC_FREQ 0%@115 APE 150 MTS fg 0% bg 0%
AO@38C GPU@39.5C Tdiode@43.25C PMIC@100C AUX@38.5C CPU@39.5C
thermal@38.8C Tboard@39C GPU 0/0 CPU 468/468 SOC 937/937 CV 0/0 VDDRQ
312/234 SYS5V 1458/1458

Tegrastats 還可集成到腳本或應(yīng)用中，以獲取系統(tǒng)統(tǒng)計(jì)數(shù)據(jù)，從而實(shí)現(xiàn)更多的自動化方案。

JTOP（Jetson-stats）

JTOP 是一種監(jiān)控 Jetson 資源的用戶友好型方式，能夠幫助用戶可視化地了解應(yīng)用中遇見的各種瓶頸。例如，它可以顯示應(yīng)用是否需要大量存儲操作，或者應(yīng)用是否沒有使用 Jetson 模組中的硬件加速引擎。JTOP 通過這種方式能為 Jetson 模組優(yōu)化出更加高效、精簡的應(yīng)用。

圖5：JTOP 啟動屏幕

JTOP 專為監(jiān)控和管理如下 NVIDIA Jetson 模組而設(shè)計(jì)：

• NVIDIA Orin

• NVIDIA Xavier

• NVIDIA Nano

• NVIDIA TX

JTOP 能實(shí)時更新系統(tǒng)性能相關(guān)信息，助力用戶分析 CPU 和 GPU 的使用情況、工作溫度、內(nèi)存使用情況以及其他相關(guān)信息。

通過 JTOP 用戶可在 GUI 上訪問這些信息，以便更好地可視化，這種方式提供了一種便捷的系統(tǒng)指標(biāo)和性能數(shù)據(jù)跟蹤方式，尤其是在運(yùn)行繁重的 AI 工作時。

JTOP 還提供用于微調(diào)系統(tǒng)性能的功能。用戶可以為 Jetson 設(shè)備選擇運(yùn)行時的功率模式，甚至可以控制風(fēng)扇速度。優(yōu)化系統(tǒng)性能和散熱正因此而受益。

圖6：JTOP 的內(nèi)存監(jiān)視器

功耗預(yù)算有限的同時還能最大化系統(tǒng)性能，JTOP 尤其適用于這種情況。請使用 pip 進(jìn)行 JTOP 安裝：

$ sudo apt update 
$ sudo apt-get install python3-pip
$ sudo pip install -u jetson-stats

使用 jtop 命令：

$ jtop

JTOP 工具還適用于 Python 庫，其中的 API 能夠讓用戶輕松地在腳本中加入 JTOP 函數(shù)。

from jtop import jtop
 
with jtop() as jetson:
    while jetson.ok():
        #read jetson stats
        print(jetson.stats)

查看 JetsonHacks 提供的以下視頻，了解更多信息：

JTOP：您會使用 Jetson 專家所使用的工具嗎？

優(yōu)化功率從今天開始

NVIDIA Jetson 平臺正在不斷提升機(jī)器人和邊緣 AI 的邊緣推理性能。對于大多數(shù)邊緣 AI 應(yīng)用，功耗分配十分重要。使用 NVIDIA 工具就能夠監(jiān)控系統(tǒng)性能，建立自定義功耗特性模型。

了解更多信息，請查看以下資源：

• 支持的模式和功率效率

  https://docs.nvidia.com/jetson/archives/r35.4.1/DeveloperGuide/text/SD/PlatformPowerAndPerformance/JetsonOrinNanoSeriesJetsonOrinNxSeriesAndJetsonAgxOrinSeries.html%22%20/l%20%22supported-modes-and-power-efficiency

• JTOP（jetson-stats） 用戶指南

  https://rnext.it/jetson_stats/

• 故障排除（Jetson_stats）

  https://rnext.it/jetson_stats/troubleshooting.html

• /rbonghi/ros_jetson_statsGitHub 代碼庫

  https://github.com/rbonghi/ros_jetson_stats

• /NVIDIA-AI-IOT/ros2_jetson_stats GitHub 代碼庫

  https://github.com/NVIDIA-AI-IOT/ros2_jetson_stats

通過使用本文中提到的所有工具，就可以為自己的應(yīng)用輕松創(chuàng)建一個節(jié)能且具有更優(yōu)性能的系統(tǒng)。

GTC 2024 將于 2024 年 3 月 18 至 21 日在美國加州圣何塞會議中心舉行，線上大會也將同期開放。點(diǎn)擊“閱讀原文”或掃描下方海報二維碼，關(guān)注更多會議及活動信息。