Orin Nano 模塊擁有多達 40 個 AI 性能 TOPS ,為入門級 AI 設定了新標準,正如 Jetson AGX Orin 已經通過 275 個服務器級計算 TOPS 重新定義了機器人和其他自主邊緣用例一樣。
所有 Jetson Orin 模塊和 Jetson AGX Orin Developer Kit 基于單個 SoC 架構,帶有 NVIDIA 安培架構 GPU 、高性能 CPU 和最新加速器。這種共享架構意味著您可以為一個 Jetson Orin 模塊開發軟件,然后輕松地將其部署到任何其他模塊。
您可以使用 Jetson AGX Orin 開發工具包立即開始開發任何 Jetson Orin 模塊。開發人員工具包能夠以本機方式模擬任何模塊的性能,因此您可以立即開始,縮短上市時間。通過配置硬件特性和時鐘以匹配目標模塊的時鐘,開發人員工具包可以精確模擬任何 Jetson Orin 模塊的性能。
開發團隊受益于只需要一種類型的開發人員工具包的簡單性,而不管生產的目標是什么模塊。這也簡化了 CI / CD 基礎架構。無論您是在開發機器人技術、視頻分析還是任何其他用例,這一開發工具包的功能都會帶來許多好處。
將 Jetson AGX Orin 開發工具包轉換為任何 Jetson Orin 模塊
只需一步,您就可以將 Jetson AGX Orin Developer Kit 轉換為任何一個 Jetson Orin 模塊。我們為這個過程提供了閃存配置文件。
在 Jetson AGX Orin Developer Kit 上模擬 Jetson Orin 模塊,遵循中提到的相同步驟 to flash a Jetson AGX Orin Developer Kit using the flashing utilities 。在將開發工具包放入 Force Recovery Mode 后,閃光燈會閃爍。 sh 命令行工具用于用新圖像刷新它。例如,以下命令使用默認配置刷新開發人員工具包:
$ sudo ./flash.sh jetson-agx-orin-devkit mmcblk0p1
您使用的確切命令應修改為適用于您要模擬的目標 Jetson Orin 模塊的閃存配置名稱。例如,要模擬 Jetson Orin NX 16GB 模塊,請使用以下命令:
$ sudo ./flash.sh jetson-agx-orin-devkit-as-nx-16gb mmcblk0p1
表 1 列出了 Jetson Orin 模塊和閃存。適用于每個命令的 sh 命令。
自版本 5.0.2 起, Jetson Orin Nano 模塊的閃存配置尚未包含在 NVIDIA JetPack 中。請在downloading them之后使用這些新配置,并根據下載文件中的說明在 NVIDI JetPack 5.0.2 之上應用覆蓋補丁。
閃存完成后,完成初始啟動和配置。然后,您可以使用 SDK Manager 安裝其余的 NVIDIA JetPack 組件,或者只需在運行的開發人員工具包上使用軟件包管理器即可:
sudo apt update sudo apt install nvidia-jetpack
現在您已經運行了開發人員工具包并安裝了 NVIDIA JetPack 。您的 Jetson AGX Orin Developer Kit 現在可以模擬指定的 Jetson Orin 模塊的性能和功率。
準確模擬任何 Jetson Orin 模塊
本機模擬非常準確,因為它將開發人員工具包配置為與時鐘頻率、 GPU 和 CPU 內核的數量以及目標模塊可用的硬件加速器相匹配。
例如,在模擬 Jetson Orin NX 16GB 模塊時:
顯影劑套件 GPU 配置有 1024 個 CUDA 核和 32 個 Tensor 核,最大頻率為 918 MHz 。
CPU 復合體配置有 8 個 Arm Cortex-A78AE 內核,運行頻率為 2 GHz 。
DRAM 配置為 16 GB ,帶寬為 102 GB / s 。
系統提供了 Jetson Orin NX 16GB 模塊支持的相同電源配置文件。
圖 1 可用電源模式
從桌面上的頂部菜單打開 Jetson Power 圖形用戶界面,您會看到系統已根據模擬的目標模塊進行了準確配置。通過運行以下命令可以配置最大時鐘, Jetson Power 圖形用戶界面將顯示更改。
sudo jetson_clocks
圖 2 顯示了當 Jetson AGX Orin Developer Kit 閃存到模擬的 Jetson AGX-Orin 64GB 模塊時,與閃存到模擬 Jetson Orin NX 16GB 模塊時相比,配置最大時鐘后的 Jetson Power 圖形用戶界面。
通過運行 NVIDIA JetPack 提供的各種示例,您可以看到性能已調整為與模擬的模塊相匹配。例如,在配置 Jetson AGX Orin Developer Kit 以模擬相應模塊后,與 VPI 庫打包的基準測試示例可用于顯示 Jetson AGX-Orin 64GB 、 Jetson Orin NX 16GB 和 Jetson Orin Nano 8GB 模塊的 CPU 、 GPU 和 PVA 性能。
要運行 VPI 基準測試示例,請使用以下命令:
cd /opt/nvidia/vpi2/samples/05-benchmark sudo cmake . sudo make sudo ./vpi_sample_05_benchmark
VPI 基準測試示例輸出高斯算法的延遲(毫秒)。表 2 顯示了每個目標模塊的結果。
同樣,您可以運行多媒體樣本進行編碼和解碼。
要解碼,請運行以下命令:
cd /usr/src/jetson_multimedia_api/samples/00_video_decode sudo make sudo ./video_decode H264 --disable-rendering --stats --max-perf
要進行編碼,請運行以下命令:
cd /usr/src/jetson_multimedia_api/samples/01_video_encode sudo make sudo ./video_encode input.yuv 1920 1080 H264 out.h264 -fps 30 1 -ifi 1000 -idri 1000 --max-perf --stats
表 3 報告了使用 H.264 1080P 30FPS 視頻流運行這些編碼和解碼樣本后的 FPS 數。
* Jetson Orin Nano 不包括 NVEncoder 。對于表 3 , Jetson Orin Nano 的編碼是使用 ffmpeg 在 CPU 上完成的。使用四個 CPU 磁芯時,可實現 110 FPS 。當使用兩個 CPU 巖芯時, FPS 達到 73 ;當使用單個 CPU 巖心時, FPS 達到 33 。
為了證明仿真的準確性,我們在 Jetson AGX Orin Developer Kit 上運行了一些 AI 模型基準測試,模擬為 Jetson AGX-Orin 32GB 。然后,我們將其與在實際 Jetson AGX-Orin 32GB 模塊上運行相同基準測試所獲得的結果進行比較。從結果中可以看出,模擬性能和實際性能之間的差異微不足道。
盡管 Jetson AGX Orin Developer Kit 包括 32GB 模塊,但它提供了相同級別的性能,并且配備了 275 個 TOPS ,與 Jetson AGX-Orin 64GB 相匹配。 Jetson AGX Orin 64 GB 仿真不需要特殊的閃存配置,但您必須使用適當的閃存配置在 Jetson AGX-Orin Developer Kit 上仿真 Jetson AGX-Orin 32GB 。
對任何 Jetson Orin 模塊進行端到端開發
您可以在模擬 Jetson Orin 模塊時使用整個 Jetson 軟件堆棧。 NVIDIA DeepStream 、 NVIDIA -Isaac 和 NVIDIA Riva 等框架在仿真模式下工作,而 TAO Toolkit 等工具在 NGC 的預處理模型中的性能如預期。軟件堆棧與仿真無關,性能與被仿真的目標精確匹配。
如果您正在開發機器人用例或開發視覺 AI 管道,您現在可以使用 Jetson AGX Orin Developer Kit 和仿真模式對任何 Jetson Orin 模塊進行端到端開發。
使用 NVIDIA ISAAC ROS 為任何 Jetson Orin 模塊開發機器人應用程序。只需使用正確的閃存配置來閃存并啟動 ROS 開發。
關于作者
Suhas Sheshadri 是 NVIDIA 的產品經理,專注于 Jetson 軟件。此前,他曾在 NVIDIA 與自主駕駛團隊合作,為 NVIDIA 驅動平臺優化系統軟件。
審核編輯:郭婷
-
機器人
+關注
關注
211文章
28380瀏覽量
206918 -
NVIDIA
+關注
關注
14文章
4978瀏覽量
102990 -
服務器
+關注
關注
12文章
9123瀏覽量
85329
發布評論請先 登錄
相關推薦
評論