NVIDIA Jetson Orin Nano Super 开发者套件的推出开创了小型边缘设备生成式 AI 的新时代。全新的 Super 模式为生成式 AI 性能带来了空前的提升，最多可提升至 1.7 倍，使其成为高性价比的生成式 AI 超级计算机。
JetPack 6.2 现已支持 Jetson Orin Nano 和 Jetson Orin NX 生产模组通过 Super 模式实现性能升级，最多可将生成式 AI 性能提升至 2 倍。现在，您可以为新的和现有的机器人和边缘 AI 应用释放更多价值并降低总体拥有成本。
本文将详细介绍 Super 模式的详细信息，包括新的功率模式、Jetson Orin Nano 和 Orin NX 模组上常用生成式 AI 模型的基准性能、文档更新情况以及支持 Super 开发者套件的 NPN 合作伙伴。
Jetson Orin Nano 和
Jetson Orin NX 系列的
新参考功率模式
JetPack 6.2 通过在 GPU、DLA 内存和 CPU 时钟上解锁更高的频率，提升 Jetson Orin Nano 和 Jetson Orin NX 系列的功耗。
表 1. Jetson Orin Nano 和 Jetson Orin NX 模组的新参考功率模式
Jetson Orin Nano 模组现在有 25W 模式和无功率上限的全新 MAXN SUPER 模式。同样，Jetson Orin NX 模组现在可以使用新的 40W 参考功率模式以及无功率上限的 MAXN SUPER 模式。
MAXN SUPER 是一种无功率上限的功率模式，所支持的 CPU、GPU、DLA、PVA 和 SOC 引擎核数量和时钟频率最高。在该模式下，如果模组总功率超过热设计功率（TDP）上限，系统会将模组调低频率，通过降低性能将功率控制在热上限内。
我们强烈建议您建立自己的自定义功率模式，以便在功耗或热稳定性与性能之间找到适合您的应用和需求的合适平衡点。
表 2 比较了 Jetson Orin Nano 4GB 和 8GB 以及 Jetson Orin NX 8GB 和 16GB 在原始模式和 Super 模式下的详细规格。
表 2. Jetson Orin Nano 和 Jetson Orin NX 在原始模式和 Super 模式下的规格
在使用新的功率模式时，请确保产品当前或新的热设计能够适应功率模式的新规格。详细信息参见最新的“热设计指南”：
https://developer.nvidia.com/downloads/jetson-orin-nx-orin-nano-series-thermal-design-guide
最新功耗估算器工具
功耗估算器工具是 NVIDIA 提供的一个功能强大的工具，它可通过修改系统参数（例如 GPU、CPU、DLA 等的核数、最高频率和负载水平）创建自定义功耗配置文件和 nvpmodel 配置文件。该工具能够估算各种设置下的功耗，在需要平衡性能和功耗时可用于创建满足需求的最佳参数设置。
我们已在功耗估算器工具中增加了 Super 模式。我们强烈建议您在部署高性能应用之前使用功耗估算器工具并进行实际验证。
常用生成式 AI 模型的
性能提升情况
在通过 JetPack 6.2 引入 Super 模式后，Jetson Orin Nano 和 Jetson Orin NX 模组的推理性能最多可提升至 2 倍。我们对最常用的大语言模型（LLM）、视觉语言模型（VLM）和视觉转换器（ViT）进行了基准测试。
大语言模型
下图和表格显示了 Llama3.1 8B、Qwen2.5 7B 和 Gemma2 2B 等常用 LLM 在 Super 模式下的性能基准。
图 1. 使用 Super 模式时的 LLM 性能提升情况
DNR 表示模组内存不足以运行特定模型。模型性能会受到节流行为的影响。
下表中的 LLM 生成性能（每秒 token 数）使用 MLC API 进行 INT4 量化后测量得出。
表 3 显示了JetPack 6.2 为 Jetson Orin Nano 4GB 上的 LLM 所带来的性能提升。
表 3. Jetson Orin Nano 4GB 上常用 LLM 的基准性能（token/秒）
表 4 显示了 JetPack 6.2 为 Jetson Orin Nano 8GB 上的 LLM 所带来的性能提升。
表 4. Jetson Orin Nano 8GB 上常用 LLM 的基准性能（token/秒）
表 5 显示了 JetPack 6.2 为 Jetson Orin NX 8GB 上的 LLM 所带来的性能提升。
表 5. Jetson Orin NX 8GB 上常用 LLM 的基准性能（token/秒）
表 6 显示了 JetPack 6.2 为 Jetson Orin NX 16GB 上的 LLM 所带来的性能提升。
表 6. Jetson Orin NX 16GB 上常用 LLM 的基准性能（token/秒）
视觉语言模型
下图和表格显示了 VILA1.5 8B、LLAVA1.6 7B 和 Qwen2 VL 2B 等常用 VLM 在 Super 模式下的性能基准。
图 2. 使用 Super 模式运行时的 VLM 性能提升情况
DNR 表示模组内存不足以运行特定模型。模型性能会受到节流行为的影响。
表 7 显示了 JetPack 6.2 为 Jetson Orin Nano 4GB 上的 VLM 所带来的性能提升。
表 7. Jetson Orin Nano 4GB 上常用 VLM 的基准性能（token/秒）
表 8 显示了 JetPack 6.2 为 Jetson Orin Nano 8GB 上的 VLM 所带来的性能提升。
表 8. Jetson Orin Nano 8GB 上常用 VLM 的基准性能（token/秒）
表 9 显示了 JetPack 6.2 为 Jetson Orin NX 8GB 上的VLM所带来的性能提升。
表 9. Jetson Orin NX 8GB 上常用 VLM 的基准性能（token/秒）
表 10 显示了 JetPack 6.2 为 Jetson Orin NX 16GB 上的 VLM 所带来的性能提升。
表 10. Jetson Orin NX 16 GB 上常用 VLM 的基准性能（token/秒）
所有 VILA 和 LLAVA 模型均使用 MLC 以 INT4 精度运行，其余模型使用 Hugging Face Transformer 以 FP4 精度运行。
视觉 Transformer
下图和表格显示了 CLIP、DINO 和 SAM2 等常用 ViT 在 Super 模式下的性能基准。
图 3. 使用 Super 模式运行时的 ViT 性能提升情况
DNR 表示模组上的内存不足以运行特定模型。模型性能会受到节流行为的影响。
表 11 显示了 JetPack 6.2 为 Jetson Orin Nano 4GB 上的 ViT 所带来的性能提升。
表 11. Jetson Orin Nano 4GB 上常用 ViT 的基准性能（token/秒）
表 12 显示了 JetPack 6.2 为 Jetson Orin Nano 8GB 上的 ViT 所带来的性能提升。
表 12. Jetson Orin Nano 8GB 上常用 ViT 的基准性能（token/秒）
表 13 显示了 JetPack 6.2 为 Jetson Orin NX 8GB 上的 ViT 所带来的性能提升。
表 13. Jetson Orin NX 8GB 上常用 ViT 的基准性能（token/秒）
表 14 显示了 JetPack 6.2 为 Jetson Orin NX 16GB 上的 ViT 所带来的性能提升。
表 14. Jetson Orin NX 16GB 上常用 ViT 的基准性能（token/秒）
所有 ViT 模型均使用 NVIDIA TensorRT 以 FP16 精度运行，测量单位为 FPS。
开始使用搭载 JetPack 6.2 的
NVIDIA Jetson Orin Nano
和 Jetson Orin NX
NVIDIA Jetson 生态系统提供了多种使用 JetPack 镜像刷写开发者套件和生产模组的方式。
可使用以下任何一种方法在 Jetson Orin Nano 开发者套件或模组上安装 JetPack 6.2：
- 根据下载和安装说明，对 SDK Manager 进行刷写：
- https://developer.nvidia.com/sdk-manager
- 根据刷写支持，刷写 bootloader、kernel 和 root file system 的脚本：
- https://docs.nvidia.com/jetson/archives/r36.4.3/DeveloperGuide/SD/FlashingSupport.html#flashing-support
新的刷写配置
新功率模式仅适用于新的刷写配置。默认刷写配置没有改变。如要启用新功率模式，您必须在刷写时使用新的刷写配置。
下面是进行刷写时使用的新的刷写配置：
jetson-orin-nano-devkit-super.conf刷写或更新到 JetPack 6.2 后，运行以下命令以启动新提供的 Super 模式。
在 Jetson Orin Nano 模组上启动 MAXN SUPER 模式：
sudo nvpmodel -m 2在 Jetson Orin NX 模组上启动 MAXN SUPER 模式：
sudo nvpmodel -m 0您还可以从页面右上角的功率模式菜单中选择 MAXN SUPER 和其他功率模式。
图 4. 功率模式选择菜单
Jetson AI Lab
Jetson AI 实验室是 NVIDIA 探索和试验针对边缘设备优化的生成式 AI 技术的中心。它为开发者提供支持并为合作社区提供近 50 种教程、预构建容器和资源，帮助社区使用经过优化的推理基础设施部署设备端 LLM、SLM、VLM、扩散策略和语音模型。
通过简化前沿 AI 工具的访问途径，该实验室使各级别的开发者都能在本地进行创新和部署生成式 AI，从而推动开源边缘 AI 和机器人学习的发展。
以下教程专为 JetPack 6.2 驱动的开发者套件开发，这些简单易学的教程将帮助您轻松探索生成式 AI 领域：
- Ollama with Open Web UI：LLM 应用入门示例
- https://www.jetson-ai-lab.com/tutorial_ollama.html
- NanoOWL：使用前沿 ViT 模型的互动演示
- https://www.jetson-ai-lab.com/vit/tutorial_nanoowl.html
- LeRobot：使用 HuggingFace LeRobot 的物理 AI 示例
- https://www.jetson-ai-lab.com/lerobot.html
最新文档：数据表和设计指南
以下资源已随着新一轮性能提升而更新，并可从 Jetson 下载中心下载：
- Jetson Orin NX 模组数据表:
- https://developer.nvidia.com/downloads/jetson-orin-nx-module-series-data-sheet
- Jetson Orin Nano 模组数据表：
- https://developer.nvidia.com/downloads/assets/embedded/secure/jetson/orin_nano/docs/jetson_orin_nano_ds
- Jetson Orin NX 系列和 Jetson Orin Nano 系列设计指南：
- https://developer.nvidia.com/downloads/jetson-orin-nx-series-nano-series-design-guide
- 热设计指南：
- https://developer.nvidia.com/downloads/jetson-orin-nx-orin-nano-series-thermal-design-guide
Jetson 生态系统合作伙伴
为 Super 模式做好准备
为了帮助客户进行部署，Jetson 生态系统合作伙伴已通过增强自己的解决方案，支持这一轮性能提升。
NVIDIA Jetson Orin
生命周期和路线图
由于客户对 Jetson Orin 的需求不断增长，NVIDIA 最近宣布将 Jetson Orin 的产品生命周期延长至 2032 年。经过这次的性能提升，Jetson Orin Nano 和 Orin NX 系列已成为当前和未来模型的理想平台。
即将发布的 JetPack 5.1.5 也将支持 Jetson Orin NX 和 Jetson Orin Nano 模组的 Super 模式。使用 JetPack 5 进行开发的开发者和客户将从性能提升中受益。
图 5. JetPack 软件路线图
使用 JetPack 6.2
提升应用性能
JetPack 6.2 是一个突破性的版本，它可在现有 Jetson 模组上实现惊人的 2 倍推理性能提升，且不会增加任何成本。对于希望提升应用性能的 Jetson 开发者和客户而言，此次升级必不可少。现在就升级到 JetPack 6.2，充分释放 Jetson 平台的潜力。
热门跟贴