打开网易新闻 查看精彩图片

NVIDIA JetPack 一直在不断发展,通过提供量身定制的先进软件满足边缘 AI 和机器人开发者日益增长的需求。每次发布的 JetPack 新版本都会升级性能、加入新功能与优化现有工具,以便为用户创造更大的价值。这意味着当前基于 Jetson Orin 的产品在升级到最新版本的 JetPack 后将优化性能。

2023 年第三季度发布的 JetPack 6 是这一历程中的一座重要里程碑。该版本引入了自带内核(Bring Your Own Kernel)等强大的功能,能够灵活地加入任何 LTS Linux 内核并扩大了对更多 Linux 发行版的支持,为不同的开发环境带来了更多灵活性。

凭借其模块化设计,用户还能够在不升级 Jetson Linux 的情况下轻松升级到最新的 JetPack 计算堆栈。除了这些进步之外,硬件加速增强等性能上的改进还保证了 Jetson 平台能够以最高效率运行。

JetPack 6.1 的功能

2024 年 7 月,NVIDIA 发布了 NVIDIA JetPack 6.1,进一步兑现了持续改进 JetPack 堆栈的承诺。

其中的一项重要改进是 Argus 摄像头堆栈增强,这项改进显著将摄像头应用的 CPU 占用率降低了高达 40%。

另一项新功能是引入了基于固件的可信平台模块(fTPM)支持,通过强大的设备验证和安全存储保存证书和密钥,从而在无需额外分立 TPM 硬件的情况下实现了边缘到云的安全。

其他重要功能包括 AI 计算堆栈更新、带安全启动的空中下载(OTA)支持以及多媒体和网络方面的改进。

本文将讨论改进后的摄像头堆栈和新的 fTPM 功能。

打开网易新闻 查看精彩图片

图 1. JetPack 6.1 的新功能

  • 摄像头堆栈增强:增强后的 Argus 库通过切换到更加高效、基于 Tegra 硬件的同步方法,最多将使用 Argus 库的摄像头的 CPU 占用率降低 40%。

  • 更高的安全性:JetPack 6.1 开始支持基于固件的可信平台模块(fTPM),通过安全启动、加密密钥管理和平台完整性提高了安全性,而且由于无需额外的硬件,因此降低了成本和空间需求。

  • 堆栈升级:JetPack 6.1 包含经过升级的最新计算堆栈,同时可与 JetPack 6.0 BSP 一起使用。

  • CUDA 12.6
  • TensorRT 10.3
  • cuDNN 9.3
  • VPI 3.2
  • DLA 3.1
  • DLFW 24.0

  • OTA 改进:启用了 UEFI 安全启动功能的 NVIDIA Jetson 设备提供基于映像的 OTA 支持。

摄像头堆栈增强

JetPack 摄像头堆栈提供的完整软件和驱动程序解决方案为 NVIDIA Jetson 平台上的摄像头提供了强大的支持。它集成了底层驱动程序、多媒体 API 和先进的图像处理工具,可实现高效的视频捕捉、处理和流式传输。该堆栈还支持 MIPI CSI、USB、以太网等各种摄像头接口,可充分利用 NVIDIA 硬件加速器完成缩放、降噪、编码等任务。

基于 NVIDIA Camera Core 构建的 Argus Camera API 提供了一个易于访问的接口,在实现先进图像捕捉、传感器控制和视频处理的同时,确保了高性能和定制化。这使其成为计算机视觉和 AI 应用的理想选择。

JetPack 6.1 引入了更加高效的 Argus Camera API 实现,通过 Argus 将 CSI 摄像头捕捉功能的 CPU 占用率降低高达了 40%。这一优化极大地释放了处理能力,令使用 CSI 摄像头的应用能够执行更多任务并提高了整体性能。

图 2 显示了在同时使用 12 台 CSI 摄像头时,JetPack 6.1 中的增强 Argus API 实现较 JetPack 6.0 中默认 Argus API 实现的 CPU 性能提升情况。此次比较使用基于 AR0234 和双 IMX274 的摄像头在 1920x1200p 30 fps 的设置下进行验证。

打开网易新闻 查看精彩图片

图 2. JetPack 6.1 中的摄像头堆栈 CPU 利用率

这一摄像头堆栈更新还包含多项稳定性和图像质量改进措施。

引入基于固件的可信平台模块

JetPack 通过在每个新版本中集成先进的功能不断提高安全性,为整个 NVIDIA Jetson 平台提供了强大的保护。

基础安全功能有助于为基于 Jetson 的应用提供强大而全面的安全框架,从而抵御各种威胁并确保敏感数据的机密性、完整性与保护。这些功能包括:

  • 硬件信任根(RoT)
  • 安全启动
  • 可信执行环境
  • 磁盘加密
  • 内存加密
  • 回滚保护
  • 物理攻击保护

JetPack 6.1 通过引入基于固件的可信平台模块(fTPM)提高 JetPack 平台的安全性。fTPM 是一种基于软件的 TPM 标准实现方式。

fTPM 具有诸多优势,例如无需额外硬件即可实现安全密钥管理等,在简化系统设计的同时降低了成本。它支持可信启动和远程验证,确保了设备的完整性和防篡改能力,并通过保障加密操作的安全加强了数据保护,实现了安全通信。

fTPM 为 Jetson 用户提供以下主要优势:

  • 更强大的安全性:fTPM 功能通过在可信执行环境(TEE)中创建专用的隔离环境,大大加强了加密操作的安全性,确保密钥生成、加密等敏感流程免受外部篡改或恶意软件攻击。

  • 数据保护:fTPM 能够安全地存储加密密钥、数字证书、密码等关键信息,防止非授权访问。这确保了敏感数据的机密性,并且只允许授权组件进行访问。

  • 验证:fTPM 可提供加密证明,使系统能够向外部实体证明硬件和软件的完整性与安全性。凭借该验证功能,第三方(如远程服务器或其他设备)能够验证并信任系统的当前状态。

通过使用 fTPM,Jetson Orin 设备加强了对非授权访问和篡改的防护,使其在 AI、机器人和边缘计算应用中变得更加安全。

更多信息,请参阅基于 Jetson 固件的 TPM

https://docs.nvidia.com/jetson/archives/r36.4/DeveloperGuide/SD/Security/FirmwareTPM.html

发行版合作伙伴

NVIDIA Linux 发行版合作伙伴在支持 Jetson 上的产品方面也取得了重大进展。以下是一些值得关注的更新:

  • Canonical 现在拥有了一个经过全面认证的 Ubuntu 环境,可为 Jetson Orin 模块提供现成的长期支持。

  • Jetson Orin 上带有 Red Hat Enterprise Linux 9.4 的 Red Hat Device Edge 现在处于技术预览阶段。

  • Wind River Linux 目前正在驱动基于 Jetson Orin 的机器人和自主化产品。

RedHawk Linux 也在为各行各业的关键任务应用提供支持,meta-tegra 社区则在协助基于Jetson 的产品使用 Yocto 方面发挥了重要的作用。NVIDIA 与 Linux 发行版合作伙伴的合作正日益深入,这使我们能够提供适合各种开发和部署需求的 Linux 发行版选择。

JetPack 分支路线图

一个 JetPack 分支通常会保持两年左右的活跃状态,在此期间会定期接受更新,包括新功能、CVE 修复和 PCN 新增内容。过了这段时间,分支就会过渡到持续状态。在持续状态下,它将继续接收 CVE 修复和 PCN 更新,但不再加入新功能。

JetPack 6.1 是 JetPack 6 系列的最后一个活跃版本。之后,JetPack 6 分支将过渡到持续支持阶段并继续接收 CVE 修复和 PCN 更新。图 3 显示了 JetPack 5 和 JetPack 6 的生命周期。

打开网易新闻 查看精彩图片

图 3. JetPack 5 和 JetPack 6 的 JetPack 分支路线图

Jetson 模块产品生命周期更新

由于对 Jetson Xavier 和 Jetson Orin 产品系列的需求不断增加,NVIDIA 延长了以下产品的生命周期:

  • NVIDIA Jetson Xavier NX 16GB 模块将从最初计划的 2026 年第一季度延长至 2028 年第一季度。

  • 所有 NVIDIA Jetson Orin 商用模块(包括 AGX Orin、Orin NX 和 Orin Nano 产品)的生命周期将从最初计划的 2030 年第一季度延长至 2032 年第一季度。

更多信息,请参阅 Jetson 产品生命周期

https://developer.nvidia.com/embedded/lifecycle

总结

NVIDIA JetPack 6.1 为使用 Jetson Orin 平台的开发者提供了实质性的增强功能。该版本的一个主要特点是升级了摄像头堆栈,使基于摄像头的 AI 应用性能最多提升了 40%。而引入基于固件的 TPM 则增强了安全性和设备验证功能,从而提高了部署的安全性。除此之外,该版本还加入了其他一些小的改进。

Jetson Orin 用户现在可以升级到 JetPack 6.1,充分利用这些进步并为 AI 和机器人技术领域带来新的可能性。

想要了解更多信息,请参阅以下资源:

  • JetPack SDK:

https://developer.nvidia.com/embedded/jetpack

  • JetPack 6.1版本说明:

https://docs.nvidia.com/jetson/jetpack/release-notes/index.html

  • 如何安装和设置 JetPack SDK:

https://docs.nvidia.com/jetson/jetpack/install-setup/index.html