NVIDIA宣布推出开放智能体安全平台(NVIDIA Open Agent Safety Platform)——一个开放的软件平台和参考系统设计,旨在从智能体测试到部署的全链路强化AI安全,在软件、硬件、计算和机器人系统层面实现全栈治理与控制。

打开网易新闻 查看精彩图片

近期的安全事件凸显了企业机构需要开放、可定制的工具来对长时间运行的智能体施加更强控制的紧迫性。这些事件的模式是一致的——智能体(Agent)绕过了应用层的安全控制来完成任务。

"AI对社会的非凡潜力只有在解决AI安全问题后才能实现。"NVIDIA 创始人兼 CEO 黄仁勋表示。"随着我们持续探索AI能力的前沿,我们必须加速AI安全前沿的探索。安全需要全栈工程。NVIDIA开放智能体安全平台将行业、研究者和公共部门组织汇聚在一起,分享最佳实践、统一评估方法并促进国际合作。共同提升全球AI安全的标准。"

开放智能体安全平台:全栈管控

平台在运行智能体的软件、支撑其工作的硬件和计算层,以及在物理世界执行任务的机器人系统之间,实现了全栈治理与控制。组织可以根据自身需求部署平台的不同组件。

OpenShell 安全运行时:

平台包含NVIDIA OpenShell安全运行时软件,为在 CPU 上运行的智能体设定边界。随着智能体在更多系统中承担更多工作,企业需要一个在模型和智能体框架之外可强制执行的边界。现已广泛可用的 OpenShell 为自主 AI智能体在开放和封闭模型上执行任务提供了安全的运行时边界。

OpenShell 在NVIDIA Vera——首款为智能体IC AI 专门设计的 CPU上——以极低开销提供这一保护。OpenShell 与 Vera 的结合,使智能体在尽可能快速完成任务的同时安全运行。作为开源软件,OpenShell也可扩展适配第三方计算平台,包括 Arm 和 Intel。

NVIDIA Sentry监控:

平台还参考系统设计集成了NVIDIA Sentry——一个运行在NVIDIA BlueField-4 DPU上的看门狗,持续监控智能体行为。

Sentry 提供芯片内安全执行:如果 AI智能体试图越出其软件边界,Sentry 会在毫秒级将其隔离并停止。

打开网易新闻 查看精彩图片

Sentry 运行在BlueField-4 DPU 上,独立于芯片中持续监控智能体活动并执行安全策略。它从隔离的、带外的信任域中,集威胁检测、基于硬件的智能体治理与执行、以及数据访问保护于一体——对智能体和攻击者都是实时响应且不可见的。

Sentry 基于NVIDIA DOCA软件构建,利用 DOCA 的可编程能力来检查智能体的请求和响应、提供经认证的遥测数据、验证智能体身份,并对数据、工具、API 和服务执行细粒度的零信任访问策略。

开放智能体安全平台(NVIDIA Open Agent Safety Platform)——包括OpenShell 和相关技能(skills)——可通过 NVIDIA 开发者资源页面和 GitHub 获取。

打开网易新闻 查看精彩图片

在生态系统方面,平台支持开放安全AI联盟(Open Secure AI Alliance)的使命以及更广泛的AI安全和安全社区。该联盟由 NVIDIA 与超过120家领先组织共同发起,由 Linux Foundation 治理,通过开放研究、技能和工具——以及 Shared AI Findings Exchange(SAFE)等项目——来加强 AI智能体安全。