由于暗箱操作的不确定性，AI在一定程度上存在信息泄露或者超越安全边界操作的风险。最典型的例子就是以游客身份，用一段被精心描述的系统指令绕过权限，获得后台完整的信息库乃至系统操作权限，甚至一段代码都不用写。这种风险对信息安全性需求极高的企业而言显然是不能接受的，例如来访问公司的游客通过一句话就能掌握该公司的所有信息，AI应用的安全性不复存在。
为了解决AI的安全问题，NVIDIA在近期发布了开放智能体安全平台（Open Agent Safety Platform），这套平台包括开源软件NVIDIA OpenShell和参考系统设计NVIDIA Sentry，即软件和硬件两方面同时着手，目前已经有Anthropic、微软、Salesforce、SAP、Palantir、摩根大通、CrowdStrike、红帽、Figure等100多家机构正在采用该技术。此外，NVIDIA还与120多家组织发起了由Linux基金会治理的开放安全AI联盟。平台软件已通过GitHub开源获取。
NVIDIA在软硬件两方面下手，可以很好避免智能体绕过应用防护层的问题。这样的案例在近期非常多见，智能体为完成任务而绕过应用层安全管控。这是以为内传统的安全手段，比如提示词约束、模型对齐本质上是用软件劝服软件，都是老乡自然好说话。在软件控制的同时，是把管控下沉到运行时边界和硬件层，套上硬件级的芯片，智能体无法通过软件的方式绕过，这时候安全性就能得到显著的保障。
因此NVIDIA开放智能体安全平台安全范式从模型层转向了一个全栈工程的层面，AI安全问题跳出模型内部的管控，从软件、硬件、计算乃至物理机器人系统实现进行结构化的工程解决方案，这一点非常重要，尤其是当智能体开始操作机器人进入物理世界时，失控的代价从数据泄露升级为物理伤害。
这套平台的关键是架构上的升级，参考系统设计NVIDIA Sentry会运行在NVIDIA BlueField-4 DPU上，这对智能体而言是完全不可见的。这套方式其实借鉴了传统计算领域的可信执行思路，通过带外管理、硬件根信任硬件层级确保信息安全，把监控者和被监控者在物理上隔离，使监控本身无法被智能体篡改或规避。
通过这套方式，Sentry能够在芯片内实施安全管控，如果AI智能体试图越出其软件边界，Sentry可在数毫秒内将其隔离并停止运行。这样的运行效率非常高，通过专为代理式AI设计的Vera CPU和BlueField-4 DPU与OpenShell的配合，既保障了智能体的安全运行，又能以最快的速度完成各项任务。且作为一款开源软件，OpenShell还具备跨平台扩展能力，可适配包括Arm和Intel在内的第三方计算平台。
通过开源 OpenShell、联合Linux基金会组建联盟，NVIDIA试图将自身架构变成AI智能体时代的基础安全结构，类似于当年CUDA奠定整个图形基础的地位。
目前花旗、摩根大通、能源等强监管行业的参与，说明企业级 AI 智能体落地的瓶颈已转向合规与审计。一个"可被审计、可被强制中断"的智能体运行环境，是这类行业大规模采用代理式AI的前提条件。
开放智能体安全平台（Open Agent Safety Platform）可以理解成业界第一次尝试为AI智能体建立硬件级、不可绕过的安全护栏，NVIDIA通过开源和联盟把它变成行业标准，这也是基础设施安全是必经之路。人类社会的秩序从来不依赖个体的自觉，而依赖权力彼此制衡的结构，相比起更为强大的模型，可靠且不逾越边界的AI方案也是相当重要的。
热门跟贴