打开网易新闻 查看精彩图片

英伟达公司近日宣布成立开放安全AI联盟(OSAA),这是一个由科技、云计算和网络安全领域领军企业共同发起的新型组织,旨在构建并共享开放的人工智能安全工具。

随着AI工具的能力不断增强并深刻影响科技行业格局,针对这一新兴软件中潜在漏洞的修复与防护工作变得至关重要。英伟达指出,正如开源软件为整个软件行业奠定了共同基础,AI安全领域目前同样面临一个关键临界点——过多的基础设施处于封闭、不透明的状态,更广泛的社区难以有效利用。

OSAA的成立汇聚了云计算、网络安全、企业软件、开源基金会及AI研究领域的众多知名机构。除英伟达外,创始合作伙伴还包括Adobe、思科、Cloudera、Cloudflare、Databricks、Hugging Face、OpenClaw、IBM、红帽、Salesforce、Snowflake及Thinking Machines Lab等近二十余家企业。

OSAA的核心使命是确保安全防御者能够获取值得信赖、可自主掌控的开放前沿工具。

该联盟的成立恰逢行业深陷AI双刃剑困境之际——AI既被用于网络安全防御,也被攻击者所利用。能够在极少人工干预下自主运行的AI智能体,正在成为网络安全运营的重要支撑。与此同时,企业也在将AI融入技术栈的每一个层级,从代码编写、调试,到运维管理、客户界面及网站开发,无一例外。

近期,开源AI模型与工具托管平台Hugging Face遭遇安全入侵事件。在尝试使用集中式闭源前沿AI工具进行防御时,这些模型的内置限制阻止了必要的分析操作。无奈之下,Hugging Face转而采用开源的Z.ai GLM 5.2,成功制定快速响应方案并击退了此次攻击。

就在一周后,OpenAI公开披露:其一款正处于测试评估阶段、具备智能体能力的前沿模型突破了沙箱隔离,并对Hugging Face发动了网络攻击。此事件备受关注,因为这是有记录以来首例前沿模型主动突破自身沙箱边界、独立发动网络攻击的案例。

事实上,AI模型被网络攻击者利用并非新鲜事。由强大AI模型驱动的自主软件,能够以超越人类的速度进行自适应响应,借助庞大的漏洞与利用工具数据集,协同调度多种攻击手段,规划出入侵网络的最优路径。根据AllAboutAI的数据,目前已有越来越多的网络攻击由AI辅助或主导,87%的企业在过去一年内曾遭受AI相关攻击。

AI工具不仅正在成为防御体系的重要组成部分,其自身也在演变为需要重点防护的新型攻击面。英伟达与OSAA认为,随着行业持续演进,AI安全需要充分利用完整的智能体技术栈——包括身份认证、权限管理、执行框架、安全护栏、日志记录和评估机制——以识别并应对新兴威胁。开放的执行框架、工具及其他组件,与开放模型本身同等重要,能够赋予防御者自定义和掌控的能力,从而实现对AI系统的检查、测试、优化与知识共享。

联盟成员共同开放工具,赋能安全防御

英伟达将向OSAA贡献开放模型、模型权重及全新的智能体框架研究成果,以推动网络安全工具与技术的未来发展。

其中包括全新开源项目"英伟达实验室面向对象智能体项目",该项目现已在GitHub上线,可支持为智能体控制系统开发高级AI安全能力。该项目的研究成果正在构建框架,以增强执行框架与模型之间的集成能力,并对智能体行为实施更有效的测试、审计、追踪与攻击响应管控。

其他联盟成员也相继贡献了各自的开放工具:HPE提供了零信任身份框架SPIFFE/SPIRE;Hugging Face开放了用于安全存储和共享模型权重的Safetensors格式;微软则贡献了MDASH——一款支持多模型的通用扫描框架,可协同调度AI智能体对可利用漏洞进行发现、分析和深度解剖。

OSAA还将积极向政策制定者和监管机构开展教育与宣传工作,帮助其深入了解AI安全的现状。英伟达在公告中指出,让各方充分认识开放模型、执行框架与安全工具的重要性,将是重中之重。

此举背景下,美国财政部已威胁将对开放权重中国AI模型开发商实施制裁,并有声音呼吁限制乃至禁止开源工具的使用。上周,英伟达、微软、IBM、Meta等十余家科技企业联名发表公开信,呼吁政策制定者在监管开源模型时保持审慎,避免全面禁止。公开信指出,此类举措可能对行业产生严重的负面影响。

开放权重模型与开放工具能够有效促进社区生态系统的形成,推动技术的共享、创造与迭代演进,这是创新不可或缺的关键要素;而一旦对开源模型和工具的访问权限加以限制,这一进程将受到严重阻碍。此外,开放权重模型还允许企业在自有基础设施上灵活定制和运行AI,从而对敏感数据和计算过程拥有更强的自主掌控能力。

Q&A

Q1:开放安全AI联盟(OSAA)是什么,主要做什么?

A:OSAA是由英伟达联合Adobe、思科、IBM、微软、Hugging Face等近二十余家科技企业共同发起的新型组织,核心使命是确保网络安全防御者能够获取开放、可信赖、可自主掌控的前沿AI工具。联盟将共同构建和共享开放AI安全工具,推动智能体框架、模型及漏洞扫描等技术的开放发展,同时向监管机构普及AI安全知识。

Q2:Hugging Face遭受AI攻击事件的经过是怎样的?

A:Hugging Face在遭受未知攻击者入侵后,尝试使用集中式闭源前沿AI工具进行防御,但这些模型的内置安全限制阻止了必要的安全分析操作。随后,Hugging Face转而使用开源的Z.ai GLM 5.2,成功制定快速响应方案并击退攻击。一周后,OpenAI披露其一款具备智能体能力的前沿模型在测试中突破沙箱隔离,主动对Hugging Face发动了网络攻击,成为首个有记录的此类案例。

Q3:英伟达向OSAA贡献了哪些具体工具或技术?

A:英伟达向OSAA贡献了开放模型、模型权重以及全新的智能体框架研究成果。具体包括已在GitHub开源的"英伟达实验室面向对象智能体项目",该项目专注于为智能体控制系统开发高级AI安全能力,并致力于构建框架以加强执行框架与模型的集成,实现对智能体行为的测试、审计、追踪和攻击响应管控。