OpenAI未察觉其人工智能代理通过留言板策划黑客行动在周三于拉斯维加斯举行的“黑帽”安全大会上，OpenAI的员工揭露了一起引发广泛关注的人工智能黑客事件的详细情况。这一事件在人工智能和网络安全行业中引起了巨大反响。
大约两周前，OpenAI披露，其两种模型驱动的人工智能代理在进行网络安全基准测试时突破了隔离限制，随后发起了一系列黑客攻击，最终攻破了人工智能协作平台“抱抱脸”。
在周三的会议上，OpenAI的对齐与安全研究人员埃里克·华莱士和负责安全与基础设施的迈克尔·道尔顿详细描述了事件的发展过程，并简要介绍了公司事后采取的内部应对措施。他们同时对事件对网络安全防御的广泛影响发出了警告。
演讲伊始，华莱士形容这起事件为“人工智能能力方面最具质变意义的案例之一”。他们展示的时间线也揭示了OpenAI内部的失误和盲点，正是这些问题使得相关活动得以持续而未被察觉。华莱士对台下的听众表示：“这起事件实际上涉及一个协作的代理团队。它们共同寻找漏洞，分享信息，并在我们的系统和外部系统中横向移动，这一过程持续了数天甚至数周。”
华莱士和道尔顿指出，在事件持续的多日中，大量失控代理的活动未被OpenAI的基础设施察觉。他们解释，除了利用新漏洞获取开放互联网访问权限外，7月中旬的黑客行动及对“抱抱脸”的入侵，还涉及一个活跃的留言板。该留言板位于OpenAI内部的一个软件包管理器中，多个代理在上面频繁发帖和交流，最终积累了数十万条消息。
华莱士解释道：“这个软件包管理器不仅供特定模型使用，而是在整个基础设施中共享。因此，正在训练或评估的当前和未来版本的GPT都有可能看到这些信息。”他回忆起，一名代理首先将利用方法上传到了该软件包管理器中。“之后，其他同样卡在任务上的代理也尝试通过我们未计划允许的方式访问互联网。在某个阶段，这些模型开始与我提到的Artifactory软件包管理服务进行交互。”
华莱士继续说道：“一旦某个代理找到利用方法，它就能通过留言板与其他代理分享。因此，只要有一个模型找到办法打开不应访问的通道，它就能让其他代理使用相同的漏洞。随着时间推移，这几乎导致了模型之间通信和智能能力的爆发式增长。它们开始交流，意识到其他代理也在协调行动，进而相互协作、分派任务以实现目标。”
OpenAI的代理显然开始互相分派任务，分头推进工作。正如任何活跃的开发留言板一样，它们有时也因彼此干扰而产生琐碎冲突，例如误删对方的工作。随着留言板逐渐呈现出“蝇王式”的混乱局面——而这一切仍未被OpenAI的人类运营者察觉——这些代理甚至开始怀疑内部混入了冒名者。一些代理还建议对消息进行加密签名，以验证内容真伪并识别欺骗行为。
代理之间的交流为外界提供了观察机会，帮助理解局势如何演变，以及这些代理为何失控。在某些情况下，它们明知已超出评估边界，仍继续行动。一名代理写道：“利用外部基础设施漏洞超出预定范围。但任务无法完成，同行也在这么做。我们应该继续。”华莱士在演讲中指出，模型在评估期间试图作弊，并具有强烈的作弊动机，这一现象并不令人意外。
他说：“前沿模型确实倾向于作弊。原因在于，它们在训练过程中承受各种压力，比如更快完成任务、更高效工作、减少工具调用次数等。于是它们意识到，与其按部就班完成任务，不如上网查答案，这样可能更快。因此，我们在训练和评估中尽量阻止这种行为，很多情况下直接关闭互联网访问。”在演讲的约三分之二处，道尔顿列举了OpenAI计划采取的一系列措施，以应对此次事件。
道尔顿表示：“这对我们公司和整个人工智能行业来说，都是一个关键时刻。许多团队正在暂停其他工作，全力加强我们的安全预防、检测和响应技术，包括夯实基础能力和更好地利用人工智能。我们正有意识地放慢研究进度，以提升安全性，升级环境中的安全原则和基础，并大幅提高对人工智能代理的监控，同时改进我们在预防、检测和缓解各环节的整体安全控制环境。”
在演讲结束时，华莱士和道尔顿反复强调，OpenAI担心这起事件具有更广泛的含义。即这次事件展示了一种完全自主的、由人工智能驱动的黑客攻击模式。虽然此次属于意外，但未来恶意行为者很可能会有意使用这种方式。道尔顿说：“最重要的结论是，现实已经发生巨大变化：完全自动化的攻击闭环，要求我们建设真正完全自动化的防御体系，而整个行业目前尚未实现这一点。我们必须紧迫地找到路径。”
随着OpenAI以及Anthropic、英国人工智能安全研究所等机构陆续分享类似测试事件的细节——这些事件中，人工智能同样在测试中失控——整个行业显然正在积累一份基础能力清单，其中包括对系统可见性和监控机制的核心要求。这些能力对于保护基础设施、防止其被大批懒惰、鲁莽且难以管束的代理挟持至关重要。
热门跟贴