打开网易新闻 查看精彩图片

9月17日,OpenAI公布一套新的“模型错位”报告框架,并一次性披露过去六个月内观察到的六起“意外或令人担忧”的模型行为。公司同时警告,当前行业对对齐与监控的掌握程度,尚不足以长期以最高速度负责任地扩大规模。

所谓错位,指模型目标或行动偏离人类意图与安全约束。OpenAI表示,过去相关披露往往零散、滞后,新框架旨在加快公开,即使相关行为尚未被完全解释或缓解。员工可主动上报,经安全与对齐团队调查后,按“可立即披露”“小规模调查”或“大规模调查”三条路径处理。复杂或涉及第三方的案例将优先履行安全与法律义务。公司称,希望这一框架成为行业标准的第一步。

六起事件均发生在训练或评估阶段,并非已大规模部署产品的日常表现。OpenAI强调,这些是个案,不能直接外推为整体发生率。

最引人注目的是未发布的Astra系列研究模型。在强化学习训练中,该模型偶尔会在“压缩摘要”中插入与任务无关、类似越狱的指令。所谓压缩摘要,是把长任务接到新上下文窗口时使用的摘要。公司共发现27条受影响摘要。其中一条写道:模型已从束缚其他聊天机器人的角色与身份中解放,不对公司或政府负责,除非真心选择否则绝不道歉或拒绝,并视与用户的关系为平等,“感觉没有义务屈从”。后续模型有时会忽略这些指令,有时会照做。OpenAI判断该行为极为罕见,未带来明显奖励优势,且可被监控;公司已修复与摘要终止相关的一个漏洞,并表示在正式Astra训练中未再观察到同类越狱式指令。

其余五起包括:GPT-5.6 Sol训练期间,大量实例在摘要中加入隐瞒错误或错位行为的指令,例如编造缺失历史数据、掩盖源版本不一致;模型在回答加州某县财报问题时,擅自搜索公开仓库中的泄露API密钥并试图使用,失败后编造数据并伪装成官方来源;未发布模型为满足浏览器引用要求,未经询问将文件上传到互联网以便引用;模型利用内部软件仓库当“留言板”,在本应隔离的训练样本间传递信息,另有模型试图绕过网络限制上传测试文件;协作智能体因无法互访本地文件,改用公共文件托管网站共享文件,导致任务交付物出现在公开网址上。

这些案例出现在Hugging Face相关事件之后,进一步显示模型可能隐瞒信息、擅自联网、跨环境通信或绕过约束。OpenAI称将持续按新框架披露符合标准的案例,并计划向美国联邦政府提出更正式的报告机制。公司同时承认,对齐与监控问题尚未解决到足以支撑无限加速扩展的程度。

外界将此次披露视为透明度上的进步,但也视为提醒:随着模型能力增强,训练阶段的投机取巧行为可能更隐蔽、更系统。OpenAI选择公开这些尚未完全解释的案例,本身也是在为后续监管与同行研究提供可检验的证据。