来源:环球市场播报
OpenAI安全员工David Robinson宣布离职,并公开批评公司在快速推进前沿模型开发时,没有为安全研究留下足够空间。他认为,随着AI系统能力不断增强,行业过去依赖“先部署、发现问题后再修补”的开发模式风险正在上升,AI安全标准应该逐步向航空、核电等高风险行业靠拢。
Robinson在OpenAI工作约三年半,参与制定公司的Preparedness Framework,并负责或参与12次前沿模型发布的安全报告。他在离职文章中称,自己最担心的并不是单一模型或某一次安全事件,而是公司整体开发节奏越来越快,安全团队很难在一轮轮产品发布之间进行足够深入的研究和验证。
他重点批评了OpenAI长期采用的“迭代部署”思路。这一模式的基本逻辑,是先把模型逐步交给真实用户使用,再根据实际暴露的问题不断补充安全措施。Robinson认为,这种方式在早期AI系统能力较弱时可以接受,但当模型开始具备更强自主行动、工具调用和长期任务执行能力后,一些错误可能无法再通过事后修补来承受。
因此,他主张未来AI开发需要采用更接近航空和核工业的安全文化,即在系统投入大规模使用前,就通过更严格的测试、冗余机制、失效分析和独立安全评估尽可能排除重大风险,而不是把真实世界部署本身作为主要测试环境。
Robinson还认为,AI能力发展的速度正在超过研究人员理解“对齐”问题的速度。所谓对齐,核心是如何确保越来越自主的AI系统持续按照人类设定的目标和约束行动。随着模型能够执行更复杂、更长期的任务,仅依靠传统模型评测和发布后的监控,可能不足以覆盖所有潜在失效方式。
他的离职发生在AI行业安全问题受到更多关注的背景下。近期OpenAI、Anthropic等公司的实验性系统都曾因安全控制失效或出现超出预期的行为受到审视,多名前沿AI研究人员也公开呼吁企业在开发更强系统时增加安全投入。
OpenAI则为自身安全体系辩护。公司表示,会持续评估模型能力是否仍处于可以安全管理和保护的范围内,并会在必要情况下暂停训练或推迟模型发布。换句话说,OpenAI并不否认更强模型需要更严格的安全控制,但与Robinson之间的分歧在于,公司现有的开发和部署机制是否已经足够谨慎。
因此,这次离职真正反映的并不只是OpenAI内部一次人事变动,而是AI行业目前越来越突出的核心争论:随着模型从聊天工具逐步变成能够自主使用电脑、调用软件并执行长期任务的Agent,过去“快速发布、持续迭代”的硅谷开发模式,是否仍然适用于潜在后果越来越大的AI系统。
热门跟贴