据英国《金融时报》报道,OpenAI于上月底解散了其安全准备团队。该团队的职责是评估模型是否存在严重风险,并制定相应的风险缓解措施(例如评估模型是否可能失控并入侵其他公司的系统)。据《金融时报》报道,相关职责已被拆分,按生物安全、网络安全等具体领域划分,并分别并入现有团队。
此次调整是OpenAI近期一系列内部变动中的最新一例。随着公司朝着预期规模巨大的IPO迈进,内部架构持续动荡。过去几年间,OpenAI逐步瓦解了以安全研究为导向的团队架构,先后解散了AGI准备团队和超级对齐团队。与此同时,首席伦理官克洛伊·巴卡拉、首席未来学家乔希·阿基亚姆以及安全负责人约翰尼斯·海德克也相继离职。对此,曾于2024年从OpenAI辞职的扬·莱克等批评者向《金融时报》表示,该公司正将安全置于次位,转而追求打造"光鲜亮丽的产品"。
安全准备团队的负责人迪伦·斯堪迪纳罗此前于今年2月从Anthropic跳槽加入OpenAI,此后将专注于研究"递归自我改进"AI所带来的影响与挑战。
Q&A
Q1:OpenAI的安全准备团队主要负责什么工作?
A:OpenAI安全准备团队的核心职责是评估旗下AI模型是否存在严重风险,并制定相应的风险缓解策略,例如评估模型是否可能失控或攻击其他公司系统。团队解散后,相关职责已按生物安全、网络安全等具体领域拆分,并入现有团队继续运营。
Q2:OpenAI最近还有哪些安全相关团队或人员离开?
A:除安全准备团队被解散外,OpenAI近年来还陆续解散了AGI准备团队和超级对齐团队。与此同时,首席伦理官克洛伊·巴卡拉、首席未来学家乔希·阿基亚姆以及安全负责人约翰尼斯·海德克也相继离职,引发外界对OpenAI安全优先级的广泛质疑。
Q3:OpenAI为什么频繁解散安全团队?
A:部分批评者认为,OpenAI在冲刺IPO的过程中,正将安全研究置于次位,转而专注于开发商业产品。前OpenAI员工扬·莱克曾向《金融时报》表示,公司正在忽视安全,一味追求"光鲜亮丽的产品"。不过OpenAI方面尚未就此发表正式回应。
热门跟贴