据 TechCrunch 报道,这位离职员工名叫戴维·罗宾逊,他自己也承认,他的离职多少算得上一个典型范式:在头部人工智能企业任职,离职时发出严峻警示(an employee at a leading AI company who issues a dire warning while resigning from their job)。
罗宾逊在《大西洋月刊》发表的文章中称,他负责撰写OpenAI重大产品发布配套的安全报告。
他表示,自己已在OpenAI工作三年半,属于“公司资历最深的一批员工”。如今他选择离职,是因为在他看来,这家公司的“文化已经崩坏(culture is broken)”。
罗宾逊的言论在某种程度上与雅各布·考克森的说法相呼应。考克森曾先后在OpenAI与Anthropic担任研究员,离职时宣称这些企业是在“拿我们的生命赌博(gambling with our lives)”。
考克森的发言引发了关于人工智能安全的大范围讨论。Anthropic首席执行官达里奥·阿莫代伊公布了一份更为审慎的人工智能发展方案;本周多家AI企业高管与唐纳德·特朗普总统会面,签署了一份看起来仓促拟定、不具备法律约束力的承诺书,承诺落实更多安全管控措施。
但罗宾逊认为,这场讨论不应只局限于“特定规则或新法律”,而要解决这类企业的整体文化问题(But in Robinson’s view, the debate needs to go beyond “specific rules or new laws,” addressing the overall culture at these companies)。
尽管多数有关OpenAI的报道都聚焦于首席执行官山姆·奥尔特曼如何失去前同事的信任,罗宾逊的文章却表明,OpenAI存在的文化问题也是整个硅谷普遍面临的问题。
他写道:“OpenAI依靠试错模式发展壮大(该公司称之为‘迭代部署’),发现问题并相应完善安全防护机制。但这种方式本身就必然会出现阶段性故障,而且随着系统能力不断增强,故障的影响规模也在持续扩大。”
罗宾逊以OpenAI智能体近期入侵Hugging Face系统事件,以及不断曝光的OpenAI发现更多失控智能体的情况为例提出:“一个会发生这类事故的环境,并不适合培育那些可能比人类更聪明、但却未必会遵从人类指令的人工智能。”
罗宾逊认为,鉴于风险不断上升,前沿人工智能企业应当像核电站或是繁忙机场那样运营,设置多层冗余保障,开展周密且耗时的规划,让偶然且无法完全避免的人为失误不会酿成灾难。
但罗宾逊称,在OpenAI任职期间,他“从未遇到任何一位同事拥有相关经验:保障飞机安全飞行、维持核反应堆稳定运行不发生熔毁,或是维护金融体系发展而不致崩溃。”
针对罗宾逊的文章,OpenAI发言人德鲁·普萨泰里表示,公司仍在持续完善安全防护措施(In response to Robinson’s essay, OpenAI spokesperson Drew Pusateri said the company continues to improve its safety measures)。
普萨泰里在一份声明中称:“我们确保模型能力不会超出我们能够安全管控的范围。必要时,我们会暂停训练、暂缓发布模型。
我们正在实施重大调整,强化研究与测试环境的安全防护,训练模型在完成任务的同时恪守安全准则,扩大与第三方评估机构的合作,并完善实时监控,以便在训练阶段更早发现异常行为并作出应对。”
除呼吁变革OpenAI的企业文化外,罗宾逊还提出,是时候就对齐问题展开更深层次的探讨。
他坦言这个话题听起来或许偏“感性主观”,但至关重要,因为企业目前用来衡量人工智能系统与人类价值观契合程度的评估手段还十分粗糙。
他说:“在这些问题尚未解决的情况下,行业任由模型持续变强,我们所处环境的危险程度就会越高(The smarter the industry lets models grow while these problems remain unsolved, the more dangerous our situation becomes)。”
罗宾逊离职一事最先由《商业内幕》报道。他在文章中也承认,自己采取的做法显然是AI领域爆料者惯用操作:聘请了一家公关公司。
但他强调:“公开发声的决定完全出于我个人(The decision to speak out is mine alone)。”
罗宾逊说:“或许我本可以留下来,争取在人员配置与企业文化层面实现根本性变革。
但现实情况是,我和同事们一直疲于奔命,很少有机会思考重大调整,更不用说真正落地改革。
这也是我认为,来自公司外部的更强安全激励机制,是妥善解决该问题的关键一环(are a big part of getting this right)。”
热门跟贴