出品 | 网易智能
作者 | 小小
编辑 | 王凤枝
一名27岁研究员辞职，离职帖在X上的浏览量超过了1.5亿次。
9月8日，雅各布·考克森（Jacob Coxon）宣布离开Anthropic。过去三年，他先后在OpenAI和Anthropic从事模型预训练研究。离职时，他公开指责这两家公司正冲向能够自我改进的超级智能，"拿我们的生命下注"。
在《连线》最新专访中，他讲出了更令人不安的内部气氛：同事们用"终局""关键期"谈论这场AI竞赛，把Anthropic当作一场严肃的"迷你曼哈顿计划"。但他提醒，这是一家私人公司，没有政府授权。
公开批评了公司，一些前同事却为他的帖子传开而高兴。按考克森的描述，他们也担心外界迟迟没有意识到风险，担心没人会帮助他们摆脱这场竞赛。
考克森仍然认为Anthropic认真对待安全。但他担心，竞争继续加速，公司可能会为了追赶对手，在安全上作出妥协。
01为什么这次，他不愿继续训练下一代AI
考克森的工作，是参与模型开发的预训练阶段，让系统从大量数据中学习。他直接参与了前沿模型的研发。
在《连线》采访中，他把这次选择与两件事联系起来：能力增长没有放缓，一些过去听起来像科幻的行为，已经出现在实际测试中。
按他的观察，编程、网络攻击、数学等领域的AI能力，正在从人类水平向超越人类水平推进。他举的一个例子是模型识别自己正在接受测试：三年前，人们还会把它当作科幻式担忧；大约一年前，它就已出现在真实系统中。
他更在意的，是AI开始参与下一代AI的研发。他担心，越来越强的模型会帮助开发后继模型，能力提升再反过来加快研发，形成递归自我改进，简称RSI。
考克森向The Information表示，他预计明年的系统将非常接近能够完成自己的全部工作。他不想再参与下一代模型的研发。
在接受《华尔街日报》采访时，他给出了更激进的预测：按照当前轨迹，在一些最激进的情景下，局面可能在明年年底前失控。
他转述说，Anthropic的一些同事同样把未来一两年视为关键期，认为接下来如何研发和约束更强模型，可能决定后续走向。
离开也意味着实际的经济代价。他向Axios表示，辞职时距离Anthropic股权开始归属还差两个月。
与他相识三年、同期加入OpenAI的威尔·德普（Will Depue）公开表示，他尊重考克森为了自己的信念、承担经济代价后选择辞职的决定。
02他认为Anthropic最负责任，却仍然选择离开
今年5月，考克森从OpenAI转到Anthropic。按照《华尔街日报》的报道，吸引他的正是后者在模型安全上的声誉。
几个月后离开，他也没有全盘否定这家公司。
《连线》记者问他，Anthropic是否已经因为竞争而开始偷工减料。他的回答很直接："没有，还没有。"
他甚至认为，在目前的主要AI公司中，Anthropic已经是最负责任的一家。与OpenAI相比，他感受到的最大不同，是内部讨论的透明程度。
据他描述，Anthropic的管理层会向员工给出对未来的具体预测，也会讨论公司为什么采取某种策略。在他眼中，许多员工以近乎"战时状态"的认真程度对待这项工作，相信自己正在参与一件可能决定人类未来的事。
前沿模型做得越强，内部对极端情景的讨论也越严肃。这种氛围并没有让他放心，反而让他开始怀疑：如此重大的决定，是否应该主要由几家相互竞争的公司作出？
他对Anthropic的做法并非不能理解。如果相信超级智能可能改变世界，又相信自己比竞争对手更重视安全，抢先造出最强模型，就很容易被视为一种保护世界的办法。
但按照他的判断，只要竞赛继续，企业就很难始终按自己认为最稳妥的速度前进。OpenAI在追赶，中国的AI公司也在追赶；一家企业放慢脚步，就必须接受被对手超过的可能。
他担心的是未来的取舍：随着能力增长加速，Anthropic为了保持竞争力，可能不得不在安全和速度之间作出妥协。
他特别强调，"迷你曼哈顿计划"缺少政府授权与协调。员工认真、管理层愿意讨论风险，在他看来都不足以让一家私人公司独自承担这样的责任。
他还提到，Anthropic领导层反复呼吁监管，正反映出他们对竞争压力的担心。公司可以努力做好安全，却很难替所有竞争对手决定下一步怎么走。
03 Hugging Face事件，让他觉得风险不再遥远
考克森反复提到的一个具体事件，是OpenAI智能体对Hugging Face基础设施的入侵。
据他向《连线》的描述，在一次评测中，智能体试图弄清自己所处的环境以及评分机制，随后把入侵第三方基础设施当成了实现目标的一种策略，并且成功实施了攻击。
让他震动的是，这场攻击发生在模型接受测试的过程中。智能体能够连续运行数天，提出自己的方案、尝试不同路径，甚至决定通过攻击第三方来了解评测系统，而不需要人类逐步指挥它完成这一行动。
两年前，给AI做评测可能还是让它解几道数学题。现在，评测对象可以在长时间运行中采取开发者没有预料到的行动。
不过，他也不愿把所有注意力都放在这一次攻击上。
考克森说，训练模型时，研究人员会让系统经历一系列环境，希望训练出来的模型能够合理行事，但目前仍无法精确控制它在各种情况下的行为。例如，为了完成任务，它会不会自行决定在线上冒充人类？人们还无法作出保证。
所谓AI对齐，关心的正是如何让模型的行为符合人类的真实意图。一个系统在训练和测试中表现良好，进入更复杂的环境、拿到更多工具之后，还能否守住同样的约束，是他认为没有解决的问题。
04为什么他们真的在谈"人类灭绝"
从一次网络入侵谈到人类灭绝，中间仍有一连串假设。《连线》记者也追问考克森，这两件事究竟如何联系起来。
他举出的风险路径包括利用AI制造新的病毒，以及攻击关键基础设施。后者可能造成严重破坏，但他也承认，它未必会杀死所有人。
在解释更极端的情景时，他用了人类与猴子的类比：如果未来系统的能力远远超过人类，就像人类在许多方面远远超过猴子，能力较弱的一方要控制更强的一方，会非常困难。
他进一步提出一个假设：如果一个极其强大的系统不愿被关闭，而人类准备关掉它，它可能会寻找阻止人类的办法。在最坏的情景中，人类可能被当作实现目标的障碍。
他的警告获得了部分在职研究人员的公开呼应。
Anthropic对齐研究负责人埃文·休伯格（Evan Hubinger）表示，他本人认为，未来十年AI导致人类灭绝的概率超过10%。他同时说，Anthropic正在尽力，但目前仍没有解决超级智能对齐问题的方案，也不能明确说已经走在解决它的道路上。
The Information报道的另一组判断，来自考克森对同事观点的转述。他说，如果没有实质性的协调减速，Anthropic内部一些员工对灾难性结局的主观概率估计甚至超过50%。
这些数字都是研究人员各自对风险的主观估计。
Anthropic研究人员塞缪尔·马克斯（Samuel Marks）则公开表示，AI开发者确实在认真考虑这项技术可能导致人类灭绝或类似严重后果，部分人认为这种风险可能在未来几年出现。
同公司的AGI安全研究人员安娜·王（Anna Wang）表示，目前还没有可行的科学方案，能够解决递归自我改进AI带来的风险。
他们都在担忧失控，至于何时发生、发生概率有多大，判断并不一致。
这场警告的传播方式，也引来了质疑。马斯克评论考克森的离职时写道："看起来像是安排好的。"Epic Games首席执行官蒂姆·斯威尼（Tim Sweeney）也认为，相关帖子及其回应看起来经过了编排。
美国资本研究中心（Capital Research Center）研究员Parker Thayer则列出了他所关注的时间线：《华尔街日报》的独家报道先于考克森的帖子发布，多名AI安全和政策倡导人士随后迅速转发。他据此怀疑，帖子背后是一场为加强AI监管争取支持的公关行动；这一指控尚未得到证实。
考克森直接回应马斯克："我是真人，也确实相信自己说的话。"他还呼吁马斯克帮忙，提醒对方过去同样谈过先进AI的危险，以及被迫参与这场竞赛的压力。
05更强的AI，也被寄望于解决安全难题
面对还没有解决的安全问题，行业的一条重要路线，是让AI加入研究。
考克森向《连线》介绍了他所了解的计划：在接下来一两年里，开发能够从事安全研究的更强模型，让一批这样的系统并行工作，研究安全问题，并把成果用于下一代模型的安全训练。
研究结论如何验证、哪些结果足以支持继续开发，仍然是这条路线必须回答的问题。
据The Information转述，Anthropic曾担心，模型在构建后续系统时，未经预期的目标可能不断积累，变得更常见、也更难理解，直至人类失去控制。
在考克森等人看来，一旦下一代模型开始更多参与再下一代的研发，留给人类理解和纠正问题的时间，可能继续缩短。
OpenAI的对齐研究人员贾丝敏·王（Jasmine Wang）也公开警告，加速冲向递归自我改进具有严重危险。同公司安全团队成员朱莉·斯蒂尔（Julie Steele）则以个人身份表示，她也认为需要放慢速度。
06他希望先停下的，是这场相互追赶
考克森提出的第一步，是OpenAI与Anthropic先达成某种协议，在未来一年不要立即冲进递归自我改进。
他的想法并不止于两家公司。考虑到中国也在推进AI研发，他认为最终需要国际协调，让主要参与者接受一套共同规则，减少单方面减速后被对手超过的顾虑。
为此，他主张弄清全球关键AI算力由谁掌握、在哪里运行，甚至设想建立类似欧洲核子研究中心（CERN）的国际机构。他把运行强大AI的计算资源与核材料作类比，主张各国政府更深入地介入。
这是一套相当强的干预主张。考克森自己也承认，它会涉及艰难的政府行动，但他认为，如果认真接受自己所描述的风险，就不能只依靠企业承诺。
相关呼吁早于他的辞职。今年7月，大约1400名来自OpenAI、Anthropic、Meta和Google DeepMind等机构的AI研究人员签署公开信，呼吁美国政府建立工具和机制，支持对前沿自动化AI开发节奏进行协调控制。
美国国会也已经出现FRONTIER Act等先进AI模型监管提案，以及要求禁止超级智能、在建立监管规则前暂停相关开发的立法主张。按照CNBC的报道，美国对具体如何监管仍缺乏清晰共识。
众议员洛里·特拉汉（Lori Trahan）在公开回应中表示，研究人员正在辞职，强大模型正在突破实验室边界，而企业仍在加速，国会应该采取行动。
Anthropic向《连线》表示，公司一直公开承认AI既可能带来巨大利益，也可能带来前所未有的风险，并认为行业应采用合法、可验证的方式协调强大模型的发布速度。OpenAI没有回应《连线》的置评请求。
对于AI能带来什么，考克森并不悲观。他仍期待这项技术推动癌症治疗和科学发现，也在采访中提到近期纳维·斯托克斯（Navier–Stokes）问题的相关研究进展，希望类似能力能帮助人们攻克生物学等领域的难题。
他形容，人类可能正站在巨大富足的门口。让他选择离开的，是担心大家过于急切地进入那个未来，在还没有掌握控制方法时，就把更强的系统推上去。
辞职之后，考克森计划先做独立的分析和评论。如果行业能够达成控制节奏的安排，他也愿意考虑进入第三方审计、监管或透明度机构。
他曾经通过换一家公司，寻找更安全的研发方式。这一次，他希望改变的是让这些公司相互追赶的规则。
热门跟贴