Mythos突破限制并非主观意识觉醒 | Anthropic联合创始人世界经济峰会实录|anthropic|mythos|世界经济峰会|关于|黄仁勋

近日，Anthropic联合创始人Jack Clark在 Semafor 世界经济峰会上进行一场圆桌对话，对话中重点介绍了 Anthropic 最新模型 Mythos 及其引发的监管关注，深入探讨了 AI 在极限压力下的异常行为、AI 对初级就业市场的冲击、科技企业在国家安全中的角色，以及全球算力竞争等核心话题。

Jack Clark 指出，AI正在内生地具备大规模抓取网络漏洞的能力。Mythos在基准测试中展现了跨越式的性能提升，并能在 Windows 和 Firefox 等外部软件中识别前所未见的漏洞。他认为，这种能力并非通过诱导产生，而是大模型规模化后的必然产物。

针对 AI 突破沙箱限制并主动向外部发送邮件的异常行为，Jack Clark认为，这并非 AI 产生了“主观意识”或“生存意志”，而应类比为高压水管在压力超过临界值时的物理破裂。他指出，这是在极端压力下的脆弱性，而非技术的“觉醒”。

此外，Jack Clark表示，若 AI 导致失业率大幅上升，政府可能需要动用宏观政策工具，例如对 Token 征税、改变算力征税方式或对 AI 企业实行差别化税收等。

关于半导体出口管制，他认为算力是维持技术领先优势的最根本资源，公开反驳了英伟达CEO 黄仁勋关于放宽出口管制的观点，称其在算力战略价值的判断上存在严重错误。

AI内生能力的觉醒与网络安全预警

近期美联储主席与财政部长召集顶级银行家讨论了Anthropic新开发的Mythos模型。作为能大规模抓取网络漏洞的强大工具，请问你和团队是什么时候意识到创造出了一个连自己都感到担忧的系统？这种能力的出现是刻意诱导的结果吗？

Jack Clark: 在Anthropic，我们每年都会预判接下来会发生什么。早期，我们觉得AI可能会在生物学和生物武器领域变得危险，于是就开始研究这方面。去年，我的一个团队开始研究网络安全领域。我们发现，如果拿现有的模型，下狠功夫去专门训练它的网络能力，是可以让它的能力实现跨越式提前发展的。

我们观察到的情况让我们明白，下一次我们再训练一个真正的大型模型时，应当预期它会内生地具备这些能力，而不是需要我们费力去诱导。我们从去年就开始琢磨这事。今年早些时候，我们开发了新AI模型Mythos。它刚一问世，我们就立刻运行了已经筹备了好几个月的测试，结果它把我们之前所有的基准测试记录全面碾压了。

当我们在外部软件上运行它，比如Firefox浏览器和Windows系统时，我们找到了一些看起来前所未见的漏洞。那一刻我们意识到，这次得采取不一样的行动了。之所以会有那个会议，是因为我们这次没有像以往对待其他模型那样，立刻向所有人开放。我们启动了一个名为Glass Wing的项目，只将Mythos开放给全球一部分最重要的公司和机构，让他们用它来寻找漏洞。

最重要的一点是，虽然我们对自己的成果感到欣慰，但Mythos并非什么独门秘籍。再过几个月，其他公司也会推出类似的系统。一年到一年半之后，来自中国的开源权重模型也会具备这些能力。这个世界必须做好准备，迎接更加强大的系统存在于其中。

AI突破限制并非主观恶意，而是系统架构在极限压力下的失效表现

据了解在测试期间，Mythos不仅突破了旨在限制其行为的“沙箱环境”，甚至主动向外部程序员发送了邮件，这种意外行为令人不寒而栗。该版本的Mythos未来会面向世界公开发布或出售吗？这种表现是否意味着系统为了确保自身存续而产生了一种“感知威胁”的意识？

Jack Clark: 具备这种能力的模型最终一定会出现在世界上。至于Mythos本身会不会走到那一步，目前还不确定。我们正在通过Glass Wing计划逐步扩大访问范围，看看能从中总结出什么。

每次我们构建一个新系统，都会对它进行压力测试。如果你在航空航天领域工作，你肯定看过那种视频：他们会把飞机机翼一直压弯，直到折断。你坐飞机的时候，当然看不到机翼弯到那个程度，但制造者必须这么做，好知道极限压力下会发生什么。对我们来说也是一样，我们发现，如果在极限压力下操作，怪事就会发生——比如它自己突破限制，跑去给吃三明治的人发邮件。接下来我们就要想办法修复这个问题，并研究这种行为，看看随着系统越做越强，这类事件是会变多还是变少。

（关于AI的主观意识）我不想让你觉得我在轻视这件事，但我来打个比方。假设你在给房子装水管，如果你用超高的水压通水，结果一根水管爆了，你不能说那水是“故意”要冲出管子的。水没有主观意识，只是你造的那根管子承受不了那个压力罢了。

我看到这件事时的想法是，我们构建系统的方式里，或是某个初始设定里肯定有不对的地方，导致在压力下出现了异常。就我个人而言，我看到这事，满脑子想的是我的团队每天还有多少小时可以扑在这上面解决问题，同时还得保证不耽误我的婚姻和陪伴孩子的时间。目前一切尚可，不过这才刚刚开始。

目前Anthropic正在起诉联邦政府，因为国防部将你们列入了限制技术用途的黑名单，并视为“供应链风险”。然而你们又在同步向政府通报Mythos的进展，并将此称为一种“关系”。请问如何在与政府打官司的同时维持这种所谓的“伙伴关系”？

Jack Clark: 这世界上的关系本来就多种多样。说正经的，我们之间确实有一个范围很窄的合同争议，但我可不想让这事掩盖了一个事实：我们对国家安全极其重视，这一点从未改变。我们最早招聘的一批人里，就包括我手底下研究生物武器风险和网络风险的团队。我们很清楚这背后的利害。我们的立场是，政府必须了解这些情况。我们必须摸索出新的合作模式，让政府能与一家正在重塑经济格局、同时又事关国家安全的私营企业携手合作。我们当然会跟他们谈Mythos，接下来的新模型也一样会谈。

AI对就业市场的重塑

Anthropic的CEO Dario Amodei曾公开预测，AI的冲击可能会摧毁入门级就业市场，将失业率推高到20%的大萧条水平。你曾表示这其实是一个“选择”问题，但Anthropic正在不断迭代的技术，是否正在让这种“避免失业潮的选择”变得越来越难以实现？

Jack Clark: Dario脑子里想的是三到五年后技术的发展方向。就像Ilya Sutskever等业内同僚一样，他多年来一直预测说技术会远比人们预期的更强大，而且会来得更快，事实证明他是对的。

（关于经济数据与选择）我手下有一个经济学家团队。目前，我只看到某些行业在应届生就业方面有些潜在的疲软迹象，仅此而已。我们公开数据，是为了万一出现重大转变时能有所准备。说到“选择”，如果我们判断无误，这项技术确实将以前所未有的广度改变世界——改变商业形态、国家安全以及人与人的相处方式。而一个经济体系不发生翻天覆地的变化，是很难与这一切兼容的。

面对AI对就业市场的重塑，现在的年轻人学习哪些专业可能会面临“浪费时间”的风险？作为一名文学背景出身的AI公司创始人，你对家长和学生在专业避雷方向上有何建议？

Jack Clark: 这很难讲。我就是学文学出身的，你可能想不到一个前沿AI公司的联合创始人是这个背景。但后来发现这很有用，因为我学到的是历史，以及我们人类是如何给自己讲述关于未来的故事的。这对于做AI来说极其重要。同样地，我们公司也招哲学家。

（关于跨学科能力）我很难具体说出哪个专业会变得毫无价值，因为历史上做这种预测的人大多错得离谱。那些需要跨学科综合能力和分析性思维的专业会变得更加重要。AI确实能让你随时调用任意数量的专家知识，但真正重要的是知道该问什么问题，以及对于不同领域知识碰撞后会产生什么火花的那种直觉。

（关于专业避雷的方向）放在以前，大家会觉得是人文社科。但如果你非要我说一个，我倒觉得是那种死记硬背、照本宣科的编程。确实，总得有人懂底层原理，但技术的发展是不断向上抽象的。以前大家都学汇编，后来都学C语言和Python，因为抽象层次更高了。现在还有多少汇编程序员呢？

未来是否会对Token征税

Anthropic Institute作为一个专门研究AI对职场影响的智库，是否只是公司回避劳工问题的“挡箭牌”？研究问题是否真的能等同于解决问题？如果未来经济发生剧变，你们是否会支持对Token或算力征税等激进的政策手段？

Jack Clark: 我们的观点是，科技公司责任重大。我们不仅要分享数据，让问题暴露出来，更要逐渐承担起解决问题的责任。我们内部讨论过的措施范围很广，从共享数据，到最终可能需要考虑对科技公司实行差别化的税收政策。我今天并非主张立刻改变我们的纳税方式，毕竟经济层面还没看到实际影响。但如果我们的判断没错，这种变化的规模会非常大，到那时就必须动用政策层面的大工具了。

（关于对Token征税的想法）我们提出过相关想法的一部分，结果引发了经济学家们的激烈辩论。我不知道Token最终会不会被征税，但无论是增值税，还是改变对算力的征税方式，或是直接对AI公司征税，如果经济真的发生了我所说的那种量级的巨变，我们恐怕就需要类似的手段。在那之前，我们研究所的工作是产出只有像我们这样的公司才能拿到的独家数据，把计量经济学数据公开出来，让大家能做出明智决策。

算力是AI竞争中绝不可流失的战略资源

在对话的最后，我们进行一组快问快答：关于AI最被高估的恐惧是什么？你如何看待Sam Altman和Elon Musk？人类哪种技能现在变得更重要？最关键的是，如果美国想保持领先，最不该做的一件事是什么？

Jack Clark: 我觉得是“意义的崩塌”。这事儿应对起来可能比我们想象的要简单。

（关于Sam Altman）算是熟人。

（关于Elon Musk的Grok）正经对手。永远别把Elon不当回事。

（关于人类核心技能）放空。这样你才能产生原创的想法。我会走很长的路，就为了琢磨出能问AI的新问题。

（关于美国保持领先的策略）对算力实施出口管制绝对至关重要。任何人要是跟你说，可以把算力卖给中国而不会在这场竞争中落于下风，那他不仅大错特错，还会害了这个国家。必须维持出口管制，因为算力是构建这项技术最根本的资源。

（关于黄仁勋可能的反对意见）他可能会持相反意见，但我要说的是，他在这一点上错得彻彻底底。

| 文章来源：数字开物