6月5日（合众国际社）讯人工智能公司Anthropic对能自我改进的系统发出警告，并表示人类在必要时得有办法插手干预。

人工智能系统很快就能自我升级——这被称为“完全递归自我改进”——在医疗和科学等领域好处多多。但正如科幻电影所警示的那样，它可能给人类带来大麻烦，Anthropic联合创始人杰克·克拉克和Anthropic研究所负责人玛丽娜·法瓦罗在最近的一篇博客文章中表示。

“完全递归自我改进还可能让人类更有可能失去对AI系统的掌控，”博客中写道。“如果系统能完全造出自己的下一代，我们保护、监控和引导它们行为的方法就变得格外关键。”

克拉克在周四的CNN节目上呼吁行业给自己装个“刹车”。

“当我低头看着我们驾驶的汽车时，我只有油门踏板。我没有刹车踏板，而且可以肯定的是，在未来的某个时刻，我们可能会需要那个刹车踏板选项，”他说。他补充道，无法验证、核实和信任人工智能的行为是有风险的。

克拉克告诉CNN，各国过去也有过类似做法。

“我们以前也这么做过。在冷战高峰期，在敌对国关系高度紧张时，他们找到了稳定核军备竞赛某些方面的方法，”他说，“所有这些在其他领域都做过，而在人工智能领域，这可能是我们需要做的事情。”

但批评人士说，这种限制AI的论调不新鲜，Anthropic也不例外。当初五角大楼想完全用它的AI产品，Anthropic还跟它硬刚过。

2025年7月，Anthropic与美国国防部签了一份2亿美元的合同。但CEO达里奥·阿莫迪说，Anthropic的AI模型Claude不能在美国搞大规模监控，没经过人同意也不能用于自主武器。

2月27日，五角大楼给Anthropic下了最后通牒，下午5点前必须答应政府想怎么用就怎么用。结果截止日期还没到，特朗普总统直接放话，说政府员工一律不准用Anthropic。

随后，国防部长皮特·赫格塞斯将该企业标记为供应链风险，导致其被排除在政府合同之外，但一名法官在三月驳回了这一决定。

“Anthropic可能给人温情脉脉的印象，但他们对AI安全的定义很狭隘，”伦敦大学学院教授史蒂文·默多克告诉《卫报》。“支持美国当局发展进攻性能力，他们从未公开反对过。”

默多克表示，Anthropic的博客文章回避了AI接近自我改进的证据。

“确实有证据显示，人工智能的能力在不断提升，而且短期内看不到明显的上限，”他说。但是，“我不认为今天有什么根本性的变化，导致Anthropic发布这篇文章。”

默多克提到，Anthropic呼吁暂停AI这事儿，跟他们以前提的其他建议差不多。

“这让人想起他们担心啥，而且这些年一直担心这些。我相信他们乐见这种关注，不过还是那句话，这不是啥新鲜事儿，”默多克说。“Anthropic从成立那天起，就一直想方设法让政策制定者注意到他们。”