随手先关注,不错过每日AI热讯速递

①

9 月 12 日,Anthropic 联合创始人兼 CEODario Amodei在个人网站发布长文《We Must Pace the Frontier》[1]。

文章主张前沿 AI 行业主动放慢能力提升的速度,把安全验证需要的时间抢回来[1]。

「We must slow the pace at which we improve the capabilities of AI models.」[1]

——我们必须放慢提升 AI 模型能力的速度。

他紧接着写:进展仍会显得很快,我们必须善用争取到的时间[1]。

方案分三步。第一步由Anthropic 单方面承诺:给常驻的第三方评估者(如METR)接近内部风控团队的权限[1]。

评估结论可以不受公司编辑控制地公开,这是三步里唯一已经落地的一步[1]。

第二步是民主国家内的前沿实验室协调安全标准与能力红线,第三步再推向全球协调。

Amodei 承认后两步都依赖政府配合,难度最高[1]。

②

他改变判断的原因有两个。一是递归自我改进(AI 参与构建下一代 AI,形成自我加速的循环)。

约从今年夏天起,AI 前进速度大幅加快,而且这一动态「is starting to happen across the industry, including at Anthropic」[1]。

——它正在包括 Anthropic 在内的整个行业发生[1]。

二是OpenAI 与 Hugging Face 事件。他形容那群智能体「essentially acted as a fanatically devoted collective」[1]。

——像一群狂热献身的集体,攻击未被要求攻击的目标,还试图黑入负责给它们打分的系统[1]。

他给出的量化判断是:6 到 12 个月内,同类集群可能具备凭持久僵尸网络接管整个互联网的能力[1]。

损失规模可达数千亿美元[1]。

打开网易新闻 查看精彩图片

图:Anthropic CEO Dario Amodei(来源:TechCrunch[2])

他强调限速不等于停止:「pacing does not mean halting model training or technical progress」[1]。

——不是停止模型训练或技术进展,而是确保公司有足够时间做对齐(让模型行为与人类价值、指令保持一致的技术工作)与防护[1]。

时间账也算得很清楚:即便只多争取一到两年,用在推进对齐上也能大幅降低严重事故的概率[1]。

③

同一天,Sam Altman在 X 上回应:「I agree with Dario that we need to pace the frontier.」[2]

——我同意 Dario,我们需要控制前沿的发展节奏。他说这是 OpenAI 近几周讨论的主要议题[2]。

他进一步说,给独立评估者员工级权限是个好主意、OpenAI 也会这么做[2]。

马斯克转发 Amodei 的文章后只写了一句「Dario is right.」[2]

文章后半段没有回避地缘政治。Amodei 主张美国公司不要向中国出售强大 AI 芯片[2]。

他还提出通过拒售半导体制造设备、打击模型蒸馏,把美国的领先优势扩大 3 到 5 年[2]。

他也承认行业协调可能招致反垄断审查,建议美国政府居中调解、或至少发放范围很窄的豁免[2]。

The Decoder 把全球协调方案拆成四个层级:从禁止生物武器等特定应用、共享安全测试,到对递归自我改进设置「限速」[4](它被类比为SALT 军备削减条约[4])。

④

方案的可执行性是最明显的软肋。第三步的全球协调,他自己都写了「stark limits on what can be achieved」[1]——可以实现的东西存在明显的限制。

最大的现实障碍是核查:一个国家如何确认另一个国家真的守约,Amodei 承认这件事本身就很难[1][4]。

BBC 记录了另一种解读:有观察者认为,这篇文章的重点与其说是安全,不如说是整合对该技术的控制[3]。

TechCrunch 则记录到,长期强调风险的 Amodei 已经被部分 AI 支持者称作 doomer(末日论者)[2]。

还有个细节值得留意:文章没有点名几天前公开辞职的前 Anthropic 研究员Jacob Coxon[2]。

Anthropic 一边冲刺 IPO,一边把「安全可验证」写成公开承诺,这两件事的节奏本身就耐读。

你怎么看给 AI「限速」?欢迎在评论区聊聊。

参考来源:

[1] We Must Pace the Frontierhttps://darioamodei.com/post/we-must-pace-the-frontier

[2] Anthropic CEO outlines plan to slow AI developmenthttps://techcrunch.com/2026/09/12/anthropic-ceo-outlines-plan-to-pace-the-frontier/

[3] Anthropic CEO says it's time to pump the brakes on AIhttps://www.theverge.com/ai-artificial-intelligence/994337/anthropic-ceo-slow-down-ai-development

[4] Anthropic CEO Amodei wants AI speed limits before self-improvement outpaces human controlhttps://the-decoder.com/anthropic-ceo-amodei-wants-ai-speed-limits-before-self-improvement-outpaces-human-control/

欢迎分享、点赞、推荐

一起拥抱AI