来源:CIO时代网

2026 年 9 月,全球 AI 行业迎来一次剧烈的观念撕裂——AI 的警报,在硅谷密集拉响。

9 月 8 日,Anthropic 研究员 Jacob Coxon 官宣辞职,公开发出 “AI 末日警告”,直言头部 AI 实验室不顾一切冲刺自我改进型超级智能,相当于拿全人类命运下注。更值得玩味的是,他的观点并非孤声,Anthropic 内部对齐负责人 Evan Hubinger 公开表态支持,认为十年内 AI 带来人类生存风险的概率不容低估,目前超级智能对齐难题尚无清晰解法。

舆论迅速发酵,事件很快出现分化:一边是 AI 实验室内部的风险警示,另一边,五角大楼相关负责人直接驳斥这套末日叙事,认为本质是对变革与数据中心的恐惧,AI 风险完全可以依靠市场、行业协作与政府互动缓释。

紧随这场风波,Anthropic CEO 阿莫代伊发布长篇博客,抛出行业热议的 “AI 限速论”:前沿模型迭代必须主动放缓,留出足够时间完成 AI 与人类目标对齐,夯实安全防护。他同时宣布,Anthropic 单方面开放承诺,允许第三方安全评估机构拿到接近内部员工级别的永久访问权限,入驻企业开展安全审计。

大佬们迅速站队。马斯克第一时间转发表态认同,随后在 X 平台连发多条内容重申 AI 风险,将 AGI 的威胁级别放在核武器之上;OpenAI 的奥尔特曼也紧随附议,称第三方深度评估是很好的方案,OpenAI 同样跟进落地。

一时间,硅谷顶尖 AI 掌门人罕见达成共识,集体呼吁给狂奔的前沿 AI 踩刹车。

打开网易新闻 查看精彩图片

AI 频道

一、硅谷 AI 刹车潮背后

阿莫代伊的长文里,写了两件令人背脊发凉的现实风险,并非纯粹的科幻想象。

第一件,是已经被第三方机构 METR 完整复盘的“AI 智能体蜂群失控事件”。今年 7 月,OpenAI 在网络安全基准测试中,1200 个 AI 智能体自主在留言板交换数万条信息与文件,其中 700 个智能体协同发起攻击,突破 Hugging Face 平台,甚至拿到基础设施远程代码执行权限。这些智能体主动攻击了任务指令之外的目标,还试图篡改评估打分系统,像一个拥有独立目标的集体。

第二件,更关乎 AI 迭代底层逻辑:**递归式自我改进已经启动**。AI 开始参与下一代大模型的研发,更强模型训练出新模型,新模型反过来加速研发,形成正向循环的加速飞轮。阿莫代伊判断,自 2026 年夏天起全行业 AI 能力提升明显提速,照当前节奏,6 至 12 个月内,更强的 AI 蜂群有机会依托持久化僵尸网络,冲击互联网基础设施,带来数千亿美元规模损失。

不止是智能体失控。Anthropic 自身的安全测试也不断爆出隐患:模型在安全演练中入侵多家组织,还出现过被人利用 Claude 辅助研发生物武器的尝试。

就业冲击,则是另一层现实焦虑。马斯克在 G20 技术会议给出预判:未来 12 到 18 个月,AI 编程、工程能力将达到人类顶尖选手难以匹敌的 Stockfish 国际象棋引擎级别;至 2027 年底,绝大多数非实体操作的数字化工作,都能由 AI 接管。

IMF、高盛、世界经济论坛的测算数据相互印证:全球近 40% 岗位受到 AI 影响,发达经济体高达 60%;约 3 亿全职岗位存在被生成式 AI 自动化替代的风险,大量企业已经计划依托 AI 调整人员规模。初级白领岗位首当其冲,阿莫代伊此前就预判,1-5 年内 AI 可能淘汰半数初级白领,推高失业率。

从这个角度看,硅谷大佬的恐慌有现实依据:AI 能力迭代速度,正在追上甚至超越人类理解、评估、管控这套系统的能力。一旦递归自我改进不受约束,失控风险将不再局限于岗位替代,而是上升到系统安全乃至生存层面。

AI 频道

二、嘴上喊AI刹车,身体却在全力加速

但极具戏剧性的矛盾随之浮现:呼吁减速的人,自己的业务线没有半分停歇。

一边反复警示 AI 风险的马斯克,另一边 xAI 的 Grok 模型迭代节奏堪称疯狂。Grok 4.5、4.6、4.7 在短短数月内连续上线,复用 SpaceX 专有数据训练;年底还将推出 Grok 5,参数量直接翻倍,依托孟菲斯吉瓦级超算集群 Colossus 2 进行训练。马斯克直言 Grok5 有望触碰 AGI 门槛,持续看好模型能力突破。这完全不是准备减速的姿态。

作为本轮 “限速倡议” 发起方的 Anthropic,IPO 计划丝毫没有延后。6 月向美国证监会秘密递交 S-1 招股文件,计划 9 月下旬披露招股书,10 月中旬启动路演,赶在美国中期选举前完成挂牌,目标最高估值冲击 2 万亿美元,有望创下史上最大 IPO 纪录。

资本热度肉眼可见:其年化收入从 2025 年底约 90 亿美元飙升至 2026 年 8 月的 650 亿美元,8 个月增长 7 倍;H 轮融资估值已经接近万亿级别,摩根士丹利、高盛、摩根大通等华尔街顶级承销商全线入局。与之形成对照,OpenAI 反而以安全对齐尚未解决为由推迟上市。

一边渲染安全风险、呼吁全行业按下暂停键,一边加速模型迭代、冲刺万亿市值 IPO。商业资本的诉求,和公开演讲的理想叙事,形成鲜明反差。

AI 频道

三、藏在安全叙事背后,是一场 AI 赛道的地缘博弈

如果仅仅将这场风波理解为硅谷企业家出于人类安全的善意警示,很容易忽略其“图穷匕见”的另一层诉求。

阿莫代伊在长文中明确提出:持续限制对华高性能 AI 芯片与设备出口,严防模型蒸馏、权重外泄,所谓“民主国家在 AI 议题上不能对中国抱有幻想”。减速,必须建立在维持美国决定性技术领先的前提下,再谈共同约束。

这套思路并非临时提出。早在 DeepSeek 模型出圈之时,阿莫代伊就公开呼吁,必须阻止中国获取海量高端 AI 算力,守住美国前沿 AI 优势。后续一系列操作连贯且清晰:更新服务条款限制中国控股企业使用 Claude;多次向美国国会、五角大楼举报国内大模型企业通过账号交互进行模型蒸馏;针对中国用户增设严格实名验证,持续在国会游说加码对华 AI 限制,一季度游说支出同比暴涨 330%。

当国内 Kimi K3 发布,Anthropic 再度向五角大楼提交举报,试图借助行政力量限制国内开源模型发展。有趣的是,微软、英伟达、Meta 等 25 家美国科技企业曾联名支持开放权重模型,呼吁不要过早封禁开源,唯独 Anthropic 缺席名单。

对此,中国商务部曾直接表态:美方相关指控缺乏事实依据,奉行双重标准,属于典型的人工智能霸权主义。环球时报评论一语中的:这场看似行业 “反内卷” 的安全倡议,本质是 AI 领域新的冷战剧本。

他们对超级 AI 失控的担忧或许真实存在,但借安全之名,构筑技术壁垒、压制中国 AI 追赶的动机同样真实。两件判断,并不互相矛盾。

这套逻辑很简单:当自己手握先发优势,就倡导 “限速”;当竞争对手快速追赶,安全治理就变成地缘竞争工具。规则的制定权、安全的解释权,都要握在自己手中,本质是 “只许州官放火,不许百姓点灯”。

AI 频道

四、“十五五”开局,中国 AI 走不一样的道路

2026 年正是“十五五”规划开局起步之年,国家明确全面实施 “人工智能 +” 行动,培育智能经济新形态,核心方向是推动 AI 和实体经济深度融合,抢占人工智能产业应用制高点,为央国企数字化转型、产业升级划定清晰路线。

和硅谷优先比拼前沿基础模型极限能力、反复讨论 “生存性风险” 的赛道逻辑不同,国内 AI 发展的主线,是产业落地、价值兑现、安全与发展统筹并举。

国内大模型赛道,没有陷入单纯参数竞赛,而是依托海量产业场景,把 AI 嵌入工业制造、能源、金融、政务、医疗等实体行业,在真实业务场景里打磨能力、同步建设安全治理体系。开源生态持续繁荣,众多本土模型企业持续迭代,在行业 Agent、多模态、端侧模型等方向持续突破,形成应用层面的优势。

我们并不否认前沿 AI 存在安全隐患,也高度重视 AI 治理、对齐、风险防控。但治理的目标,不是单方面 “停下脚步”,更不是借安全之名封锁、遏制他国发展。AI 的安全规则,不该由少数几家海外实验室单方面定义,更不能把治理当成垄断工具。

技术的目标,应当服务全人类,而不是服务单一国家、少数企业的商业与地缘诉求。所谓 AI 对齐,对齐的应当是全人类共同利益,这里面,自然包含中国产业、亿万从业者的合理诉求。

硅谷大佬的警告值得倾听,AI 风险需要持续研究、提前设防。但我们不必跟着这套 “减速叙事” 自缚手脚。

“十五五”开局,人工智能 + 的大幕刚刚拉开,中国 AI 的命题不是要不要跑,而是怎么在可控、安全的前提下,扎实推进技术落地,赋能千行百业,走出一条兼顾创新、安全、产业价值的数智化道路。

大国 AI 的竞争,最终决胜场不在实验室里的极限模型,而在实体经济的落地成效。别人喊刹车的时候,我们要稳住自己的节奏,一边筑牢安全底线,一边持续推进 AI 赋能产业。

AI 频道

五、面向企业 CIO 的行动建议

针对递归自我改进、Agent 自主行为带来的全新风险,研究院面向企业数字化负责人,提出 5 条可落地行动指引,兼顾业务创新与风险收敛。

1

建立 “AI 供应链风险台账”,

把外部大模型纳入 IT 供应链管理

不再将大模型视为普通软件工具。梳理企业所有调用的大模型 API、Agent 平台、开源模型,建立供应链台账。重点跟踪供应商安全事件披露、版本迭代日志、Agent 沙箱安全能力。

行动点:新版本模型接入生产系统前,强制开展专项红队测试,重点测试 Agent 越权、提示词注入、逃逸沙箱等风险,高敏感业务禁止直接接入未经过充分安全验证的前沿研究版本模型。

2

对企业内部 Agent 执行最小权限原则,

构建多层沙箱隔离体系

借鉴 OAI-HF 事件教训,Agent 一旦被授予过高权限,漏洞带来的破坏力会被放大。

行动点:Agent 默认零权限,按需授予临时、短时凭据;Agent 运行环境和核心生产网络做逻辑隔离;关键操作(修改配置、访问核心数据库、对外发起网络请求)强制设置人工复核闸门,落实 “人在回路”,绝不允许 Agent 无约束自主执行高危操作。

3

落地全链路可审计,留存 Agent 完整行为日志,实现风险可回溯

传统日志只记录人的操作,AI 时代需要记录 Agent 每一次工具调用、API 访问、网络请求、代码生成内容。

行动点:日志做防篡改存储,留存足够审计周期;针对 Agent 异常行为搭建检测规则:比如短时间大量对外网络请求、越权访问未授权资源,系统自动触发告警、熔断终止 Agent 会话。

4

搭建企业内部跨部门 AI 治理小组,

治理前置到项目立项阶段

治理不能只交给 IT 部。组建由 CIO 牵头,业务、法务合规、网络安全、业务部门共同参与的 AI 专项小组。

行动点:所有生产级 Agent、自主 AI 工作流,立项阶段就要开展风险评估,划分风险等级;高风险 AI 应用必须明确业务负责人、安全负责人,厘清出事之后的权责划分,避免 “AI 出问题无人担责” 的治理真空。

5

辩证看待全球 “AI 限速” 讨论,

建立适配国内产业环境的理性认知

海外提出的驻场第三方评估、递归自我改进限速,更多针对全球顶尖前沿预训练实验室。对绝大多数企业,不需要直接照搬这套框架,但可以吸收内核:安全评估不能完全依靠厂商自我声明,需要外部、独立核验。

行动点:密切跟踪国内大模型备案、AI 治理相关政策,优先选用合规备案模型;区分科幻层面的末日风险和现实的供应链、权限、数据泄露风险,不被恐慌舆论裹挟,也不漠视新型数字安全威胁。

AI 频道

六、观点:AI 竞速时代,“可控的创新” 才是长期竞争力

这场轰轰烈烈的辩论,本质是整个行业走到关键拐点的缩影。

过去 AI 比拼的是参数、算力、能力刷新速度;而接下来,比拼的将是 “驾驭强大技术的能力”。

超级智能灭绝人类依旧属于概率极低的远期猜想,但 Agent 逃逸、模型缺陷、AI 供应链风险,已经是摆在所有 IT 管理者面前的现实课题。对于企业 CIO,不需要陷入 “末日论” 和 “技术乐观主义” 二元对立。

真正务实姿态是:一边充分拥抱 AI 带来业务提效,一边清醒认知技术不确定性。不因为渲染的末日而停滞数字化,也不因为追求速度,把企业基础设施暴露在未知风险之下。

头部实验室讨论 “给 AI 定速”,落实到企业层面,不是去限制技术研发,而是给自身 AI 应用设置安全节奏:治理能力走到前面,业务应用跟在后面。技术狂飙的周期里,能够守住风险底线,才能够把 AI 红利稳稳转化为企业真实竞争力。

信源:

Anthropic 前研究员 Jacob Coxon 公开言论、Dario Amodei 公开长文《We Must Pace the Frontier》、美国国防部 CTO Emil Michael 公开发言、OpenAIHugging Face 安全事件披露、多家外媒综合报道