9月18日,CNN报道称,今年春天,美伊战争正打得热火朝天。美军内部突然传开一份情报报告,说一艘在中东的中国船只“正在运输核武器项目零部件”。消息一出,五角大楼瞬间“炸了锅”,美军准备登船,军用飞机已经升空,整个拦截行动箭在弦上,结果就在动手前最后一刻,有人多看了一眼。

这一看不要紧,发现整份报告居然是一个AI聊天机器人“编”出来的。若不是及时发现,按照这个剧本走下去,下一步就是美国武装人员全副武装冲上中国船只。再往后呢?中方会怎么反应?两个核大国之间的武装冲突,可能就是这么开始的。

一、一场被AI“导演”的战争倒计时

美国对伊朗发动代号“史诗怒火”的大规模军事行动后,整个波斯湾地区高度紧张,美军在中东的军事部署达到近年来的峰值。

打开网易新闻 查看精彩图片

就在这个节骨眼上,美国特种作战司令部的一名分析员,用AI聊天机器人分析了一份来自夏威夷太平洋特种作战司令部的船只舱单情报。这个AI工具把公开来源情报和政府掌握的机密信号情报“炖”在一起,得出了一个惊人结论:这艘中国船在运核武器相关物资。

分析员又用AI把结论包装成标准情报报告格式。这种格式的报告,在美军内部向来被视为可信依据,传阅范围极广。报告一传开,美军立刻行动。

大家想想这个画面:全副武装的美国大兵准备冲上一艘中国船只。这要真发生了,中方会怎么反应?两个核大国在波斯湾擦枪走火,后果根本不敢想。好在这份报告在行动前被复核,官员发现所谓的“核部件”是AI的错误识别,用业内人士的话说,AI“产生了幻觉”。

二、“人在回路”是怎么变成“人在围观”的

五角大楼在这件事被曝光后,赶紧出来表态,说美军“致力于对情报信息进行严格核实”,并“负责任地整合新兴技术”。话说得挺漂亮,但有个问题:如果真有“严格核实”,一份AI生成的虚假报告是怎么一路畅通无阻地传到作战层面的?

按照CNN的还原,整个过程是这样的:分析师问了聊天机器人一个问题,机器人把公开来源情报和政府机密信号情报“融合”在一起分析,得出了一个结论:这批货物和核武器项目有关,然后分析师又用AI把结论包装成标准情报报告格式,直接分发了出去。

打开网易新闻 查看精彩图片

全程没有任何人对AI的结论做过独立验证,直到作战行动即将开始的那一刻。这就是所谓“人在回路”的真实写照,即人确实在“回路”里,但不过是个装饰品。AI说什么,人就信什么,等到武装士兵准备登船了,才有人想起来“要不咱再查查?”

更让人不安的是,一名前美国高级官员说了一句大实话:军方和情报分析师用的那些AI系统,“大多只是换汤不换药,把市售产品重新包装了一下”。也就是说,决定要不要对一艘中国船动手的“智能分析”,背后可能就是一个穿了军装的ChatGPT。

三、当“效率崇拜”跑在了“安全底线”前面

可以说,这起事件不是孤例,它暴露的是一个系统性问题。美国国防部长赫格塞斯今年1月推出了“人工智能加速战略”,核心逻辑就一个字:快。快分析、快决策、快打击,要在AI军事化上把对手甩在后面。去年12月,五角大楼还上线了GenAI.mil平台,把谷歌的Gemini接入全军系统,后来又陆续加入了ChatGPT和Grok。

“加速”这个词用得很准确,但方向可能反了。当分析速度被无限提升,而验证机制还停留在原地的时,产生的不是效率,是风险。这让人想起以色列在加沙使用的“薰衣草”AI目标识别系统。那个系统的操作员平均只花20秒就确认一个打击目标,系统误判率高达10%,却在高强度作战中被默许使用。

打开网易新闻 查看精彩图片

再往前追溯,美军在伊朗的军事行动中,有报道称AI系统的误判可能与一所小学遭空袭、170余人丧生的惨剧有关。技术越先进,犯错的速度就越快,犯错的规模就越大。人类分析员犯一个错,顶多影响一份报告;AI犯一个错,可能同时影响几十份报告、几百个决策节点。

而最讽刺的是,这次阻止灾难的,恰恰是那个被加速流程试图压缩掉的环节——人的复核。如果不是有人在最后关头多看了一眼,后果不堪设想。

但这能指望多久呢?当整个系统都在追求“更快”的时候,那个“多看一眼”的人,迟早会变成流程里的绊脚石,迟早会被“优化”掉,而到那时候,连“几乎”都不会有了。