军机已经升空,行动却在最后一刻被叫停。原因是那份驱动整个行动的情报,出自一个AI聊天机器人。
据CNN周五报道,这起事件发生在今年春天。美国官员在行动推进过程中发现,针对一艘中国船只的武装行动所依据的情报,是AI编造出来的。行动在最后关头中止,避免了一次可能与中国发生的冲突。
这不是一次普通的系统故障。它暴露的是一条完整的传导链:一个错误的判断,如何一路穿过层层指挥体系,直到飞机起飞才被拦下。
一份看起来很像样的情报报告
那份情报报告流传于对伊朗作战期间。报告称,这艘船正在运输用于核武器项目的部件。
这个结论的起点,是特种作战司令部的一名分析师。他向一个AI聊天机器人提问,要求把公开来源数据与机密信号情报综合起来。机器人识别错了这艘船的货物清单。
随后,这名分析师第二次使用了同一个工具,把这份错误的结论整理成一份格式规范的摘要。这份摘要随后在指挥系统内层层传阅。
整个过程中,没有人对这份情报的可靠性提出质疑,直到它已经推动了一场武装行动。
速度是优势,也是风险
这起事件发生的背景,是美军正在加速把AI整合进决策流程,以维持对中国的优势。五角大楼曾把AI描述为一项显著优势,理由是它能加快杀伤链的运转速度,让指挥官在合适的时间窗口内作出反应。
但让AI具备吸引力的那种速度,同样可能让幻觉在人工监督不足的情况下顺利通过。
军方官员和外部专家的担忧正在于此:当决策者越来越依赖AI,这些系统产生的错误会在被质疑之前,就已经沿着指挥链条向上传递。
GovAI研究学者、美国陆军退伍军官Jake Steckler在给TechCrunch的书面回复中说:“服役人员理解大语言模型固有的不确定性很重要。”他补充说,对于任何可能导致使用武力的决策,比如目标选择、情报分析或作战规划,这一点尤其关键。“这些决策关乎生死。”
该加护栏,还是该踩刹车
这起事件自然引出一个分歧:AI在军事决策中的角色,是该收紧,还是该放缓。
Steckler的立场是前者。他认为,这起事件应当被视为一个呼吁,要求为AI增加更多保障措施,而不是回避它的理由。
“这些工具在合适的场景下、有合适的保障措施时,可以发挥作用,”他说,“但如果把采用速度置于一切之上,很可能会导致一些事件,让服役人员对这些系统失去信任,最终只会拖慢采用。”
换句话说,问题不在于要不要用,而在于用什么节奏用、在哪些环节必须留人。
这次行动被叫停,靠的是有人在飞机升空后发现了问题。下一次,这个发现会不会来得更早一点,取决于现在往流程里加进什么。
热门跟贴