本周，联合国在纽约开会，议题之一就是自主武器的威胁。红十字国际委员会（ICRC）法律战团队负责人洛朗·吉塞尔专程到场发言。他准备的讲稿里，除了非法武器贸易、核武器、地雷，还有人工智能。

打开网易新闻 查看精彩图片

吉塞尔对媒体说得很直接：“这项技术的发展速度非常令人担忧。”在他看来，AI已经在战场上产生了实际效果——它正在“放大毁灭，放大对法律的违反，放大冲突造成的人道伤害”。

这不是假设。以色列在加沙使用过微软提供支持的AI来挑选目标；在乌克兰，俄方搭载AI的无人机自行决定对谁下手；美国军方则把自己定位为“AI优先”的作战力量。国防部长皮特·赫格塞思近期宣布了“子午线计划”，为未来的AI自主武器定方向，三位牵头人分别是埃隆·马斯克、国防承包商帕尔默·拉基和纽特·金里奇。

吉塞尔最担心的一点，是AI的速度。这项技术的核心卖点就是帮指挥官更快做决定，但快也意味着错误被加速。“目标以更高的速度和频率被生成，然后被更快地执行，这让我们对人所保留的控制程度非常担忧。”他说，“人本应始终留在回路中。”

人并不总在回路中。以色列国防军曾向记者承认，他们没有对“薰衣草”系统生成的击杀名单做彻底审核——那正是以方在加沙用来挑选目标的AI系统。吉塞尔解释了原因：“平民世界都知道，人倾向于信任系统。当人疲惫、处于压力下、必须快速交付时，这种情况更明显，而这恰恰是士兵所处的状态。”

AI的鼓吹者常把它说成一颗“easy button”，按下去就能粗暴地解决复杂任务。但硅谷的人处理表格、逆向代码，和中东战场上执行战争，后果完全是两回事。吉塞尔指出，一些系统由远离战场的科技公司开发，本来就不是为战场用途设计的，开发者未必意识到这一点。

国际人道法本身是强国之间不断演化的法律谈判，并不完美，拥有庞大军队的美国和俄罗斯常常不遵守。但吉塞尔强调，人道法适用于“所有武器、手段和作战方法——昨天的、今天的、明天的”。

他主张为这项新技术制定新规则：不是全部禁止，而是禁止特定类别的自主武器系统，并对其他类别施加具体限制。他有两条红线：

  • 任何把人类从击杀链中移除的AI支持系统，都需要具体的限制和护栏；
  • 直接以人为目标、而非坦克或武器系统等典型军事目标的自主武器，应基于伦理、人道和道德底线予以禁止。

自主武器并非新鲜事物。美国一些军舰上的加特林机炮能自动追踪并摧毁来袭目标，区别在于它们追踪的是舰船和导弹，不是人。

吉塞尔认为，瞄准人类的自主武器和挑选目标的AI支持系统有个共同问题：不可预测。禁止不可预测的武器本该是无需动脑的事。“军事纪律关乎你的部队执行指挥官意图。如果一件武器的效果不可预测，你怎么执行指挥官意图？”

但这一点在谈判中卡住了。今年8月和9月的讨论中，主席的最后提案里写明了自主武器系统需要可靠、可解释、可理解、可预测——“而所有这些都被一些国家删掉了”。他说：“我们本以为军事考量会是一致的，但实际也遇到了相当大的阻力，说来奇怪。”

他还反对AI进入核指挥与控制。1983年，苏联早期预警系统报告美国发射了核武器，中校斯坦尼斯拉夫·彼得罗夫判断是计算机出错，没有上报，他是对的。吉塞尔说，各国会继续使用卫星和配套算法，“但确保它完全处于人类控制之下、真正有意义的人类控制之下，非常重要”。

联合国在讨论，红十字国际委员会在琢磨怎么监管，战争没有停，军队仍在拥抱AI。吉塞尔说，这就是为什么国际社会必须紧急决定禁止什么、限制什么——“一旦精灵出了瓶子，想把它塞回去就非常非常难了”。

他的结论是现在就得行动：“否则，将是技术来决定什么是可接受的，那不是我们想要生活的世界，对吧？”