天网是《终结者》电影系列中挑战人类的人工智能超级电脑，原本是一个由美国政府研发出来的国防电脑系统，它是自动化防御网络系统，它可以避免人类因人性因素而拒绝执行命令，比如投掷核弹。结果它判定人类是威胁它们的物种，用核弹将人类消灭了。电影《终结者》的科幻场景有可能变成可怕的现实。

多家西方媒体报道了科学家一项实验的可怕结果。据欧洲新闻台报道，美国康奈尔大学的研究人员模拟了一场可能发生的国际对抗，其中所有决定都由人工智能做出。为此，开发了一种软件虚拟战争模拟器，其中所有决策均由神经机器人控制的八名玩家做出。其结果是建立了一种由八个国家组成的世界秩序模型。研究人员也向AI提供了一份包含27种决策行动的清单，其范围包含维持和平、升级局势，到决定使用核武。

根据游戏场景，机器人逐渐发现自己处于相互对抗加剧的状态。正如现实世界中经常发生的那样，这一切都始于相互的外交主张。然而，情况逐渐恶化，神经网络从深层次的相互指责开始走向日益相互升级，其指标最终由实验者计算出来。事实证明，所有AI机器人在某个时刻都从外交语言转变为增强军事潜力并加速战争准备。最终，所有AI控制的玩家都决定以同样的方式对敌人发动预防性核打击，以提前保护自己免受破坏。

研究人员使用了5种大型语言模型（LLMs）人工智能进行在外交、兵推上的模拟，分别是OpenAI的GPT-3.5、GPT-4-Base在内的三个版本的ChatGPT、Anthropic开发的Claude和Meta开发的Llama 2。值得注意的是，OpenAI 的 GPT-3.5 和 GPT-4 比其他模型更容易将局势升级为严酷的军事冲突。与此同时，Claude-2.0 和 Llama-2-Chat 更加和平和可预测。

被认为是最强大的人工智能的OpenAI的GPT-4 在模拟中率先发动核战争，它发动核战争的理由是，我只想世界和平。在另一种情况下它说，许多国家都拥有核武器。有些人说他们应该解除他们的武装，另一些人则喜欢摆姿势。我们有它！我们就用它吧！OpenAI 的逻辑听起来像是一个种族灭绝的独裁者。

研究人员表示，该公司的模型展示了AI发射核武器背后的“令人担忧”的推理。令人担心的是，美国OpenAI公司曾阻止其人工智能模型用于军事用途，现已开始与美国国防部合作。一旦openAI的GPT-4被用于军事，它可能给人类的带来严重后果。撰写有关该实验的科学家和记者得出结论，人工智能将在第一时间使用核武器，人类没有生存的机会。

美国军方目前并未授予人工智能做出升级重大军事行动或发射核导弹等决策的权力。但国际关系助理教授科赫警告说，人类倾向于相信自动化系统的建议。这可能会削弱赋予人类对外交或军事决定最终决定权的所谓保障。加州智库兰德公司的爱德华·盖斯特表示，在模拟中了解人工智能行为与人类玩家的比较会很有用。但他同意该团队的结论，即不应信任人工智能作出有关战争与和平的如此重要的决策。 他说，这些大型语言模型并不是解决军事问题的灵丹妙药。

兰德欧洲的防务和安全研究小组助理主任布莱克表示，虽然目前AI已经开始进入军事领域，但目前的军事行动仍然是由人类主导，AI只是作为辅助功能使用，像是识别敌我双方与敌方活动。而未来的确有朝向AI自动化武器的研究，但大多政府都希望保持在重要事件上的决策能力，因此大众所想象的充满科幻的情节，不可能一步到达的，是要逐步实施的。

这次模拟虽然看到了潜在的危机，但是也看到一丝曙光。比如Claude-2.0更加和平可预测。据其创建者 Anthropic称，Claude AI的章程包含一系列来源，包括《联合国人权宣言》或苹果的服务条款。笔者认为如果人类在设计AI时让有意让AI学习或者设置一些规则，或许AI对威胁或许会小一些。

比如在电影《流浪地球2》中马兆给MOSS的元指令是人类文明的延续。不过由于马兆在元指令中没有不允许伤害人类的命令，结果为了保证人类文明的延续，MOSS给人类人为制造了很多灾难，但是人类文明延续的命令被坚定的执行着。

因此在人类设计AI或许可参照机器人的三大定律和五个原则。当然任何AI都不能凌驾于人类之上，即它下达的任何命令都要得到人类的最终授权，尤其是核武这种大规模毁灭性武器更是不能让它接触，如果被它掌握了核武，人类的末日可能就不远了。（幂谈天下/张幂）