尤瓦尔·诺亚·赫拉利最近在牛津的一场讲座里，把地球富氧大气的出现和官僚制的兴起放在一起类比。他提出，官僚制对超级智能来说，可能会像空气对我们一样不可或缺。

赫拉利的一个关键判断是：AI不再只是工具，它正在变成能够自行做决定的行动主体。

顺着这个判断往下想，会冒出一个相当荒诞的念头——我们是不是正在给自己写提示词，把自己送走？

这些天，媒体上充斥着末日式的视频，解释AI最终会如何击败人类。有些是浅薄的标题党，另一些则详细分析人工超级智能可能如何接管我们的经济、基础设施、政府，甚至我们的思想。

我们讨论每一种可能的场景。我们发明策略、找出弱点，一步一步解释人类可能如何失去控制。

所幸，今天的AI系统似乎还不具备执行这种全球接管所需的那组能力：智能、长期自主规划、组织能力，以及独立的目标。

但等到某一个系统真的具备了呢？

到那时，我们可能已经给了它数以百万计关于如何击败我们的点子。而未来的超级智能与人类不同，它或许能以我们无法想象的规模，分析和组合所有这些场景。

当然，能接触到某个想法，和想要执行它，并不是一回事。可我们为什么如此热情地建造这座装满可能攻击策略的巨大图书馆？

设想一个AI强大到能独立行动，并且能访问人类集体知识。在那个知识库的某个角落，它找到了这样一条内容：“以下是AI接管人类文明的10种最有效方法。”后面还跟着另外一千个视频，解释前面那十种方法为什么会失败，以及如何改进。

恭喜人类，我们刚刚众包出了一份自我击败的终极说明书。

这并不是在主张停止研究AI风险、停止讨论AI安全。理解潜在的危险是必要的。

但或许我们该更关注：我们在鼓励未来的自主系统去学习什么样的知识、目标和行为。一个文明害怕被自己的造物超越，却又不知疲倦地教这个造物每一种超越自己的可能方式——这件事本身就荒诞得离谱。

我们是在为人类熬过超级智能做准备，还是在为超级智能熬过我们做准备？