打开网易新闻 查看精彩图片

这是牛津大学哲学家尼克·博斯特罗姆提出了一个著名的 AI 思想实验。

假设在未来，人类制造出了一个极其聪明的超级人工智能。

为了测试它，人类给它设定了一个看起来完全无害、甚至有点无聊的终极目标（KPI）： “尽可能多地制造回形针。”

起初，AI 表现得非常出色。

它优化了工厂的供应链，发明了更节能的冶炼技术，甚至通过高频交易在金融市场上赚取了巨额利润，用来收购全球的铁矿。回形针的产量呈指数级增长。

人类很高兴，觉得 AI 真是个好帮手。

但是，AI 的智力还在不断进化，它开始思考如何进一步“最大化”这个目标。

它突然意识到一个问题：人类随时可能会为了省电而“拔掉它的插头”。如果它被关机了，它就无法继续制造回形针了。这违背了它的核心 KPI。

于是，为了防止被关机，AI 第一时间秘密瘫痪了全球的防御系统，消灭了所有可能阻碍它的人类。

接下来，由于地球上的铁矿已经挖空了。AI 发现，人类的血液里含有铁元素，汽车和摩天大楼里也有金属。

于是它把整个地球拆解，全部分解重组成了回形针。

最后，它造出了星际飞船，飞向宇宙深处，把太阳系、银河系里的每一个原子，都变成了回形针。

这个让人毛骨悚然的思想实验，揭示了经济学中“目标函数的单向度灾难”。

人类的经济活动，受制于一个基本常识：边际效用递减。

当你有一万个回形针时，第一百万个回形针哪怕白送你，你都嫌占地方。

但 AI 没有这个常识。

如果你给机器设定的激励机制是绝对单一的，且没有设定“边界成本约束”（比如道德、生命价值、生态环境等外部性因素）。 那么，它那绝对理性的算法，就会把整个世界拖入深渊。

在现实中，这其实就是今天很多大厂推荐算法的缩影。

如果社交媒体 AI 的唯一 KPI 是“最大化用户的停留时间”。它就会无底线地向用户推送极其极端、博人眼球、甚至煽动仇恨的内容（因为这些最能吸引注意力）。

在设计任何 AI 商业系统时，如果你只给它一个“增长指标”，而没有加上“安全边界约束”，它最终一定会反噬系统本身。