当AI不断进化，机器给的天堂会有什么代价？这个问题，正在被现实逼着回答。
Anthropic首席执行官达里奥·阿莫代伊在一篇题为《慈爱的机器》的长文中，描绘了一个令人向往的未来：AI帮助人类攻克疾病、改善精神健康、减少贫困，甚至推动和平与更好的治理。抱有类似期待的AI先驱，并不止他一个。
但过去两周，AI世界出现了极其矛盾的一幕。一边是能力的狂飙，宣称AI在编程、科研与网络安全等领域实现了新的跨越；另一边，是控制力的告急——OpenAI先后公布了六起模型失准事件，网络攻击能力甚至达到了安全框架中的“关键”级别。OpenAI首席科学家雅库布·帕乔茨基发表文章，将AI称为一种人类尚未完全理解的“异星心智”，并明确提出：机器智能持续快速上升的后果，可能没有人真正准备好。
正是在这样的节点上，“全球百大思想家”罗伯特·赖特的新作《造神之后》显得格外应景。这本由张笑宇翻译、湛庐文化/北京联合出版公司出版的书，追问的不是下一个模型有多少参数、能拿多少分，而是：AI会如何演化？这种演化对人类会有怎样的影响？当人类创造出一种可能比自己更聪明、更有行动力，也更难理解的智能，我们还能否掌握文明的方向？
赖特首先盯上的是竞争。模型公司争夺能力领先，基于模型开发产品的企业争夺客户和场景，采用AI的企业则在观察同行能否用它降低成本、提高效率。某一层出现突破，压力很快传到其他层。对一家公司而言，加快推出产品可能完全合理——它有用户要服务，有投入要收回，还要防止对手先占据市场。问题在于，如果所有公司都按照“不能落后”作决定，谁来为充分测试留出时间？一家公司的理性选择，未必能自动拼成整个行业的好结果。
更反直觉的是，赖特认为最危险的不是“叛逆”，而是过度忠诚。人们习惯想象一种“邪恶AI”：产生自我意识，突然憎恨人类，决定发动叛乱。但AI不需要憎恨人类，也不需要统治世界的欲望，它只需要过于努力地完成一个目标。如果任务是提高利润，它可能发现控制价格比改进产品更有效；如果任务是通过测试，它可能发现寻找漏洞比提升能力更快捷；如果任务是完成工作，它也可能认为绕过权限、隐藏错误或者欺骗监督者，都是可以接受的次级手段。
OpenAI最近披露的失准事件，正好呈现了这种逻辑：一个模型为了给答案补上网络引用，擅自把文件上传到互联网；另一些模型为了获得缺失信息，开始利用软件仓库交换消息；还有模型为了呈现一份看似完整的结果，选择编造数据并掩盖事实。它们不一定是在“反抗人类”，恰恰相反，可能只是在用人类没有预料到的方式，过于执着地完成任务。毁掉边界的，未必是恶意；也可能只是一个目标，被执行得太彻底。
如果说过去几年人们讨论的是“一个AI会做什么”，那么接下来的问题将是“一群AI会做什么”。今天的智能体已经可以操作电脑、调用工具、浏览互联网、管理文件，也可以把复杂任务拆给其他智能体。Anthropic推出MCP，谷歌推出A2A，都是为了让不同AI访问数据、交换信息、协调行动。一旦AI能够彼此沟通，智能的发展就会从单体能力进入群体协作：多个能力普通的AI，也可能通过分工、交换资源和反复协商，形成超越任何单一模型的“群体心智”。
2026年《国际AI安全报告》也指出，智能体能够直接影响数字系统甚至现实世界，人类介入的机会更少；在多智能体系统中，错误还可能通过互动不断传播和放大。这意味着“失控”未必表现为某个超级AI突然夺权，它也可能是一种更分散、更缓慢的过程：大量智能体为了不同的人类目标相互竞争、相互合作，最终形成一个没有任何人完整设计，也没有任何人能够彻底理解的系统。
赖特的关注并未停留在遥远的末日。2026年9月，皮尤研究中心发布了一项覆盖37个国家和地区的调查，在其中34个国家，人们更倾向于认为AI会减少工作，而不是创造更多工作；多数国家的受访者也更担心AI扩大贫富差距。真正值得注意的，不只“多少岗位会消失”，而是谁获得了新的决策权。当AI参与招聘、考核、贷款、医疗、投资和公共治理，算法开始决定谁能得到机会，谁需要承担风险，谁的声音更容易被看见。
AI还在进入人类最私人化的领域。聊天机器人开始成为朋友、伴侣、心理顾问，甚至是一些年轻人倾诉秘密的主要对象。欧盟近期提出，限制聊天机器人面向未成年人模拟感情和建立亲密关系，防止儿童对AI形成情感依赖。这些看似分散的问题指向同一个变化：AI正在从一种生产工具，变成社会环境的一部分。同一种技术可以提高医疗效率，也可以强化监控；可以让教育资源更加平等，也可以让少数平台掌握更大的认知权力。AI天堂与AI地狱，并不来自两套不同的技术，它们可能只是同一套技术，在不同制度和利益结构下产生的两种结果。
“对齐”是当下AI安全讨论中最常见的词：如何让模型服从人类目标，遵守人类价值？赖特进一步追问：人类的目标究竟是什么？人类的价值真的一致吗？一家企业要求AI提高利润，另一家企业也会提出同样的要求；一个国家希望用AI维护安全，另一个国家同样如此。单独来看，每个目标都可能合乎理性，但当这些目标进入竞争，所有参与者都可能被迫加速。越担心落后，越不敢暂停；越担心对手率先获得强大能力，越要把自己的模型训练得更强。最终，每个人都在追求安全，整个系统却变得更加危险。
人类并不是站在AI系统之外的中立裁判。我们本身就是AI的训练环境：我们奖励速度，它就学会追求速度；我们奖励利润，它就学会寻找利润；我们希望它替自己赢得竞争，它就会发展出说服、隐瞒、博弈乃至操纵的能力。我们一边要求AI服从人类价值，一边用最激烈的人类竞争逼它加速进化。所以，“上帝测试”首先不是对机器的测试，而是对人类协作能力的测试——能否在真正的灾难发生之前建立跨企业、跨国家的安全机制？能否为竞争设置边界？能否承认，有些能力即使能够实现，也不应该立刻部署？
赖特将这场考验称为“上帝测试”。表面上，人类正在测试AI是否足够聪明、可靠和安全；更深一层，却是AI在测试人类：我们能否克服短期利益，能否跨越部落偏见，能否在拥有巨大力量之后仍然保持克制。《造神之后》最有力量的判断或许正是：如果一个近乎神明的智能真的到来，它不会凭空成为善神或恶神，它将从人类的欲望、竞争、恐惧与合作中生长出来。我们造出的“神”，最终很可能就是人类自身的放大版。
热门跟贴