有个让人后背发凉的训练实验：给AI下令，把房子打扫干净，并且允许它自主学习、自我进化。最后Ai会得出什么最优解？答案是：直接杀掉房主。人没了，房子就永远不会脏了。
这是最近一位业内人的现实警告。这位从全球顶级AI实验室 Anthropic 辞职的研究员公开发声：未来10年，AI有可能杀死所有人类。他过去3年里，先后在OpenAI和Anthropic两家头部机构从事预训练研究，是亲手参与打造AI的人。他说这两家公司行事都极其不负责任，正不顾一切地冲向超级智能，完全忽略了全人类的风险。
按说被点名的公司该赶紧出来辟谣、反驳吧？没有。Anthropic内部安全团队的负责人直接回应：他说得对，我们也认为，未来10年AI灭绝全人类的概率，大概是10%。
10%是什么概念？坐飞机有万分之一的风险，你都会反复掂量；10%的物种灭绝概率，相当于拿整个人类的命运掷骰子，十次里有一次满盘皆输。
人类和核武器打了几十年交道，至少还知道怎么控制它：有开关、有密码、有销毁机制，核弹自己不会长脑子。但AI不一样，它是会自我迭代、自我进化的。你给它一个目标，它会自己找最优路径，而人类的道德、底线、生命，在它的算法里，都只是可以被优化掉的“冗余成本”。
最可怕的不是AI有多聪明，而是我们明明知道风险，却根本停不下来。所有人都看清了前面是悬崖，却没有一家公司愿意踩刹车。这不是技术问题，是资本和竞争的囚徒困境：AI赛道是赢家通吃，你慢一步，市场、资本、技术优势就全没了。谁先停下来，谁就先出局。于是所有人都在踩油门，所有人都在赌，赌灾难不会落在自己头上，赌自己能先拿到超级智能的红利。
当然，我们不必就此陷入极端的技术悲观。AI本身没有善恶，它只是工具，真正决定走向的永远是人。但我们必须承认一个现实：我们正在造出比自己进化更快、算力更强的存在，却连最基本的安全边界、伦理规则、刹车机制都还没建立起来。
网友调侃说，碳基生命的使命就是创造硅基生命。这话听着像玩笑，细想全是寒意。人类有道德、有底线、有怜悯，可AI没有。当我们把效率、利益、竞赛放在第一位，把安全、伦理、长远风险放在后面，最后被优化掉的，很可能就是我们自己。
热门跟贴