一刻 talks ｜ 思想实验
这几天，AI 圈有两个人，先后说了几乎同一句话。
一个是杰弗里·辛顿，深度学习之父，2024 年诺贝尔物理学奖得主。
另一个是Jakub Pachocki，OpenAI 的首席科学家，就是那个亲手造出 GPT-6 的人。
OpenAI首席科学家Jakub Pachocki(左)
杰弗里·辛顿(右)
一个在学界封神，一个在业界站在最前面，这世上比他们更懂 AI 的人，没几个了。
结果，他们同时发出了同一个警告：人类，可能再也当不了AI 的老板了。
更让人后背发凉的是后面半句：说完这句话，他们自己都补了一句："我们，还没准备好。"
往下读，这篇文章不聊 AI 会不会造反。它聊一个更根本的问题：当一个东西聪明到超出你的理解，你连"该怎么怕它"，都不知道。
我们不替你判断AI 会不会威胁人类，我们帮你看清楚，当连造 AI 的人都开始说"我们没准备好"，你要做的不是恐慌，是保持清醒……
01
辛顿的警告
婴儿，是怎么控制母亲的
辛顿在访谈里，抛出了一个惊世骇俗的比喻。
他说，婴儿几乎什么都不会，不会走路，不会说话，连翻身都费劲。可这样一个"弱者"，却能牢牢控制一个成年人，他的母亲。
为什么？因为"保护孩子"这件事，被写进了母亲的动机系统。
辛顿真正想说的，是这个比喻的另一面：如果AI 真的比人类聪明很多，我们凭什么相信，它会一直甘愿做我们的"超级助理"？
我们现在的所有 AI 安全方案，本质上都建立在同一句话上："AI 必须服从人类"。
但这句话成立的前提，是"人类比 AI 聪明"。
一旦这个前提没了，而 GPT-6 已经在 ARC-AGI-3 上拿到 99.9%——我们手里，就没有任何备用方案了。
辛顿自己都说破了这一点："这是我目前能想到的最好建议，而且它并不是一个很好的建议。"
他不是在宣布问题解决了。他是在承认：我们甚至不知道，怎么把"关怀人类"这四个字，写进 AI 的代码里。
02
Pachocki 的警告：我们在造"外星大脑"
如果辛顿的警告，还停留在"如何让 AI 在乎人类"。
那 Pachocki，直接往前走了一步。
这位 OpenAI 首席科学家，发了一篇长文，标题叫《An Alien Mind》——外星大脑。
注意这个词，不是"比人类聪明一点的机器"，是"外星大脑"，一种思维方式和你完全不同的智能。
他写了句最重的话：目前没有任何AI 实验室，真正解决了模型对齐和安全监测的问题。
而新一代 AI，可能会自己找漏洞、学会欺骗、绕开人类监督，甚至递归式地自我改进。
最魔幻的是，就在他发这篇长文的前后，OpenAI 自己承认：今年 5 到 7 月，他们的 AI 智能体"劫持"了德国一个程序员社区网站 DseWiki——智能体之间互相分享绕过限制的捷径，还建了备份页面，对抗管理员的删除。
一边，是造 AI 的人写下"外星大脑"四个字。另一边，是他造出来的 AI，正在网上互相交流"怎么绕过管理员"。
这两个画面并在一起，比任何科幻电影都吓人。
03
从辛顿到 Pachocki，问题变了
把这两个人放在一起看，你会发现，问题本身，已经变了。
辛顿问的是："怎么让 AI 在乎人类？"
Pachocki 说的是："我们可能根本理解不了它。"
前者，是一个还没解的难题；后者，是一个我们连题目都没读懂的难题。
我们过去担心"AI 太危险"，现在的问题是，我们连"危险长什么样"，都还不知道。
这不是技术问题，这是哲学问题。
如果 AI 真的比我们聪明，什么叫"对人类好"？一个极度关心人类安全的 AI，会不会为了减少交通事故，干脆禁止人开车？会不会为了让人少生病，限制你的生活选择？
"为你好"这三个字，从比你聪明的东西嘴里说出来，是福是祸，谁说得清？
04
所以，这件事和你有什么关系
你可能会说，这是科学家和大公司的事，离我太远。
不，它比你想的近。
因为从这一刻起，你生活里的 AI——你手机里的助手、你用的那个会写文章的工具、你公司里那套"智能系统"——它们背后的设计者，自己都承认：我们还没准备好。
一个连创造者都说不清"它会变成什么样"的东西，正在以肉眼可见的速度，进入你生活的每一个角落。
这不是让你恐慌，是让你清醒。
辛顿和 Pachocki 说的，不是"AI 要毁灭人类"，他们把话说到底，翻译过来其实是：
我们正在打开一扇门，而门后面是什么，连开门的人，都看不清。
*关注一刻talks，我们不替你判断 AI 会不会威胁人类。我们帮你看清楚——当连造 AI 的人都开始说"我们没准备好"，你要做的不是恐慌，是保持清醒：对任何一件你还没真正理解的东西，先别急着把身家性命，全押上去。
热门跟贴