新智元报道
编辑：Aeneas
【新智元导读】最近，AI教父Hinton发出最尖锐警告：不受监管的AI就是一辆没有方向盘的高速跑车！全球只有1%的AI研究在做安全，4.8万亿美元的巨兽正在失控加速。
当78岁的Geoffrey Hinton坐在摄像头前，对着在场的几百位代表说出这句话时，整个会场安静了几秒。
「他们想要一辆没有方向盘的超级快车。」
最近，这位2024年诺贝尔物理学奖得主、被全世界叫了十几年「AI教父」的老人，在全球数字世界大会上，再次向全人类拉响了警报。
这位老人用几乎是带着恳求的语气警告：「我们不知道人类能否与超级智能AI共存。」
「但我们正在建造它。」
只有1%在管安全，剩下99%在踩油门
在发言中，Hinton给我们算了一笔很清楚的账。
全球AI产业正以人类历史上前所未有的速度膨胀。UN贸发会议的数据显示：2023年全球AI市场规模1890亿美元，到2033年预计飙到4.8万亿美元。
也就是说，人类只用了十年时间，就从零造出一个比日本GDP还大的经济体。
这些钱，几乎都用在了造更大的模型，跑更多的算力。
至于安全呢？Hinton给了一个数字：大概1%。
全球AI研发投入里，只有大约1%花在了「怎么让这东西不出事」上面。
对此，Hinton的评论是：It's crazy.
「AI科技游说集团正在花大价钱投广告，想让所有人接受一个类比——AI是油门，监管是刹车。他们的意思是，别踩刹车，会拖慢我们。」
对此，Hinton表示，这个类比完全是错误的！
「油门是进步，没错。但监管不是刹车，监管是方向盘。他们想要一辆极速狂飙的车，但没有方向盘。」
坐在他旁边的Terry Sejnowski立刻接了一句：你开过一辆没有刹车的车吗？下坡的时候你就知道有多惨了。但更惨的是，我们连方向盘都没有。
油门踩到底，方向盘拆掉，这就是当下全球AI竞赛的真实状态。
两位老人的颁奖典礼
怎么变成了一场审判
2026年世界数字大会的主题是「AI与社会发展」。
这次大会给Hinton和Sejnowski颁了一个奖，表彰他们在1980年代发明玻尔兹曼机，它后来成了深度学习革命的催化剂。
颁奖人是微软的语音识别专家李登（Li Deng），他自己就是玻尔兹曼机的受益者。
前半场，三个人聊的是科学往事，学术荣光和师生情谊。
Hinton和Sejnowski回忆了1980年代在罗切斯特的一次会议上，他们是如何把Hopfield网络和模拟退火结合在一起，这个灵感迸发的瞬间。
Sejnowski说，自己记得一清二楚——「我们坐在那里，突然意识到可以把Hopfield网络加热，让它变成概率性的。」
随后，Hinton补了一个细节：那个时候他刚在圣地亚哥跟David Rumelhart一起编程反向传播，用的是logistic单元。
而给Hopfield网络加温度之后，出来的恰好也是logistic单元。两条完全不同的路，在同一个数学形式上汇合了。
在科学史上，这种时刻被叫做「晶化瞬间」。
值得玩味的是，Hinton至今仍然认为玻尔兹曼机比反向传播更优雅。「它是一个好得多的想法。只是不太好用。」
Sejnowski笑着附和：「它在生成式AI还没流行之前几十年，就已经是生成式神经网络了。」
一个更优雅但不实用的想法，和一个没那么优雅但统治了整个时代的算法，在科学史上，这种故事反复上演。
「AGI，是一个愚蠢的术语」
但颁奖典礼的后半场，画风急转。当主持人把话题引向AGI和社会风险时，Hinton彻底切换了模式。
李登问了一个很多人都想知道的问题：你们怎么定义AGI？什么样的基准测试能说明AGI已经到来？
Hinton毫不留情地表示：「AGI是一个愚蠢的术语。」
理由很简单：它假设智能是一维的，像温度计一样，数值越高越聪明。
「但智能显然是高度多维的。所以不存在一个点，AI在那个点上等于人类。它相对于人类的能力是锯齿状的——在某些方面已经远远超过我们，在另一些方面还不如我们。」
他举了个例子：你现在去问任何一个大模型，斯洛文尼亚的报税截止日期是哪天，或者怎么给门廊做防潮处理，它都答得头头是道。在通识知识这个维度上，AI早就把人类甩了几条街。但在某些推理任务上，它还没完全追上。
「所以，AGI这个词没有意义。」
那什么词有意义？
在Hinton看来，真正有意义的是「超级智能（superintelligence）」。它的定义很清楚——在几乎所有人类能做的智力任务上都比我们强。我们相信它正在到来。
接下来，就是整场对话最核心的段落。
在场官员问：当超级智能到来时，人类还能保持对自己创造的系统的有意义的控制吗？
Hinton回答：「我们不知道能不能和超级智能AI共存。」
但我们正在建造它，所以我们现在还有很多控制权。我们应该小心地建造，让我们还能继续存在，和它和谐共处。
在已知的模型里，远比自己聪明的东西愿意给远不如自己聪明的东西自由——只有一个例子。母亲和婴儿。母亲真的关心婴儿。
但现在的问题是，我们正处在历史上一个紧迫的节点，必须尝试解决这个问题，而投入的资源少得可怜。
也许只有1%的工作在研究这件事。相比之下，99%的工作都在让AI变得更聪明。 这简直是疯了。
烟草和石棉
Hinton把AI风险分成了三类。
第一类：有人故意用AI干坏事。
比如，制造深度伪造视频来腐蚀民主，制造致命病毒来引发大流行，发动网络攻击。这是最直接的威胁。
第二类：有人试图用AI赚钱时产生的副作用。
比如用AI把女性照片生成非法照片。比如推荐算法不断推送比你刚看过的更极端的视频，最终制造出两个完全没有共同语言的群体。
「他们只是在赚钱，但副作用就是撕裂社会。」
第三类：AI自主接管的存在性威胁。
Hinton认为，第三类威胁或许会得到国际合作，因为所有人都害怕。
但对于前两类，特别是第一类，则不会得到合作。各国会嘴上说要合作，但实际上都在互相攻击，这就要难处理得多。
Hinton讲了这样一个类比：看看烟草和石棉的历史。
「生产烟草和石棉的发达国家——比如加拿大——在本国引入了保护公民的法规。但它们继续把这些东西卖给第三世界国家。
所以我们真的要担心：即使我们在开发AI的国家制定了正确方向的法规，这些国家仍然可能把AI卖到其他国家，在那里产生恶劣后果——即使这些事情在他们自己国家是不被允许的。
太阳底下无新鲜事，烟草和石棉的剧本，很可能会再次上演。
关于LeCun，你怎么看？
LLM，究竟是不是死胡同？
接下来，李登还带来了一个尖锐问题：LeCun说大语言模型是通往超级智能的死胡同，你们怎么看？
Hinton把这个问题拆成了两半。
「首先，是一个哲学问题：一个只预测下一个词的系统，能不能理解空间？答案是能。这非常令人惊讶。」
「然后，有一个实际问题：这是理解空间的高效方式吗？答案是不能。如果你有摄像头，能操控物体，你理解空间和基本物理常识的效率会高得多。」
「所以在实际层面，一个多模态AI——有摄像头、能操控物体、还能说话——会比纯语言模型用更少的数据更快地理解很多东西。但在哲学层面，纯语言模型给它足够多的语言数据，可能也够了。」
4.8万亿美元的蛋糕，谁在切？
这次大会暴露的另一个裂缝，就是「分配」的危机。
UN贸发会议代理秘书长Pedro Manuel Moreno在同期举行的科技发展委员会上直接点破：AI的建造能力和塑造权，集中在极少数经济体和企业手里。
国际电联秘书长Doreen Bogdan-Martin给出了一个刺眼的对比：发达国家对于AI的采用速度，几乎是发展中国家的两倍。
「如果不解决这个问题，这将是第二次大分流。」
造AI的国家和只能消费AI的国家之间，鸿沟正在以肉眼可见的速度撕开。
4.8万亿美元的市场，基础设施、投资、人才全部集中在北半球那几个点上。剩下的世界，甚至没有资格参与规则制定。
显然，这个后果很可怕。
方向盘在谁手里？
把时间线拉长一点就会发现，Hinton的这场对话，其实是他过去三年吹哨行动的一次集大成。
2023年从Google离职时，他说的是「我为自己的毕生工作感到后悔」。2024年拿诺贝尔奖时，他在领奖台上呼吁重视AI安全。2025年他在多个场合反复强调监管的紧迫性。
到了2026年，他的措辞变得更具体了。
而他在技术讨论中展现的另一面同样值得注意。
这个78岁的老人，在聊完AI末日风险之后，能立刻切回去讲受限玻尔兹曼机为什么是正确的贝叶斯推理、为什么当前的图像生成模型只用了醒-睡算法的一半、怎么把生成模型和识别模型结合起来才是下一步正确方向。
他同时住在两个世界里——一个在思考AI怎样变得更强大，一个在思考人类怎样不被更强大的AI毁灭。这两件事在他的大脑里并行运转，互不矛盾。
这大概就是为什么他的警告格外有分量。这是亲手造出这个东西的人在说：我知道它能做什么，所以我知道该怕什么。
而Hinton提到的那辆车，现在油门已经踩到底了，4.8万亿美元的引擎在轰鸣。方向盘在不在，取决于接下来的几年里，坐在驾驶座上的人——不管是政府、企业还是科学家愿不愿意伸手。
如今，我们正站在一个极其特殊的时间节点上。在AI变得比我们聪明之前，是人类唯一还能决定游戏规则的窗口。
Hinton三年前从谷歌辞职时说的那番话，当时很多人觉得是杞人忧天。
三年过去了，他还在说同样的话。不过，现在已经有很多人，真实地理解了他的担忧。
只是，那辆没有方向盘的车，还在加速。
参考资料：
https://x.com/haider1/status/2048809405442039961
热门跟贴