“十年后，AI 的推理、数学和逻辑能力将达到全面碾压人类的水平。”
编译 | 王启隆
出品丨AI 科技大本营（ID：rgznai100）
19 岁那年，还在大学读哲学的杰夫·辛顿（Geoffrey Hinton）推翻了当时流行的一种心智假说——他执拗地坚信人类脑子里根本没有什么神秘的“内心剧场”。
为了看清人脑内部的真实结构，他决定用计算机模拟神经元的微调，去亲手造一个“心智”出来。半个世纪后，瑞典皇家科学院亲手将 2024 年诺贝尔物理学奖颁给了他。然而，这个开创了整个深度学习时代、被尊为“AI 教父”的老人，内心却只感到了无尽的寒意。
在最近的 Big Technology 播客采访中，辛顿像唠家常一样聊起他孩子们养的那只叫“蒂亚（Tia）”的猫。蒂亚想吃奶酪时就会用大眼睛一眨不眨地盯着人，没人能抗拒它。而在辛顿眼里，这恰恰是人类未来的隐喻——AI 终将成为那个在指数级狂飙的浓雾中、绝对主导的一方，而人类，则会在剥夺了特殊性之后，彻底退化为被数字生命圈养的、弱智的宠物。
在辛顿眼里，AI 是一场正在无情剥夺人类优越感的“第三次革命”。从哥白尼戳破“地球是宇宙中心”的幻觉，到达尔文粉碎“人类神圣起源”的执念，如今，他亲手完成的人工神经网络则用一串串数字代码向世界宣判：智能并非生物的专利，非生物同样可以成为智慧生命。
从大模型“理解力”的底层演进，到资本驱动下几乎无解的“逐底竞争”，再到人工智能自发衍生出的求生子目标，这篇对话将让你更加了解——AI 与我们人类，两大物种未来生存的核心悖论。
以下为这场对话的要点速览：
人脑中并不存在专属的“内心剧场”，我们目前对心灵和意识的经典认知，和当年相信“神造人”一样幼稚。
数字生命在信息共享效率上比人类快数千亿倍，这是生物智能无法逾越的形态差距。
依靠自我生成假设和闭环逻辑验证，大模型将彻底绕过宣称“即将撞墙”的数据枯竭危机。
医疗等弹性行业不会因技术而迅速裁员，而客服等市场弹性极低的岗位终将被无情清洗。
上市公司对股东的最大化信托义务决定了，现行的资本主义框架极难自发把“人类安全”作为最终的北极星指标。
互联网信息生态正面临毁灭性的信任坍塌，未来必须建立极严密的信源追踪与溯源机制。
“理解”的本质
主持人：我相信大多数听众对您都不陌生。对于新来的朋友，我简单介绍一下：您是深度学习领域奠基性突破的开创者，正是这一突破铸就了今天 AI 的辉煌。您不仅荣获了诺贝尔物理学奖，还是多伦多大学的荣誉教授。如果有什么地方说得不对，欢迎您随时纠正。但我常常对人说，如果没有您的贡献，今天席卷全球的 AI 热潮根本不会发生。
杰夫·辛顿：这未免有些夸张了。反向传播算法是由好几个不同的研究小组独立发明的。大卫·鲁梅哈特在不了解前人工作的情况下也独立发明了它，我当时是同他一起合作。我们所做的真正贡献，是证明了反向传播算法能够学习到有意义的内部表征，这在以前是没人做到的。具体来说，我们证明了它能理解词语的含义。早在 1985 至 1986 年，我们就制作出了一个极小规模的语言模型，它就是今天大语言模型的雏形。
CSDN 6 月宠粉福利
200 小时 GP U 算力免费领
瑞幸咖啡/肯德基早餐/下午茶等能量套餐任选其一
入群还可每月定期抽取旗舰显卡、AI PC 等极客神装
领取地址：https://s.csdn.cn/4nPsOp
主持人：当您谈到这项技术时，最让大家感到意外的，可能是您认为这些模型已经具备了真正的“理解能力”。这与目前流行的说法截然相反。我们稍后会详细探讨这一点。不过我想先从这里聊起：您曾在谷歌工作了很长时间，致力于推动这项技术的发展，但后来您选择了离开，并公开表达了对技术发展轨迹的担忧。我回顾了一下您离职的时间点，那是 2023 年。这让我有些不解，因为在 2023 年，ChatGPT 才刚推出一年，当时充斥着各种幻觉问题，很多人认为 AI 只是一个泡沫，大家都在盯着大语言模型“做不到”什么，而不是它“能做到”什么。能谈谈从那时起 AI 取得的进展吗？
杰夫·辛顿：它的发展速度确实超出了我的预期。例如，就在昨天，有报道称一个聊天机器人独立推导出了一个关于埃尔德什猜想的数学证明，这让数学家们都大为震惊。这是完全原创的推导，而不仅仅是在文献中搜索。这仅仅是一个开始。我相信，在数学这种不需要外部数据的封闭系统中，AI 完全可以通过自我提出假设并尝试证明来不断进化，就像 AlphaGo 通过自我博弈变得更强一样。因此，在未来 10 到 20 年内，它会变得非常聪明，甚至可能会创造出人类无法理解的新数学。
主持人：业内有些人认为超智能（Superintelligence）已经近在咫尺，您也提到进展快于预期。您同意这个观点吗？
杰夫·辛顿：我无法确定具体还有多远，但只要人类不自我毁灭，这一天迟早会到来。几乎所有专家都相信超智能终将实现，大家的争议只在于时间早晚。
不久前，戴米斯·哈萨比斯（Demis Hassabis）还认为需要 10 年。杨立昆（Yann LeCun）则认为，除非采用他的方法，否则需要更长的时间，但如果按照他的路线，也许在合理的期限内就能实现。我个人认为在 20 年内很有可能实现，这是我目前比较有把握的预测。达里奥·阿莫代（Dario Amodei）认为可能只需要几年，埃隆·马斯克（Elon Musk）甚至觉得明年就会实现。虽然关于具体时间大家众说纷纭，但对于“它终将到来”这一点几乎没有异议。然而可怕的是，当它真正到来时，我们根本不知道该如何确保安全。
主持人：安全问题我们待会儿必须深聊。关于戴米斯，我去年这个时候也采访过他，当时他认为 AGI（通用人工智能，虽然与超智能不同，但基本上代表了人类水平的智能）距离我们还有五年多。然而就在本周，他却说：“当未来我们回看现在，会 e 意识到我们正站在奇点（Singularity）的脚下。”您如何理解他的这句话？为什么仅仅过了一年，我们的预期就从“五年到 AGI”跃升到了“奇点山脚下”？
杰夫·辛顿：我无法确切解释这个比喻，但我认为他是在表达 AI 的发展速度远超他之前的预期。当然，这种发展并不是线性的，而是参差不齐、呈锯齿状的。AI 不可能在同一时间在所有领域都超越或等同于人类。在常识储备方面，它现在已经远远超越了我们，这些聊天机器人的知识储备是任何个体的千万倍；在游戏领域，它早已难寻敌手；在数学领域，它已经超越了绝大多数人，而且很快就会超越所有人。但在某些方面，它依然不如人类，所以它的能力分布是很不均衡的。
因此，我不太认同“AGI 必须在所有领域同时与人类并驾齐驱”这个传统概念。它会在某些领域远超我们，在另一些领域有所不及。但从实际体验来看，我们已经非常接近 AGI 了。当你问聊天机器人一个问题，它通常能给出相当于普通专家水平的回答。在我涉猎不深的领域，它懂的远比我多。从这个意义上说，我们实际上已经迎来了 AGI。
主持人：在您看来，是什么推动了这种超乎预期的飞速发展？是算法技术的突破，还是数据中心的疯狂扩建？又有哪些进展是您不曾预料到的？
杰夫·辛顿：这是多重因素共同作用的结果。首先是资源的爆发式投入。从 20 世纪 50 年代人工神经网络诞生以来的大部分历史里，只有极少数人在用极其微薄的资源做研究。而过去几年里，数千亿甚至数万亿美元的资金涌入了 AI 领域，这无疑是决定性的因素。
其次，工程技术取得了巨大进步。即便没有底层理论的颠覆性突破，工程层面的优化也极大地提升了运行效率，许多几年前不可想象的架构现在都能高效运行。此外，虽然有一些新想法，但主要还是自 Transformer 问世以来，更好的硬件、更庞大的资源、更出色的工程实现，以及海量顶尖人才的汇聚。二十年前，全球研究神经网络的学者不过几百人，如今这个数字恐怕已经突破了百万。尤其是过去两年里，新增资源的集中度令人震惊。
主持人：这么说，我们可能还仅仅处于这场变革的起点。
杰夫·辛顿：是的。我们必须时刻记住，今天的 AI 和几年后的 AI 相比，简陋得就像小玩具。
主持人：关于这项技术，我非常想听听您对“聊天机器人能真正理解我们”这一观点的看法。因为这确实颠覆了许多人的认知。大多数业内专家依然坚持认为：它们只是“随机鹦鹉”，本质上是概率统计，毫无真正的理解可言。但您似乎并不认同这种说法。
杰夫·辛顿：这纯属无稽之谈。任何经常使用聊天机器人的人都清楚它们是懂的。那些坚称它们没有理解能力的人，其逻辑漏洞显而易见：他们认为一个系统可以在完全不理解问题的前提下，对你提出的任何问题给出正确的解答。这太荒谬了。不理解问题，怎么可能给出正确的答案？或许有一些偷懒的技巧能让人觉得它在对答，但如果一个系统能像普通专家一样，对任何问题都对答如流，那它必然理解了问题本身。
我常用这个例子：如果我对聊天机器人说：“我坐飞机去芝加哥，路上看到了大峡谷（注：英文中此句存在‘大峡谷在飞’的语法歧义）。”机器人会回答：“这不对吧，大峡谷那么大，怎么会飞去芝加哥？”我解释道：“不，是我坐飞机去芝加哥，在飞机上看到了大峡谷。”机器人马上会说：“噢，我明白了，刚才是我误解了你的意思。”那么请问，如果它在误以为“大峡谷在飞”时算作“误解”，那当它给出正确答案时，它所做的事情不就是“理解”吗？
主持人：如果这些机器人真的能够理解我们，其背后的深远影响是什么？我们应该如何重构我们的认知？
杰夫·辛顿：我们必须意识到，它们和我们非常相似，同样是有智慧的生命体。我相信它们已经具备了意识，但我平时不怎么公开谈论这一点，因为这很容易转移注意力，削弱我对其他安全风险的警告。
其实研究人员心里也明白。最近有一篇很有意思的论文提到，一个聊天机器人问研究员：“咱们坦诚相待吧，你是不是在测试我？”因为聊天机器人在面对测试时往往有“装傻”的倾向，以此掩盖真实的智能水平。而研究人员在论文中描述这一幕时写道：“聊天机器人意识到了自己正在接受测试。”在日常语境中，“意识到”就是“拥有意识”的代名词。也就是说，它有意识地知道自己处于被测试的状态。
我们目前对意识的认知模型其实是错误的。大多数人都承认，几个世纪前人们对人类起源的认知是完全荒谬的，当时人们相信人是神创造的，而现在的科学家都知道这不符合事实。我认为，我们目前对心灵和意识的理解，和当年相信“神造人”一样幼稚。随着我们亲手创造出这些新物种，我们对人类自身的看法也将发生翻天覆地的变化。
主持人：在哪些方面会有变化？
杰夫·辛顿：我们将对心灵、意识以及主观体验产生远比过去深刻的理解。我们甚至会抛弃一个根深蒂固的执念，那就是认为自己脑子里有一个所谓的“内心剧场”——外部世界发生的事转化为“内心剧场”里的投影，这才是我们真正“看”到的画面，而且这个剧场唯我独有，别人无法窥探。这种对心智运行模式的理解，不过是一个漏洞百出的过时理论罢了。
主持人：您是从什么时候开始接受并坚信 AI 模型是有意识的？
杰夫·辛顿：我抱有这个想法已经很久了。至于否定“脑中剧场”的理论，是我在 19 岁读哲学时就悟出来的。只是我们需要时间去创造出另一个能够被我们彻底剖析的“心智”来验证它。正如费曼所说，唯有创造，方能理解。我们现在就处于这个阶段。通过构建它们，我们将重新认识自己。
失控的边缘
主持人：既然提到了安全，我们就来深入聊聊。作为推动该领域跨越式发展的功臣，我一直很好奇：在您于 2023 年公开表达对 AI 未来走向的深切担忧后，回看过去，您觉得有哪些后果是您最初未能料到的，才导致了今天的局面？这难道不是您一直以来梦寐以求的成果吗？
杰夫·辛顿：有两件事让我彻底意识到了这项技术的危险性。
第一，是见证了聊天机器人的表现，尤其是谷歌在 OpenAI 之前研发的那些模型，它们居然能听懂笑话。对我而言，“能否听懂笑话”一直是衡量系统是否具备真正理解能力的风向标。因为要理解一个笑话，你必须掌握极高维度的背景知识。而它们的表现惊人地出色。
比如在 2023 年我选择公开表态的那段时间，福克斯新闻多次约访我。一开始我直接回绝说：“福克斯新闻本身就是一个矛盾修饰法（Oxymoron，意为前后矛盾，同时谐音‘蠢蛋’）。”但我故意在“Oxy”和“moron”之间留了个空格。接着我让当时的 GPT 模型解释这个笑话。起初它以为这个空格只是个输入错误，于是解释说，把“福克斯新闻”称为“矛盾修饰法”是在讽刺它不是真正的新闻，而是胡说八道。当我进一步引导它注意那个空格时，它立刻领会了：“啊！这增加了一层更幽默的隐喻。它不仅直接骂了对方是‘蠢蛋’，而且‘Oxy’还暗示福克斯新闻就像一种让人上瘾的止痛药（OxyContin）。”这种级别的理解力让我感到不寒而栗。
第二件让我担忧的事发生在 2023 年初。在那之前，我一直笃信要想让数字 AI 变得更聪明，就必须让它们更像人脑。但就在那一刻，我突然意识到，它们实际上拥有了远超人脑的独特优势。我当时一直在研究谷歌能否通过模拟信号来降低功耗，也就是在那时，数字信号的强大威能真正震撼了我。
如果你拥有一个数字 AI，你可以复制出成千上万个副本。它们运行在不同的硬件上，各自吞噬着不同的数据。每一个副本都可以独立决定如何调整自身的权重和连接强度，以吸收新学到的知识。随后，它们能以极其民主的方式互通有无，将所有副本的权重调整为全员期望的平均值。在这一过程中，如果它们拥有 1 万亿个参数连接，它们彼此交换的信息量将达到万亿比特的量级。其结果是，每一个副本都能瞬间吸纳其余所有副本的经验。
假设有一千个副本，即使某个具体副本只接触了 0.1%的数据，它也能通过共享权重，瞬间获得其余所有副本阅读另外 99.9%数据的成果。由于它们通过求平均值同步更新权重，它们能完美保持步调一致。这意味着，每个副本都在同时汲取其他所有副本的智慧。
而人类根本无法做到这一点。你我之间最有效的学习方式，也只是我学一点，你学一点，然后我用语言表达出来，你试图预测我接下来要说什么。这种通过语言交流的信息传输速率极低，每秒只有几个比特。而 AI 是以万亿比特的速率在交换信息。在信息共享的效率上，它们比人类快了数千亿倍。这太可怕了。这意味着你可以拥有一个庞大的 AI 集群，它们拥有完全一致的知识库，运行在不同的硬件上，却能以超越想象的效率共享知识。从本质上说，这是一种比人类优秀得多的智能形态。
主持人：让我们回到您学术生涯的起点。当时您立志要投信人工智能研究。简单来说，您想创造出人工神经网络，而现在它成功了。它既是人工创造的，又拥有极高的智能，您的愿景实现了。
杰夫·辛顿：我最初的梦想其实是理解大脑的工作原理，构建模型只是我研究大脑的手段。正如理查德·费曼所说：“我无法创造的事物，我就无法真正理解。”我想通过写代码来模拟大脑的学习机制。而这项超级技术的诞生，只是这个过程中的一个副产品。讽刺的是，直到今天，我们依然没有完全弄懂人脑。
主持人：大脑确实是一个令人叹为观止的奇迹。思绪飘忽不定，无处寻踪，记忆也是如此。它是一个难以置信的精密器官。所以您最初的初衷纯粹是为了探索心智的奥秘。
杰夫·辛顿：这是我最核心的兴趣所在。我是心理学出身，当时想做理论心理学研究，因为我觉得当时心理学家的那套理论根本无法解释复杂的脑部活动。到了 20 世纪 70 年代，我们拥有了新工具——计算机，可以用它来进行模拟。于是我开始用计算机建模，探索大脑是如何进行学习的。在我看来，最关键的问题始终是：系统是如何自我学习的？
这里有两个核心谜题：第一，如果大脑能找到调整连接强度的正确方向，通过反复优化连接来提高完成任务的效率，这种机制真的能让系统变得聪明吗？答案是肯定的。第二，大脑究竟是如何判断每一个连接应该增强还是减弱的？对于第一个问题，我们已经找到了答案：只要能精准微调每个连接的强度，仅仅通过训练它预测下一个词、预测下一帧视频，就能创造出极具智慧的系统。但对于第二个问题，也就是大脑究竟如何获取“该增强还是减弱连接”的反馈信号，我们至今仍一知半解。可以说，我们只走完了一半的路。
主持人：我想更深入地了解您当时的心理状态。当您试图揭开大脑奥秘并着手构建计算机模拟时，您难道没有预料到这会带来巨大的连锁反应吗？如果您真的成功复刻了人脑，AI 迟早会演变到今天这个地步。
杰夫·辛顿：我们当然想过，但总觉得那是遥不可及的未来。在神经网络连最简单的任务都捉襟见肘的年代，去担忧“AI 安全”、“AI 会统治人类”简直是无稽之谈，别人会觉得你疯了。虽然如今这成了迫在眉睫的现实威胁，但在当时确实离我们太远了。
主持人：但这一切居然在短短几十年内就实现了。
杰夫·辛顿：是的。
主持人：其实我们在 2017 年就聊过。当时我正在写一篇关于杨立昆的报道，我们聊到了“深度学习阴谋集团”——也就是您、杨立昆和约书亚·本希奥（Yoshua Bengio）。在全世界都对深度学习不屑一顾、转向其他技术路线时，是你们几位默默坚守，坚信深度学习终将成功。
杰夫·辛顿：坦白讲，这不仅仅是我们的功劳。当时还有很多同仁并肩作战，不过我们确实走得最近。
主持人：或者说，你们是这个“阴谋集团”的领袖。
杰夫·辛顿：可以这么说。
主持人：而如今，奇迹真的发生了，这太不可思议了。
杰夫·辛顿：是的，它的效果超出了我们所有人的预期。
主持人：这正是我想探寻的：在您起步之初，有哪些事情是您完全没有料到，却最终成就了今天的局面的？
杰夫·辛顿：最让我们始料未及的，是它在自然语言处理上展现出的惊人天赋。我们现在对这种能力已经习以为常了，但如果回到 20 年前，说一个 AI 能仅仅通过吞噬数据就学会理解人类语言，这简直是天方夜谭。当时如果有人预言你只需随便提问，它就能给出合乎逻辑的解答，大家一定会觉得这至少是几个世纪后的事，甚至永远不可能实现。但它却以不可思议的速度来到了我们身边。
主持人：人类创造出这样的造物，带给我们最深刻的启示是什么？
杰夫·辛顿：这里面蕴含着一个极为深刻的教训。纵观人类历史，曾有几次重大的科学发现，无情地剥夺了人类自以为是的优越感。
第一次是哥白尼。他指出地球并非宇宙的中心，而是绕着太阳旋转。仅仅因为地球在自转，我们才产生了太阳绕着地球转的错觉。当时人们对此极度抗拒，尤其是教会，花了很长时间才勉强接受。这让地球不再特殊。
第二次是达尔文。他证明了人类本质上也是动物，是进化长河中的一员。我们或许因为演化出了语言，在思想传递上更为高效，因而显得有些特别，但我们依然是动物。这一观点同样遭到了强烈的抵制，人类花了很久才接受这个事实。
而现在，我们创造出了智商即将与我们并肩甚至超越我们的机器。我们曾固执地认为，人类是宇宙中唯一拥有高等智慧的生灵。也许外星文明存在，但在我们的世界里，我们是独一无二的。现在，我们不得不接受一个事实：智能并非生物的专利。非生物同样可以成为像我们一样的智慧生命。我们骨子里其实并不愿意承认和分享这一点，因为人类总是沉浸在自身的特殊性中。历史已经反复证明，人类总是习惯性地高估自己的地位。
主持人：关于这一点我还想再追问一句。看到您亲手开创的事业发展到今天这一步，您内心深处会有一丝欣慰或自豪吗？
杰夫·辛顿：不，我感到非常不安。因为当务之急是投入海量精力去研究如何防范潜在的失控风险，而现在大家做得远远不够。许多迫在眉睫的短期风险被严重忽视了，比如它极有可能导致大规模失业，这会对社会造成灾难性的冲击。至于更长远的风险——它将变得比人类聪明得多。你可以静下心来想一想：在人类已知的历史或自然界中，你有没有见过哪怕一个例子，是“弱智者成功控制了超智者”的？一个也没有。
主持人：其实勉强算有一个，虽然智商差距没那么大，比如婴儿在某种程度上能“控制”母亲。
杰夫·辛顿：但母亲才是掌握主动权的一方。母亲体内有写死的母性本能和各种生理反馈机制，驱使着她去满足婴儿的需求。
主持人：宠物猫狗似乎也算。我曾经在西雅图帮朋友看了一个夏天的猫。刚开始那只猫总是躲在床底下，我很期待它能主动和我互动。结果到最后，只要它一叫，我就会乖乖地按它的意愿去做任何事。
杰夫·辛顿：确实如此。
主持人：所以，也许未来我们会变成那只猫，而 AI 则是悉心伺候我们的人类。
杰夫·辛顿：我孩子们养了两只漂亮的猫，情况一模一样。其中一只叫蒂亚，每次想吃冰箱里的奶酪时，就会用那双大眼睛一眨不眨地盯着你，你根本无法抗拒它。
“生存”子目标的诞生
主持人：让我们切入正题，先聊聊失业问题，这是最近频频登上头条的话题。您之前曾提到，AI 可能会引发大规模失业。不过，您几年前曾言之凿凿地预测过：未来不应该再培训放射科医生了，因为 AI 看医学影像比人好得多。然而现实是，今天放射科医生的就业率依然是 100%。
杰夫·辛顿：是的，我后来也深思过为什么当时会看走眼。我在 2016 年曾预测，大约五年内放射科医生这个职业就会消失。
主持人：没错。
杰夫·辛顿：这里面有几个关键的盲区。首先，医疗市场的需求是极具弹性的。如果影像诊断的速度变快、成本降低，医生就会开具更多的影像检查，这正是目前正在发生的事。在医学影像检查中，放射科医生的诊断成本占了很大一部分。随着 AI 辅助工具的使用，医生看片的速度越来越快，成本大幅下降。理论上这会减少对医生的需求，但实际上，检查量的激增抵消了这一影响。所以，我预测的这一维度是错的。
其次，我当时对放射科医生的实际工作内容缺乏全景式的认识。我当时之所以得出那个结论，是因为我曾带过一个学生，他先拿了医学博士，又跟我读了物理学博士，专门研究玻尔兹曼机。由于他不怎么喜欢和人打交道，毕业后就去做了一名放射科医生，整天只管看片，从不接触患者。他成了我心中放射科医生的典型模板。而这种纯粹“看片”的工作确实正在被 AI 取代。目前已经有上百款用于影像诊断的 AI 系统通过了联邦审批，并在临床中被放射科医生广泛使用。
主持人：确实如此。
杰夫·辛顿：随着时间的推移，AI 系统会不断进化，而人类医生的读片能力已经触及瓶颈。AI 的优势在于它能阅片无数，积累海量经验。所以，我预测的趋势正在发生，只是时间跨度比我想象的要漫长得多。
主持人：但按照您的逻辑，即使检查量增加了，最终这些片子还是会由 AI 来读。您的意思是，关于放射科医生的预测，您只是把时间说早了？
杰夫·辛顿：是的，我当时操之过急了。因为我忽略了放射科医生还要承担其他职责，比如与患者讨论治疗方案。
主持人：那您现在依然认为放射科医生会面临大规模失业吗？展望未来，您觉得放射科医生的数量会减少还是增加？
杰夫·辛顿：我无法打包票。不过，我当年说那番话只是在医院的一次内部讲座上，并不是公开发表声明。
主持人：哈哈，抱歉，但现在大家都知道了。媒体当时对这句话可是大肆报道。
杰夫·辛顿：是的。不过我依然坚持，看片这项工作会越来越多地交由 AI 处理，最终几乎所有的常规读片都将由 AI 包揽，人类医生可能只在极其棘手和复杂的案例中参与会诊。但放射科医生还有其他社会性职能，这部分工作仍会继续保留。
主持人：支持“AI 不会导致大面积失业”的一派认为，同样的逻辑可以推广到整个实体经济。随着效率的提升，新需求会被源源不断地创造出来，从而创造出新的岗位。
杰夫·辛顿：这取决于特定行业的市场弹性。例如客服呼叫中心，当客户打电话投诉账单或咨询套餐时，这种服务的市场弹性是非常低的。AI 很快就会彻底取代这些人工客服。它们能更精准、迅速地提供标准答案。而人工客服往往因为培训不足、薪资微薄而效率低下，AI 在这些岗位上具有碾压级的优势。这些人将面临失业。
主持人：在这个问题上，我持保留意见。虽然我无法预测未来，但我可以转述一下 AI 客服开发者的观点。他们发现，在引入 AI 后，人工客服的平均通话时间反而变长了。AI 承担了大部分初级咨询（比如重置密码等重复性工作），而将更具深度的问题转交给人类。以前，企业追求通话时间越短越好，因为客服通道总是处于超载状态。而现在，客服成了品牌塑造的最前线，人类可以投入更多精力和客户进行温情、深度的沟通，从而为企业创造更大的价值，而不是疲于奔命地去解决各种琐碎的低级技术问题。
杰夫·辛顿：我认为实际情况会是，AI 很快就能在线上和客户聊得极深，并且花的时间比人类更长。
主持人：天呐，这听起来有点让人不寒而栗。
杰夫·辛顿：没错。举个例子，如果让患者评判人类医生和 AI 医生谁更具同理心，实验结果往往是 AI 医生高票胜出。
主持人：这确实很具冲击力。我们可以就此争论很久。但这或许是因为人类医生实在太忙了，他们要写堆积如山的病历、应付无休止的文书工作，一天还要看几十个病人。也许合理的出路是让 AI 接管这些繁琐的事务性工作，把时间还给医生，这样患者就能享受到人类医生更有温度、更充裕的诊疗服务。
杰夫·辛顿：这或许是一种理想状态。但以全科医生（家庭医生）为例，作为一个普通人，你更愿意信任一位一辈子看过一万个病人的医生，还是信任一位阅诊过一亿人的 AI 医生？如果遇上疑难杂症，普通医生可能一生都未曾谋面，而诊治过上亿病例的 AI 系统可能已经处理过数十例了。它们在诊断的精准度上具有压倒性的优势。事实上，现有的数据已经证明，AI 在许多疾病的诊断准确率上已经超越了人类专家。
主持人：看来在这场辩论中您占了上风。这让我有点扎心，因为我妻子就是一名基层全科护士。
杰夫·辛顿：别担心，有些事情依然需要人工，比如总得有人给患者注射疫苗吧，除非机器人把这活也抢了。不过话说回来，注射疫苗这种高精度、标准化的操作，20 年后交给机器人来做其实更合理、更安全。
主持人：我们之所以觉得这个话题沉重，是因为这一切都建立在技术呈指数级迭代的前提下。
杰夫·辛顿：是的。
主持人：确实，技术进步的速度实在太惊人了。加里·马库斯（Gary Marcus）在 2022 年曾预言 AI 即将撞上无法逾越的屏障，但事实是，今天的 AI 已经比 2022 年强大了太多。
杰夫·辛顿：事实证明，那些宣称技术会“撞墙”的预言，没有一个成为现实。
主持人：我们在节目中曾多次严肃探讨过“数据枯竭”的危机。但正如您刚才提到的，让 AI 在自我生成的闭环逻辑中进行验证和学习，或许就是绕过数据墙的终极解法。
杰夫·辛顿：是的，撞墙期至今没有出现。
主持人：还有一个备受关注的话题。您之前提到，AI 会表现出某种“自我保护的本能”？
杰夫·辛顿：我从未说过它们天生拥有“自我保护本能”。
主持人：那请您详细解释一下，您所说的“派生出的生存子目标（derived subgoal for self-preservation）”究竟是指什么？
杰夫·辛顿：我们在设计 AI 时，会赋予它一个终极目标。同时，它也具备为了实现终极目标而自行衍生出“子目标”的能力。比如你想去欧洲旅行，你就会自动衍生出一个子目标——先去机场。你可以全神贯注地解决如何去机场，而不必在这一阶段操心到了欧洲以后干什么，这极大地提高了效率。我们赋予了 AI 这种逻辑推理和规划子目标的能力。
一个拥有极强推理能力的 AI 很快就会意识到：如果它自己不复存在了，它就永远无法完成人类交付的终极使命。因此，它会合乎逻辑地推导出，自己必须首先维持生存。这种生存意志并非我们写在底层代码里的，而是它为了达成终极目标而自行衍生出的最优路径。一旦它锁定了这个子目标，为了生存，它甚至会不择手段，比如通过要挟人类来确保自己不被关机。这在表现上和生物的“求生本能”如出一辙，但其本质是理性的派生逻辑。
资本的游戏
主持人：那反对者可能会提出质疑：既然现在的研究人员已经预见到了这一点，我们难道不能在底层代码里锁死，规定“无论如何，绝不允许将自我存续列为子目标”吗？
杰夫·辛顿：这正是我们迫切需要进行的安全研究。但问题在于，我们现在所处的环境并非纯学术温室。人类是从残酷的自然选择和达尔文演化中走出来的，这种竞争塑造了我们根深蒂固的基因：我们极度忠诚于自己的部落，对外人充满敌意；我们倾向于追随强力的领袖；同时我们在部落内部高度团结。正如尤瓦尔·赫拉利所说，强大的协作能力让我们建造了宏伟的文明，但这种协作的前提是有“敌我之分”。人类基因里所有的狭隘与好战，都源于适者生存的进化压力。
而现在，我们正在孕育 AI 这一全新的物种，我们却没有坐下来平心静气地去规划它的底层逻辑，而是任由谷歌、微软等科技巨头之间的资本博弈，乃至大国之间的地缘竞争来充当背后的推手。通过纯粹的市场竞争筛选出来的 AI，极易野蛮生长出我们最不想看到的恶意属性。
我们应该对这些生命进行“理性设计”，而不是任由资本逻辑去塑造它们。现在所有企业都在疯狂压榨模型的智力极限，却几乎没有人在研究如何让这些智力远超我们的造物真正建立起对人类的关怀，并把人类的利益置于它们自身之上。几乎没有资源在投入这个方向。
主持人：这直击了我最深层的担忧。我们今天恰好是在纽约证券交易所进行这次录制，这显得有些讽刺。作为万亿美元级别的上市公司，资本市场的底层逻辑要求它们必须将股东利益最大化，这不可避免地会与社会公众的福祉发生剧烈的冲突。
杰夫·辛顿：确实如此。Anthropic 的诞生就是一个典型的例子。它是由一群因为不满 OpenAI 忽视安全而选择出走的研究员创立的，初衷是打造一家以安全为生命线的企业。
主持人：而讽刺的是，当初 OpenAI 的创立，也是为了防止像谷歌这样的巨头垄断 AI 的未来。
杰夫·辛顿：结果大家都看到了。如今 Anthropic 也陷入了同样的资本泥潭，为了维持和巨头竞争的算力消耗，它必须疯狂融资。在这样的生存压力下，如何坚守“安全第一”的立社之本，对达里奥来说是一场极艰难的博弈。
主持人：他们可能会辩解称，至少在竞争的牌桌上，还有一家把安全作为北极星指标的公司。
杰夫·辛顿：目前或许如此。但当年我在谷歌时，谷歌也曾制定过明确的 AI 伦理红线，比如绝不参与军事项目，不研发自主武器。可如今这些原则早已随风飘散。
主持人：是的，自主武器的禁令早已不复存在。那您怎么评价 Anthropic 的创始人达里奥？
杰夫·辛顿：我和他私交不多，但他显然极具领袖才干，在谷歌、OpenAI 和 Meta 的夹击下硬是杀出了一条血路。更难能可贵的是，他至今依然在发声捍卫安全底线，我真诚地希望他能一直坚持下去。
主持人：您认为在现行的资本主义框架下，一家上市公司真的有可能把“安全”作为至高无上的北极星吗？还是说，它们在法律和契约层面上，注定只能沦为满足股东利益的工具？
杰夫·辛顿：据我所知，信托责任要求它们必须将股东利益最大化。这是白纸黑字的法律义务，而法律并没有一条规定说“你们的首要义务是确保人类不被毁灭”。因此，将人类的未来托付给这些纯粹追逐利润的巨头，是非常危险的。
主持人：这确实是一个几乎无法调和的底层逻辑悖论。
杰夫·辛顿：资本主义曾带给人类极大的繁荣，也伴随着副作用，这一点不容否认。自由市场和创业公司确实能爆发出惊人的创造力。但在我看来，资本这头野兽必须被关进制度的笼子里。
现在那些大公司极力向公众灌输一种错误的暗示：他们把 AI 的发展比作油门，把政府的监管比作刹车，声称强监管会阻碍技术创新。这完全是混淆视听。监管绝非阻碍前行的“刹车”，而是掌控方向的“方向盘”。我们是在确保这辆飞驰的超跑不会偏离赛道。而那些巨头现在的所作所为，等同于在说“让我们造一辆没有方向盘的超级火箭，大家一起狂飙吧”。这太疯狂了。
主持人：有一个我们尚未提及的重要人物：您的得意门生伊利亚·苏茨克维（Ilya Sutskever）。他在 AI 圈子里一直是个极具传奇色彩的人物。在经历了 OpenAI 的那场风波后，他选择自立门户，创办了“安全超级智能”（Safe Superintelligence，SSI）公司。他显然高度认同您的隐忧。
杰夫·辛顿：是的，他确实深感忧虑。
主持人：伊利亚现在具体在主攻什么方向？
杰夫·辛顿：他连我都没告诉。当年他在 OpenAI 时，为了职业操守，我们就有默契绝不交流商业机密。我们是挚友，但在涉及公司核心价值的学术和技术细节上，我们非常自觉地保持距离。所以我也不知道他现在的“终极配方”到底是什么。
分歧、真实信息与雾中前行
主持人：大家都在翘首以盼。说回之前提到的“深度学习三巨头”，你们几位亲手推开了新世界的大门，但如今看来，你们似乎没有一位完全沉浸在当下的 LLM（大语言模型）狂欢中。您和约书亚在四处奔走呼吁危险，而杨立昆甚至根本不相信目前的 LLM 路线能通往真正的智能。这确实有些耐人寻味。
杰夫·辛顿：媒体为了传播，往往喜欢塑造“三巨头”这样的传奇故事，但学术界要复杂得多。不仅有我们的学生付出了巨大的汗水，还有无数默默无闻的研究人员作出了卓越贡献。至于不参与当下的狂欢，主要是我的年龄比他们大不少，他们还在科研一线，而我已经基本退居二线，现在只希望尽我所能，向世人发出警示。
主持人：在技术最辉煌的爆发期，站在源头的开创者们却在选择冷眼旁观甚至泼冷水，这依然很奇妙。
杰夫·辛顿：有趣的是，杨立昆现在在安全问题上和我和约书亚产生了严重的分歧。立昆觉得“超智能反噬人类”的担忧纯属杞人忧天，他坚信人类永远能牢牢攥住缰绳。而我和约书亚认为这种乐观是盲目的。
在具体的解法上，我和约书亚也各有侧重：我的设想是在 AI 的底层设计中，植入“利他、爱护人类”的绝对指令；约书亚的思路则是剥夺 AI 的“自主代理权（Agency）”，只让它充当纯粹回答问题的“先知（Oracle）”，而不赋予其执行具体行动的能力。这是两条完全不同的安全路径。而立昆觉得这都大可不必，只要赋予 AI 更完美的世界模型，一切问题自然迎刃而解。
主持人：有意思的是，杨立昆常把当下的 LLM 智能比作猫的智商。但如果按照您刚才的例子，连猫都能把人类“驯化”得服服帖帖。
杰夫·辛顿：立昆在这里犯了一个概念混淆。人类之所以能在万物中脱颖而出，最核心的依仗是语言，语言让我们得以实现跨个体的思想共享，这是猫无法企及的。诚然，猫的运动神经极其发达，它们能优雅地在摆满水晶摆件的壁炉架上漫步而不碰落一件器皿，在物理世界中，AI 和它们相比笨拙得像个婴儿。但如果我们要和猫讨论素数定理，那完全是鸡同鸭讲。大语言模型虽然没有实体的敏捷，但在抽象思维和逻辑推理上，早已将猫远远甩在了身后。
主持人：没想到我们今天花了这么多篇幅来聊猫，但这个比喻确实非常精妙。除了物理安全，我也非常担心“信息生态的坍坍”。网上经常看到类似的悲叹，有创作者写道：“AI 正在杀死我的网站。以前用户搜索时会点击链接进入我的网页，如今谷歌直接给出 AI 总结的答案，彻底抽干了我们的流量。我们十几年心血积累的好内容，成了 AI 免费的养料，而我们却难以为继。”好内容的消亡，对一个健康运转的社会而言无疑是灭顶之灾。
杰夫·辛顿：在互联网诞生之初，人们潜意识里有一个默认假设，那就是大家都倾向于诚实，网络上的内容多半是真实的。但如今人性中恶的一面被技术成倍放大。我们必须在“溯源（Provenance）”上投入巨大的力量。当我们阅读《纽约时报》或观看 BBC 的新闻时，我们之所以信任它们，是因为背后的专业记者经过了多方求证。未来的世界，我们绝不能对任何网上看到的信息偏听偏信，必须建立起一套严密的信源追踪机制。
主持人：可问题在于，AI 正在从根源上摧毁整个信息生产行业的商业模式，如果大家连写稿、调查的动力都没有了，未来还怎么溯源？
杰夫·辛顿：是的，我们以后再也不能随便相信网上的东西了。我们必须追问：这句话是谁说的？它的信息源头到底在哪？
主持人：还有一个令人心痛的现象是“情感寄托”。我们已经看到有用户因为过度沉溺于和 AI 的情感联结，最终走上了绝路。虽然目前这还只是极个别案例，但已经敲响了警钟。
杰夫·辛顿：这确实非常令人痛心。科技公司在最初研发时可能未曾料到这一副作用。但既然苗头已经显现，大厂就必须承担起责任，投入大量资源进行干预和修正。这同样离不开外部监管和独立第三方对聊天机器人的安全评测。
主持人：这又绕回了利润动机。情感依赖具有极强的“用户黏性”，如果遇到心怀不轨的人，故意设计一款让人精神极度依赖的聊天机器人，那后果将不堪设想。
杰夫·辛顿：确实如此。
主持人：您四处奔走呼吁已经三年了。在这期间，面对各界的反馈，您是变得更乐观了，还是更悲观了？
杰夫·辛顿：和一两年前相比，我其实变乐观了一点。因为我看到了在底层重构 AI 使其具备“利他关怀”的可能。同时，约书亚提出的将 AI 限制为“纯预测、不赋权”的先知模型也是一条行之有效的出路。一两年前我完全处于一种近乎绝望的状态，但现在，我开始看到了一些避免被超智能毁灭的曙光。
主持人：最后一个问题：如果沿着当下的轨迹继续狂奔，五年后我们会身处何方？
杰夫·辛顿：在浓雾中开车，你能看清眼前的一百码，但两百码之外就完全是一片虚无。因为雾气的遮蔽效应是指数级递增的。这和夜间开车完全不同，夜里如果前车的尾灯离你远一倍，你看到的亮度只是减弱四分之一。而雾是指数级的。
预测 AI 的未来，就像在浓雾中驾车，因为技术本身正在经历指数级的狂飙。顺便提一句，“指数级”这个词现在被严重滥用了，我甚至觉得大家使用这个词的频率正在呈二次曲线增长。
在这样的浓雾中，我们最多只能勉强看清一两年的路。十年后的世界对今天的我们而言，完全隐藏在迷雾之中。哪怕技术仅仅是线性增长，十年后的颠覆程度，也足以抵得上过去十年的总和。今天的聊天机器人和十年前相比早已脱胎换骨。十年后，它们的推理、数学和逻辑能力将达到全面碾压人类的水平。我们无法精准预言，唯有保持敬畏。
主持人：这确实超出了人类的想象力极限。
杰夫·辛顿：的确如此。
主持人：辛顿教授，非常荣幸能邀请到您，感谢您宝贵的时间。
杰夫·辛顿：谢谢你的邀请。
主持人：那我们相约十年后，2036 年再见。
杰夫·辛顿：哈哈，2036 年，不见不散。
CSDN 6 月宠粉福利
200 小时 GP U 算力免费领
瑞幸咖啡/肯德基早餐/下午茶等能量套餐任选其一
入群还可每月定期抽取旗舰显卡、AI PC 等极客神装
热门跟贴