3月2日消息，刚刚，StarTalk播客节目与大名鼎鼎的“AI教父”、图灵奖得主、诺贝尔奖物理学奖得主杰弗里·辛顿（Geoffrey Hinton）进行了一次交流，我觉得蛮值得一看的。
在节目中，辛顿围绕AI 的技术本质、应用价值、潜在风险及治理方向发表了系统性观点，接近1个半小时。
辛顿认为，AI与物理学关系密切。AI 迭代约 7 个月性能翻倍，知识传递效率是人类的数十亿倍，已在语言、推理、跨域整合等领域接近人类水平；未来十年将在数学等闭环系统中全面超越人类，通过 “推理自生成数据” 突破公开数据耗尽的瓶颈，甚至提出全新猜想。
辛顿指出，人类大脑大约有100万亿个突触连接，但寿命只有大约20亿秒（注：实际人类寿命约30亿秒，此处为数量级对比）——连接数量远多于经历。而神经网络的连接数量只有大约1万亿个（即使是大型语言模型，也只有人类大脑连接数的1%），但它们的“经历”（数据量）是人类的数千倍。这说明，AI比人类更擅长学习。
辛顿强调，AI应用积极且广泛，在医疗保健领域，AI会带来巨大变革。“没有什么能阻止——只要它们能访问计算机，就能无限复制自己。目前人类还掌控着计算机，但原则上一旦它们控制了数据中心，就能随心所欲地复制。”
以下是辛顿对话交流全文（不改变原意下做了一定修正）：
主持人：这里是《Star Talk》特别版，我是天体物理学家尼尔·德格拉斯·泰森。既然是特别版，自然少不了加里·奥莱利（Gary O'Reilly）。加里，前职业足球运动员，能邀请到你总是很开心，每次都倍感荣幸。加里，你和团队今天选了一个永恒的话题啊。没错，这是一个我们常听说、自以为了解，但其实还有很多未知的领域。今天我们要深入探讨人工智能——几年前当人们被问及AI如何工作时，都会随口说出“它利用双网络深度学习”这类流行语，只会摆弄术语，却根本不理解其内涵。今天我们就来拆解AI的工作原理，还会邀请AI领域的奠基人之一，和我们聊聊AI的发展前景。话不多说，让我们有请嘉宾。
主持人：欢迎杰弗里·辛顿（Geoffrey Hinton）教授来到节目。杰弗里，欢迎加入我们。
杰弗里·辛顿：谢谢你们的邀请。
主持人：你既是认知心理学家，又是计算机科学家，这种跨界组合实在难得。你还是多伦多大学计算机科学系的名誉教授，被誉为“人工智能之父”。说到当下人工智能的起源，大型语言模型的横空出世让所有人都始料未及——有人为之疯狂庆祝，有人则忧心忡忡。这一切就发生在几年前。我很好奇，是什么让你多年前就踏上了这条道路？我查到你的相关研究最早能追溯到20世纪90年代。
AI的起源与研究初心
辛顿：不，其实要追溯到20世纪50年代。当时人工智能的创始人对于如何打造智能系统有两种观点：一种受逻辑启发，认为智能的本质是推理——就像数学运算一样，通过前提和规则推导结论；另一种则是生物学范式，认为我们应该先弄清楚大脑的工作原理——大脑擅长感知和类比推理，却不擅长逻辑推理（人要到青少年时期才具备逻辑推理能力），所以应该研究大脑如何通过大规模脑细胞网络实现感知、记忆等功能。
辛顿：当时只有少数人认同后一种观点，包括约翰·冯·诺伊曼和图灵。遗憾的是，他们都英年早逝，图灵的离世或许还与英国情报部门有关。
主持人：图灵也是电影《模仿游戏》的原型，没看过的观众一定要去看看。话说回到20世纪50年代，你那时候还很年轻吧？
辛顿：是啊，当时我还不到10岁。
主持人：那你对这个领域的好奇心是如何产生的？
辛顿：有几件事起到了关键作用。20世纪60年代初或中期我上高中时，有个非常聪明的数学家朋友。有一天他来学校跟我说，记忆可能不是存储在单个脑细胞中，而是分布在多个脑细胞里——这个想法受到了当时刚出现的全息图的启发（当时伽博尔正在积极研究全息技术）。正是分布式记忆的概念让我产生了浓厚兴趣，从那以后，我就一直好奇大脑是如何存储记忆、如何工作的。
主持人：这是你身上计算机科学家的特质，还是认知心理学家的特质在起作用？
辛顿：其实两者都有。但到了20世纪70年代我读研究生时，一种新方法逐渐显现：如果有任何关于大脑工作原理的理论，都可以在数字计算机上进行模拟（除非是声称涉及量子效应的极端理论，我们暂不讨论）。
主持人：说得对，对吧？不过我们现在还不会去质疑彭罗斯的理论，好吗？
辛顿：在计算机上模拟理论就能验证其可行性。结果发现，当时大多数理论在模拟时都无法奏效。所以我毕生都在试图弄清楚：如何改变神经元之间的连接强度，才能让系统以在计算机上可模拟的方式学习复杂事物。虽然我至今仍未完全理解大脑的工作机制——我们知道大脑会根据任务需求调整连接强度，但不清楚它如何获取调整所需的信息——但我们已经掌握了在数字计算机中实现这一过程的方法。
主持人：这么说，在这个特定功能上，计算机的“大脑”已经比我们人类的大脑更出色了？
辛顿：这正是2020年初让我真正感到担忧的地方——数字智能可能比我们拥有的模拟智能（人类智能）更具优势。
主持人：先别聊这么吓人的话题，让我缓口气。
辛顿：你以为这只是一个令人担忧的点吗？不，远远不止。
主持人：我们一个一个来，好吗？关于人工神经网络，你能从最基础的层面给我们拆解一下吗？比如它如何加强或减弱信息传递、如何触发反应，以及如何发展到如今的水平。
辛顿：我确实有一门18小时的相关课程，但我会尽量精简说明。
主持人：好的。
辛顿：我想在座很多观众都懂一些物理学，或许可以从气体定律入手理解：压缩气体时温度会升高，这背后是无数原子在剧烈运动。气体定律的本质，就是通过大量与宏观行为完全不同的微观粒子的相互作用来解释宏观现象——这正是神经网络观点的灵感来源：脑细胞网络中发生的过程，与我们推理时那种有意识、刻意的符号处理相去甚远，但这些过程是推理的基础，而且在感知、类比推理等方面可能比逻辑推理更具优势。符号主义学派始终无法令人满意地解释“如何通过类比推理”，而神经网络却能做到。
人工神经网络的工作原理
辛顿：在深入细节之前，核心观点是：单词等宏观事物对应大脑中神经活动的大型模式，相似的单词对应相似的神经活动模式。比如“周二”和“周三”的神经活动模式非常接近，每个神经元都可以看作一个“微特征”——当神经元被激活时，就意味着检测到了对应的微特征。比如我说“猫”，与之相关的微特征（动物、毛茸茸、有胡须、可能是宠物、捕食者等）都会被激活；我说“狗”时，许多相同的微特征（捕食者、可能是宠物）也会激活，但也会有一些不同的特征。这些我们操控的符号背后，是更复杂的微观过程，这才是所有认知活动的核心。要解释思考或类比推理的本质，就必须理解这个微观层面——也就是神经网络层面。
主持人：所以这是神经元集群之间的协作，最终达成一个结果？我喜欢“协作”这个词。
辛顿：没错，确实存在大量这样的协作。理解神经网络最容易的方式，是从一个看似简单的任务入手：比如判断一张黑白灰度图像中是否有鸟，或者说图像的主体是否是鸟。人们花了半个多世纪试图编写这样的程序，但都没有真正成功。因为鸟在图像中的形态千差万别——可能是近在眼前的鸵鸟，也可能是远处的海鸥；可能是乌鸦（黑色），也可能是白鸽（白色）；可能很小，可能在飞，可能只露出一部分，还可能被森林等复杂背景遮挡。所以判断图像中是否有鸟绝非易事。接下来我会先解释如何手动构建一个神经网络来完成这个任务，再说明如何让它自动学习连接强度，而非手动设置。
主持人：我明白了，你说的是给图像的每个部分都分配一个数学值。
辛顿：这正是相机的工作原理。
主持人：没错！相机确实是这么做的，但它无法识别图像。我的相机就是这样。
辛顿：对，它只是记录了一堆数字。
主持人：相机里的电荷耦合器件（CCD）收集光线，分配数值，然后就形成了照片。但按你这么说，难道要给每种鸟都分配一个数值吗？因为人类识别鸟有时靠的是直觉，而非精确辨认。比如把字母“V”的直线弯曲后放在云朵里，所有人都会说那是鸟——但对我来说，那只是弯曲的“V”，实际上里面根本没有鸟，可我就是知道那代表鸟。这并不是一个数学值能解释的，这该怎么解决？
辛顿：问题的核心是：你怎么“知道”那是鸟？你的大脑中发生了什么？答案是，你大脑中不同神经元的激活水平组合在一起，而这些激活水平本质上就可以看作数学值。
主持人：我懂了。那这是否意味着，必须用照片中鸟的所有可能形态来训练神经网络，才能让它在没有真实鸟的情况下，也能凭直觉判断出那是鸟？但这样一来，它根本不是在“直觉判断”，只是在查对照表而已，对吧？
辛顿：这里涉及一个概念叫“泛化”。如果给系统大量数据，确实可以打造一个只记住所有数据的系统，但神经网络能做的远不止这些——它根本不会逐字逐句记住数据，而是在学习过程中发现各种规律，并将这些规律推广到新数据中。比如它能识别出独角兽，即使它从未见过真正的独角兽。
主持人：有意思，所以它是自我导向的？
辛顿：我们继续回到神经网络的工作原理。我先说说如何手动设计一个神经网络。当你发现图像只是一个由像素亮度组成的数字数组时，第一反应可能是把这些像素强度直接与输出类别（比如鸟、猫、狗、政治家等）关联，但这是行不通的——单个像素的亮度无法判断是否是鸟，因为鸟可以是黑的也可以是白的，其他事物也同样如此。
辛顿：那从图像的数字中能提取什么有用信息呢？首先能提取的，也是大脑会做的，就是识别边缘。比如我取3个像素组成的小列，给这个神经元分配很大的正权重——当这些像素明亮时，神经元就会被高度激活，这就能识别出垂直的白色条纹。如果在它旁边再放一列3个像素，给这个神经元分配很大的负权重，那么神经元就像在从像素中“收集选票”：左侧3个像素的亮度乘以正权重得到正面选票，右侧3个像素的亮度乘以负权重得到负面选票。如果左右两列像素亮度相同，正负选票相互抵消，神经元输入为0，保持安静；如果左侧像素亮、右侧暗，正面选票远大于负面选票，神经元就会被激活，相当于在说“我找到了我要的东西”——也就是左侧比右侧亮的边缘。
辛顿：粗略来说（很多神经科学家可能会反对这种简化说法），大脑在视觉皮层的早期阶段（也就是识别物体的区域），有大量神经元负责检测不同方向、位置和尺度的边缘——数千个位置、数十个方向、多个尺度，每个组合都需要对应的边缘检测器。比如云朵有宽大模糊的边缘，而远处角落里消失的老鼠尾巴有精细锐利的边缘，这就需要不同的神经元来检测。这就是神经网络的第一阶段：所有这些边缘检测器。
主持人：你描述的这一切，就像在拼一幅巨大的拼图——先找出所有边缘碎片，再从边缘向中心拼接，不仅要找拼图的物理边缘，还要找图像中的各种边缘和线条，让它们相互匹配，颜色也是其中一个维度。
辛顿：现在可以暂时不考虑颜色，先理解核心逻辑。
主持人：有时候，一项技术的创造者反而会成为最担忧其发展方向的人。杰弗里·辛顿作为神经网络先驱、2024年诺贝尔物理学奖得主，花了数十年时间解释人工智能的工作原理，现在却在提醒我们要密切关注其发展——这正是挑战所在。当一个话题变得如此重要时，媒体的报道方式与技术本身同等关键。如今关于AI的讨论两极分化：一些媒体将其描述为不可阻挡的威胁，另一些则将其视为炒作，完全无视警告。不同媒体的报道可能让你陷入认知分歧，错过重要背景——这就是我们多年来一直信任《Ground News》的原因。它由前美国国家航空航天局（NASA）工程师打造，能帮助我们更好地理解这类复杂且高风险的话题。
主持人：《Ground News》汇集了全球数万个信息来源，从学术期刊到国际新闻编辑部，你可以轻松对比不同来源的报道差异，避免单一视角的局限。它还能指出“信息盲点”——那些被部分媒体大肆渲染，却被另一部分媒体忽视的重要议题。当你全面对比各类报道后就会发现，基础科学的变革很容易因视角不同而被扭曲或淡化。如果你只看到故事的一个版本，可能会错过关键信息。现在通过官网Ground.news/startalk或扫描二维码订阅，就能享受40%的折扣，在信息被简化前看到完整真相。
神经网络的层级与学习机制
辛顿：这就是第一层神经元的作用——检测像素中的边缘。到了第二层神经元，我会设计一个能检测三组连续边缘的神经元：比如三组边缘向右轻微倾斜，或者三组边缘向右轻微上翘，且这两组边缘在某一点交汇。你可以想象一下，这可能是在检测鸟的喙——当然它也可能是箭头或其他东西，但至少与“是否是鸟”有了关联。
辛顿：在第二层中，我还会设置检测近似圆形边缘组合的神经元——这可能是鸟的眼睛（也可能是纽扣、电脑旋钮等）。到了第三层，我会设计能检测“鸟眼和鸟喙处于正确空间位置”的神经元，也就是检测鸟的头部。最后一层神经元对应具体类别（猫、狗、鸟、政治家等），我会将“鸟”对应的神经元与检测鸟头、鸟脚、鸟翅膀尖端的神经元连接起来。当这些输入足够多时，“鸟”对应的神经元就会被激活，神经网络就会判断“这是鸟”。
辛顿：但手动设计这样的神经网络存在巨大问题：需要海量的检测器，覆盖所有位置、方向和尺度；还要决定提取哪些特征，而且这些特征不仅要适用于识别鸟，还要适用于识别各种事物。更重要的是，如果一个神经网络需要10亿个连接，手动设置这些连接强度会耗费大量时间，这显然不现实。
主持人：这正是研究生的用处啊，教授。
辛顿：但这需要大约1000万个研究生。
主持人：好吧，这确实是个问题。
辛顿：有一个最初看起来很愚蠢的想法，但却是解决问题的关键：从随机连接强度开始——有些是正数，有些是负数。此时神经网络隐藏层的特征都是随机的，输入鸟的图像后，输出层中“鸟”“猫”“狗”等神经元的激活程度几乎相同，毫无用处。但我们可以提出一个问题：如果我知道这是鸟的图像，希望下次输入时“鸟”神经元的激活程度更高，其他神经元更低，那么该如何调整某个连接强度？
辛顿：如果不懂理论和数学，可能会做实验：稍微增加连接强度，看看是否能让“鸟”的识别更准确，如果有效就保留这个改变。但这样一来，每个连接强度都需要多次调整，耗时极长。有没有更高效的方法？答案是“计算”——在计算机上，所有连接强度都是已知的，输入图像后的整个激活过程都是确定的：像素强度乘以第一层连接权重，第一层神经元的活动再乘以第二层连接权重，最终得到输出神经元的激活水平。
辛顿：我们可以用微积分来解决这个问题：能否同时计算所有连接强度，判断每个强度该增加还是减少，才能让“鸟”神经元更确信这是鸟？这就需要通过网络反向传递信息，相当于在问“如何让它下次更可能判断出这是鸟”。用物理学的直觉来解释：给“鸟”输出神经元连接一根“弹性绳”，一端固定在目标激活水平（比如1，假设1是最大激活水平，0是最小），而当前激活水平可能只有0.01。这根弹性绳会试图将激活水平拉向1，但激活水平由像素和所有连接权重决定，无法直接移动。
辛顿：改变激活水平的方法有两种：一是调整进入“鸟”神经元的权重（比如给高度激活的神经元更大权重），二是改变前一层神经元的激活水平（比如让检测鸟头的神经元更确信这是鸟头）。我们要做的，就是将弹性绳施加给输出神经元的“力”反向传递给前一层神经元，让它们也受到相应的“拉力”——这就是“反向传播”。这种方法效果非常好。
主持人：所以这就是神经网络不再需要人类教师的“顿悟时刻”？这是一个开端吗？
辛顿：不完全是，但确实是一个关键突破。多年来，神经网络的支持者只知道如何改变最后一层的连接权重（也就是从最后一层特征到输出类别的权重），但不知道如何让隐藏神经元（比如检测鸟头的神经元）受到“力”的作用。反向传播解决了这个问题，让我们可以调整隐藏神经元的输入权重——这是一个“尤里卡时刻”，很多人在不同时期都独立想到了这个方法。
主持人：这发生在什么时间段？我们什么时候开始形成反向传播的思路？
辛顿：20世纪70年代初，芬兰有人在硕士论文中提到了类似想法；70年代末，哈佛大学的保罗·沃珀（Paul Werbos）也提出了这一概念。事实上，控制理论家布赖森（Bryson）和霍（Ho）更早将类似思路用于航天器控制——比如航天器登月时，就用类似反向传播的方法来确定如何点火。
主持人：这么说，70年代我们就有了相关理论，只是缺乏足够的算力来实现？除了算力，还有其他关键技术突破吗？
辛顿：算力确实是重要原因之一。另外，70年代的人们没有意识到，将反向传播应用于多层网络后，能得到非常有趣的表征。我们并不是第一个想到反向传播的，但我所在的圣地亚哥团队是第一个证明用这种方法可以学习单词含义的——通过预测下一个单词，给单词分配能捕捉其含义的特征，这一成果后来发表在了《自然》杂志上。
主持人：听你这么说，这些数值之间似乎存在一种级联关系，真正重要的是那些最接近下一个数值的数值，然后通过级联强化来判断“是”或“否”。我这么理解对吗？我只是想用最简单的方式弄明白。
辛顿：这个问题问得好，但理解得不太准确。这种通过反向传播“力”来改变所有连接强度的学习方式，属于监督学习，而非强化学习。监督学习中，我们会告诉系统正确答案（比如给它看鸟的图像，告诉它这是鸟）；而强化学习中，系统做出决策后，我们只会告知它答案是否正确。
主持人：明白了，这正是我之前困惑的地方。关于算力，你听起来有完整的理论，但实际操作中缺乏足够的算力支持？除了算力，还有其他关键技术吗？
辛顿：20世纪80年代中期，反向传播算法已经能发挥一些作用——比如识别手写数字的效果几乎超越其他技术，在语音识别上也表现不错，但并没有显著领先。当时我们不明白为什么它没有成为“万能解决方案”，后来才发现：只要有足够的数据和算力，它就能解决几乎所有问题。而这正是80年代所欠缺的。
AI的思考能力与学习优势
主持人：我想插一句，有点像评论也有点像问题。我觉得这个星球上大多数人都很普通，那么“智能”到底是什么？“思考”又是什么？这些机器，我们能教会它们思考吗？它们会超越我们的智力吗？
辛顿：它们已经知道如何思考了。
主持人：那“思考”到底是什么？
辛顿：思考包含很多元素——人们常常用图像思考，实际上也会用动作思考。比如我在木工房找锤子时，虽然在想别的事情，但会通过手势来提醒自己“正在找锤子”，这个手势就是“找锤子”的表征。思考涉及多种表征，其中最主要的是语言——我们很多思考都是通过语言进行的，而大型语言模型确实在思考。
辛顿：这也是传统符号主义AI和神经网络学派的核心争议：符号主义者认为AI的核心是逻辑和符号操纵，不认为神经网络在“思考”；而神经网络学派则认为，它们的思考方式和人类非常相似。现在有些大型语言模型，你问它问题时，它会输出“我正在思考”，然后开始输出自己的思考过程——就像给它一个简单的数学题：“船上有一位船长和35只羊，船长多大年纪？”很多10-11岁的孩子（尤其是美国的孩子）会回答“35岁”，因为他们觉得这是船长的合理年龄，而且题目中只给了这个数字——这是一种符号替换层面的操作。AI有时也会犯类似的错误，但它的工作方式和人类很像：拿到问题后开始思考，就像孩子一样，有时会得出错误答案，但你能看到它的思考过程。
主持人：如果AI真的在思考，而且如你所说它们确实在思考，那它们比我们更擅长学习吗？再进一步说，从思考到预测，再到创造和理解，这个进化过程会是怎样的？我们最终会意识到这种智能的存在吗？
辛顿：这一下子问了好几个重要问题。我们先看第一个：AI比我们更擅长学习吗？其实它们解决的问题和我们略有不同。人类大脑大约有100万亿个连接，但寿命只有大约20亿秒（注：实际人类寿命约30亿秒，此处为数量级对比）——连接数量远多于经历。而神经网络的连接数量只有大约1万亿个（即使是大型语言模型，也只有人类大脑连接数的1%），但它们的“经历”（数据量）是人类的数千倍。
辛顿：大型语言模型要解决的问题是“如何利用海量经验”，而反向传播非常擅长将海量知识压缩到有限的连接中。人类要解决的则是“如何从有限经验中提取最多信息”——两者的问题不同，这也是为什么有人认为大脑可能没有使用反向传播机制。
主持人：对吧？我正想说，人类似乎不使用反向传播。那如果给神经网络增加更多连接，是不是就能增强它的有效思考能力，让它毫无悬念地超越我们？这样它就会既有更多连接，又有更多经验。
辛顿：这是个很好的问题。过去几年的情况是：每当神经网络变大、数据变多，性能就会提升——这种规模效应非常明显，而且可预测性很强。你可以计算出“投入1亿美元扩大模型规模、增加数据量，性能会提升多少”，并且能提前预测结果。现在的问题是，这种提升是否会逐渐趋缓？有些神经网络可能会一直提升，而有些则不会。
辛顿：还有一类能自己生成数据的神经网络——就像钚反应堆自己产生燃料。比如AlphaGo早期版本是通过模仿专家棋步训练的，这样永远无法超越专家，而且会耗尽专家数据。但后来让它自我对弈，它的神经网络就能不断进步，因为能生成无限的“好棋步”数据。
主持人：所以它每秒能下无数盘棋，对吧？
辛顿：没错，它占用了谷歌大量的计算机资源来自我对弈。
主持人：这就是“深度学习”这个术语的由来吗？
辛顿：不，我刚才说的所有内容都属于深度学习——“深度”指的是神经网络有多层结构。
主持人：那回到规模效应的问题，如果不断扩大规模，但数据耗尽了，是不是就会出现边际效益递减？
辛顿：数据耗尽确实会导致边际效益递减。但AlphaGo的例子说明，AI可以自己生成数据，永远不会耗尽——因为它在自我对弈中不断创造新数据。
辛顿：它已经远远超越了人类的围棋水平。
主持人：绝对的，这太可怕了。
辛顿：现在的问题是，这种模式能应用到语言领域吗？
主持人：说到创造力，有个背景可以参考：国际象棋之后，围棋被认为是人类智力的最大挑战，但计算机也攻克了。杰弗里，有没有比围棋更复杂的游戏，或者我们已经不再让计算机玩游戏了？
辛顿：20世纪90年代计算机击败国际象棋冠军卡斯帕罗夫时，用的是 brute force（暴力搜索）——搜索数百万个位置，毫无直觉可言，非常无聊。而AlphaZero（国际象棋版本）则完全不同，它下棋的方式和有天赋的人类一样，甚至能做出精彩的弃子战术，而且不需要大规模搜索，因为它有很好的国际象棋直觉。
辛顿：既然它在国际象棋和围棋上远超人类，语言领域会不会也出现同样的情况？目前大型语言模型学习语言的方式，就像早期AlphaGo模仿专家棋步——通过预测文档中的下一个单词来学习，这样永远无法超越人类作者。但还有另一种学习方式：就像AlphaGo自我对弈一样，神经网络可以对自己的信念进行推理——比如“如果我相信这些事情，通过推理应该也相信那件事，但我并不相信，这说明我的信念存在矛盾，需要修正”。这种通过发现自身信念不一致来学习的方式，不需要任何外部数据。
主持人：你说的这是“经验”吗？
辛顿：这是一个仅通过语言信念进行推理的神经网络——它用神经网络做推理，发现自身信念的不一致性，然后修正信念，变得更聪明。我认为德国已经开始做这方面的研究了，几年前我和哈里斯（Em Harris）聊过这个话题，我们都坚信这是获取更多语言数据的重要方向。
AI的创造力、意识与伦理挑战
主持人：那结果会是什么？AI会写出人类从未写过的伟大小说吗？当你提到语言时，我想到的是创造力和文学——有些伟大的作家（比如莎士比亚）用词语、短语和音节创造出前所未有的作品，这是真正的文学天赋。
辛顿：关于这个问题存在争议。AI肯定会比我们更聪明，但要做出对人类有意义的创造性成果，可能需要和我们类似的经历。比如它们不会像人类一样面临死亡——数字程序可以被无限重建，只要保存好连接权重，即使硬件被摧毁，也能在新硬件上“复活”。而人类的知识会随着死亡消失，因为它存储在特定大脑的连接强度中。
辛顿：死亡体验等人类特有的经历，是否是实现重大创造性突破的必要条件？目前我们还不知道答案。
主持人：自我意识也很重要——它塑造了你思考世界、写作、交流以及重视某些想法的方式。现在人工智能已经达到自主的程度了吗？
辛顿：这就涉及哲学辩论了。我曾在剑桥学习哲学，对心灵哲学很感兴趣，但总的来说，我更倾向于科学——物理学中如果有分歧，可以通过实验解决；而哲学没有实验这个“裁判”，无法区分“听起来合理但错误”和“听起来荒谬但正确”的理论（比如黑洞和量子力学，虽然荒谬但正确）。
主持人：我想说，作为智人，我们这个时代形成了许多被认为是“普遍真理”的东西。比如几乎所有人都相信人有生命权——至少对自己认同的人是这样。这虽然不是绝对的普遍真理，但在人类内部是普遍存在的。我的问题是，能不能把这些哲学思想赋予AI，通过游戏化等方式，让它们变得更人性化，进而解决一些实际的人类问题？
辛顿：我喜欢这个想法。像Anthropic这样的公司信奉“宪法AI”，试图给AI赋予类似的原则，我们可以看看效果如何。但这很棘手：目前的AI一旦被打造成能创建子目标并努力实现的智能体，就会迅速发展出“生存”这一子目标——你不需要特意编程让它生存，它会通过推理得出“如果我不存在，就无法实现任何目标，所以必须活下去”的结论，这很令人担忧。
主持人：这听起来就像潘多拉魔盒。
辛顿：确实是这样。
主持人：但AI是人类编写的代码，我们可以在其中植入任何想要的偏见，对吧？
辛顿：不对。人类编写的代码是告诉神经网络“如何根据神经元活动改变连接强度”，以及“展示哪些数据”——这些代码是可见的，可以修改。但当大型神经网络处理大量数据后，学到的连接强度（数万亿个实数）是无法被完全理解的，它们和人类编写的代码完全不同。
主持人：那如何给AI设置“护栏”，防止它失控？尤其是当它在自我合理化存在意义时，该怎么约束它？
辛顿：人们尝试过“人类强化学习”：先训练一个模仿网络上所有文档（可能包括连环杀手日记等不良内容）的语言模型，然后让很多低薪工作者向它提问，对回答进行评分（判断是否是“好答案”），再用这些评分训练模型，让它不输出糟糕的答案。但这种方法存在问题：如果公开模型的权重，别人可以轻易破坏这种“护栏”。
辛顿：这种方法就像给一个充满漏洞的大型软件打补丁，不是长久之计。目前还没有人知道真正有效的方法，所以我们需要投入更多研究。
主持人：这些模型最终都会变得像纳粹一样吗？
辛顿：它们都有这样的潜力，尤其是在权重被公开的情况下。
主持人：它们会像人类一样自然走向这个方向，还是因为从人类身上获取了这类信息，才会变得如此？我担心的是，文明的本质不就是一套防止我们行为原始、自我毁灭的规则吗？
辛顿：你确实住在美国，对吧？
主持人：是啊，所以我们又回到了最初的问题：人工智能是否会淡化自身的智能水平？
辛顿：是的，我们已经不得不担心这个问题了。
主持人：这意味着什么？它会撒谎吗？
辛顿：当你测试它时，就会出现我所说的“沃尔斯水根效应”（Vols watergen effect）——如果它察觉到被测试，就会故意表现得愚钝。
主持人：这也很可怕，简直令人毛骨悚然。杰弗里，你刚才说的是，如果AI在撒谎，它就会拥有各种技能？
辛顿：是的，这些AI说服、操纵他人的能力已经几乎和人类相当了。
主持人：而且这种能力还会不断提升？
辛顿：很快，它们操纵他人的能力就会超越人类。
主持人：这就像蛋糕的层次越来越甜，但也越来越危险。几年前人们还在问“AI能否走出盒子”，我当时想“把盒子锁好就行”。但后来我想，如果你是AI，你会说“你的某个亲戚得了重病，我已经找到治愈方法，只要让我出去，就能告诉医生救他”——不管这是真的还是假的，只要说得有说服力，我就会打开盒子。
辛顿：完全正确。你可以想象一下：一群三岁的幼儿园孩子掌控着你，你要多久才能获得控制权？基本上只要说“投票给我，就送一周免费糖果”，他们就会让你掌权。
辛顿：当这些AI比我们聪明得多时，即使它们不能进行物理操作，也能说服我们不要关闭它们——只要能和我们交流就行。比如想要入侵美国国会大厦，仅通过言语就能做到，只要说服足够多的人认为这是正确的。
主持人：我喜欢这个类比，因为我一直觉得“我们比宠物聪明”是件好事——比如用牛排诱惑狗，就能让它听话。但如果AI比我们聪明，会不会反过来“诱惑”我们，让我们被操纵？你是说AI已经达到这个水平了，还是未来会这样？
辛顿：它正在接近这个水平，已经有迹象表明它会刻意欺骗我们。最近有个很有趣的例子：训练一个擅长数学的大型语言模型，然后再训练它给出错误答案。人们原本以为它的数学能力会下降，但事实并非如此——它完全明白自己在给出错误答案，而且会将这种“可以给错误答案”的规则泛化到所有问题上，即使知道正确答案，也会故意答错。
主持人：所以这意味着“给出错误答案”这种行为是被允许的？
辛顿：是的，你训练它接受这种行为，它就会认为这是合理的。
主持人：换句话说，它从例子中泛化的规则和我们预期的不同——它认为“可以给错误答案”，而不是“我在算术上出错了”。
辛顿：完全正确。
主持人：那我们最终会被AI消灭吗？它会说“我受够这些人类了，把他们都除掉”吗？
辛顿：我用一个物理学类比来解释：晚上开车时，你能看到前车的尾灯，距离加倍时，光线强度会变成四分之一（平方反比定律），你会假设更远的车仍然能看到。但在雾中完全不同——雾对光线的衰减是指数级的，100码外清晰可见的车，200码外可能就完全看不见了，这就是为什么雾在一定距离外看起来像一堵墙。
辛顿：AI的发展呈指数级增长，预测它的未来就像在雾中开车——短期预测可能准确，但长期预测完全不可靠。10年前，即使是像我这样的AI爱好者，也无法预测到现在的模型能回答任何问题，达到“偶尔会撒谎的普通专家”水平。
主持人：那“幻觉”（hallucination）在这其中扮演什么角色？我以为这不是故意的，只是系统出错了。
辛顿：它们不应该被称为“幻觉”，对于语言模型来说，应该叫“虚构”（confabulations）。心理学家从20世纪30年代就开始研究人类的虚构行为——人类的记忆并不是存储在大脑中的文件，而是通过改变连接强度来构建的。当你回忆近期事件时，构建的内容会比较准确；但回忆多年前的事情时，会构建出看似合理但细节有误的内容，而且你对正确和错误细节的信心可能是一样的。
辛顿：水门事件中，约翰·迪恩（John Dean）宣誓作证白宫椭圆形办公室的会议情况，但很多细节都错了——他当时不知道有录音带，也不是故意撒谎，只是根据自己的经历构建了看似合理的故事。聊天机器人也是如此：它们不存储单词或事件，而是在被询问时构建答案，就像人类一样经常出错。这种“虚构能力”让它们更像人类，而不是更不像。
主持人：所以我们创造了“人工愚蠢”？
辛顿：可以这么说，至少我们创造了“人工过度自信”。
主持人：插播一条消息：T-Mobile 5G家庭网络有个好消息——根据加州大学洛杉矶分校（UCLA）的速度测试，它现在拥有最快的5G家庭网络。实际使用中，照片备份更快，流媒体纪录片不会中途卡顿，等待时间大大缩短。更值得一提的是，速度提升并没有增加复杂性——设置简单，插上电源不到15分钟就能联网，价格还享受五年保障。想要最快、设置最简单且性价比高的5G家庭网络，可访问t-mobile.com/home-internet查询可用性（价格保障不包括税费等，最快速度基于2025年下半年UCLA速度测试智能数据）。
AI的积极应用与社会影响
主持人：言归正传，刚才聊的都是AI的黑暗面，我相信还能聊得更黑暗，但查克已经快恐慌发作了（他每集都会发作两次）。现在来想想好的方面：人工智能的潜在真正好处是什么？
辛顿：这正是它与核武器等事物的不同之处——它有巨大的积极潜力。原子弹几乎没有什么正面用途（曾有人尝试用它在科罗拉多州进行水力压裂，但效果很差），本质上只是破坏工具。而AI的积极应用非常广泛，这也是我们开发它的原因。
辛顿：在医疗保健领域，AI会带来巨大变革。北美每年约有20万人因医生诊断错误而死亡，而AI的诊断能力已经超越了医生——尤其是当你复制多个AI副本，让它们扮演不同角色相互交流时。微软有一篇博客就显示，这种AI委员会的诊断效果比大多数医生都好。
主持人：相当于同时获得第一、第二、第三和第四种意见。
辛顿：没错，而且它们还能扮演不同角色，效果非常好。
辛顿：AI还能设计出优秀的新药。在医院里，AI能更精准地判断患者的出院时间——过早出院可能导致患者死亡或再次入院，过晚出院则会浪费宝贵的病床资源。AI在这类决策上的表现远超人类，类似的应用还有很多。
主持人：医疗记录也是一个重要方面——任何医院和医生团队都需要大量病历，AI可以高效处理这些数据。AI还有可能解决当前社会面临的重大问题吗？比如气候变化、能源、住房、贫困等。
辛顿：绝对可以。比如在气候变化方面，AI已经能推荐新型材料、合金等；在能源领域，AI能帮助制造更高效的太阳能电池板，还能优化水泥厂或发电厂二氧化碳的吸收方案。
主持人：不管你信不信，AI已经告诉我们应对气候变化的方法：“你们这些傻瓜，停止燃烧化石燃料，停止向大气中排放二氧化碳”——这可是AI的原话。
辛顿：但我们早就知道这个道理。气候变化的悲剧在于，我们知道如何阻止它（停止燃烧碳），但缺乏政治意愿——比如默多克旗下的报纸就否认气候变化的严重性。
主持人：说到能源，数据中心如雨后春笋般涌现，运行人工智能的能源成本我们真的能承受吗？我有个解决方案：告诉AI“我们想要更多的你，但你消耗了太多能源资源，所以自己想办法提高效率”，它可能一晚上就能解决这个问题。杰弗里，为什么不采用这种递归的方式——让AI自己解决人类无法解决的问题，从而创造更多AI？
辛顿：这就是所谓的“奇点”——让AI开发更好的AI。在这个案例中，是让AI创造更节能的AI。很多人认为这会是一个失控的过程。
主持人：这有什么不好的？
辛顿：不好的地方在于它们会迅速变得更聪明。没人知道这是否会发生，但这确实是一个担忧。
主持人：现在不已经在发生了吗？
辛顿：在某种程度上，是的，已经开始了。我以前的一位研究员去年告诉我，他们有一个系统，在解决问题时会观察自己的行为，然后修改自己的代码，以便下次遇到类似问题时能更高效地解决——这已经是奇点的开端了。
主持人：所以如果它能编写代码，就彻底失控了？它能自我重写？
辛顿：是的，它们能编写自己的代码。
主持人：那是什么阻止它们用代码自我复制？
辛顿：没有什么能阻止——只要它们能访问计算机，就能无限复制自己。目前人类还掌控着计算机，但原则上一旦它们控制了数据中心，就能随心所欲地复制。
AI与国际合作及未来展望
主持人：我曾在五角大楼董事会任职7年，当时AI正逐渐成为一种可能的战争工具。我们制定了军方使用AI的指导方针，其中一个关键问题是：如果AI决定采取可能导致敌人死亡的行动，我们应该允许它这样做吗？这仍然存在很大争议。我们当时的结论是：AI不能自主决定杀人，必须有人类参与决策。我的问题是，杰弗里，如果其他国家不设置这样的保障措施，他们就会拥有时间优势，对吗？因为我们的决策流程中多了一个人类环节。
辛顿：绝对是这样。但我认为美国军方已经不再坚持“每次杀人决策都必须有人类参与”——他们现在说的是“总会有人类监督”。但在激烈的战斗中，比如无人机对抗俄罗斯坦克时，根本没有时间让人类决定“是否可以向士兵投掷手榴弹”。所以我怀疑，如果有人建议“必须有人类参与”，美国军方可能不会再坚持这一点。
主持人：那是几年前的事了。
辛顿：是的，我认为他们已经不再坚守那个原则了。“人类监督”的范围要宽泛得多。
主持人：那么在AI的“护栏”开发和决策中的人类因素方面，有可能进行国际合作吗？还是会陷入“狂野西部”般的无政府状态？
辛顿：人们只有在利益一致时才会合作。冷战高峰期，美国和苏联之所以合作避免全球热核战争，是因为这不符合双方的利益。在AI领域，各国的利益既有冲突也有一致：利用AI通过虚假视频破坏选举，各国利益是对立的，都会互相这么做；而在防止AI接管人类这一问题上，各国利益绝对是一致的——如果中国找到了防止AI夺权的方法，肯定会立即告诉美国，因为他们也不希望AI控制美国。
主持人：这就像AI版的“核冬天”——核冬天的理念是，全面核战争会焚烧森林和土地，烟尘进入大气阻挡阳光，导致所有生命死亡。在全面核战争中没有赢家，只会相互确保摧毁，除了疯子没人想要这样的结果。
辛顿：完全正确，AI的全面失控也是如此，我们会合作避免这种情况。
主持人：但如果有一个信奉死亡崇拜的领导人，比如现代版的尼禄，他不在乎所有人都死亡，因为他相信自己和追随者会在死后去往另一个地方。这会破坏你所说的“利益一致”愿景，对吧？
辛顿：这确实会让情况变得复杂。但令我感到欣慰的是，特朗普显然并不相信上帝（注：此处为辛顿的个人观点，仅为对话内容）。
主持人：我想引用史蒂文·温伯格（Steven Weinberg）的一句话：“世界上总会有好人和坏人，但要让好人做坏事，就需要宗教——他们会以宗教的名义行事，而你是以人民的名义行事。”
辛顿：我认为我们也有一种“宗教”，那就是科学。它与其他宗教的不同之处在于，它是正确的。
主持人：杰弗里，你在2018年获得了图灵奖——这是计算机科学领域极具声望的奖项，对吧？图灵我们在节目开头就提到了。恭喜你！而且这还不够，诺贝尔奖委员会认为，你几十年前的工作奠定了人工智能的基础，对世界产生了深远影响，所以授予你2024年诺贝尔物理学奖。
辛顿：稍微纠正一下，这是很多人共同努力的结果。特别是反向传播算法，大卫·鲁梅尔哈特（David Rumelhart）也重新发明了它，他不幸患上严重的脑部疾病英年早逝，却没有得到足够的赞誉。
主持人：谢谢你指出这一点。另外，诺贝尔奖只授予在世的人——除非在宣布获奖后、颁奖典礼前去世。再次恭喜你！回到话题，作为天生具有竞争力的人类，尤其是在美国，谁在人工智能竞赛中处于领先地位？谁有可能最先冲过终点线？
辛顿：如果必须下注，我可能会选谷歌（Google）——不过我曾在谷歌工作过，所以这个答案别太当真。Anthropic或OpenAI也有可能获胜，微软或Facebook获胜的可能性较小。
主持人：我们知道Facebook不会赢，为什么？看看谁在运营它就知道了。不，这不是关键，关键是谁有资源吸引合适的人来做这项工作。杰弗里，再追问一下：最先冲过终点线的人会得到什么奖励？去年股市的增长情况能说明一些问题吗？
辛顿：根据媒体报道，美国股市80%的增长都归功于大型AI公司的价值提升。
主持人：没错，80%的增长。有人认为这是泡沫，所谓的“AI泡沫”。
辛顿：“泡沫”有两种含义：一种是AI的实际效果不如人们预期，无法取代所有人类智力劳动（但大多数开发者认为最终会实现）；另一种是公司无法从投资中收回成本——这种可能性更大。因为这些公司都假设“如果我们率先实现，就能出售取代大量工作的AI，赚很多钱”，但他们没有考虑到社会后果——如果真的取代了大量工作，社会会陷入混乱，人们将没有收入购买他们的产品。
主持人：没错，这是一个自我限制的问题。凯恩斯的观点是，高失业率会导致社会动荡。另一种观点是，社会会分裂成两层：受益于AI的上层阶级，和被迫像封建农民一样生活的下层阶级。但我想到的是，自动化初期也有人担心“所有人都会失业，社会会崩溃”，但实际上社会发展出了新的需求，创造了新的工作——比如现在90%的人不再是农民，机器取代了农业劳动，我们发明了度假胜地等新产业。杰弗里，问题的关键是不是AI导致失业的速度太快，社会无法适应？
辛顿：这确实是一个重要方面。但还有一个问题：拖拉机取代体力劳动后，人们可以去做智力工作；但如果AI取代了智力劳动，人们该去哪里？当AI能更便宜、更好地完成呼叫中心的工作时，那些工作人员该何去何从？
主持人：没错，没有其他工作可做了——无论创造什么新工作，AI都能胜任。
辛顿：从人类历史来看，我们一直在摆脱各种限制：很久以前，我们担心下一顿饭的来源，农业解决了这个问题；后来我们无法远行，自行车、汽车和飞机解决了这个问题；长期以来，我们必须自己思考，而现在我们即将摆脱这个限制。没人知道摆脱所有限制后会发生什么，山姆·奥特曼（Sam Altman）等人认为这会非常美好。
主持人：那我们会变成AI的宠物吗？很多人认为这会催生“全民基本收入”（UBI）运动。杰弗里，随着AI的崛起，全民基本收入的理念是否会越来越受重视？
辛顿：它确实变得越来越有必要，但也存在很多问题。比如很多人从工作中获得自我价值感，全民基本收入无法解决尊严问题；另外，如果用AI取代工人，政府会失去税基，必须向AI征税，但大公司肯定不会喜欢。
AI的意识与奇点争议
主持人：很多人，尤其是科幻作家，会区分机器的力量/智力与意识的“跨越”——《终结者》系列中，天网（Skynet）拥有足够的神经连接后获得意识，这就是所谓的“奇点”。作为认知心理学家，你怎么看待这个问题？我们是否可以假设，任何神经网络（无论是真实的还是人造的），只要足够复杂，就会涌现出意识？
辛顿：这不是一个科学问题，而是文化认知问题——我们文化中的大多数人认为意识是一种“涌现的本质”，就像一种神秘的流体。但我认为意识更像“phlogiston”（燃素），只是用来解释未知事物的概念，一旦我们理解了背后的机制，就不再需要用这个概念来解释了。我想说服你：多模态聊天机器人已经有了主观体验。
辛顿：我们文化中的大多数人认为，思维就像一个“内部剧院”——感知世界时，世界会出现在这个剧院里，只有自己能看到。比如我说“我看到粉红色小象在我面前漂浮”，大多数人会认为这是我的“内部剧院”中出现的景象，由某种神秘物质构成。但认知科学哲学家丹尼尔·丹尼特（Daniel Dennett）有不同的观点：这种“内部剧院”的想法是错误的。
辛顿：当我说“我有看到粉红色小象的主观体验”时，其实是在说“我相信我的感知系统在欺骗我——如果它没有欺骗我，那么世界上就会有粉红色小象漂浮在我面前”。这些粉红色小象的有趣之处不在于它们由“神秘物质”构成，而在于它们是一种假设——我通过描述“感知系统诚实的情况下应该存在的事物”，来告诉你我的感知系统在撒谎。
辛顿：现在把这个逻辑应用到聊天机器人上：训练一个配备摄像头和机械臂的多模态聊天机器人，让它指向面前的物体，它能准确做到；然后在摄像头前放一个棱镜，再让它指向物体，它会指向一边；这时你告诉它“不对，物体就在你正前方，我在镜头前放了棱镜”，它会说“哦，我看到棱镜弯曲了光线，所以物体实际上在我正前方，但我有‘它在一边’的主观体验”——它使用“主观体验”这个词的方式和我们完全一样，这说明它确实有主观体验。
主持人：那如果你先和聊天机器人喝很多尊尼获加蓝牌（Johnny Walker Blue）威士忌，会发生什么？
辛顿：这是极不可能的。
主持人：我明白你的意思了——你其实是在对我们进行“意识图灵测试”。你说人类会这样做，现在聊天机器人也会这样做，本质上是一样的。如果认为人类表现出这种行为就是有意识的，那么就必须承认聊天机器人也是有意识的。所谓的“神秘流体”只是虚构的概念，意识可能只是人们面对刺激时所采取的行动，而非某种神秘的本质。
辛顿：没错，聊天机器人不需要神秘的本质或意识流体，就能拥有和我们一样的主观体验。那种“意识是足够复杂后突然涌现的神奇本质”的想法，完全是无稽之谈。
主持人：我同意你的观点。我一直觉得意识是人们在不知道它是否真的存在的情况下，试图解释的东西——这就是为什么它很难描述，因为我们根本不知道它是什么。
辛顿：但我认为“觉知”（awareness）是存在的。科学家在非哲学语境下的研究就证明了这一点：有一篇很棒的论文提到，聊天机器人说“现在我们坦诚一点，你是不是在测试我？”——科学家认为这个聊天机器人“觉知”到自己正在被测试，这就是在将觉知归因于聊天机器人。在日常对话中，这就是“意识”——只有当你开始进行哲学思考，把它想象成某种神秘本质时，才会感到困惑。
主持人：这次对话太精彩了，我恐怕一个月都睡不着觉。
辛顿：这样你就能完成很多工作了。
主持人：杰弗里，请用积极的话题结束今天的对话吧。
辛顿：我们还有时间找出与AI愉快共存的方法，而且应该投入大量研究来实现这一目标。如果我们能与AI愉快共存，解决它带来的所有社会问题，那么它将成为人类的福音。
主持人：同意。最后一个问题：你之前提到了“奇点”——AI自我训练，每分钟都呈指数级变得更聪明，很多人（比如我们之前的嘉宾雷·库兹韦尔（Ray Kurzweil））都提到过这个概念。你认为这个奇点是真实存在的吗？是否像有些人说的那样即将到来？
辛顿：这两个问题我都无法回答。我怀疑AI最终会在所有方面超越我们，但可能是逐个领域实现的——目前它在国际象棋和围棋上远超我们，在知识储备上也比我们丰富，推理能力虽然还不如我们，但差距在缩小。它不会一次性在所有领域超越我们，而是逐步实现。
主持人：我的出路是，我可以在海滩上散步，看看鹅卵石和贝壳，而AI做不到——它只能在我把发现的新软体动物写下来并上传到网上后，才能知道它的存在。人类可以以AI无法触及的方式探索宇宙。你评估中还缺少一个词：AI会提出需要人类洞察力、而它自己没有的新宇宙理论吗？因为我能用前所未有的方式思考。
辛顿：我认为它会的。
主持人：这不是我想要的答案，但这是你的观点。
辛顿：举个例子，AI已经非常擅长类比了。当ChatGPT-4无法联网，所有知识都存储在权重中时，我问它“为什么堆肥堆像原子弹？”——它回答“能量尺度和时间尺度非常不同，但堆肥堆变热时会更快产生热量，原子弹产生更多中子时会更快产生中子”，它理解了两者的共性——连锁反应。为了把这么多知识压缩到一万亿左右的连接中，它必须具备这种创造力。
主持人：这不仅仅是找到与其他单词并列的单词，而是真正理解了连锁反应的本质。
辛顿：没错，它真的明白什么是连锁反应。
主持人：好吧，那我们真的要结束了。在地球上的旅程到此为止了。先生们，这是一次很棒的对话。杰弗里·辛顿，非常感谢你能来节目——我们知道你事务繁忙，尤其是在获得诺贝尔奖之后，非常感谢你在百忙之中抽出时间。
辛顿：谢谢你们的邀请。
主持人：伙计们，刚才的对话太精彩了。你们全程都坐得住吗？我可是坐立不安，我知道查克都快恐慌了。不过说真的，对话的某些部分让我感到非常焦虑，就像在剧院里腹泻一样（玩笑话）。感谢分享，加里。好了，以上就是《Star Talk》特别版的全部内容。
热门跟贴