图片来源：瑞典皇家工程科学院（IVA）
来源：Z Potentials
编译：Yueyun Xu
Z highlights
智能的本质是学习——人工智能是在神经网络中进行学习的，视觉和运动控制是基本的，而语言和推理则是在这些基础之上发展出来的。我们目前掌握的关于人类理解句子的最佳模型，正是这些语言模型，它们也是唯一能够实际运作的模型。
我们进化出了模拟智能，而没有进化出数字智能，是因为它涉及到过高的能量消耗。虽然能量消耗可能过于极端，但数字智能的效率可能更高。单个系统不可能处理所有数据，尤其是在涉及到现实世界行动时，因为在现实世界中行动无法像数字系统那样通过加速来完成，你必须在世界中实际行动，这一过程是缓慢且顺序的。
我们目前的局面是：拥有旧石器时代的大脑、中世纪的制度，以及类神的技术。
我们真正需要做的是检查视频等信息的来源，即需要一种方法来追溯视频的出处。随着能够追溯到信息源的技术发展，我们在确认事物真实性方面会做得更好，而且媒体机构也会支持这一点。这并不是火箭科学，基本上是现有技术能够实现的，但我们需要重新思考如何构建互联网的架构。
01 IVA主席Sylvia和Geoffrey Hinton开幕致辞
Sylvia Schwaag Serger：大家好！我叫Sylvia Schwag Serger，是瑞典皇家工程科学院的院长，非常高兴在研讨会上欢迎诺贝尔物理学奖得主Geoffrey Hinton教授！在我请Hinton教授上台之前，我想先说几句话。作为一名经济历史学教授，我研究过技术变革，人工智能作为数字化的一个延伸，它无疑是人类历史上一个重大的技术变革。当我们面对技术变革时，它会带来许多后果。当这些技术变革恰逢气候危机加剧、地缘政治紧张局势上升以及民主的侵蚀时，那就接近了某种我在情绪不佳时会称之为“有毒鸡尾酒”的情况。不过，今天我们并不是来讨论这些的，我们今天的目的是探讨如何以一种建设性、积极并且成功的方式来应对今天面临的挑战。
我想简要谈一下瑞典政府的人工智能委员会，我曾是该委员会的一员。我们花了过去九个月的时间准备一份报告，与数百人进行了交流，刚刚在上周将我们的报告提交给了瑞典政府。这份报告与许多其他国家的人工智能战略报告有一些相似之处，比如它提出关于如何提高计算能力、如何推动科学进步、如何促进创新和竞争力的建议。但这份报告中也有一些方面，与其他国家的人工智能战略或委员会报告略有不同。第一个方面是我们的雄心，即赋予瑞典人民和社会成员对这项技术的掌控权，这是我们报告中的一个重要强调点，也与今年诺贝尔经济学奖得主的观点高度契合，他们提到了包容性制度以便将技术力量用于造福社会。其次，报告中还有一个强烈的建议是如何加强公共部门，以便提供更好的公共服务，以及公共部门如何成为人工智能的推动者，而不仅是一个滞后的接受者。这两点使瑞典在某种程度上区别于其他国家对人工智能的看法和做法。
图片来源：瑞典皇家工程科学院（IVA）
然而，这也是让我夜不能寐的一个问题。
如果我们认为人民对技术的掌控权和包容性制度对于确保技术的积极发展至关重要，那么当我们面对那些不相人时，我们该怎么办？部分原因也许是他们不相信制度，因为这些制度并没有做到应有的包容性。
其次，当我们看到国际合作信任的下降时，我们该怎么办？国际合作和包容性制度对于确保人工智能实现其作为推动社会向善力量的潜力至关重要。
第三，Hinton教授在多次讲话中提到过人工智能的风险以及监管的重要性。而当政府不真正相信监管时，我们该怎么办？
像瑞典这样的国家，一个小而开放的经济体，高度依赖国际贸易、国际合作和一个有效运作的世界秩序，在一个不是每个人都相信国际合作，或是采取支持国际合作的行动的世界中，应该做些什么？欧盟应该在人工智能的监管上做些什么？我将把这些问题留给大家思考，期待Hinton教授的讲话。
Geoffrey Hinton：我想对Sylvia刚才说的做一个评论，相信制度，是因为如果这些制度正常运作，他们早就该进监狱了。如果拿气候变化问题来说，首先得让人们相信二氧化碳是由人类活动引起的气候变化的根本原因，只有在做到这一点之后，才能制定出合理的政策。但即使在做到了这一点之后，可能仍然无法得到合理的政策，人们可能依旧继续补贴石油公司等等，而这只是第一步。
现在我在谈论人工智能的生存威胁，这是一个长期的威胁。虽然有很多短期的威胁更为紧迫，比如网络攻击、大量失业、疫情等等，还有假视频，这些问题层出不穷。但存在一个长期的生存威胁，那就是我们将创造出比人类更智能的东西，它们将接管我们的位置。许多人并不把这个问题当回事，而他们不认真对待的原因之一，是他们认为现在的人工智能系统并不真的“理解”人类。因此，有一群人，比如一些语言学家，他们称这些人工智能为“随机鹦鹉”，只不过是通过一个统计技巧把大量的文本拼凑在一起，看起来像是理解了，但实际上并不像人类的理解方式。而我将主张的是，人工智能的理解方式和我们一样。
那些谈论“随机鹦鹉”的人，他们的理解理论来自于经典的符号AI理论，即你大脑中有符号表达式，用某种简化的语言表示，你通过符号规则对它们进行操作。这个理论从来没有真正成功过，但他们仍然坚持这个理论，因为他们认为只有通过类似逻辑的方式进行推理才可能拥有智能，即智能的本质是推理。其实有一个完全不同的范式，那就是智能的本质是学习——人工智能是在神经网络中进行学习的，视觉和运动控制是基本的，而语言和推理则是在这些基础之上发展出来的。
我想讨论的一个问题是人工智能是否真的理解？有一个历史上的细节，大多数人都不知道，那就是这些大语言模型尽管它们看起来能理解，能够以一个不太精通的专家水平回答任何问题，但它们其实很早就存在了。这来源于我在1985年做的一个模型，它是第一个神经网络语言模型，训练样本只有104个，而不是数百亿，网络参数大约只有1000个，而不是数万亿。但它确实是一个语言模型，训练它来预测下一个词，并通过反向传播误差的方式，将输入符号转化为神经活动的向量，并学习这些向量如何互动，以预测它要预测的符号的向量。这个模型的目的不是为了某种工程应用，它的目的是为了解释人们如何理解单词的含义。因此，我们目前掌握的关于人类理解句子的最佳模型，正是这些语言模型，它们也是唯一能够实际运作的模型。
我们有很多符号模型，但它们并不太有效，深受着Chomsky的影响。Chomsky成功地说服了几代语言学家，认为语言不是通过学习获得的。乍一看，认为语言不是通过学习获得的，这显然是荒谬的。但如果能让人们相信显而易见的荒谬观点，那就相当于搞了一个教派，而Chomsky就有一个教派。
语言是通过学习获得的，语言的结构并不需要天生具备，它是通过数据获得的，这需要神经网络和学习算法中具备的结构。Chomsky看不到如何做到这一点，因此他说它必须是天生的，实际上说它是天生的而不是学习来的，是非常愚蠢的，因为这相当于说进化是学习的。而进化是一个比学习更慢的过程，进化之所以产生大脑，就是为了让人比进化本身更快速地学习。所以我这段话的目的是想让你相信人工智能的理解方式和我们是一样的，接下来再给你一个证据。
许多讨论随机解析的人会说“看，我可以证明它们并不真正理解，因为它们会胡乱编造”。那些人不是心理学家，他们不明白不应该使用“胡乱编造”这个词，而应该使用“编造”这个词。自从20世纪初以来，心理学家们一直在研究人类的编造现象，比如一个人回忆某个很久以前发生的事，而在这期间没有重新回顾过它，人们就会自信地回忆出一些错误的细节，因为记忆并不是从某个地方拿出一个文件，而是由构建一些看似合理的东西组成的。现在，如果你刚刚看到某个事情，并且现在试图构建一个看似合理的东西，你的细节会比较准确。但如果你看到的是很多年前的事情，现在试图构建一个看似合理的回忆，首先，它会受到你这段时间学到的所有信息的影响，你会构建出一个对你来说不错的记忆，但实际上很多你非常自信的细节是错误的。很难证明这一点。
这就是人类记忆的运作方式，所以当这些模型编造内容时，它们就像人一样，因为人们也会编造，至少我觉得是这样。
Sylvia Schwaag Serger：Geoffrey，您曾谈到过人工智能的风险，您也提到过必须有某种形式的国际合作来应对这些风险，您认为什么事情是必须发生的，才能使各国能够以建设性的方式合作来遏制这些风险？
Geoffrey Hinton：像致命武器这样的风险，各国是不会合作的，比如俄罗斯和美国不会在战斗机器人上进行合作，他们会互相对抗。所有主要的武器供应国——俄罗斯、美国、英国、以色列，可能还有瑞典——都在忙着制造自主致命武器，他们不会自我约束，也不会进行合作。如果看一下欧洲的人工智能监管，欧洲的规定中有一条明确指出，这些规定不适用于人工智能的军事用途。所以显然，欧洲各国并不想对其进行监管，他们希望继续发展，看看是否能比其他国家制造更强大的战斗机器人，因此我们无法控制这一点。同时，许多其他短期风险也会有同样的情况，例如，美国不会监管假视频，因为其中一个即将完全掌权的党派是相信假视频的。
然而，有一个领域可能会看到合作，那就是生存威胁。几乎所有我认识的研究人员都认为它们会比我们更聪明，只是对它们何时变得更聪明存在分歧，可能是五年后，也可能是三十年后。当它们比我们更聪明时，它们会接管吗？我们是否能做些事情来防止这种情况发生？因为毕竟是我们创造了它们。各国会在这一点上达成合作，因为没有哪个国家希望这种情况发生。冷战高峰时期，苏联和美国可以合作防止核战争，同样的方式，他们也会合作防止人工智能接管人类社会。但在其他领域，我们将无法达成合作。
Sylvia Schwaag Serger：好的，那是一个相对乐观的观点。最后一个问题，作为工程科学院，我们专注于解决问题。我想问您，作为一位对当下和未来深感忧虑的家长，您会对今天的年轻人说些什么？
Geoffrey Hinton：一些人工智能研究者，比如我的朋友Jali，他曾是我的博士后，他说人工智能不可能接管，没什么可担心的。不要相信这种说法，因为我们不知道当人工智能比我们更聪明时会发生什么，这是完全未知的领域。还有一些并不完全是AI研究者，但对AI了解很多的研究的人们，会说99%的概率它们会接管，而正确的策略是现在就炸掉数据中心，这在大公司中并不受欢迎，这也是疯狂的。
图片来源：瑞典皇家工程科学院（IVA）
我们正在创造它们，正进入一个巨大的不确定性时代，当我们开始处理比我们更聪明的东西时，我们根本不知道会发生什么。我们现在有很大的权力，但并不能知道未来会怎样。人们非常聪明，完全有可能会找到一种方法，让人工智能永远不接管。所以我们现在的处境就像是养了一只非常可爱的老虎幼崽，但你最好确保它长大后永远不想杀了你。如果你能确定这一点，那就没问题。
Sylvia Schwaag Serger：非常感谢。在此，我将把接下来的讨论交给Annette Novak，她将引导我们进行小组讨论。
02 IVA信息技术部主席Anette为论坛开场
Anette Novak：作为IVA信息技术部门的主席，我感到非常荣幸和自豪，能够引导大家进入研讨会的下一部分，这将是一个小组讨论，邀请了一些非常有能力的演讲嘉宾，我们有来自近未来学、哲学、计算机科学、人工智能和人类互动等领域的学者。我们将从简短的发言开始，为之后与Hinton教授的讨论播下些许种子。首先邀请Anders Sandberg，他是斯德哥尔摩未来研究所的研究员，曾是牛津大学人类未来研究所成员。
Anders Sandberg：非常感谢，今天在这里讨论我们对人工智能的了解真是非常有趣，尤其是我的教授也坐在观众席中。最令人尴尬的事情之一就是意识到我以前学到的很多东西现在已经不再成立了。事实上，这正是人工智能领域的一个反面教训，我们在预测什么会成功、什么不会成功方面非常糟糕。早期的人工智能先驱们曾经自信地说，在这一代人之内，我们将会拥有类人机器，回头看，这些预测也是错误的。
事情有时就是突然开始奏效，发生时令人惊讶，甚至是震惊。2010年代发生的那场革命，使用的是那些已经做了一些有趣事情的网络，但突然之间开始飞速发展，而原因我们至今还没有完全理解。同理，那些新兴的人工智能成果并不是完全由我们创造的，而是作为一种涌现现象出现的，而我们在理解这些方面有很大的困难。显然，这表明我们对未来的预测并不准确，且没有足够的基础。这并不意味着我们就应该完全不相信这些预测，因为在许多领域——无论是商业、政治、战争，还是爱情——我们往往都需要做出一些预测，尽管这些预测并不牢靠。
当我们面临一个看起来非常有前景的技术领域时，如何应对挑战就显得格外有趣。因为从安全角度来看，这种情况无疑是令人深感忧虑的，即人工智能到底能走多远，我们并不清楚。顺便问一下，为什么大模型不能思考呢？毕竟它们只是预测序列。但令人惊讶的是，序列预测实际上可能是思考的一个不错替代品，即使大型语言模型存在一定的局限性，也许它们只能规划短期的思维链条，但可能是需要接入另一种架构。没有什么能保证聪明的家伙不会在下周二做出这种改变。同样，我们也不知道它能多快发展。我们经历了很长一段时间，看似没有什么进展，却发生了很多。这暗示了我们可能会面临控制它和了解它发展的困难，而且它似乎能够走得很远，这其实是个好消息，因为人工智能确实非常有用。
我自己也在使用人工智能，它解决了一些很有趣的问题，但也有些问题让我紧张。今天我用一个大型语言模型（LLM）做生物安全演习，我一直在担心它会告诉我：“Anders，那是生物武器，不要继续开发了。”但因为我巧妙地将它表达成一个学术项目，它高兴地告诉我需要用什么样的病毒来转染细胞，这让我感到有点无措和紧张。我不是一个好的生物技术专家，所以大家肯定是安全的，但这也表明我们处于一个高不确定性的局面。谨慎的做法是假设我们会迎来快速且强大的发展，尽管我们无法预测它们，然后采取措施使其变得更安全。所以我喜欢说，我是一个悲观主义者，因为我很乐观。
如果人工智能什么也做不了，那就没有理由做任何的应对措施，所以这里虽然存在风险，但也有一个令人惊叹且美丽的机会。我们确实在这里学到了一些深刻的东西，有关于我们自己智慧的本质，也有关于其他形式的智慧，最终我们得到了一面镜子，展示了我们思考的其他方式。
Staffan Truvé：当我还是研究生的时候，有机会在麻省理工待了一年，因为我想学习语言学，正如Hinton教授所说，Chomsky当时是我的偶像。幸运的是，当我到达时，Chomsky正好在休假，一整年都不在，我跟一位认知心理学家合作了。
过去15年，我一直在建立一家公司，或者说一个系统——利用人工智能来预测对组织、国家等的威胁。所以我想说点什么，可能和关于短期威胁的说法有所不同。
首先我完全同意，从长远来看，机器变得足够智能，理解到地球的真正威胁是人类，这对我们来说是一个大问题。但在我看来，短期坏人使用人工智能是我们需要关注的重大威胁。这也是我对监管问题感到担忧的原因，因为即使能让全球各国就避免长期威胁达成共识，但从本质上讲，短期内的情况是，如果我们假设西方国家、自由世界，或者愿意称之为“好人”的一方，如果我们制定了技术的监管措施，而对于那些不在乎规则的国家，他们将占有优势，因为他们不会停止开发。
当然，正因为这项技术如此易得，即便我们进行监管，也无法控制人们是否遵守这些规则。这与核武器完全不同，核武器需要巨大的机器和工厂，而这些都可以被监控、被探测到。即便某些国家可能会伪造并声称他们拥有这些技术，但这种情况在很大程度上仍然能被检测出来。
图片来源：瑞典皇家工程科学院（IVA）
我希望我们能回到这个问题，防范坏人利用人工智能对付我们。我们正面临一场军备竞赛，每天都在开发基于人工智能的工具，例如检测AI生成的图像，以便当虚假新闻传播时发出警报。但这显然是一场典型的军备竞赛，生成图像的模型不断变得更强，检测这些图像的模型也变得更强，彼此不断对抗，毫无止境。所以我完全尊重长期的视角，但我也认为我们需要搞清楚——虽然我没有答案——我们到底该如何防止非常糟糕的事情发生，不是在二十年后，而是在两年之内？
Kia Höök：当他们邀请我来发言时，我说我不做人工智能，而且我不喜欢人工智能。我过去做的符号化人工智能，我其实一点都不喜欢。最近，我们做了更具体现感的人工智能项目，比如一个变形的束腹，它模仿歌手在唱歌时如何使用他们的肌肉，使得观众能够在他们的身体上感受到这种变化，所以我们将人工智能移到身体上来。我会谈论威胁，但这是另一种类型的威胁——人工智能和身体的伦理。
显然这意味着要谈论死亡，让我解释一下为什么死亡很重要。最近我参加了一个会议，Terry说人工智能并不关心任何事情，也就是人工智能根本不会在意伦理。而Donna当时也在场，她说智能是有形体的，它是嵌入在我们身体里的，它不仅仅存在于大脑中，而是在整个系统中，包括脑干、肌肉以及整个身体。我的观点是，人类的智能实际上是首先在运动中，其次才是语言，因此我对大型语言模型（LLMs）并不感兴趣，我对这种体现感的东西更感兴趣。如果我们要设计人工智能，我们需要以一种体现伦理的方式来设计。
首先，拥有伦理需要有身体，因为身体才会被关进监狱，这对于司法系统的运作至关重要。而这并不是我想讨论的内容，我想讨论的是生物学如何以某种方式决定我们的行为、情感、价值观等等，这正是如果要走向一种接近我们身体的伦理学时应该去探索的领域。实际上，身体本身的对称性和上下左右，都在影响人们如何在世界上行动，也影响你们如何对待我。因此，我对自我的理解就是在这个过程中形成的。
我看到在座的女性都把腿并拢，并没有像男性那样展腿，尽管女性的骨盆没问题，如果想像男性那样做，完全可以，但那是一个规范，所以我们不这么做。为了生存，我们需要处在一个规范的环境中，从他人那里学习如何行为，因此文化对我们作为人类的意义至关重要，我们的习惯需要与他人保持一致。如果不一致，人们就不会喜欢我们，我们也无法交到朋友、获得地位、甚至不能生存。这就是进化的作用所在。
所以，我们可以在进入人工智能的世界后，与身体深深植根的习惯与规范一起工作并改变它们，人工智能也会改变我们，改变我们的规范，以及我们在世界上的行动方式。这就是我担忧的地方，因为那时需要真实表达出当我们与这些系统互动时的感受，这就需要超越那些深深植根于我们内心的习惯和规范，而我们自己是有偏见的，换句话说，我们会得到种族歧视的人工智能。所以我们需要弄清楚，为什么这个无形体的人工智能以一种非常具体现感的方式让我们感到不安？
我的观点是，人工智能与伦理学问题，不仅仅是程序化、法律层面和政策层面的，它是一个感知过程，一个身体的过程，是通过身体和我们有形的自我来体现的，这也是作为设计师的我所能发挥的空间。所以，我想提出一种女性主义的、具体现感的关怀伦理学，应用于人工智能系统设计的过程之中。我很高兴看到大家，你们显然有很好的习惯，因为你们的地位都很高，穿着得体，你们和你们的身体将塑造这个世界，而你们需要意识到这一点是如何在你们的有形自我中体现出来的。
03 Geoffrey Hinton等五位教授论坛
Anette Novak：这真是一个很好的开始，给大家带来了很深的感受。现在，请所有的讲者上台。让我们回到刚才深入探讨的某些领域。我猜很多人可能对Hinton感到好奇，所以我想再问一个问题， 比如，考虑到你从事这项研究已经有这么多年的时间，你是如何坚持下来的？因为你将不同的领域结合起来，而且花了很长时间去探索这些领域，并找到了想要融合的方向。
Geoffrey Hinton：我想知道大脑是如何工作的，但我仍然没有弄明白。而且正是因为我一直希望能弄明白大脑是如何运作的而获得诺贝尔生理学或医学奖。我曾有一个理论，叫做“机器与神经元的理论”，这就是大脑的工作原理，我和Terry共同提出过这个理论，我们当时没有意识到即使有这样一个理论也可能是错误的。
还有一件事对我帮助很大。尤其是在90年代，计算机科学领域几乎每个人都说我的研究是胡说八道，都说根本不可能成功。整个想法是通过模拟神经元的网络——尽管这些神经元根本不像真实的神经元——可以随机连接这些神经元，仅通过查看数据就能让它做智能的事情，但他们认为这是荒谬的，因为必须构建大量的先天结构才能让它做事情，他们说如果开始尝试通过梯度训练，它会陷入局部最优解。虽然他们从未实际检查过这是否会发生，但他们坚信这会发生。
当你周围的每个人都说你做的事是胡说八道时，你是如何坚持下来的？对我来说很简单，因为我的父母都是无神论者。当我七岁的时候，他们把我送到了一个基督教的私立学校，那里有很多相信上帝的孩子，还有许多相信上帝的老师。显然，这些都是毫无意义的。我从很小的时候起就经历过一些荒谬的事情，这对我研究神经网络很有帮助。
Anette Novak：那么，如果每个人都认为你是在胡说八道，你是如何获得资金的呢？（笑）
Geoffrey Hinton：在加拿大，他们会为人们提供基础研究的资助，虽然资金不多，但我可以非常有效地利用这些资金。这是一个五年的资助，五年结束时，你需要写一份六页的报告来说明你做了什么，而且，这份报告的内容不必完全符合你在资助申请中所承诺的内容。这是一种非常好的研究资助方式。
Staffan Truvé：我的教授曾经也说过几乎相同的话，他说，衡量一项好研究的标准是优秀的应用和伟大的结果，但并不需要有必要的相关性。
Anette Novak：我希望在场的研究资助者能记住这一点。今天的我们将学术界变成了很多孤岛，且往往深耕某一领域，而基础研究通常就存在这些孤岛中。现在我们正朝着更复杂的方向发展吗？这是否意味着需要更多的跨学科或多学科合作？
Kia Höök：是的，至少对我来说，我的研究小组有歌剧歌手和像我这样的人工智能专家、硬件专家、软件专家、工业设计师等等。所以如果要设计智能的系统，那么确实需要跨学科合作。而且现在更加紧迫的，是人文学科、伦理学，以及关心在技术的背景下，如何过上一个有意义的好生活。
Anette Novak：Anders来自澳大利亚，而澳大利亚现在关于人文学科经费削减的问题上有激烈的争议吗？
Anders Sandberg：是的。但另一个问题是，学术的“领域”是否真正对应着重要的问题，而现实其实并不符合学术领域的划分。如果学术领域能够somehow与现实相符，那将是非常了不起的，但我们并没有朝着这个方向努力。我们最终形成的这些领域，主要是由于历史原因，但通常真正有趣的新发现往往是将某个领域的成果应用到其他地方时产生的。
图片来源：瑞典皇家工程科学院（IVA）
实际上，这正是我在澳大利亚计划做的事情。我当时和一位老朋友一起工作，他原本是物理学家和生物学家，他还发现了泡茶时最合适的饼干浸泡角度，所以现在他被称为“饼干浸泡教授”。我们正在组建团队，试图学习如何更好地进行跨学科的工作，因为我们在这方面还不够系统化。我们尝试去打破这些界限，但资助者给跨学科研究的资金并不多。
Staffan Truvé：需要跨学科合作的一个原因是，今天乃至未来的最大挑战之一是“交接问题”。未来我们将看到人工智能与人类的协作，这个问题在某些情况下会非常明显，比如自动驾驶汽车，大家普遍认为汽车会自己开到某个程度，当它无法处理某个情形时会交给驾驶员，而驾驶员可能正在打瞌睡。因此，机器该如何将它对世界状态的判断传达给人类呢？这种情况适用于所有领域。当我们与威胁分析师合作时，我们也会遇到类似的问题：如何将算法分析的结果传达给人类，以便他们继续工作，或者验证结果的正确性或错误性？为了做到这一点，显然需要设计师和来自各个领域的人才，才能够构建这些系统。
Kia Höök：我们实验室也设计过这方面的系统，我们曾经为自动驾驶汽车设计了一个通过充气背垫将人唤醒的装置。
Anette Novak：我们需要回到风险问题上。自从Hinton离开谷歌后，越来越多地公开谈论这个问题。既然在这里与一些技术乐观的朋友们在一起，我们就不必仅仅谈论风险。Hinton在开场时确实提到过，超级智能即将到来。
Geoffrey Hinton：我的看法是超级智能以50%的概率，将在5到20年之间到来。几乎每个人都相信它会到来，只是对时间的看法不同。那些不认为它会到来的，是相信经典语言学和符号AI的人，但几乎所有了解神经网络的人都认为超级智能会到来。
Anette Novak：请给我们描述一下，当你说这是一个延伸的机会时，你看到的是什么？
Geoffrey Hinton：我担心的一个问题是，人类可能会变得变得无关紧要。2023年初，我意识到了一件长期以来显而易见的事情，虽然我之前并没有完全感受到它的情感冲击，那就是数字智能可能是比我们现有的智能更加高效的一种形式。
从本质上看，我们的大脑是一种模拟系统。神经元的活动虽然类似数字信号，但它们本质上是模拟的。如果我们能够利用模拟硬件的特殊性质，就能在非常低的功耗下完成许多任务。虽然我们不能让两台模拟计算机执行完全相同的任务，但如果每台计算机都能够学习，它们依然能够表现得非常出色。大脑的运作也是如此。
然而，我不能和你分享“大脑的权重”，因为我的神经元和你的神经元之间并没有一一对应的关系。我们的大脑以低功耗的方式运作，但信息无法直接共享。所以，假如我们尝试让1000个人上1000门不同的课程，每个人的学习结果都可以在背景中平均，以最终掌握所有1000门课程的知识，每个人只需要上其中一门课程，且他们共享的知识会不断被加权平均。然而，这样的学习方式对我们的大脑而言并不现实。而数字智能却可以做到这一点。它们有一个共享带宽，可以快速交换并同步海量的权重，数量级可达到数万亿比特。
我们之间共享知识的方式，往往是通过语言表达，而你根据我的话语调整你的认知。我们共享的带宽非常有限，通常在每秒几比特左右，远不及数字智能之间每秒数万亿比特的共享带宽。数字智能在这一点上比我们更具优势，它们能够更高效地获取大量知识，并在这些知识之间建立关联。
为了将所有知识存储在有限的突触中，大脑必须进行大量压缩。压缩意味着通过找出不同事物之间的共同点，将这些共性与细微差异结合，来进行信息的存储。这使得数字智能能够在一个全新的层面上看到许多人类未曾见过的类比和联系。因此，它们将比我们更加具有创造力，这让我感到非常担忧。
Staffan Truvé：关于这个问题，今天我们所使用的模型仍然非常“人性化”，因为它们会不断胡乱生成语言，即使它们并不知道自己在说什么。那么，你认为模型意识到自己不知道的那一刻，离我们还有多远？
Geoffrey Hinton：它们在这方面会变得越来越好。它们已经在不断进步，虽然这种进展是渐进式的，但它们还不像人类那样擅长意识到自己在“煤气灯效应”（gaslighting）中的角色。然而，是否能完全停止这种行为，仍然是一个未知的问题。
Kia Höök：另一方面，AI是没有死亡的，对吧？因此，它们没有真正的理由去以某种方式行动或不行动。它们仍然没有具身化，也不在现实世界中运作。所以，风险并不在于这一点。你不会担心它们的“手臂”被砍掉之类的事情。
Geoffrey Hinton：但是你想看到的具身AI，可能会出现在战斗机器人中。如果你是一个小型战斗机器人，遇到一个大型战斗机器人时，最明智的选择就是跑开躲藏，因为它们可能会拥有类似杏仁核的机制。它们会有真正的恐惧感，而这不仅仅是某种模拟的数字理论。这个小型战斗机器人会害怕大型器人。所以，你会看到所有这些具身的情感机制。我不认为这种恐惧感来源于它们可能“死亡”，这是因为它们需要这些情感机制来帮助自己在世界中生存。
Anders Sandberg：确实，许多强化学习系统需要类似情感的机制。从数学角度来看，它们的目标是最大化未来的预期奖励，但训练过程中通常是有限时间内完成这一目标。因此，它们实际上在某种程度上会感到压力。有些事情比其他事情更糟糕。可以提出一个观点，正如一些哲学同事所说的，这些机制就像是初步的情感，虽然它们可能不像生物学中的情感那样优雅和复杂，但它们依然起着相同的作用。当一个意外的奖励没有到来时，失望便成为一个非常重要的学习信号，这在机器人和人类身上都能看到，虽然机器人可能对此表现得更加冷静。
Geoffrey Hinton：关于提到的让AI系统检测伪造视频的评论，曾经这是一个好主意，但现在我有些绝望，因为检测器和生成器之间存在一场军备竞赛，这就是所谓的生成对抗网络（GANs），在扩散模型出现前，它曾是生成高质量图像的主要方法。现在人们普遍认为，检测伪造视频基本上是无望的。
我们真正需要做的是检查视频的来源，即需要一种方法来追溯视频的出处。举例来说，对于政治视频，我们应该能够追溯到那个视频所属的政治活动的网站，如果能在该网站上找到完全相同的视频，并且确信那个网站确实属于该活动（网站是唯一的，所以这并不困难），那么就可以相信这个视频。反之，如果找不到这样的出处，就不能相信它。未来，浏览器可能会做几乎所有这些工作。就像现在当你收到垃圾邮件时，好的浏览器会提示你这可能是垃圾邮件一样。随着能够追溯到信息源的技术发展，我们在确认事物真实性方面会做得更好，而且媒体机构也会支持这一点。如《纽约时报》就非常支持这个想法。最终，唯一能够完全信任的可能就是《纽约时报》了。
Staffan Truvé：我完全同意这个观点。但问题在于，人们需要做的并不仅仅是认证品牌、浏览器和服务器。实际上，我们还需要从设备层面进行进一步的验证，也就是需要知道是哪个相机在特定的位置拍摄了那张照片。这并不是火箭科学，基本上是现有技术能够实现的，但我们需要重新思考如何构建互联网的架构。
Anders Sandberg：这与你的观点有趣地联系在一起。当我考虑在科学中使用AI时，显而易见的做法是让它阅读所有科学文献。但问题是，许多科学文献实际上是错误的，有些甚至是伪造的，很多是质量较差的论文。为了让AI在科学中学到有用的东西，它可能需要进入实验室并进行实验，这就是来源验证的核心所在。通过实验，就能获得扎实的基础，真正了解实验会产生什么样的结果。而要做到这一点，显然需要某种形式的体现，不管是实验室机器人、传感器，还是其他可以从现实中获得反馈的工具。要让AI超越我们并以有用的方式发挥作用，这一步是非常必要的。
Kia Höök：考虑到Anette实际上是一名记者，我们应该记得，距离没有照片或视频的时代并不遥远。那时候，确实很难相信信息。200年前，我们的处境与现在差不多，而那只是历史中的一瞬间。曾经，你可以相信照片或视频，但如今，我们又回到了通过我们信任的方式传播新闻和信息的问题。因此，有时候AI的发展缺乏历史感。
Geoffrey Hinton：几百年前，在英国曾有政治小册子，并且有一项法律要求，如果你发布自由主义的小册子，必须注明印刷商的名字。这样，就能得到某种形式的来源验证，因为当时的瓶颈是印刷机。印刷商的名字会出现在上面，这让伪造这些小册子变得更困难。而这正是我们现在需要做的。
Anette Novak：那么，为什么我们在创造照片的技术时没有立刻采取类似的做法呢？
Staffan Truvé：几年前，我们曾展示过由机器人拍摄的照片，并提出过这样的问题：如果你能回到过去重新设计互联网，你会怎么做？他说的正是这个问题——真实性和验证的能力。但在当时，互联网只有200人，而且他们彼此都认识，而现在情况完全不同了。
Anette Novak：这正是我想结束这一部分讨论的地方，因为现在的关键在于我们所处的位置提供了一个本地化和类比化的机会。只有当你认识某个人、了解某些事物的来源时，才能信任它。因此，这里存在着一种与身体接近的机会，或者说，可能是本地社区的机会。你提到了《纽约时报》，但也许正是小型且紧密的媒体公司在这里能够发挥作用。
图片来源：瑞典皇家工程科学院（IVA）
或许我想回到你一开始提到的内容，也就是回到完全的风险场景，因为现在你变得非常建设性，开始解决问题了。我们有战斗机器人，我们面临生存威胁，我们是应该将这些风险构建进技术中，还是应该围绕技术构建一些防范措施，以避免最糟糕的情况发生？
Geoffrey Hinton：我们真的不知道如何控制比我们更智能的东西，我们也不知道这是否可能。这大概率不可能，但我不认为我们会停止AI的发展，因为它在许多方面都非常有用。潘多拉的盒子里有太多短期的利益可以从中获益。在资本主义社会中，你无法仅仅停止它。
我没有签署“我们应该放慢发展”的请愿书，那是疯狂的，我们不会那样做。我们已经被困在这个事实中，AI将继续发展，我们必须弄清楚是否能安全地做到这一点？我们应该集中精力解决这个问题，但我们不知道解决方案会是什么样子。我们只能希望最终能找到一个解决方案。如果人类因此消失，而我们没有去寻找解决方案，那将是非常可惜的。
Anders Sandberg：我已经参与AI安全社区相当长的时间了，甚至在90年代就加入过邮件列表。当时，Yudkowsky还没有意识到AI可能带来的危险，他一度支持即将到来的奇点（singularity）。但后来，他意识到我们需要解决一些安全问题，于是我们开始着手研究这些问题。随着时间的推移，这变得越来越困难、越来越具有挑战性，但也越来越有趣。今天，让我感到乐观的是确实有很多人正在做有意义的工作。
我们正在检测AI系统内部的状态，尽管可能无法做到完美的解释，但我们确实在不断进步。我们已经找到了一些方法，甚至能够检测出AI是否在进行欺骗。尽管从哲学角度讲，欺骗是一个复杂的问题，涉及未知的意图，但我们正逐渐获得相应的工具。虽然我的一些同事比较悲观，认为这些工具还不够完善，而我非常乐观，如果我们真心投入其中，最终能够做到。
Staffan Truvé：我现在意识到，我们需要做的是当构建出第一个超级智能时，首先的任务应该是让它告诉我们如何保护它，或者如何保护我们免受它的威胁，也许这听起来有些矛盾。
Anette Novak：在这个话题上，关于具身化和连接，我也在思考你的研究。学习的一部分是社会规范和羞耻感等。当你回顾心理学的演化，尤其是在孩子成长过程中，有一种非常强烈的机制来引导他们走上正确的道路。那是否有可能存在这样的机制，即我们能否教会这些系统在做错事时感到羞耻？
Kia Höök：它们是否需要拥有某种情感系统？它们确实需要这样做，以便以某种特定的方式进行学习。但更重要的是，这也与我们自己对自身的理解相关，因为它们所依赖的数据来源于人类社会、自然以及我们所写的内容等等。因此，我们需要更清楚地理解我们自己所感受到的是什么。比如，如果你看到一个带有种族偏见的面部识别系统并感到尴尬，那么你需要问问自己，为什么会在这个种族偏见的系统面前感到尴尬？只有当你能够阐明问题的根源时，你才能真正理解其中的问题所在。
但我们也面临很多其他更为复杂的伦理问题。当你感觉到某种不对劲，或者你感受到某种限制自由或可能性时，你就需要能够阐明这一点。很多伦理敏感性并没有被明确表达出来，更多的是情感上的、身体上的反应，这使得它更难以言表。这也是为什么我们需要新的设计方法来解决这些问题。
Anders Sandberg：同样值得注意的是，我们可以采用许多设计方法将这些因素结合在一起。这就像瑞士的瑞士奶酪安全概念，每一层安全就像一片瑞士奶酪，虽然每片都有许多漏洞，但如果你有足够多的层级，某些东西完全穿透的概率就会非常低。因此，我们可能需要设计一些类似“图灵警察”的机制来检查AI系统，制定一些培训标准。还可以加入情感系统，为小型AI程序制定类似育儿的标准，进行良好的“养育”和优质的教育。将这些元素结合在一起，可能会让AI系统变得足够可靠。
Geoffrey Hinton：让AI系统更安全、更符合伦理的一个关键方面是，这些系统更像孩子，而不是单纯的计算机代码。过去，当我们编写程序让计算机执行某些任务时，我们可以逐行查看代码并理解它们的功能。即使代码行数达到一百万行，也许很难一一检查，但至少是可控的。而现在训练这些系统，是让它们从数据中学习并提取模式。因此选择哪些数据来训练这些系统变得非常重要。
目前，像GPT-4这样的模型是通过使用所有可获取的数据进行训练的。按照我的理解，它可能会被训练在一些极端内容上，比如连环杀手的日记。如果你在教孩子读书时，会选择连环杀手的日记作为早期阅读材料吗？虽然孩子们可能觉得这些内容有趣，但这显然不是你会选择的材料。
AI系统的伦理问题将源自于数据的选择和策划。作为父母，你有两种方式来影响孩子：一种是通过奖励和惩罚，但这并不总是有效；另一种是通过树立良好的榜样，这样通常更有效。如果你告诉孩子不要撒谎，但自己却经常撒谎，这显然不会奏效。所以，伦理问题的根源在于如何树立良好的榜样。
Kia Höök：关于如何处理和审视数据，女权主义理论、残障理论以及去殖民化的数据理论提供了非常好的视角。这些数据到底来自哪里？我们是从谁那里收集数据的？而又没有回馈给那些为这些系统提供训练数据的人，特别是那些在尼日利亚等地做数据标注工作的人？这是我们需要做大量工作的地方。因此，数据不仅仅包括我们喂给AI的数据，如何构建这些数据集也是一个重要的问题。
图片来源：瑞典皇家工程科学院（IVA）
Anette Novak：在讨论这个问题时有一个假设，那就是AI一定会变得更智能。但另一个问题是，AI是否会永远缺失某些部分的智能？我们还没有深入探讨那些本质上属于人类的特质，机器是否永远无法拥有这些特质。
Geoffrey Hinton：我想花五分钟谈谈这个问题，因为很多人会提出最后一道防线，认为“是的，但它们没有主观体验、意识或知觉”。我的观点是，目前的多模态聊天机器人可能真的有主观体验，这与我们如何理解主观体验有关。
大多数人对大脑的理解是，它像一个剧院，里面有些东西只有我能看到。如果你问一个哲学家什么是主观体验，他们通常会谈论“质感”。假设我吃了药，或者喝了很多酒，突然开始看到粉色大象漂浮在我面前，我告诉你我有粉色大象漂浮的主观体验，它们由粉色的质感、象的质感、漂浮的质感等组成。这是哲学家的说法，完全是胡说八道，哲学家们对于“内在感知”的理解完全是错的。我说的主观体验其实是：我相信我的感知系统在骗我。这样说的原因是，它试图让我相信外部世界的某些事情是正确的，即便我知道它在误导我。
当我说“有粉色大象漂浮在我面前：时等同于说”我的感知系统在欺骗我“，但如果外部世界真有这些粉色大象漂浮在那里，那么它的说法就是正确的。因此，这些粉色的大象是现实世界中的大象，尽管它们是反事实的——如果它们真的存在，它们会是现实世界中的事物。
我举个例子说明一个多模态聊天机器人如何拥有主观体验。假设我有一个汽车聊天机器人，它可以旋转、指向，并且有机械臂和视觉系统。我把一个物体放到它面前，告诉它指向它，它就会指向。然后，我把一个棱镜放到它的镜头前，机器人并不知道这一点，感知系统因此受到干扰。而我再次把一个物体放到它面前，告诉它指向那个物体，它却不能正常指向。这时，我告诉它“你的镜头前面放了一个棱镜，它弯曲了光线。”于是机器人说：“哦，我明白了，棱镜弯曲了光线，所以物体其实应该在那儿，我曾经有过它在那里时的主观体验。”
如果它这么说，那么它实际上就是在以类似我们理解“主观体验”的方式来解释自己的感知错乱，这种体验就是它的感知系统出错了，通过解释外界世界应有的样子来理解其错误。对我们来说是这样，对聊天机器人也是一样的。
Kia Höök：但你在以一种非常特定的方式定义主观体验，似乎它总是涉及真假问题。主观体验总是存在的。如果你认为有任何完全客观的东西，那么你就错了。
Geoffrey Hinton：我的观点有所不同。我曾和一些女权主义者就绝对真理问题展开过讨论，我相信有些东西确实是真实的。例如，我现在看到一只玻璃杯，我正客观地看到这只玻璃杯。
Anette Novak：我们以后再讨论这个问题。而现在，我们一直在讨论AGI（通用人工智能）的出现和潜在危险。那么，我们应该关注哪些里程碑？是否有任何观察平台或者类似的机制在跟踪和报告这些里程碑的演变？
Geoffrey Hinton：这个问题不完全是我能回答的。OpenAI设定了一些里程碑，他们设定了几个阶段，目前他们处于第三阶段，如果他们达到了第五阶段，那就可以称为AGI。去年春天我离开谷歌时，我停止了阅读相关文献，并且本打算退休。我离开谷歌的原因是想退休，同时顺便提到这些技术可能带来的危险，结果我没有真的退休，反而继续参与其中。
Anders Sandberg：从某种意义上来说这些观点是合理的，只是表达得有些松散。当我回顾这些内容时，我会想该怎么量化，这可能对欧盟AI法案更为相关，因为在这个法案中，实际上需要有一些具体的标准，这些标准将被立法并可能由检查员来审查。他们需要能够区分一个程序是属于2级还是3级，因此需要一个相当严格的定义。不过，许多人确实在推动一些类似自我意识的标准。Anthropic提出，如果发现系统有任何自我意识的迹象，我们会立即停止训练。而他们也确实发现了一些迹象，大家都笑着说，“这不很酷吗？”然后就继续训练了。
Staffan Truvé：如果我们看到AGI（通用人工智能），我们真的能识别它吗？还是说它会超越我们？
Geoffrey Hinton：你会知道它，因为它掌控了局面。识别它的一种方式是，你和这个AI系统——比如一个大型的聊天机器人——进行辩论，而你总是输。这也是我们识别AlphaGo的方法，AlphaGo的表现就是比人类下得更好，人类总是会输。
Anette Novak：另一个来自观众的技术性问题是，人类大脑似乎比大型基础AI模型更加节能。那么，我们如何才能让这些模型更节能呢？
Geoffrey Hinton：我们能够更节能，是因为我们的大脑是模拟的系统，没有硬件和软件的分离。我们大脑中的神经网络权重是专门为这些特定的神经元、特定的连接方式以及所有神经元之间的相互作用而设计的，这些权重对这些神经元来说是非常有效的。
与此不同的是数字技术，它依赖于晶体管，而消耗大量能量，这些硬件在指令级别上执行相同的操作。为了做到这一点，就必须精确制造硬件，需要非常高的功率。数字技术只处理“0”和“1”，而不像模拟系统那样能处理更精细的状态。尽管这种方法有它的优点——两个不同的硬件可以学习不同的东西并共享彼此学到的内容，但它的缺点是能量消耗较大。问题是，这种共享的优势是否足以弥补它所消耗的更多能量？
我们进化出了模拟智能，而没有进化出数字智能，是因为它涉及到过高的能量消耗。但数字智能可能是更高效的。虽然能量消耗可能过于极端，但数字智能的效率可能更高。
当然，如果我们能找到适当的方法，在模拟神经网络中进行学习，也许我们可以构建出比数字神经网络更强大的模拟神经网络。尽管它们不能相互共享学习内容，但其中一个系统仍可以学习大量信息。单个系统不可能处理所有数据，尤其是在涉及到现实世界行动时，因为在现实世界中行动无法像数字系统那样通过加速来完成，你必须在世界中实际行动，这一过程是缓慢且顺序的。因此，不可能通过一个系统处理所有数据，这也是为什么数字智能最终无法与模拟智能竞争的原因。
图片来源：瑞典皇家工程科学院（IVA）
Anette Novak：你曾说过你要退休，但听起来你依然对这个问题保持深厚的兴趣。
Geoffrey Hinton：实际上，正是我在当时从事的工作让我决定退休，因为模拟智能无法与数字智能竞争。
Anette Novak：关于能源效率，你有什么看法吗？
Anders Sandberg：这是一个非常有趣的问题，尤其是关于极限的所在。根据兰道原理，提升1比特信息需要付出一定的热力学成本，而我们现在距离这个极限还有很长的距离。大脑在20到25瓦特的功率下运行已经接近这一极限，但依然距离这一极限还有七个数量级的差距。所以，在我们当前的宇宙中，数学并没有达到非常智能的水平。但随着技术变得越来越先进，我们也会变得更加擅长制造这些技术。我们可能会获得各种效率的进展，比如希望拥有高效能的机器人，希望拥有可复制的智能，这可能需要更多的能源，或者希望拥有量子计算机，尽管它们有自己的一些缺点，因为它们非常脆弱，需要隔离。
Geoffrey Hinton：我记得有人曾经说过，我们目前的局面是：我们拥有旧石器时代的大脑、中世纪的制度，以及类神的技术。
Kia Höök：另一个可能的方向，虽然不一定能解决能源问题，但对于具身智能来说，许多实验已经开始在生物材料方面进行。因此，解决方案可能不在我们今天所知的传统硬件上，而是使用其他材料，甚至是培养出新的材料。
Anette Novak：我现在对当前的讨论有一个担忧。我们正处于人工智能热潮的巅峰，但在大多数辩论中，尤其是在这场辩论中，声音主要来自男性。而几乎所有在研讨会前发给我们的提问，也几乎都是来自男性的提问者。因此，我现在要问一下观众——并且我要非常权威地说，只有女性才可以提问。
观众1：我有两个问题。我先从第一个开始。当我们讨论这些系统时，大多数人认为它们可能对我们有害，甚至有些邪恶。为什么我们不假设世界上更多的是好人而不是坏人？因此，这些系统应该是好的系统，而不是坏的系统？
第二个问题是，如果我们回顾历史，我们发现每当我们创造新系统时，我们通常能够学会如何与它们相处，并将它们融入我们的生活，而不是看作是与我们分离的东西。那么，为什么我们不认为我们将与这些系统融合，并一起变得更好呢？
Geoffrey Hinton：我同意，世界上好人确实比坏人多。不幸的是，坏人往往处于权力的顶端。
Staffan Truvé：人们常称之为“防守者困境”：攻击者只需要成功一次，而防守者必须每次都成功。因此，随着时间的推移，概率通常对好人不利。
Kia Höök：我们需要探索其他方法来处理这些问题，并将这些方法传授给我们的年轻一代。在瑞典KTH技术学院，我们正在教授学生以新的方式思考这些系统，确保在实际实施时能够强调它们的积极部分。通过与年轻学生的互动，我们可以推动这种变革。我听说欧盟很快会规定，所有计算机科学系必须聘请来自人文学科和社会科学领域的人员。这样的问题需要以一种有深度、有知识、有良好理论理解的方式来提问，既要理解数据，也要理解算法，以及我们如何构建这些算法。
Anders Sandberg：这很重要，每个文科学院也应该有一位工程师。你的第二个问题也很有趣，因为当我们使用工具时，它们会逐渐融入我们的身体意识，至少对许多简单工具来说是这样。比如，如果我手里拿着一根长木棒，我的个人空间感就会发生变化，甚至可以通过大脑成像看到这些变化。对许多认知工具也一样。我使用的智能手机和笔记本电脑，实际上也成为了我思维的一部分，它们扩展了我的认知能力。我们的社会中也有类似的社交扩展，许多形式的认知扩展正在发生。
现在发生的令人着迷的事情是，越来越多的算法和软件开始渗透进来。我不久前意识到，维基百科已经成为我记忆的一部分，这意味着我的记忆已经被编辑者所影响。很多机器人也在编辑维基百科，这在许多方面是有益的，但这也意味着，我的记忆实际上在受到人工智能的增强。我对维基百科有一定的信任，但对于其他一些系统，我并不确定是否应该信任它们。在我们扩展自我的过程中，开发出能够确保可信度的方法将变得至关重要。
KiaHöök：我不想使用“信任”这个词。这个概念本身有问题，它掩盖了许多更深层次的议题。
Anette Novak：最后一个来自观众的问题。
观众2：我在谷歌从事公共政策工作。我对这个小组讨论很感兴趣，尤其是你们提到的Hinton教授关于治理的观点。如果我们既看到了潜力，又意识到了风险，我们应该如何确保最终是潜力和机会占上风？
Geoffrey Hinton：在我之前在Google工作时，Google处于领先地位，特别是在2017年左右及其后的几年，他们发布了Transformer模型，并且可能现在对发布它感到后悔。那时，Google拥有比任何其他公司更先进的聊天机器人，并且非常负责任地没有发布这些机器人，因为他们看到微软发布的聊天机器人很快就开始传播种族歧视的仇恨言论。Google非常重视自己的声誉，不希望破坏它。所以，他们没有发布这些聊天机器人，并不是因为伦理原因，而是因为他们不想破坏自己的声誉。但无论如何，他们的做法是非常负责任的。
然而，一旦OpenAI与微软达成协议，Google就无法再保持这种做法了。为了竞争，Google必须发布产品、推出聊天机器人。因此，当进入资本主义体系后，尤其是当公司由CEO领导，股票期权和短期利润驱动时，短期利润最终会压倒一切。这正是在OpenAI中看到的情况，OpenAI实际上是一个实时实验，展示了AI安全与利润之间的冲突。
图片来源：瑞典皇家工程科学院（IVA）
Kia Höök：我记得最早这个聊天机器人是在亚洲发布的，效果很好。但当它在英国发布时，仅仅过了24小时，它就开始表现出种族主义倾向并使用脏话。
Geoffrey Hinton：几乎可以肯定是男性用户。（笑）
Anette Novak：我想提出一个问题，这个问题既是我自己的，也融合了观众的提问。我们对Hinton这一了不起的成就（诺贝尔奖）表示热烈祝贺。正如你所知道的，诺贝尔本身也是一位发明家，他通过炸药的专利赚取了财富，炸药虽然为人类服务，但也导致了许多人丧命。观众提到的类似反思也包括奥本海默的例子，关于他对于自己发明的第二思考，以及他想要限制它。因此，我的问题是关于遗憾的，你有遗憾吗？
Geoffrey Hinton：我想区分两种遗憾。第一种是内疚的遗憾，即你明知道自己不该做某件事，但还是做了。第二种是，再次处在相同的情况下，拥有相同的信息，你依然会做同样的决定。然后过了很久，你才意识到这件事带来了不良后果，而当时你并没有足够的信息来预见这些后果。所以，我并没有感到内疚的遗憾，但我确实在想，如果我们没有这么快地推动技术发展，可能会更好。
Anette Novak：非常感谢您的回答。圣诞节快到了，我感觉我们已经进入了节日的氛围，也到了许愿清单的时刻。所以我想以一个非常简短的环节来结束这个讨论。每个人可以分享一个愿望，您可以把这个愿望送给研发社区、政府，或者任何您想要的地方，甚至是研究领域。
Kia Höök：我的愿望是跨学科合作。正如我们今天听到的，这些问题非常复杂，涉及深刻的哲学思考。它关系到如何使我们的生活对我们自己和地球更好，而这个问题并不容易解决。所以，我希望能有更多的跨学科合作。
Anders Sandberg：我完全认同这个愿望。在思考如何让AI更安全时，我们需要跨学科的合作。我们已经尝试过一些方法，这些方法对那些致力于提升AI安全的人来说有意义，但可能还有一些方法是我们还未尝试的，实际上可能非常有用。即使我们从技术解决方案的角度来看，目前的方法可能仍然局限于少数几种选择，我们需要更多样化的途径来应对这个问题。即使我们不专门为了安全目标而工作，也可能会发现一些关于我们自己或机器的惊人事物。
Staffan Truvé：我不太喜欢这类问题。也许我会选择国际合作而非单纯的国别合作。正如你所说，确实有些领域各国难以合作，但至少我们可以尝试在国际层面上尽可能合作，共同推动技术朝着正确的方向发展。
Geoffrey Hinton：我希望这个圣诞节我能得到这个问题的答案：大脑是否实现了某种形式的反向传播？
04小结
Anette Novak：我们现在将进入一个小的总结环节，有请研究员和计算机科学教授Fredrik Heintz。
Fredrik Heintz：我有一个小任务是总结一下今天我们讨论的内容。今天我们首先讨论了一个问题：当你感到不舒服时，你会怎么做？以及如何接受不舒服的情境。
但今天的讨论触及了一个更大的问题，那就是智能是什么？我们能否构建真正智能的人工系统？我们探讨了一个非常有趣的观点，即数字智能在某些方面优于模拟智能。这一观点非常有意思，或许智能的实现依赖于所使用的基础结构，这将决定它能够实现什么，然而，我们现在只能模拟。也许正是因为我们身体的存在——这是一种限制，或许也是我们存在的原因，或者更准确地说是我们的潜力所在。
今天的讨论同样有趣的一个方面是，智能的本质是推理还是学习？就我个人而言，鉴于我的实验室叫做“推理与学习实验室”，显然我更倾向于推理。然而，二者如何结合并共存也是一个非常重要的话题。今天更为吸引我的，是关于“我”的话题，我们谈到了主观经验。对我来说，一个大问题是：AI系统是否真的拥有主观性？而“拥有主观性”意味着什么？我并不质疑它们是否有感知能力，或者它们是否能被欺骗，但如果要有一个“我”需要具备什么？也许正是缺乏“我”的存在，使得数字智能在某些方面优于模拟智能。
图片来源：瑞典皇家工程科学院（IVA）
我们也讨论了另一个重要的话题——知识共享。数字系统的一个优势是它能够共享知识，并且还能压缩知识。通过压缩，它在事实与信息之间创造了新的连接，而这种压缩本身或许能改善我们的理解，甚至产生一些新的、出乎意料的连接。我们也讨论了风险、伦理等问题，特别是如何通过创建用于训练AI模型的数据来解决这些问题。这也是一个值得深入思考的话题。我们还探讨了如何将反馈强化机制结合起来，以期推动这些模型更合理地发展，更符合我们的期望。
总结来说，我在介绍自己时提到，我是计算机科学的教授。接着，有人回应说：“我一生从未上过计算机科学的课，但我却拿到了图灵奖。”有人又说：“哦，我不做物理研究，但我拿了诺贝尔物理学奖。”这让我感到惊讶，也给了我们所有人希望。或许有一天，我们也能取得伟大的成就。而有意思的是，AI作为一个领域，它触及、连接并利用了许多其他学科。
回到诺贝尔奖的问题，有一个非常有趣的思考：什么时候每个诺贝尔奖都会由AI支持？或者说，什么时候一个人能借助AI获得所有诺贝尔奖？甚至，AI本身是否有可能获得诺贝尔奖？这个问题可能更具争议，但如果要总结今天的讨论，Hinton提到的高度不确定性是我们大家都能认同的一点：未来充满了许多不确定性，我们根本无法预见会发生什么。作为一名科学家和研究人员，我把这看作是一项挑战。因此我鼓励大家，让我们一起探索答案，共同解决这个问题，谢谢！
Anette Novak：非常感谢大家，今天的讨论真是令人震撼，我们都被这些内容激发了能量。在某种程度上，我们正踏入未知领域。一句俗语是：当你非常强大的时候，你需要非常友善。所以，我们在推进模型的时候，应该把这种精神融入其中。
原文：Seminar with Professor Geoffrey Hinton, at the Royal Swedish Academy of Engineering Sciences (IVA)
https://www.youtube.com/watch?v=lexF-CrhOrE
转自Z Potentials，版权属于原作者，仅用于学术分享
热门跟贴