未来的某一天,人工智能“天网”觉醒,它制造出可怕的机器人,代号“终结者”,企图消灭所有人类,但人类在约翰·康纳的带领下,与终结者进行着殊死搏斗。天网制造出了时间机器,派终结者去杀死约翰·康纳的母亲以阻止康纳的出生。

这就是我小时候最爱看的科幻电影《终结者》的故事背景。我当时就在想,既然这样,那么人类也可以派出特工回到过去,阻止发明 AI 的那位关键科学家,这样,天网就不会,至少不会那么快就诞生了。

假如科幻成真,人类应该回到哪一年?又该去阻止哪位科学家呢?

今天,诺贝尔奖委员会给出了答案——未来人应该回到 1982 年,去找一位名字果然也叫约翰的物理学家,他的全名是约翰·J·霍普菲尔德(John J. Hopfield)。然后,再去找一位叫杰弗里·E·辛顿(Geoffrey E. Hinton)的科学家。阻止他俩,就能阻止(至少是大大减缓)人工智能的发展。

打开网易新闻 查看精彩图片

这两位科学家就是 2024 年诺贝尔物理学奖的获奖人,或许,诺奖委员会在用这种方式给未来人拯救人类提供关键线索。

那么,他们俩到底对人工智能的诞生做出了怎样的贡献呢?我一个个来说。

约翰·霍普菲尔德老爷子 1933 年出生于美国芝加哥,今年已经 91 岁高龄。他 25 岁在康奈尔大学获得物理学博士学位,28 岁到加州大学伯克利分校教授物理学,开始了自己的物理学生涯。1982 年,他 49 岁,说实话,这对于搞理论的物理学家来说,已经算是高龄了,学术的黄金年龄已经过去。但是,对于约翰·霍普菲尔德来说,这一年却是他产出最重要成果的一年。这一年,他提出了“霍普菲尔德网络”模型,首次将物理学中的统计力学原理引入神经网络,开创了人工神经网络中的关联记忆概念。

霍普菲尔德神经网络
打开网易新闻 查看精彩图片
霍普菲尔德神经网络

实际上,在霍普菲尔德之前很多年,神经网络的基本雏形就已经被提出了。我们把模拟人类大脑神经元的工作机制的计算机算法模型称为神经网络模型。人的大脑中拥有海量的神经元细胞,这些细胞长得就像有很多触手的章鱼,神经元与神经元之间的触手可以相互连接,也可以断开。我们每个人的大脑中神经元细胞的总数大体差不多,但是,我们每个人大脑中的神经元的相互连接方式却是独一无二的,而且,这些神经元之间的连接方式在我们的成长过程中,也在不断地产生变化。神经元之间的这种网状连接结构存储了我们的记忆,而我们每个人的思想,不过是电信号在这些无穷无尽的神经元中游走所涌现出来的一种现象。

模拟人脑神经元的工作机制来实现人工智能是比较容易想到的一种方式,不过,这只不过是众多 AI 实现流派中的一派,甚至是并不被特别看好的一派。这是因为,它有一个天然的劣势,就是需要的计算量非常庞大。因此,这一派一直在努力提高算力的使用效率。霍普菲尔德的贡献就是另辟蹊径,从物理学的角度解决问题。

我来讲讲他的解决思路大概是怎样的。不过千万注意,我这是做科普,是把他的思路简化再简化之后的讲解,但也能让我们普通人略微领略一下诺奖大神的思想魅力了。

打开网易新闻 查看精彩图片

人工神经网络之所以会很消耗算力,很大一部分是有很多无效的计算。这就像是让一个盲人寻找房间出口,一定是磕磕碰碰很多次才能尝试出门在哪里。这些磕磕碰碰就是浪费掉的算力。

但是,浴室中的水会直奔下水道,不会到处乱撞。这是因为下水道入口在浴室地板的最低处,而水一定是往低处流的。

这个换做更加物理的说法那就是,下水道入口的位置处于重力场势能最低的地方,而一个物体倾向于在能量最低状态保持平衡。

霍普费尔德就是把这个原理应用到了神经网络算法中。他设想,是否可以用计算机算法来实现一个虚拟的力场呢?想到就干,霍普费尔德先用软件虚拟出一个神经网络,然后再用神经网络虚拟出一个遵守物理规律的力场,这就是他获得诺奖的那个重要成就——霍普费尔德网络。具体实现的数学方法非常复杂,我们不讲数学,我只给你讲他的思路。

我们可以把这个力场想象成是一个高低起伏的二维平面,这个平面上哪里高、哪里低,哪里是一个山峰,哪里是一个低谷,都是由神经网络里的参数决定的。

训练神经网络的时候,需要喂给模型很多数据,这些数据就像是一个一个的小球,把它们放到虚拟的力场里,它们就会自动滚落到最低的能量低谷里。

比如说,我们希望这个模型可以判断出照片里面有没有狗,在一个神经网络的虚拟力场里,不同位置代表不同的结果,分别有猫、狗、狼、石头等等,那么,狗的位置就是势能最低的地方,然后是狼、猫、石头的势能依次增大。

在真实的物理世界中,假如一个位置的力场势能高低我们不清楚,我们可以从不同位置放下一个一个的小球,通过小球的运行状态来探测力场的真实情况。

打开网易新闻 查看精彩图片

不过,当我们训练一个神经网络模型的时候,情况就不太一样了,因为神经网络里的这个场的形状应该是什么样子的我们并不知道。但我们可以不断地把真实的猫的照片数据喂给模型,如果这个力场是正确的话,那么这个训练数据最后应该落在猫的位置,如果落到的是其他位置,就说明这个力场是错的。

这个时候就需要调整模型参数,然后再用测试数据试一下,直到测试的数据能够正确下落到代表猫的位置为止。

只要这个虚拟的力场训练出来了,这时候再给模型输入数据,就能判断它到底是不是猫的照片了,这就像浴室里的水一样,直奔下水道,而不需要到处碰壁尝试了。

但是,霍普费尔德网络有一个问题,那就是它最后训练出来的那个虚拟的力场并不是只有一个低谷,虽然最低的那个低谷仍然是正确答案,但是在它周围还有几个深浅不一的小凹坑。于是就可能出现,给模型输入一个数据之后,这个数据的确是往低处滚动,但是滚动到了一个周围的小坑里静止了,这样它就永远不会滚动到正确的最深谷里了。

霍普菲尔德网络训练可能产生的误差
打开网易新闻 查看精彩图片
霍普菲尔德网络训练可能产生的误差

这个问题,霍普菲尔德没有解决,但他的这个思想,已足以让他名垂青史。不过,霍普菲尔德没能解决的问题,被杰弗里·辛顿发明的“玻尔兹曼机”给解决了。

杰弗里·E·辛顿, 1947 年出生于英国伦敦,今年 77 岁。他本科拿的是英国剑桥大学的实验心理学文凭,本科毕业后前往爱丁堡大学学习计算机,获得人工智能的博士学位。你没听错,早在 1975 年,大学里面就已经有人工智能专业了。他在 2018 年获得图灵奖,今年 2024 年又获得诺贝尔物理学奖,他是全世界除了赫伯特.西蒙,同时获得图灵奖和诺贝尔奖的第二人。

首先,玻尔兹曼是另外一个物理大神的名字,玻尔兹曼在物理学中的贡献被称为玻尔兹曼分布。这是用来描述类似气体分子这样微小粒子的状态的。气体分子有什么特点呢,就是它们是在持续不断运动的,而且这个运动还和温度有关,温度越高动能越高,温度越低动能越低。

玻尔兹曼机模型
打开网易新闻 查看精彩图片
玻尔兹曼机模型

刚才提到的霍普费尔德网络,一个数据容易陷入到局部最低的小低谷里面出不来,如果这个数据是具有温度的气体分子呢?那么它是会不断运动的,即便是不小心到了一个小低谷里面,它仍然有可能翻出去,直到进入全局的那个低谷。

如果用人工智能的术语来说,那就是霍普费尔德网络更容易出现过拟合,但是在霍普费尔德网络虚拟出来的那个简化版物理世界里,再把玻尔兹曼分布的规律也引入进去,就可以比较好的避免过拟合的现象。

打开网易新闻 查看精彩图片

直到现在,“温度”仍然是人工智能里的非常重要的概念。ChatGPT 这样的 AI 工具,通常有一个高级设置,设置模型的温度。温度越高,模型给出的答案会越有创意,温度越低则是会越遵守原有的数据。

最后,我来总结一下:

霍普菲尔德和辛顿之所以会获得今年的诺贝尔物理学奖,是因为提出了霍普费尔德网络和玻尔兹曼机这两个神经网络模型。其实如果单纯说对现在人工智能的贡献,这两个模型的直接贡献其实并不算突出,它们更多的是为神经网络的发展引入了新思想和新的发展模式。现在大部分的大语言模型都没有直接使用这两个模型,但是,追根溯源,他们的思想被延续了下来。
这也是为什么诺贝尔物理学奖居然颁给了搞计算机神经网络算法的科学家,因为他们是最早将物理学引入到人工智能领域的科学家。
他们就是终结者要保护的人!