新智元报道
编辑：编辑部 HYZ
【新智元导读】诺贝尔物理学奖公布第二天，争议依然未平息。诺奖官号都被愤怒的网友冲了：AI不是物理学！Hopfield网络和反向传播算法究竟与物理学有何关系？这要从Hinton和Ilya 12年前的那件事说起。
昨天的诺贝尔物理学奖一公布，瞬间炸翻了物理圈和AI圈。
Hinton的第一反应更是有趣：这不会是个诈骗电话吧？
如此出乎意料的结果，。
而诺贝尔奖的官方账号，也被网友们给冲爆了。
他们纷纷高呼：这不是物理学！
「数据科学或神经网络是『用于』物理学，但绝对不『是』物理学。」
相比之下，AI圈则是一片其乐融融的景象。大佬们都开心地给Hinton送去了祝福。
左右滑动查看
AI教母李飞飞：AI的深远影响，如今才刚刚开始
MIT博士生Ziming Liu直言：「Physics (Science) for AI」是一个被严重低估的领域。规模化可以实现一对多的效果，但唯有科学才能带来从无到有的突破。
Jim Fan则做了一个非常有趣的「AI-物理学对照表」：
想冲击诺奖的AI学者们，你们学会了吗
言归正传，诺贝尔物理学奖，为何要颁给AI学者？
这就要从深度学习爆发的那一年讲起。
Geoffrey Hinton：2012年，深度学习的惊人革命
早在1986年，Geoffrey Hinton等人在Nature上发表的论文，就让训练多层神经网络的「反向传播算法」广为人知。
当时我们很多人都相信这一定是人工智能的未来。我们成功地证明了我们一直相信的东西是正确的。
可以说，神经网络在经历第一波寒冬之后，自此开始重新走向AI舞台。
1989年，LeCun率先使用了反向传播和卷积神经网络。他也同意Hinton的看法。
我毫不怀疑，最终我们在上世纪80-90年代开发的技术将被采用。
早期的图灵三巨头
不过，反向传播算法引发的热潮，随后又在1995年被统计机器学习盖过去了。
统计机器学习的风头兴盛了很多年，即使2006年Hinton在Science上首次提出「深度学习」，业内也响应寥寥。
直到2012年9月，一篇题为「用深度卷积神经网络进行ImageNet图像分类」的论文，让此前沉寂多年的AI领域热度骤起。
文中提出的AlexNet深度卷积神经网络，在当年的ImageNet比赛上以碾压之势夺冠，一举将top-5错误率降低到了15.3%，比身后的第二名（26.2%）足足高出10多个百分点。
ImageNet数据集，正是由斯坦福李飞飞团队在2007年创建。
AlexNet摧枯拉朽般的大胜，让研究人员惊叹于大型卷积深度神经网络架构的神奇威力，这篇论文也成为深度学习和人工智能自「AI寒冬」后重新成为热门领域的重要里程碑。
后来人们所讲的「深度学习革命」，也借此文以发端，直到十二年后的今天。
事后李飞飞这样回顾：自2012年以来，深度学习的发展堪称「一场惊人的革命，令人做梦都没想到」。
自此，人们开始相信：大数据、算力、深度模型，是走向通用人工智能的关键三要素。
而深度模型也从最早的卷积神经网络，迭代为递归神经网络、Transformer、扩散模型，直至今天的预训练生成式转换器（GPT）。
从生理学、哲学到AI：大脑究竟如何思考
在年轻时，为了弄清楚人类的大脑如何工作，Hinton首先来到剑桥学习生理学，而后又转向哲学，但最终也没有得到想要的答案。
于是，Hinton去了爱丁堡，开始研究AI，通过模拟事物的运行，来测试理论。
「在我看来，必须有一种大脑学习的方式，显然不是通过将各种事物编程到大脑中，然后使用逻辑推理。我们必须弄清楚大脑如何学会修改神经网络中的连接，以便它可以做复杂的事情。」 「我总是受到关于大脑工作原理的启发：有一堆神经元，它们执行相对简单的操作，它们是非线性的，它们收集输入，进行加权，然后根据加权输入给出输出。问题是，如何改变这些权重以使整个事情做得很好？」
某个周日，Hinton坐在办公室，突然有人敲门。AI命运的齿轮从此转动。
敲门的正是Ilya。
当年青涩的Ilya
Hinton给了Ilya一篇关于反向传播的论文，约定两人一周后讨论。
Ilya：I didn't understand it. Hinton：这不就是链式法则吗？ Ilya：不是，我不明白你为啥不用个更好的优化器来处理梯度？
——Hinton的眼睛亮了一下，这是他们花了好几年时间在思考的问题。
Ilya很早就有一种直觉：只要把神经网络模型做大一点，就会得到更好的效果。Hinton认为这是一种逃避，必须有新的想法或者算法才行。
但事实证明，Ilya是对的。
新的想法确实重要，比如像Transformer这样的新架构。但实际上，当今AI的发展主要源于数据的规模和计算的规模。
2011年，Hinton带领Ilya和另一名研究生James Martins，发表了一篇字符级预测的论文。他们使用维基百科训练模型，尝试预测下一个HTML字符。
模型首次采用了嵌入（embedding）和反向传播，将每个符号转换为嵌入，然后让嵌入相互作用以预测下一个符号的嵌入，并通过反向传播来学习数据的三元组。
当时的人们不相信模型能够理解任何东西，但实验结果令人震惊，模型仿佛已经学会了思考——所有信息都被压缩到了模型权重中。
AI如何「蹭」上物理学
讲到这里，你可能有一个疑问：这些跟物理学有什么关系呢？
诺奖委员会的解释是，人工神经网络是用物理学工具训练的。
Geoffrey Hinton曾以Hopfield网络为基础，创建了一个使用不同方法的新网络：玻尔兹曼机。在这个过程中，Hinton使用的是统计物理学的工具，来学习和识别数据中的模式。
就这样，AI跟物理学强行联系上了。
如果讲到此次另一位获奖者John Hopfield，倒是和物理学的关系更紧密一些。
一言以蔽之，Hopfield网络是按物理学上能量函数最小化来构建的，可以看作是物理学中「自旋玻璃模型」的扩展。
Hopfield网络利用了材料由于其原子自旋而具有特性的物理学——这种特性使每个原子成为一个微小的磁铁。整个网络的描述方式等同于物理学中发现的自旋系统中的能量，并通过找到节点之间连接的值来训练，使保存的图像具有低能量。
另外，Hopfield Network和玻尔兹曼机都是基于能量的模型。
统计力学原理，便是这两者的核心。它们都使用来自统计力学的能量函数，来建模和解决与模式识别和数据分类相关的问题。
在前者当中，能量函数被用来寻找与所存储的模式相对应的最稳定状态。后者中，能量函数通过调整节点之间连接的权重来帮助学习数据的分布。
至此，诺奖委员会就自圆其说了。
John Hopfield：一个想法，波及三大学科
20世纪80年代初，John Hopfield在加州理工学院创建了一个简单的计算机模型——Hopfield Network。
其行为方式不太像当时的计算机，而更像人脑。
这是因为，Hopfield Network模仿了人脑储存信息的结构。它由相互连接的节点组成，正如人脑中的神经元一样。
节点中的连接强度具有可塑性，可强可弱，而强连接进而形成了我们所说的「记忆」。
Hopfield学生，现Caltech计算机科学、计算与神经系统以及生物工程教授Erik Winfree解释道：
Hopfield Network是物理学中「自旋玻璃模型」（the spin glass model）的扩展。自旋玻璃有两种磁化状态，可以称之为它的「记忆」。
Hopfield扩展了这一模型，让其有了更复杂的连接模式。
简言之，他使用一个简单的规则，让每对单元（每个节点）之间有不同的连接强度，而不再局限于两种状态。
他的工作证明了，这种网络可以储存多种复杂的模式（记忆），而且比之前的方法更接近大脑运作方式。
Hopfield以一种跨学科的视角阐述这个模型，解释了人工神经网络与物理学之间的联系。
复旦大学计算机科学教授张军平认为，Hopfield Network与物理学领域的关联是，它的设计思路模拟了电路结构。
「假设网络每个单元均由运算放大器和电容电阻组成，而每个单元就代表着一个神经元」。
在普林斯顿大学新闻发布会上，Hopfield表达了同样的观点。他认为，长远来看，新科学领域通常产生于，大量科学知识的交叉点上。
你必须愿意在这些「缝隙」中工作，找出你的知识局限性，以及让这些学科更丰富、更深入、更好被理解而采取的行动。
来自MIT-IBM实验室物理学家Dmitry Krotov分享了，Hopfield Network一个想法至少对三大学科产生了巨大的影响。
它们分别是，统计物理学、计算机科学和人工智能、神经科学。
2023年，他曾发表了一篇Nature论文，对Hopfield Network在统计物理、神经科学和机器学习等多个学科中，进行了分析。
论文地址：https://www.nature.com/articles/s42254-023-00595-y
Krotov本人也与Hopfield合作过多篇研究，因此他对Hopfield Network工作的了解再熟悉不过了。
统计物理学
在统计物理学中，Hopfield Model成为最常被研究的哈密顿量（Hamiltonian）之一。哈密顿量在物理学中，描述了系统的总能量，是理解系统行为的关键。
这一模型已经催生了数以万计的论文、几本书籍。它为数百名物理学家进入神经科学和人工智能，提供了切入点。
就连诺贝尔奖官方给出了解释，机器学习模型，是基于物理方程式。
计算机科学和AI
在计算机科学中，Hopfield Network终结了AI寒冬（1974-1981），以及人工神经网络的复兴。
Hopfield在1982年发表的论文，标志着现代神经网络的开始。
论文地址：https://www.pnas.org/doi/10.1073/pnas.79.8.2554
就连如今的顶会NeurIPS，起源可以追溯到1984-1986年在加州理工学院举行的被称为「Hopfests」的会议。
这个名字直接致敬了Hopfield，彰显了他的早期工作在神经网络研究中的核心地位。
John Moody在1991年的NeurIPS论文集中记录了这段历史。
另外，Hopfield Network成为限制玻尔兹曼机（Restricted Boltzmann Machine）发展的主要灵感来源。RBM在早期深度学习中，发挥着重要的作用。
还有基于能量的模型（Energy Based Model），代表着人工智能领域中一个重要的范式。
它也是从Hopfield基于能量和记忆的模型发展而来。
神经科学
在神经科学领域，Hopfield Network成为后来许多计算记忆模型的基础。
它将记忆回忆概念化，即能量景观中滚下山坡的想法，已成为神经科学中的经典隐喻。
这次「诺奖风波」后，许多人也对如今的学科分类有了全新的思考。
不可否认的是，AI已经融入了全学科、全领域。
而这次诺贝尔物理学奖颁给AI，也是AI大爆发对于人类社会颠覆影响的一个真实写照。
参考资料：
https://x.com/Caltech/status/1843764971022495942
https://x.com/DimaKrotov/status/1843682498825564463
https://cacm.acm.org/opinion/between-the-booms-ai-in-winter/
https://x.com/DrJimFan/status/1843681423443800315
热门跟贴