来源：高校人工智能与大数据创新联盟

深度学习方法起源于20世纪80年代。其根源一方面来自于霍普菲尔德在生物物理学方面的工作，另一方面来自于辛顿的玻尔兹曼机、多层感知机和反向传播算法等一系列工作。今年的诺贝尓物理学奖肯定了人工神经网络和深度学习作为物理学的研究对象，给物理学提供了一个迫切需要的新的增长点。这个奖项对物理学和人工智能的发展，都会带来帮助。

关键词：人工神经网络、记忆、吸引子、深度学习

2024年诺贝尔物理学奖授予了约翰·霍普菲尔德（John J. Hopfield）和杰弗里·辛顿（Geoffrey E. Hinton）, 以表彰他们用开创性方法和概念在塑造人工神经网络领域方面发挥的重要作用。这一奖项引发了广泛关注和讨论，尤其是辛顿的获奖。从传统的观点来看，辛顿本人的研究生涯跟物理学几乎没有交集。那么他为什么能够获得诺贝尔物理学奖？在许多人眼里，诺贝尔物理学奖是诺贝尔奖中含金量最高也是要求最苛刻的一个奖项。物理学家或者物理学的工作在其它领域获奖的例子并不少见。例如密度泛函理论，虽然是物理学家的工作，也发表在物理学期刊上，但是获得了诺贝尔化学奖。而其他领域的科学家或其他领域的工作获得诺贝尔物理学奖的例子却很难找到。如何看待这个诺贝尔物理学奖，尤其是辛顿的获奖？本文提供一个个人视角。

首先，这个诺贝尔物理学奖究竟奖励的是什么工作。在公开的获奖介绍里提到，此奖项是表彰基于人工神经网络实现机器学习的基础性发现和发明。霍普菲尔德首先提出从一个充分大的、简单重复的动力系统中可以涌现出计算能力，比方说记忆。

这些记忆以动力系统吸引子的形式出现。那些简单重复的单元可以被视为神经元。这个机制是鲁棒的，它对神经元模型的细节并不敏感，所以我们既可以把这个动力系统看成是一个脑神经网络的模型，也可以把它看成是一个集成电路或者人工神经网络的模型。

从一个充分大的、简单单元的叠加构建起来的动力系统中可以涌现出宏观吸引子，这个现象本身并不是霍普菲尔德首先发现的。流体力学中的涡就可以看成是这类现象。但我们不能把涡看成是记忆。一个有用的记忆模型必须能够记住任何我们希望它记住的状态。也就是说，任给几个状态，我们必须能够选取上述动力系统中的超参数，使得这些状态是这个动力系统的吸引子。霍普菲尔德的神经网络模型具备这个性质。

神经网络的概念起源于1943年McCulloch 和 Pitts 的文章。Rosenblatt的感知机对人工智能的发展也产生了巨大影响。但这些工作关心的都是比较简单直接的计算功能。霍普菲尔德的工作让我们首先看到通过涌现现象，大神经网络可能带来的新的能力。这是一个新的视角，也是一项典型的生物物理学工作。它把复杂动力系统的想法应用于神经科学，对后来神经科学的发展产生了深远影响。随便提一下，多年之后，涌现现象成了深度学习大模型的一个重要标志。

辛顿则是深度学习的孕育者。他缔造了深度学习，也承受了过程中的痛苦。辛顿受霍普菲尔德工作的影响，但关注的是人工智能。他提出的玻尔兹曼机、多层感知机和反向传播算法，为现代深度学习奠定了基础。无论是玻尔兹曼机，还是反向传播算法，离诺贝尔物理学奖的要求还是有距离的。尽管玻尔兹曼机中创造性地引入了概率模型，但在众多的神经网络模型中，很难说它起到了很特别的作用。反向传播算法是训练深度神经网络的基本工具，但类似的想法已经更早出现在控制论方法中。辛顿的主要贡献在于他通过一系列的工作，如多层感知机、反向传播算法以及AlexNet, 引入了深度学习这个工具并让我们看到了它的强大威力。

这个过程并不很顺利，包括辛顿的博士指导导师在内的很多人对他选择的方向都不看好，但他最终通过AlexNet 等工作说服了学术界。这背后的动力，在于他对神经网络的深刻的洞察力。辛顿坚定不移地认为，神经网络有着巨大的潜在能力。如果有足够高质量的数据和足够大的模型，深度学习的威力就会显现出来。人工智能现在的进步，根本上还是来源于辛顿多年来的坚持和推动。

对物理学来说，这个诺贝尔奖至少有两方面的意义。第一，它强化了物理学对人工智能发展的贡献。通过霍普菲尔德到辛顿这样一条线索，让人们意识到物理学在人工神经网络乃至人工智能发展中的重要作用。这是一个极其高明的宣传手段。更重要的是，它为物理学的发展打开了一个巨大的空间。尽管神经网络本质上是一个数学工具，但是物理学的方法很可能可以提供一些新的视角和新的手段。尤其重要的是，大模型是一个复杂系统。许多复杂系统研究中观察到的现象和发展起来的方法，都可能对大模型的研究有帮助。如标度律和涌现现象，都已经在大模型中出现。把它作为物理学新的研究对象，无论是对物理学的发展，还是对人工智能的发展，都会带来帮助。它给物理学提供了一个迫切需要的新的增长点。

如果我们把深度学习看着是一个20世纪80年代诞生的婴儿，那么霍普菲尔德就像是它的父亲，辛顿就像是它的母亲。这就是这个诺贝尔物理学奖的意义。（来源：《中国科学基金》）

鄂维南，北京科学智能研究院理事长，北京大学国际机器学习研究中心主任。中国科学院院士，美国数学学会、美国工业与应用数学学会、英国物理学会、中国工业与应用数学学会、中国运筹学会、中国计算机学会Fellow。研究领域为机器学习、计算数学、应用数学。2022 年国际数学家大会1小时报告人。2022年国际机器学习大会特邀报告人。2003年获国际工业与应用数学协会Collatz奖。2020年获国际高性能计算最高奖ACM Gordon Bell奖。2023年获国际工业与应用数学协会Maxwell奖。

全国高校人工智能与大数据创新联盟

全国高校人工智能与大数据创新联盟（简称:高校联盟）是由清华大学、浙江大学、中南大学、东北大学、上海工程技术大学、重庆邮电大学、东北林业大学、佛山科学技术学院、曲阜师范大学、黑龙江大学、海豚大数据科技等全国54家高校、企业共同发起，于2018年5月26日在北京中国科技会堂正式成立。迄今为止，联盟发展会员300多家, 覆盖全国20多个省市。联盟由一批积极投身于“人工智能、大数据、区块链”教育事业的高校、科研机构、企事业单位和个人自愿组成的公益性、全国性学术交流服务平台。中国工程院原常务副院长、中国工程院院士潘云鹤、中国科学院院士陈国良、中国工程院院士李伯虎担任联盟名誉理事长，中国工程院院士谭建荣担任联盟理事长。联盟工作接受工信部、国家网信办等政府部门行政管理和业务指导。联盟主要工作是推进产教融合、校企合作、协同育人。(加盟微信13651193492)

华算人工智能研究院

华算人工智能研究院全称是“山西省华算人工智能研究院有限公司”，是经山西转型综合改革示范区管理委员会批准，于2023年10月在太原成立的第一批专业研究人工智能、赋能数字经济产业发展的独立法人组织。华算人工智能研究院依托全国高校人工智能与大数据创新联盟专家委员会及理事会资源，按照山西省委省政府、山西转型综合改革示范区管理委员会发展人工智能、数字经济的系列文件精神和工作计划，将研究院打造成为山西省发展人工智能、数字经济的示范应用推广平台，同时面向全国开展人工智能业务。华算人工智能研究院名誉院长由中国工程院院士李伯虎担任，院长由东华大学计算机学院院长、上海工程技术大学人工智能研究院院长、二级教授方志军担任。研究院内设AI产业学院共建中心、实训实习就业中心、实验室建设中心、专家智库等6个职能部门。欢迎加入华算人工智能研究院专家智库，共同赋能高校AI人才培养及产教融合事业发展。

高校区块链专委会

全国高校人工智能与大数据创新联盟区块链专委会（简称:高校区块链专委会），是由北京大学、浙江大学、武汉大学、西南财经大学、北京交通大学、郑州大学、贵州大学、桂林电子科技大学、山西农业大学、佛山科学技术学院、陕西师范大学、中国网安、海豚大数据科技等全国40多家高校、企业和机构共同发起，于2019年12月7日在广东省佛山市正式成立。目前发展高校及企业会员70多家。中国工程院院士、浙江大学教授陈纯担任高校区块链专委会名誉顾问；福州大学教授蔡维德、中国计算机学会区块链专委会主任斯雪明教授、中国人民银行数字货币研究所副所长狄刚担任高校区块链专委会名誉主任；北京大学信息科学技术学院区块链中心主任陈钟教授担任高校区块链专委会主任。高校区块链专委会主要工作是促进高校区块链教育，为高校区块链专业建设及学科发展提供专家咨询服务。

高校元宇宙专委会

全国高校人工智能与大数据创新联盟元宇宙专业委员会（简称:高校元宇宙专委会），是由清华大学、湖南大学、浙江大学、四川大学、汕头大学、河北金融学院、保定市元宇宙协会、英伟达中国、海尔衣联网研究院、海豚大数据科技(天津)有限公司等全国20多所高校、企业和机构共同发起，于2022年11月5日在北京正式成立。中国工程院院士、计算机软件与虚拟现实领域专家赵沁平担任高校元宇宙专委会名誉顾问；中国工程院院士、北京航空航天大学电气与自动化学院名誉院长、中国航天科工集团有限公司科技委高级顾问李伯虎担任高校元宇宙专委会名誉主任；清华大学信息国研中心可信软件和大数据部常务副主任邢春晓担任高校元宇宙专委会主任委员。目前已发展高校及企业会员30多家。高校元宇宙专委会主要工作是促进高校元宇宙教育、加强校企合作、推动元宇宙专业建设及学科发展，为元宇宙教育教学提供专家咨询服务。

高校数字经济专委会

全国高校人工智能与大数据创新联盟数字经济专业委员会（简称:高校数字经济专委会），是由华算人工智能研究院、清华大学、北京大学、中国人民大学、中国社会科学院信息化研究中心、四川大学、北京外国语大学、北京科技大学、北京工业大学、北京语言大学、北京化工大学、北京联合大学、北京物资学院、北京印刷学院、西藏民族大学、河北金融学院、重庆财经学院、苏州城市学院、北京中关村软件园、百度、海豚大数据科技等全国60多家高校、企业和机构共同发起，于2024年1月12日在北京正式成立。清华大学经济管理学院教授姜旭平、北京大学信息管理系教授赖茂生、中国社会科学院信息化研究中心主任姜奇平、中国科学院大学经济与管理学院教授吕本富担任高校数字经济专委会主任委员。高校数字经济专委会主要工作是促进高校数字经济专业建设及学科发展，推动产学研合作，为高校数字经济专业教育教学提供专家咨询服务。

联盟“资料图书馆”

微信咨询

说明：转载文章和图片均来自公开网络，推送文章除非无法确认，都会注明作者和来源，如有侵权请联系删除。

往期精彩文章（单击就可查看）：

. 办

. 》