物理诺奖得主最新演讲，Hinton带伤飞到瑞典，LSTM之父：都是剽窃
来源：量子位（ 公众号 QbitAI） 作者：奇月 发自 凹非寺
2024年诺贝尔物理学奖的两位获奖者John Hopfield和Geoffrey Hinton最近在斯德哥尔摩大学发表了最新的演讲。
现场的氛围非常热烈！
看到Hopfield教授即使借助拐杖也亲自到达现场发表了演讲，Hinton教授也忍着腰痛专程飞到瑞典，让观众们非常敬佩。
在这次活动中，John Hopfield教授的演讲主题是“物理学是一种观点”，讲述他个人的科研经历和做科研的思考模式。
他坦白了很多关于科研和对物理的想法：
如何选择问题是科研成果的关键因素 大脑是如何产生思想的，这对我来说是人类最深奥的问题 我认为物理学有助于理解人类和世界
Geoffrey Hinton教授则用通俗易懂的方式讲述了Hopfield网络和玻尔兹曼机器的原理与发展，全程没有用一个方程式。
当我们最终了解了大脑是如何学习的时候，我相信睡眠的作用一定是非常重要的，对此我非常乐观
两位教授结束演讲时，台下的观众也是忍不住都站起来向他们鼓掌致敬。
以下是现场演讲内容，在不改变原意的情况下，量子位对部分篇幅做了调整。
John Hopfield：物理学是一种观点
约翰·霍普菲尔德于1933年出生于芝加哥，1954年在威廉·莫尔学院获得第一个学位，1958年在康奈尔大学获得博士学位。1964年，他被任命为普林斯顿大学物理学教授，1980年成为加州理工学院化学和生物学教授，之后他回到普林斯顿大学，目前是分子生物学名誉教授。
（以下为John Hopfield教授发言）
我的第一份全职工作是在比尔电话公司发明晶体管的实验室，我加入了一个六人小组。初入实验室时，我在新办公室打开书籍期刊，参观库存室获取文具后，思考着下一步工作。
在科研中，多数人常按部就班，很少深入思考研究方向的选择，而这恰是科研成果的关键因素。我在科研中撰写了40余篇论文，几年前形成的工作基础最终发展成霍普菲尔德模型，相关观点源于对随机事件的分析。
我成长于物理学家家庭，自幼受物理学观念熏陶，喜欢探索事物原理，如拆解自行车、进行化学实验等，这让我能够理解复杂系统运作。上高中时，化学老非老师常出色，物理老师却对电磁学原理理解不足，这影响了我大学专业选择，但最终我决定在斯沃斯莫尔学院专注物理。
进入物理学研究生院后，我在康奈尔大学学习，期间与Albert Overhauser合作，从他的研究列表中选定晶体中激子辐射寿命相关问题，开启研究。获得博士学位后，我在理论小组任职，后结识化学家David G. Thomas，成立理论实验联盟，取得成果并获奥利弗里·巴克利固体物理学奖。
之后，我在研究中遇到瓶颈，前往剑桥大学寻找新方向，回普林斯顿后担任半导体组顾问，接触到血红蛋白相关实验，为我从凝聚态物理转向生物物理提供契机，我也受Linus Pauling观点启发研究蛋白质合成问题并取得成果。
1974年论文影响我对生物学问题的研究思路，促使我思考神经元网络特性等。1977年在哥本哈根举办研讨会后，我寻求跨学科突破，受邀参加神经科学会议，虽然当时一无所知，后来加入项目获得神经生物学灵感。
1979年，我转任化学和生物学教授，发现了学科联系，提出新计算见解并撰写论文，该论文推动了相关领域发展。
后来，我发现霍普菲尔德模型网络问题，2015年与他人合作提出密集联想记忆模型，期望推动人工智能发展。
我非常尊重各个领域的专家，积极参与跨学科互动，我认为物理学有助于理解人类与宇宙。
Hinton：Hopfield网络与Boltzmann机的发展
杰弗里·辛顿，1947年生于英国伦敦，获剑桥大学实验心理学博士学位，曾在爱丁堡大学从事人工智能博士后研究，在多所大学任职，现从事学术研究，并在谷歌公司任职。
（以下为Geoffrey Hinton教授发言）
今天我将不用任何方程式，向普通观众讲解Hopfield网络。
先来看一个二元神经元版本的小霍普菲尔德网络，其神经元间有对称加权连接，网络全局状态是配置，配置有优良性（单元对权重总和），能量是优良性相反数，网络会稳定于能量最小值。
霍普菲尔德提出用能量最小值对应记忆，通过二元决策规则清理不完整记忆，实现内容可寻址内存。
特里·西诺斯基和我提出用网络构建感官输入解释，网络含可见和隐藏神经元，可见接收感官输入（如二进制图像），隐藏构建解释，能量代表解释好坏程度，我们需要低能量解释。
以线条画为例，有不同三维解释，我们要让网络给出解释。
先将线条转化为线条神经元激活，线条神经元与三维边缘神经元连接，考虑感知光学因素让边缘神经元相互抑制，还要依据图像线条连接原则建立连接，希望通过设置连接强度使网络解决两种替代解释。
这产生两个问题：一是避免陷入局部最优的搜索问题；二是神经网络自动学习连接的问题。
对于搜索问题，我们通过使神经元有噪声解决，有噪声神经元状态是二元的但决策具有概率性。
用隐藏神经元解释二进制图像时，在可见单元固定图像，随机选隐藏神经元根据输入决定其状态，持续操作使系统达热平衡，此时隐藏神经元状态是平衡解释，网络学习正确权重使低能量状态对应更好的解释，热平衡是系统稳定于概率分布（波尔兹曼分布），低能量配置概率大。
玻尔兹曼机学习目的是使网络生成的图像类似它感知到的真实图像，有简单学习算法，含唤醒和睡眠阶段。
唤醒阶段固定图像于可见单元，让隐藏单元达热平衡后调整连接权重，睡眠阶段类似做梦更新神经元达热平衡后反向调整权重，该算法平均上能让网络生成图像过程类似感知图像，涉及对数似然梯度概念，通过改变权重使网络关注wake阶段看到的数据。
但玻尔兹曼机存在问题，权重变大时热平衡过程慢，虽然想法很好但算法太简单，可以做复杂的事情但速度受限。
后来我发现了受限玻尔兹曼机（RBM），其隐藏单元不相互连接，唤醒阶段更新隐藏神经元更简单，睡眠阶段有捷径虽不完全正确但实践有效。Netflix公司就是用受限玻尔兹曼机结合其他方法推荐电影。
为构建特征检测器层可堆叠RBM，将前一个RBM隐藏单元活动模式当数据给下一个RBM，以此捕捉复杂相关性学习多组权重，堆叠后视为前馈网络可进行监督学习，这样初始化网络学习更快。因为网络已学习了数据结构，后面用于学事物名称相对容易，如识别物体方面。
One More Thing
就在演讲视频发布不久后，你懂的，LSTM之父又来搞事情了。
知名计算机科学家Jürgen Schmidhuber发表推文称，Hopfield & Hinton的2024年诺贝尔物理学奖是抄袭得来的。
Jürgen声称，这两位教授重新发表了乌克兰研究者Ivakhnenko和日本研究者Amari在20世纪60年代和1970年代开发的方法以及其他技术，且没有引用原作者。
目前这一帖子在X上已经获得了2.1k点赞、超过44万次浏览。
有网友表示如果事情是真的，那将比剽窃更糟糕：
不过也有网友觉得这是Jürgen吃不到葡萄就说葡萄酸的心理：
Jürgen还发表了一个详细的技术报告，列出了两位诺贝尔获奖者工作的存疑之处，感兴趣的朋友可以点击参考链接2进一步阅读。
参考链接：
[1]https://www.youtube.com/watch?v=lPIVl5eBPh8
[2]https://people.idsia.ch/~juergen/physics-nobel-2024-plagiarism.html#DLP
为伟大思想而生！
AI+时代，互联网思想（wanging0123)，
第一必读自媒体
热门跟贴