上方蓝字关注我们

打开网易新闻 查看精彩图片

02

（下）部分

深度残差学习用于图像识别

这篇论文的标题是《深度残差学习用于图像识别》，由何凯明等撰写，于2015年12月提交到 arXiv。这篇论文介绍了一种新颖的深度神经网络架构，称为残差网络（ResNet），旨在解决深度神经网络训练过程中出现的梯度消失和梯度爆炸等问题。

该架构通过引入残差连接（residual connections），允许网络直接学习残差函数，从而更容易地优化深度网络。这种设计使得网络在层数增加的情况下可以更有效地训练，从而实现了更深层次的网络结构，有助于提高模型的性能和泛化能力。

实验结果显示，基于残差学习的网络（称为残差网络或ResNets）不仅在训练上更为高效，而且在ImageNet数据集上的表现超越了之前的深度网络，例如达到了152层的深度（是VGG网络的8倍深度），同时具有更低的复杂度。一个包含这些残差网络的集成模型在ImageNet测试集上实现了3.57%的错误率，赢得了ILSVRC 2015分类任务的第一名。

此外，该研究还展示了在CIFAR-10数据集上使用100层和1000层网络的分析结果，以及在COCO目标检测数据集上由于极深表示带来的28%相对性能提升。这些深度残差网络是作者团队在ILSVRC & COCO 2015竞赛中夺冠的基础，包括ImageNet检测、定位、COCO检测和分割任务。

总之，这篇论文通过引入残差学习概念和快捷连接，成功地解决了深层神经网络训练的退化问题，推动了深度学习领域向更深网络结构的发展，对于图像识别及其他视觉识别任务产生了深远影响，成为了深度学习领域中的经典工作之一。

论文地址：https://arxiv.org/pdf/1512.03385

通过扩张卷积实现多尺度上下文聚合

打开网易新闻 查看精彩图片

这篇论文的标题是《用于语义分割的多尺度上下文聚合：通过空洞卷积实现》，作者是Fisher Yu和Vladlen Koltun，来自普林斯顿大学和英特尔实验室。文章发表于ICLR 2016会议，主要探讨了如何改进计算机视觉中的语义分割技术，这是指给图像中的每个像素分配一个类别标签的任务，比如区分人、车、道路等。

现有的顶级语义分割模型大多基于最初为图像分类设计的卷积神经网络改造而来。但是，图像分类与语义分割这类密集预测任务有着本质区别。密集预测需要在保持像素级精度的同时，还要理解图像中的多层次上下文关系。这篇论文就针对这个问题，提出了一种新的卷积网络模块，特别适合于密集预测任务。

核心创新点在于使用了“空洞卷积”（Dilated Convolutions），这是一种特殊的卷积方式，可以在不降低图像分辨率的情况下扩大感受野，也就是让网络能看到更大范围的图像内容。这种设计允许网络系统性地整合不同尺度的上下文信息，而不会丢失细节。作者展示，他们的上下文模块能够提高现有语义分割系统的准确性，并且讨论了如何简化图像分类网络以适应密集预测任务，有时候简化的网络反而能提高预测的准确性。

简而言之，这篇论文通过引入一种新的神经网络组件，利用空洞卷积来更好地理解和分析图像中的复杂场景，从而提高了自动识别图像中每个部分属于哪个类别的准确性，这对于自动驾驶、图像编辑和许多其他依赖于精确图像理解的应用非常关键。

论文地址：https://arxiv.org/pdf/1511.07122

神经消息传递在量子化学中的应用

这篇论文《Neural Message Passing for Quantum Chemistry》由 Justin Gilmer 等人撰写，是关于如何使用深度学习来预测分子属性的研究。在化学、药物发现和材料科学等领域，准确预测分子的性质是非常有价值的，但传统的量子化学计算方法既昂贵又耗时。

作者们提出了一种新型的神经网络架构——消息传递神经网络（Message Passing Neural Networks，简称 MPNNs）。这种网络能够处理分子的图表示，其中原子是节点，化学键是边。通过模拟量子化学中的电子相互作用，MPNNs 能够在不牺牲准确性的前提下，快速预测分子的量子性质。

在论文中，作者们展示了 MPNNs 在 QM9 数据集上的应用，这是一个包含 13 万个小分子的数据集，每个分子都有多种化学性质标签。通过一系列实验，他们发现 MPNNs 不仅能够达到化学精度的预测，而且在多个任务上超越了现有的机器学习方法。更重要的是，MPNNs 能够从分子图结构中直接学习特征，无需复杂的特征工程。

此外，作者们还探索了如何改进 MPNNs，使其能够处理更大的图和更复杂的分子。他们提出了一种多塔（towers）结构，可以提高模型的可扩展性，并减少了计算成本。通过这些改进，MPNNs 在预测分子的量子化学性质方面取得了新的最佳性能。

总的来说，这项工作为使用机器学习进行量子化学预测提供了一个强大的工具，并且为未来在更大规模的分子数据集上应用 MPNNs 奠定了基础。作者们认为，随着进一步的研究和改进，MPNNs 有望成为中等大小分子监督学习任务的新标准。

论文地址：https://arxiv.org/pdf/1704.01212

注意力就是你所需要的

打开网易新闻 查看精彩图片

《Attention is All You Need》是一篇由Google Brain团队于2017年发表的论文，它引入了一种全新的神经网络架构，被称为Transformer。这个架构主要用于处理序列到序列的任务，比如机器翻译。

在传统的序列处理模型中，比如循环神经网络（RNN）或者长短期记忆网络（LSTM），处理长序列时会遇到一些问题，而Transformer模型通过引入自注意力机制来解决这些问题。自注意力机制使得模型可以同时关注序列中的所有位置，而不是像传统模型一样逐步处理序列。

这篇论文的影响非常深远。首先，它引领了一种全新的思路，使得在处理序列数据时可以更加高效和并行化。其次，Transformer模型成为了自然语言处理领域的主流架构之一，被广泛应用于各种任务，比如文本生成、情感分析、问答系统等等。而且，基于Transformer的预训练模型，比如BERT、GPT等，也在各种NLP任务中取得了巨大成功。

因此，可以说《Attention is All You Need》这篇论文对于神经网络和自然语言处理领域产生了革命性的影响，推动了整个领域的发展。

论文地址：https://arxiv.org/pdf/1706.03762

通过联合学习对齐和翻译的神经机器翻译

《Neural Machine Translation by Jointly Learning to Align and Translate》这篇论文提出了一种新的神经机器翻译方法，被称为Bahdanau Attention。

这篇论文的主要观点是，传统的神经机器翻译模型存在一个问题，即它们需要将整个源句子编码成一个固定长度的向量，这可能会导致长句子的翻译性能下降。为了解决这个问题，这篇论文提出了一种新的模型，该模型能够同时学习对齐和翻译，并且能够处理长句子。这种模型使用双向循环神经网络作为编码器，并且使用一种新的解码器，该解码器能够在解码过程中搜索源句子中的相关信息。这种模型在英语到法语的翻译任务上取得了与传统短语翻译系统相当或接近的翻译性能。

这篇论文的影响非常大。首先，Bahdanau Attention的提出使得神经机器翻译模型在处理长文本或复杂语言对时表现更好，翻译质量得到了提升。其次，这个注意力机制不仅仅在机器翻译领域有用，后来还被应用到其他自然语言处理任务中，比如文本摘要、问答系统等等。因此，这篇论文促进了整个自然语言处理领域的发展和创新。

论文地址：https://arxiv.org/pdf/1409.0473

深度残差网络中的恒等映射

打开网易新闻 查看精彩图片

《Identity Mappings in Deep Residual Networks》是由微软亚洲研究院等何恺明等于2016年提出的一篇论文。这篇论文的背景是，深度神经网络在图像分类等任务中取得了巨大成功，但随着网络层数的增加，梯度消失和梯度爆炸等问题也日益严重，导致训练变得困难。为了解决这一问题，研究人员提出了一种新的深度网络结构，即深度残差网络（ResNet）。

ResNet通过引入跳跃连接（skip connection）来构建残差块（residual block），使得网络可以直接学习残差（residual），而不是学习完整的映射。跳跃连接允许信息在网络中直接传递，有助于缓解梯度消失和梯度爆炸问题，使得训练非常深的网络变得更加容易。与传统的神经网络相比，ResNet具有更深的网络结构，并且在加深网络时性能不会下降，甚至会有所提升。

这篇论文的影响非常深远。首先，ResNet模型在2015年ImageNet图像分类挑战赛上取得了第一名，证明了其在图像识别任务上的强大性能。其次，ResNet的思想对深度学习领域产生了深远影响，激发了许多后续模型的设计，比如DenseNet、SENet等。ResNet的成功也启发了人们对更深、更复杂的神经网络结构的探索，为计算机视觉和其他领域的研究带来了新的机遇和挑战。因此，可以说这篇论文是深度学习领域的重要里程碑之一，为深度神经网络的发展指明了方向。

论文地址：https://arxiv.org/pdf/1603.05027

用于关系推理的简单神经网络模块

打开网易新闻 查看精彩图片

这篇论文是由DeepMind的研究人员Adam Santoro、David Raposo、David G.T. Barrett、Mateusz Malinowski、Razvan Pascanu和Timothy Lillicrap于2017年发表的。在该论文中，作者提出了一种名为Relation Network（RN）的简单神经网络模块，用于进行关系推理任务。

论文的背景是，在许多人工智能任务中，理解对象之间的关系是至关重要的，比如视觉问答、物体识别等。然而，传统的神经网络在处理关系推理任务时往往表现不佳，因为它们缺乏对对象之间关系的建模能力。

Relation Network通过将对象表示作为输入，并利用一个全连接层来计算对象之间的关系得分，从而实现了对关系的建模。这种简单而有效的设计使得Relation Network可以适用于各种关系推理任务，并在多个基准数据集上取得了优秀的性能。

这篇论文的影响在于，它提出了一种通用的神经网络模块，可用于处理各种关系推理任务。Relation Network的简单性和有效性吸引了广泛的关注，并激发了后续研究者在关系推理领域的进一步探索和应用。这篇论文为关系推理任务的研究提供了新的思路和方法。

论文地址：https://arxiv.org/pdf/1706.01427

变分有损自编码器

这篇论文的全称是《Variational Lossy Autoencoder》，由 Xi Chen、Diederik P. Kingma、Tim Salimans、Yan Duan、Prafulla Dhariwal、John Schulman、Ilya Sutskever 和 Pieter Abbeel 共同撰写。论文发表于 2017 年的国际学习表示会议（ICLR）。

在深度学习和表示学习领域，研究者们一直在探索如何更好地捕捉和表示数据的关键特征。传统的变分自编码器（Variational Autoencoder，简称 VAE）是一种强大的生成模型，它通过学习数据的潜在表示来进行数据的生成和重建。然而，VAE 通常需要对数据的全局结构和细节纹理进行编码，这在某些任务中可能并不是必需的。

该论文提出了一种新型的变分自编码器（Variational Lossy Autoencoder），该模型结合了自回归模型和变分自编码器。该模型可以在不损失精度的情况下，通过控制表示学习来提高密度估计性能。该模型利用自回归模型作为先验分布和解码分布，并使用变分自编码器来学习表示。该模型在 MNIST、OMNIGLOT 和 Caltech-101 Silhouettes 密度估计任务中取得了新的最优结果，并在 CIFAR10 上取得了有竞争力的结果。

这项工作为表示学习提供了一种新的方法，特别是在需要对数据的某些特征进行抽象或忽略时。VLAE 通过自回归模型的引入，不仅提高了模型的密度估计性能，还为学习数据的全局表示提供了一种新的途径。这种方法在图像处理、语音识别和其他需要复杂数据表示的任务中具有潜在的应用价值。

论文地址：https://arxiv.org/pdf/1611.02731

关系循环神经网络

打开网易新闻 查看精彩图片

这篇论文由DeepMind伦敦团队和伦敦大学学院的计算机科学团队共同撰写，主要探讨了一种新型的神经网络——关系记忆核心（RMC）。这个网络的核心特点是能够通过一种特殊的注意力机制，让网络中的记忆部分相互交流，从而更好地理解信息之间的关系。

研究团队发现，传统的记忆型神经网络在处理需要复杂关系推理的任务时可能会遇到困难。为了解决这个问题，他们设计了RMC，通过允许记忆中的信息相互“对话”，显著提升了模型在一系列任务上的表现，这些任务包括游戏、程序评估和语言建模等。特别是在语言建模方面，RMC在几个大型数据集上都取得了当时的最佳成绩。

这项研究的意义在于，它为提高人工智能在理解复杂关系任务上的能力提供了新的思路和工具，这对于发展更智能、更接近人类思考方式的AI系统具有重要的推动作用。

论文地址：https://arxiv.org/pdf/1806.01822

量化封闭系统中复杂性的升降：咖啡自动机

这篇论文由Scott Aaronson、Sean M. Carroll和Lauren Ouellette共同撰写，他们从物理学和计算机科学的角度出发，探讨了封闭系统的复杂性如何随着时间先增加后减少，这与熵的单向增加不同。

这篇论文的主要观点是，在混合咖啡和奶油的过程中，咖啡杯系统的熵和复杂性随着时间的推移而变化。这种变化可以通过使用简单的二维细胞自动机模型和新的复杂性度量方法来观察和量化。这项研究的结果表明，系统的可见复杂性随着时间的推移而增加，然后在系统达到平衡状态时下降。这种变化可能反映了混合过程中物质的运动和相互作用的复杂性。

这项研究为理解复杂系统的动态变化提供了新的视角，对于探索宇宙的起源和最终命运具有潜在的深远影响。

论文地址：https://arxiv.org/pdf/1405.6903

神经图灵机

《Neural Turing Machines》这篇论文的作者是来自DeepMind的研究人员Alex Graves、Greg Wayne和Ivo Danihelka。在这篇论文中，研究人员提出了一种名为神经图灵机（Neural Turing Machines，NTM）的模型，旨在扩展神经网络的记忆和计算能力。

传统的神经网络在处理需要长期记忆和复杂计算的任务时表现不佳。为了解决这一问题，研究人员提出了一种带有外部内存的神经网络模型——神经图灵机。这种模型类似于计算机中的图灵机，具有可读写的外部内存，并通过学习控制机制来操作内存，从而实现复杂的记忆和计算任务。

神经图灵机的核心内容是通过一系列的控制机制，如读取、写入和重置等操作，与外部内存进行交互，并将内存内容与神经网络的计算结果进行集成。这种设计使得神经图灵机可以在处理序列数据时具有更好的记忆和计算能力，从而提高了模型的性能。

这篇论文它提出了一种新颖的神经网络模型，扩展了神经网络的记忆和计算能力。神经图灵机的引入激发了对记忆增强型神经网络的研究，并在多个任务上取得了显著的性能提升。这项工作为神经网络在处理复杂任务时的应用提供了新的思路和方法。

论文地址：https://arxiv.org/pdf/1410.5401

深度语音2：端到端的英语和普通话语音识别

打开网易新闻 查看精彩图片

这篇论文由百度研究院硅谷人工智能实验室的一群研究人员撰写，他们探索了一种端到端的深度学习方法，用于识别英语和普通话这两种差异极大的语言。这种方法的关键在于用神经网络替代了传统的语音识别系统中的多个手工构建组件，使得系统能够处理各种语音，包括嘈杂环境、不同口音和语言。研究团队通过高性能计算技术显著提高了训练速度，使得实验周期从几周缩短到几天，从而更快地迭代和发现更优秀的架构和算法。

论文的核心内容包括了模型架构的改进、大量标记训练数据集的创建以及计算规模的扩大。作者们尝试了多种神经网络架构，包括多层循环连接、卷积滤波器和非线性激活函数，并研究了这些因素对识别性能的影响。他们还使用了一种称为Batch Dispatch的技术，展示了如何经济高效地在在线设置中部署系统，为用户提供低延迟服务。

这篇论文通过提出一种高效、准确的语音识别方法，对语音识别技术的发展产生了深远的影响，推动了语音识别技术在更多领域的应用，并可能改变未来语音识别系统的设计和实现方式。

论文地址：https://arxiv.org/pdf/1512.02595

神经语言模型的缩放法则

打开网易新闻 查看精彩图片

这篇论文《Scaling Laws for Neural Language Models》由 OpenAI 的团队撰写，深入研究了神经语言模型的性能如何随着模型规模、数据集大小和训练计算量的变化而变化。研究发现这些因素之间存在着明确的幂律关系，即模型的交叉熵损失会随着模型参数数量、数据集大小和计算量的增加而减少，这一发现在多个数量级上都得到了验证。

论文的关键贡献在于提供了一个预测框架，帮助研究者和工程师在有限的计算资源下，如何更高效地分配模型大小和训练数据，以训练出性能更优的语言模型。此外，论文还指出大型模型在样本效率上有显著优势，即使在较小的数据集上也能快速达到高性能，这为设计更大规模的模型提供了理论支持。

这项研究对自然语言处理领域产生了深远影响，特别是在如何高效构建和训练大型语言模型方面提供了指导。它还激发了对模型优化、训练效率和多任务学习进一步研究的兴趣，并为未来在这一领域的理论和实践探索奠定了基础。

论文地址：https://arxiv.org/pdf/2001.08361

最小描述长度原则教程介绍

这篇论文它由Peter Grünwald撰写，发表于2004年6月7日，这篇论文介绍了最小描述长度（MDL）原则，这是一种用于归纳推理的相对现代的方法，它提供了一种通用的模型选择问题解决方案。MDL原则基于一个洞察：任何数据中的规律性都可以用来压缩数据，即用比直接描述数据所需的符号更少的符号来描述数据。

MDL原则为数据科学家和统计学家提供了一种强大的工具，用于处理模型选择和参数估计问题，特别是在数据量大、模型复杂的情况下。它鼓励了一种避免过拟合的策略，通过选择能够以最简洁方式描述数据的模型。这种方法在机器学习、统计建模和数据压缩等领域都有应用潜力。此外，MDL的哲学和方法论为理解数据和模型之间的关系提供了新的视角，这可能对人工智能和机器学习的理论发展产生影响。

论文地址：https://arxiv.org/pdf/math/0406077

机器超级智能

打开网易新闻 查看精彩图片

这篇论文是一位名叫 Shane Legg 的博士生在瑞士的一个大学提交的博士论文，题目是“机器超级智能”。论文探讨了一个理论上的智能代理，称为 AIXI，它能够在未知的计算环境中表现出最佳行为。论文还讨论了 AIXI 理论的一些限制，以及如何将这些理论应用于机器超级智能的概念和定义。

论文的主要观点是，机器超级智能是一个有价值的研究领域，它可以帮助我们理解智能的本质和如何量化智能。论文还表明，AIXI 理论是一个有用的工具，可以帮助我们理解机器超级智能的概念和定义。然而，AIXI 理论也有一些限制，包括它的不可计算性和它对计算资源的需求。因此，我们需要继续研究如何将 AIXI 理论应用于实际问题，以及如何克服它的限制。

这篇论文首先定义了机器超级智能，并介绍了AIXI理论，这是一个理想化的智能代理模型，能够在未知环境中实现最佳行为。AIXI基于两个假设：有效利用先验知识和在缺乏这些知识时通过学习优化行为。尽管AIXI理论强大，但它存在计算上的不可行性和对资源的高需求。

论文的第二部分将AIXI理论应用于定义机器超级智能，提出了“通用智能度量”来评估智能代理在不同环境的表现，并讨论了这一度量的不变性和可计算性，为智能系统的评价提供了新的视角。

论文地址：https://www.vetta.org/documents/Machine_Super_Intelligence.pdf

科尔莫哥洛夫复杂性与算法随机性

打开网易新闻 查看精彩图片

《Kolmogorov Complexity and Algorithmic Randomness》是一本关于科尔莫哥洛夫复杂性和算法随机性的书籍。这本书探讨了科尔莫哥洛夫复杂性理论及其在计算和信息理论中的应用，以及相关的算法随机性概念。

科尔莫哥洛夫复杂性是一种衡量对象信息内容的度量，它考虑的是生成该对象的最短程序的长度。这个概念在计算理论、信息论和数学中有着广泛的应用，可以用来描述数据的压缩性、随机性以及算法的复杂性等问题。

算法随机性是指算法输出的随机性质，即使在输入是确定的情况下也会出现随机行为。这种随机性与随机性函数、随机性序列等概念相关联，是计算理论和计算机科学中的一个重要研究领域。

《Kolmogorov Complexity and Algorithmic Randomness》这本书涵盖了这两个领域的基本概念、定理和应用，并提供了相关的数学证明和案例分析。它适合对计算理论、信息理论和数学感兴趣的学者、研究人员和学生阅读，可以帮助他们深入了解这些领域的基础理论和最新进展。

论文地址：https://www.lirmm.fr/~ashen/kolmbook-eng-scan.pdf

用于视觉识别的 CS231n 卷积神经网络

这些笔记是斯坦福计算机科学课程CS231n：用于视觉识别的卷积神经网络的配套材料。课程包括了三个作业，分别是图像分类、kNN、SVM、Softmax、全连接神经网络、全连接和卷积网络、批量归一化、Dropout、Pytorch和网络可视化、使用RNN和Transformer进行图像描述、网络可视化、生成对抗网络、自监督对比学习。

课程还包括了四个模块，分别是神经网络、卷积神经网络、循环神经网络和课程项目。每个模块都包括了多个主题，例如神经网络模块包括了图像分类、线性分类、优化、反向传播、神经网络第1部分：设置架构、神经网络第2部分：设置数据和损失、神经网络第3部分：学习和评估、放在一起：最小神经网络案例研究。

这些笔记旨在帮助学生了解和掌握卷积神经网络的原理和应用，可以帮助学生了解和掌握卷积神经网络的原理和应用，并提供了多个实际案例研究和练习。

论文地址：https://cs231n.github.io/

03

完整清单

  • 带注释的Transformer：https://nlp.seas.harvard.edu/annotated-transformer/

  • 复动力学第一定律：探索复杂性的增长与减少：https://scottaaronson.blog/?p=762

  • 循环神经网络的神奇力量：https://karpathy.github.io/2015/05/21/rnn-effectiveness/

  • 理解长短期记忆网络（LSTM）：https://colah.github.io/posts/2015-08-Understanding-LSTMs/

  • 循环神经网络的正则化：https://arxiv.org/pdf/1409.2329

  • 简化神经网络的权重信息最小化：https://www.cs.toronto.edu/~hinton/absps/colt93.pdf

  • 指针网络：https://arxiv.org/pdf/1506.03134

  • 基于深度卷积神经网络的ImageNet图像分类：https://proceedings.neurips.cc/paper_files/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf

  • 顺序重要性：面向集合的序列到序列学习：https://arxiv.org/pdf/1511.06391

  • GPipe: 利用微批次管道并行化大规模神经网络：https://arxiv.org/pdf/1811.06965

  • 深度残差学习用于图像识别：https://arxiv.org/pdf/1512.03385

  • 通过扩张卷积实现多尺度上下文聚合：https://arxiv.org/pdf/1511.07122

  • 神经消息传递在量子化学中的应用：https://arxiv.org/pdf/1704.01212

  • 注意力就是你所需要的：https://arxiv.org/pdf/1706.03762

  • 通过联合学习对齐和翻译的神经机器翻译：https://arxiv.org/pdf/1409.0473

  • 深度残差网络中的恒等映射：https://arxiv.org/pdf/1603.05027

  • 用于关系推理的简单神经网络模块：https://arxiv.org/pdf/1706.01427

  • 变分有损自编码器：https://arxiv.org/pdf/1611.02731

  • 关系循环神经网络：https://arxiv.org/pdf/1806.01822

  • 量化封闭系统中复杂性的升降：咖啡自动机：https://arxiv.org/pdf/1405.6903

  • 神经图灵机：https://arxiv.org/pdf/1410.5401

  • 深度语音2：端到端的英语和普通话语音识别：https://arxiv.org/pdf/1512.02595

  • 神经语言模型的缩放法则：https://arxiv.org/pdf/2001.08361

  • 最小描述长度原则教程介绍：https://arxiv.org/pdf/math/0406077

  • 机器超级智能：https://www.vetta.org/documents/Machine_Super_Intelligence.pdf

  • 科尔莫哥洛夫复杂性与算法随机性：https://www.lirmm.fr/~ashen/kolmbook-eng-scan.pdf

  • 用于视觉识别的 CS231n 卷积神经网络：https://cs231n.github.io/

上部分：

已有超过2000名

读者加入交流群

我们还在等你

点这里关注我，记得标星哦～

CLICK TO SEE YOU LOOK THE BEST