CVPR 2021 |华为诺亚图像超分辨率加法网络，一半能耗效果媲美CNN|cvpr|加法|卷积|神经网络

和加法运算相比，乘法运算在计算复杂度上要高很多。在深度学习中，被广泛使用的卷积运算相当于是衡量输入特征和卷积滤波器之间相似度的交叉相关计算。在这一过程中需要很大规模的浮点乘法，因此很多研究都在考虑将乘法运算换成等价的加法运算。

去年，来自北大、华为诺亚方舟实验室的研究者提出了 AdderNets 的网络，用于将卷积神经网络中的乘法转换为更简单的加法运算，以便减少计算成本，引发了社区内极大的关注（参见：深度学习可以不要乘法，北大、华为诺亚新论文：加法替代，效果不变，延迟大降）。

但是，加法网络在分类任务上的成功无法简单地迁移到图像超分辨率任务上，所以在今年的一篇论文中，这支研究团队进一步探索了图像超分辨率加法网络（AdderSR），提出加入残差链接和可学习的幂激活函数来让加法神经元可以进行这两种变换，从而提高了加法超分辨率模型的性能。

这篇论文也被计算机视觉顶会 CVPR 2021 接收为 Oral 论文。

在机器之心最新一期的论文线上分享中，我们邀请到了论文作者之一、北京大学智能科学系在读博士研究生陈汉亭为大家介绍 AdderSR 的技术细节。

欢迎大家报名参与，如有疑问可在 QA 环节与分享嘉宾交流。

分享主题：AdderSR：能耗高效的图像超分辨率加法网络

嘉宾简介：陈汉亭，北京大学智能科学系博士研究生在读。师从北京大学许超教授。研究兴趣主要包括计算机视觉、机器学习和深度学习，在 CVPR、NIPS、ICCV、ICML 等学术会议发表论文数篇。目前主要研究方向为加法神经网络、神经网络模型小型化以及视觉 Transformer。

分享摘要：加法网络通过将卷积中的乘法替换为加法，极大地降低了神经网络模型的能耗。然而，加法网络在分类任务上的成功无法简单地迁移到图像超分辨率任务上，原因在于加法神经元无法学习到恒等映射和高通滤波两种在图像处理中十分重要的变换。因此，我们提出加入残差链接和可学习的幂激活函数来让加法神经元可以进行这两种变换，从而提高了加法超分辨率模型的性能。实验表明，在多个标准图片超分辨率数据集上，加法网络仅需使用 1/2 的能耗就可以取得与卷积网络基本相同的精度和视觉效果。

论文链接：https://arxiv.org/pdf/2009.08891.pdf