编者按

2021年，清华大学深圳国际研究生院校优秀硕士学位论文篇数再创历年新高，占全校优秀硕士论文31%，共有63篇荣获清华大学优秀硕士学位论文，其中44篇为我院专职教师指导。本系列推送将向大家展示我院获奖同学的科研成果风采。

论文中文标题：零训练数据的对抗样本攻防技术研究

论文英文标题：Data-free Adversarial Attack and Defense

作 者：冯岩

指导教师：夏树涛

培养院系：计算机科学与技术

学 科：计算机技术

学习感言：德才兼备，知行合一

获得荣誉：

[1] 2018-2019学年度校综合优秀二等奖学金

[2] 2019-2020学年度国家奖学金

[3] 清华大学2021年度计算机科学与技术系优秀毕业生

[4] 清华大学2021年度优秀硕士学位论文

研究背景/选题意义/研究价值

近年来，深度学习技术有着重大突破，被广泛应用到生产活动中。安防领域对日常生活的影响最为深刻：现阶段，人脸检测、车牌识别、目标追踪等任务都已经使用了深度学习技术。然而，研究表明，深度学习技术的鲁棒性存在很多安全性问题。研究者发现，通过对输入图像施加人为设计的轻微扰动，会使得深度神经网络产生错误的预测结果，这种输入被称为对抗样本（参见图1），构造对抗样本的过程被称为对抗攻击，对于对抗样本的防御则相应的被称为对抗防御。对抗样本的存在影响了包括图像分类、图像检索、目标检测、机器翻译等在内的各类下游任务，给深度学习技术的实际应用带来了诸多隐患。例如，一辆无人车基于深度学习技术进行路边标志的识别，通过人为对路边标志施加对抗扰动可能会使得无人车错将停止标志看作限速标志，导致交通事故的发生。因此，从安全角度来看，对于对抗样本的研究有着广泛而重要的意义。

图1 对抗样本示意图

高质量的有标注数据集对于深度学习以及相关技术的成功起到了重要作用，对于对抗攻击以及对抗防御技术来说也不例外。对抗攻击算法通过对数据集进行挖掘，可以提高所构造的对抗扰动的攻击性能以及隐蔽性；对抗防御算法利用大规模标注数据集，学习样本分布，从而将对抗样本还原为真实样本，或是训练出对于对抗扰动鲁棒的模型。

然而，在实际场景中，采集并标注大规模数据集需要耗费大量时间与经济成本，多数情况下难以实现。因此，对于攻击者来说，在无训练数据的条件下设计对抗攻击算法，会对目标深度模型的安全性造成更大威胁；而对防御者来说，在不需要标注数据的情况下实现对抗防御，则具有更重要的实际意义。

本文在零训练数据的设定下，从对抗攻击与对抗防御两个角度对于深度神经网络的鲁棒性展开研究。本文致力于在这一严格而又贴近实际的场景下，发掘现有深度学习技术的安全性隐患，同时有针对性地提出防御方案。

主要研究内容

图2 论文研究框架

本文主要关注在缺乏训练数据的设定下，对于深度模型鲁棒性的研究（主要研究框架见图2）。现有研究还无法对深度模型的鲁棒性作出理论上的分析和保证，通过各类不同的攻击算法对其鲁棒性进行验证是目前来看最为可行的做法。也就是说，在考虑深度神经网络鲁棒性的问题时，攻击和防御两个方面相辅相成，互相促进。鉴于此，与以往工作仅考虑攻击或防御的单个方面不同，本文同时从对抗攻击和对抗防御两个角度对深度模型的鲁棒性展开研究，具体的研究内容主要包括以下几个方面：

（1）在缺乏训练数据的情况下，针对深度图像检索模型的对抗攻击算法研究：

现有对抗攻击算法往往会利用大规模数据集来改进攻击效果。举例来说，在白盒设定下，研究者尝试在图像数据集上对生成器进行预训练，从而生成视觉上更加自然的对抗样本，使得攻击更具有隐蔽性；在黑盒设定下，一些方法尝试通过预训练学习对抗样本分布，从而减少查询次数，提升攻击效率。由于现实中大规模数据集获取困难，本文考虑了更加具有可行性且攻击难度也更大的无训练数据的设定。另一方面，现有工作通常考虑对于分类模型的鲁棒性研究，而忽视了应用上同样重要的的图像检索模型，本文尝试对这一研究领域进行补充。

本文首先对目前应用最为广泛的基于乘积量化的图像检索模型的检索过程进行分析，指出现有攻击算法难以直接应用在图像检索任务上的原因。之后，根据乘积量化检索系统的特点，通过扰动量化聚类中心软分布，分别设计了有目标和无目标对抗查询图像生成算法。最后，本文尝试基于信息论中重要定理，为该部分研究提供理论保证。

图3 针对图像检索模型的攻击过程示意图

（2）无监督的对抗防御算法研究：

与攻击算法类似，现有对抗防御算法也经常在有监督数据集上预训练来获得更好的防御性能。例如，一类基于对抗训练的防御方法通过在模型训练过程中将对抗样本加入训练集，使得训练得到的模型对于对抗扰动更加不敏感，提高模型鲁棒性；而一些基于图像预处理的防御算法，也尝试学习干净样本分布，从而能够通过重建对抗样本，将其拉回干净样本流形，实现对抗防御。而在难以采集并标注大规模数据集的情况下，这些算法的效果会受到严重影响。鉴于此，本文将重点放在无监督数据的设定下，对于对抗样本的防御算法研究。

本文首先研究卷积神经网络在重建图像过程中的学习曲线与鲁棒/非鲁棒特征之间的关系，探究在重建的不同阶段神经网络输出的图像的性质（算法流程见图4）。在此基础上，本文设计了自适应的早停算法确定重建的终止时间点，使得该防御算法能够适应各类不同的输入图像。

图4 基于深度图像先验的图像防御过程

论文主要创新点

1、针对基于乘积量化的深度检索模型的对抗攻击:

针对目前应用广泛的基于乘积量化的深度图像检索模型，本文提出了一种高效的对抗查询图像生成算法，通过对正常查询图像添加微小的噪声，使得受攻击模型检索到与该查询图像语义无关的近似最近邻图像。该算法充分考虑了深度乘积量化模型的检索过程，通过对于量化聚类中心分布的“软化”解决了乘积量化检索过程不可微的问题。除此之外，本文还提出采样空间平均化方案，将攻击算法同时应用于无目标攻击与有目标攻击场景下。最后，本文基于信息论领域中的重要定理，以及针对各类图像检索数据集以及目标模型结构的大规模实验，从理论和经验两个方面证明了所提出的攻击算法的有效性。

2、基于深度图像先验的对抗防御：

本文提出了一种简单高效的无监督对抗防御算法。与现有防御算法往往利用大规模图像数据集挖掘外部数据先验不同，该算法不需要预训练，而是基于深度卷积生成器对于单张图像的深度图像先验实现防御。本文首先观察到随机初始化的生成器在对于目标样本进行重建的过程中，所呈现的两阶段学习特征，即在第一阶段主要学习图像中的对于对抗扰动不敏感的鲁棒特征，在第二阶段主要学习图像易受扰动影响的非鲁棒特征。基于此，本文利用二阶指数平滑策略，自适应地针对各类图像确定两个学习阶段的转折点，从而能够及时终止重建过程，获得去除对抗噪声的干净样本。在白盒与黑盒设定下的大量实验证明了该算法在无训练数据的前提下，也能够取得出色的防御效果。

学位论文相关学术成果

[1] Dai T∗,Feng Y∗, Wu D, Chen B, Lu J, Jiang Y, Xia S. DIPDefend: Deep ImagePrior Driven Defense against Adversarial Examples[C]//2020 ACM InternationalConference on Multimedia (MM). Virtual Event / Seattle, WA, USA, ACM, 2020:1404–1412. (CCF A类会议)

[2] Feng Y, Chen B, Dai T, Xia S. Adversarial attack on deep product quantizationnetwork for image retrieval[C]//2020 AAAI Conference on Artificial Intelligence(AAAI). New York, NY, USA, AAAI, 2020: 10786–10793. (CCF A类会议)

[3] Bai Y∗,Feng Y∗, Wang Y, Dai T, Xia S, Jiang Y. Hilbert-based generative defensefor adversarial examples[C]//2019 IEEE/CVF International Conference on Com-puter Vision (ICCV). Seoul, Korea (South), IEEE, 2019: 4783–4792. (CCF A类会议)

[4] Ouyang Z,Feng Y, He Z, Hao T, Dai T, Xia S. Attentiondrop for ConvolutionalNeuralNetworks[C]//2019 IEEE International Conference on Multimedia and Expo (ICME). Shanghai, China, IEEE, 2019: 1342–1347. (CCF B类会议)

来源|培养处

策划|陈金静、兑晓晴

文/图|冯岩

编辑|叶思佳

排版|林伟东

中文微信公众号：清华大学深圳国际研究生院

英文微信公众号：Tsinghua SIGS

新浪微博：@清华SIGS