杭州电子科技大学脑机协同智能孔万增教授团队最新研究成果Time-Frequency Jointed Imperceptible Adversarial Attack to Brainprint Recognition with Deep Learning Models发表在国际会议IEEE International Conference on Multimedia and Expo 2024（CCF-B类会议oral）上。IEEE国际多媒体与博览会（ICME）是自2000年以来由IEEE四大协会联合主办的旗舰多媒体会议，旨在从研究和开发的角度促进多媒体技术、系统和应用领域最新进展的交流与分享。该论文提出了一种针对脑纹识别的基于时域和频域联合攻击的隐秘对抗性攻击方法（TFAttack），这种方法结合了小波变换在时频域转换中的优势，实现了更为隐秘且有效的对抗样本生成。

图 1 全文官方链接：https://doi.org/10.1109/ICME57554.2024.10688012

基于EEG的脑电图识别与深度学习模型在生物特征识别中受到了广泛关注。然而研究表明，使用EEG输入的深度学习模型对对抗性攻击具有脆弱性。在本文中，我们引入了一种新颖的对抗攻击方法，通过采用小波变换联合地攻击时间域和频率域的EEG信号。不同于大多数仅针对时间域EEG信号的现有方法，我们的方法不仅利用了时间域攻击的强大对抗性，还受益于频率域攻击固有的不可察觉性，从而在攻击性能和不可察觉性之间实现了更好的平衡。本文在白盒和灰盒场景中进行了广泛的实验，结果表明，本文的攻击方法在三个数据集和三种深度学习模型上达到了最先进的攻击性能。同时，被攻击的信号中的扰动对人类视觉系统来说几乎不可察觉。

研究背景

基于脑电图（EEG）信号的脑纹识别逐渐引起了越来越多的关注，成为一种生物特征识别技术。各种基于卷积的深度神经网络（如EEGNet、DeepConvNet和ShallowConvNet）被用来捕捉EEG特征，这些特征能够放大个体间的差异，最小化个体内的差异，从而在跨任务和跨时段的身份识别中实现卓越的性能。这些模型还可以减轻任务相关信息对EEG特征的影响，从而进行身份识别。深度学习模型在脑纹识别中取得了最先进的性能，消除了手动特征提取的需求，实现了端到端的脑纹识别。值得注意的是，EEGNet、DeepConvNet和ShallowConvNet是典型的脑电深度学习模型。它们具有提取时空EEG特征卷积核，并被广泛用作各种模型的骨干架构。

然而最近的研究表明，基于EEG的脑机接口（BCI）对对抗攻击具有脆弱性。深度学习模型可能会被对抗性样本欺骗，导致模型性能显著下降，甚至可能对用户造成伤害或疲劳。通过劫持EEG信号，攻击者可以破坏基于稳态视觉诱发电位的打字机的操作或控制轮椅，导致意外的字符输入或危险的运动，危及用户安全。对抗攻击还可能阻碍脑纹识别在安全敏感场景中的应用，攻击者可以阻止合法用户访问系统，非法修改关键数据，给组织或个人造成损害。据我们所知，目前尚无关于脑纹识别对抗性攻击的研究，这强调了此类研究的紧迫性和重要性。

研究概述

为了应对上述挑战，本文提出了一种基于时频域的不可察觉对抗攻击方法（TFAttack）用于脑纹识别，见图2。TFAttack采用小波变换来满足EEG信号在时间域和频率域之间的转换，并兼容反向传播。首先，使用小波变换将输入的EEG时间域信号转换为频率域，然后通过逆小波变换恢复到时间域。随后，利用目标模型从时间域信号进行推理，计算其对抗损失，导出频率域信号的梯度，优化频率域扰动。为了进一步优化对抗攻击的效率，TFAttack采用了一种交替策略，在时间域和频率域之间优化对抗扰动。

在时域中，传统的对抗性攻击方法通过直接对输入信号添加扰动来生成对抗性样本。TAttack 的扰动迭代公式是：

其中：是目标模型，是损失函数（如交叉熵损失），是真实标签，是步长，用于控制扰动幅度，表示对输入信号的梯度。频域攻击通过小波变换（Wavelet Transform）以及逆小波变换（Inverse Wavelet Transform）将信号在时域和频域之间互相转换。FAttack的扰动迭代公式为：

其中和分别为离散小波变换和逆离散小波变换。TFAttack将TAttack和FAttack两者联合，轮流对时域和频域信号进行攻击，扰动迭代公式为：

研究贡献包括：

1. 本研究在脑纹识别领域率先探讨了对抗攻击相关的研究，揭示了现有系统中的潜在安全漏洞。

2.本文提出的TFAttack利用了时间域和频率域数据，生成了强大且不可察觉的对抗样本。

3.本文在三个数据集和三种深度学习模型上进行了实验，所提出的方法在白盒和灰盒场景中实现了最先进的攻击性能。

图 2 TFAttack的框架图。中间部分是提出的TFAttack的流程图，它是TAttack（上部分）和FAttack（下部分）的结合。TAttack在时间域直接更新原始EEG样本上的扰动，而FAttack首先使用离散小波变换（DWT）将样本转换到频率域，在频率域更新扰动，然后通过逆离散小波变换（IDWT）得到对抗样本。对于TFAttack，本文采用TAttack和FAttack轮流攻击EEG样本，首先由TAttack在时间域对信号进行攻击，然后由FAttack在频率域进行攻击。

实验分析

本文在三个数据集上开展了实验：SEED情感数据集（15名受试者），MTED多任务EEG数据集（30名受试者）和EEGMMI数据集（109名受试者）。对于所有数据集，本文从每个样本中提取5秒的数据作为脑电图数据，并应用1-79Hz的带通滤波器进行预处理。

本文主要选择攻击成功率（ASR）来衡量成功攻击的样本占总样本的比例。关于攻击的不可察觉性，本文采用DTW分数、L2范数和余弦相似度来测量对抗样本对人类视觉系统（HVS）的可见性。L2范数测量像素级别的差异，但HVS对时间序列数据的模式/形状更为敏感。因此，本文还采用DTW分数作为感知距离之一，它更好地反映了HVS的偏好。本文选择了三种专门为EEG解码设计的流行深度学习模型作为受害者模型：EEGNet、ShallowConvNet和DeepConvNet。所有三个模型均在三个数据集上进行了训练和测试，准确性数据在补充材料中展示。

白盒攻击实验：

在本实验中，本文验证了TFAttack生成的对抗样本的攻击强度和不可察觉性。在EEGMMI、SEED和MTED数据集上进行了白盒攻击，并将TFAttack与FGSM、BIM、PGD和C&W等方法进行了比较。与其他攻击方法相比，TFAttack的L2和DTW得分最低，余弦相似度最高，并且在所有三个数据集上都有显著的攻击效果。同时，TFAttack在SEED、MTED和EEGMMI数据集上具有最高的攻击成功率（ASR），这表明TFAttack比其他攻击方法更有效。

攻击迁移实验：

为了研究提出的TFAttack生成的对抗样本的可迁移性，本文还在EEGMMI数据集上进行了灰盒攻击实验。在灰盒攻击场景中，攻击者拥有目标模型的数据集，并使用替代模型生成对抗样本。因此，本文首先使用EEGMMI的训练集训练了三个替代模型，然后使用FGSM、PGD和TFAttack在测试集上生成对抗样本，然后分别攻击三个目标模型以获得ASR和DTW分数。我们发现ShallowConvNet的鲁棒性较差，当ASR与FGSM和PGD相差不大时，TFAttack的DTW分数远低于FGSM和PGD。因此，TFAttack的可迁移性优于FGSM和PGD。

感知研究实验：

图 3 在EEGMMI和SEED数据集上以EEGNet为目标模型进行的感知研究

为了进一步研究ASR随感知距离增大的变化率，我们调整了FGSM和PGD的扰动阈值，以及TFAttack的迭代次数，以增加扰动的感知距离，并记录相应的ASR。本文在两个数据集上使用EEGNet测试了攻击性能，采用L2、DTW和余弦相似度作为感知距离的衡量标准。较低的L2和DTW值意味着较小的扰动，而较高的余弦相似度表明原始样本与对抗样本之间的匹配更为紧密。ASR随着扰动强度的增加而上升，并且TFAttack在相同的感知距离下始终生成更强大的对抗样本，或者在较低的L2、DTW和较高的余弦相似度下实现相同的ASR。这验证了TFAttack生成既强大又不可见的对抗样本的能力。

结论

本文提出了一种在时间域和频率域都不可察觉的对抗攻击方法，成功解决了现有方法中频率信息利用不足和对抗样本可见性的问题。通过利用小波变换，实现了EEG在时间域和频率域之间的高效转换，从而通过交替优化生成更不可察觉的对抗样本。广泛的实验结果验证了TFAttack在各种数据集和模型上的优越攻击性能。总之，本研究揭示了深度学习模型在脑电识别系统中的脆弱性。我们希望我们的工作能引起更多人对脑电识别系统鲁棒性研究的关注。

作者介绍

仪航捷、明煜航、刘栋军、孔万增

通讯作者简介

孔万增，博士，杭州电子科技大学二级教授，杭州电子科技大学校党委委员、组织部部长，兼任脑机协同智能技术（科技部）国际联合研究中心副主任，浙江省脑机协同智能重点实验室主任。长期从事脑机交互与认知计算等方面的工作。多次在IEEE TPAMI, NIPS等国际顶级期刊和顶级会议上发表学术成果，谷歌学术引用超4400次，入选2023、2024年度全球前2%顶尖科学家榜单。

仅用于学术分享，若侵权请留言，即时删侵！

欢迎加入脑机接口社区交流群，

探讨脑机接口领域话题，实时跟踪脑机接口前沿。

加微信群：

添加微信:RoseBCI【备注：姓名+行业/专业】。

欢迎来稿

1.欢迎来稿。投稿咨询，请联系微信：RoseBCI

点击投稿：

2.加入社区成为兼职创作者，请联系微信：RoseBCI

一键三连「分享」、「点赞」和「在看」

不错过每一条脑机前沿进展