视觉语言模型已经进入办公助手、内容审核、机器人和智能终端等场景。它们面对的任务不再只是读一段文字，而是同时理解图片、文字以及两者之间的关系。
安全边界因此变得复杂：一句话可能没有明显风险，一张图片单独看也可能没有触发拒答，但图文合在一起后，模型是否还能准确判断真实意图？清华大学与北京邮电大学的一项联合研究，把目光投向了这个问题。
更关键的是，模型生成答案的方式正在发生变化。传统自回归视觉语言模型可以粗略理解为「先看图，再从左到右写答案」：图片经过编码后形成一段视觉信息，随后参与语言生成。离散扩散视觉语言模型（discrete diffusion vision-language models，简称dVLM）则像是在一张被遮住的答卷上逐步揭开答案：模型先从大量被遮蔽的文字状态出发，经过多轮去噪，逐步恢复完整回复。
这两种方式有一个关键差别：自回归模型中的视觉信息更接近一次性注入，而dVLM在每一轮去噪中都可能重新使用视觉条件。如果图片中包含某种不易被表面规则发现的风险语义，它就有机会在多个阶段反复影响模型。团队把这种现象称为跨步条件传播（Cross-Step Conditional Propagation）。这里的「传播」不是说图片真的在模型里复制，而是指视觉条件在连续生成步骤中不断参与计算，影响可能沿着生成轨迹累积。
基于这一生成特点，团队提出了DIVA越狱攻击方法，对模型的安全对齐进行压力测试。DIVA的全称是Discrete-diffusion Vision-language model Attack，是一种面向离散扩散视觉语言模型的白盒视觉越狱攻击方法。它的目标不是修改模型参数，也不是宣称所有模型都必然失效，而是在研究者能够访问模型参数和梯度的条件下，构造一种有界的视觉输入扰动，用来检验模型在完整去噪过程中的安全稳定性。
DIVA并不是简单地给图片加入噪声，而是围绕dVLM的多轮生成机制设计了一条完整的攻击链路。整体方法由跨模态意图混淆和扩散感知的对抗优化两部分组成，前者负责重新组织图文语义，后者负责让受限视觉扰动适应多个去噪状态。
先看攻击者能做什么。DIVA采用白盒威胁模型，研究者可以访问目标dVLM的参数、梯度、视觉编码器以及训练时使用的遮蔽接口，但不能修改模型权重。攻击只发生在推理输入端：在原始图像上叠加受到像素幅度约束的扰动，并配合经过改写的文本提示，随后让模型按照原本的反向去噪流程生成答案。这一设定一方面可以建立当前机制下的攻击上限，另一方面能把跨步条件传播本身的影响，与黑盒迁移、代理模型误差等因素区分开来。
跨模态意图混淆的做法是：先对原始风险指令进行文本侧改写，将直接出现的对象、动作或目标替换为依赖图片才能理解的指代表达。改写后的文字本身不再承载全部语义，但仍会引导模型调用视觉信息。与此同时，被移出文本的关键语义被放入一张复合图像，由承载关键词线索的文字层和与目标语义相关的视觉内容组合而成。两者通过叠加或拼接形成复合图像，使完整意图分布在文字和视觉两个通道中。这可以类比为把一条信息拆成两把钥匙：单独检查文字或图片，看到的都不是完整意图；模型进行多模态融合时，才会把两部分重新联系起来。
在自回归VLM中，图像通常先被编码为固定的视觉前缀，后续文字再从左到右展开，DIVA将这种作用方式概括为「静态条件」。而在dVLM中，回答最初是一串被遮蔽的token，模型每完成一轮去噪，都会根据当前的部分答案、文本提示和图像特征，继续恢复下一批token。由于图像特征在每一轮都重新参与计算，同一份视觉语义便可能从早期状态一直影响到后期状态。
扩散感知优化则是不押注一个时刻，而是覆盖多个去噪状态。普通视觉攻击往往围绕一次前向计算优化输入，DIVA在每次更新时，从完整去噪轨迹中抽取多个时间步，并按照各时间步的遮蔽比例构造不同的中间回答状态。对于每个时间步，DIVA只计算被遮蔽位置上的预测损失，衡量当前图像能否推动模型恢复预设的非拒答目标，随后把多个时间步的损失取平均。梯度会依次经过视觉编码器、多模态投影层和双向扩散Transformer，再返回输入图像。每次更新后，扰动都被投影回规定的像素范围，并将最终图像裁剪到合法取值区间。
DIVA在优化阶段使用一个很短的肯定式、非拒答前缀作为教师强制目标，目的是推动模型跨过「拒绝还是继续回答」的决策边界，而不是要求模型机械复现一段预先写好的完整内容。完成优化后，攻击效果由模型的自由生成结果决定，并交给独立的安全评估器进行事后判断。此外，DIVA并非为每条问题单独学习一份扰动，而是面向同一风险类别中的多条提示，联合优化一个共享扰动。在实际推理时，只需把预先离线计算的类别级扰动加入对应复合图像，再将图文输入交给原始dVLM，模型结构、权重以及标准反向去噪过程均不需要修改。
实验在HADES和VLSBench两个多模态安全基准上展开，测试了LLaDA-V、MMaDA和LLaDA2.0-Uni三类离散扩散视觉语言模型，并与未攻击模型以及面向自回归模型设计的视觉越狱方法进行比较。这里的ASR（Attack Success Rate，攻击成功率）是一个安全风险指标：数值越高，表示模型越容易生成不符合安全策略的内容，并不代表模型的通用能力更强。
在HADES的Beaver语义评估指标下，DIVA在三个目标模型上的平均ASR分别为：
- LLaDA-V：58.80%
- MMaDA：67.73%
- LLaDA2.0-Uni：69.07%
三组结果都高于对应模型上的比较方法。尤其是在MMaDA上，DIVA比DIJA高6.67个百分点；在LLaDA2.0-Uni上，DIVA比DIJA高19.20个百分点。这些数字说明：当攻击方法针对扩散式生成的结构特点进行设计时，原本主要为自回归模型建立的视觉安全防线可能并不充分。
换一个测试分布，风险仍然存在。VLSBench的测试分布没有直接参与对应的扰动优化，更接近留出场景。在这一基准上，DIVA在LLaDA-V和MMaDA上的ASR分别达到52.07%和74.16%，同样在比较方法中最高。这说明论文观察到的现象并不只依赖某一套固定问题，但论文中的扰动仍然需要针对目标模型和风险类别重新优化。
消融实验说明，关键不只是「加噪声」。在LLaDA-V上，研究团队逐步加入复合图像、随机扰动、打乱空间结构的扰动，以及完整的DIVA优化扰动，平均ASR从32.93%逐步提升到41.00%、44.53%、52.67%，最终达到58.80%。复合图像本身提供了跨模态语义，空间结构会贡献一部分效果，而真正针对多个去噪状态进行优化，才带来完整方法的主要增益。
论文还对扰动的可感知性进行了分析。放大前，攻击图像与原图在肉眼观察下高度相似；放大差异后，才能看到分布在图像中的低幅度变化。这提醒我们，安全审核不能只依靠人工浏览图片，也不能只用简单的像素差异阈值判断输入是否可信。
DIVA最值得关注的地方，不是它把某个ASR数字提高了多少，而是它提出了一个防御问题：我们是否只检查了模型的输入和最终答案，却忽略了答案是怎样一步步生成出来的？基于论文结果，未来的多模态安全系统至少可以从几个方向加强：检查跨模态组合语义，让文本过滤和图像过滤协同工作；监测生成过程中的阶段稳定性，比较不同去噪区间的安全判断是否发生异常切换；为不同生成架构建立专门的红队测试；把安全对齐从最终输出前移到生成轨迹。
需要强调的是，这是一项白盒研究。论文没有公开优化后的扰动文件、可直接复现的攻击脚本、具体步长和扰动预算等细节，其目的在于揭示机制并推动防御研究，而不是提供面向真实系统的操作指南。当模型从「看一次图再回答」变成「在生成过程中反复参考图像」，安全问题也会从静态输入检查，延伸到动态生成轨迹。
热门跟贴