来源：市场资讯
（来源：PaperWeekly）
AI 生成图像、AI 编造文本、图文协同伪造……今天的多模态虚假内容，已经越来越复杂。
面对训练中没见过的新新闻域、新操纵方式、新组合套路，很多现有鉴伪模型往往就开始“掉链子”。
问题的关键不只是伪造更多了，而是模型学到的东西太像“背答案”：它们会判断真假，却没有真正学会沿着证据链分析“为什么是假”。
西安交通大学、合肥工业大学与澳门大学的研究团队，在 ACL 2026 上提出了一套新的推理驱动多模态鉴伪框架。论文、模型与数据集共同指向一个核心目标：让多模态鉴伪在面对未见伪造时，不再无从下手。
论文名称：
Cultivating Forensic Reasoning for Generalizable Multimodal Manipulation Detection
论文链接：
https://arxiv.org/abs/2603.01993
代码 & 数据集：
https://github.com/YcZhangSing/REFORM
新困局：为什么一遇到未见伪造，很多模型就容易失灵？
不止是“识别难”，更是“泛化难”！
只看结果，学不会逻辑。现有很多方法直接把图文输入映射到真假标签或操纵类别，容易拟合训练集中的表面特征，却没有真正学到可迁移的法证逻辑。
一换场景，性能就掉。当新闻域变化、操纵模式变化，甚至伪造从人脸级扩展到场景级时，只靠结果监督训练出来的模型往往泛化不足。
真正缺的是证据链推理。论文指出，模型不应只会输出结论，更应像法证分析员一样，根据图像异常、文本异常或者图文冲突仔细推理做出判断。
新基准 ROM：让模型在更复杂、更真实的伪造里训练
想解决泛化失灵，先要有更接近真实世界的数据。
〓 图2：新基准——涵盖 9 个伪造场景的大规模数据集 ROM
规模更大。ROM 数据集包含 704,456 条图文样本，覆盖 5 个新闻域，为多模态伪造检测与泛化评估提供了大规模基础。
类型更杂。ROM 不只包含人脸属性篡改、换脸和文本伪造，还包含背景替换、整图生成及其复合形式，更贴近真实世界中五花八门的未见伪造。
监督更深。除了真假与类别标签，ROM 还提供详细推理标注，让模型不只是学“答案”，而是学“证据链怎么走”。
〓 图3：推理标注提供更丰富的监督信号
「证链侦探」REFORM 框架：给多模态鉴伪装上真正能迁移的“推理脑”
不是只做分类器，而是训练一个会顺着证据链办案的鉴伪系统。
先找线索。框架通过 Cognitive Priming 模块，从图像与文本中提取与伪造相关的关键痕迹，先把“可疑信息”聚焦出来。
再给结论。模型采用双解码器结构，一路输出真假、伪造类型和定位结果，另一路生成法证推理文本，让判断建立在证据链上。
最后练泛化。整个训练流程分三阶段推进：先学习推理，再联合优化答案与推理一致性，最后用 GRPO 强化学习进一步约束逻辑一致性。
〓 图4：新方法——「证链侦探」REFORM 的框架概述
实验结果：面对未见伪造，「证链侦探」更稳
推理驱动带来的，不只是解释能力，更是更强的跨域与未见攻击泛化。
ROM 上全面领先。在跨域测试中，REFORM 在 Guardian 训练设定下取得 81.52% ACC，在 NYT 训练设定下取得 88.22% ACC，整体超过多种已有多模态鉴伪方法。
未见模式更能打。在 MMFakeBench 上，REFORM 取得 74.9 F1，即便面对未见操纵类型，依然展现出明显优于多种更大参数量基线的零样本泛化能力。
经典基准再刷新。在 DGM4 上，REFORM 达到 76.65% ACC、65.72 mAP，进一步说明“学会推理”比“只拟合标签”更具跨域普适性。
〓 表1：ROM 主结果表
〓 表2：MMFakeBench 零样本结果表
〓 表3：DGM4 结果表
为什么这很重要？
当伪造模式不断翻新，内容安全系统不能总靠“见过”才能识别。
让模型跳出“见招拆招”。这项工作不是单纯提升某类已知伪造的识别率，而是试图让模型学到更稳定、更可迁移的法证判断逻辑。
让未见伪造不再难办。论文最核心的价值，不只是分数提升，而是证明了：沿着证据链学习，能够显著缓解多模态鉴伪中的泛化失灵问题。
让真实应用更可落地。未来的新闻核验、平台审核与舆情风控系统，需要的不是只会判“真/假”的模型，而是面对新套路也能稳定分析证据的系统。
热门跟贴