21世纪经济报道记者 章驰
向一杯清水中滴入墨水，再把这杯墨水反向还原为清水，这是AI模型学习和生成图片的过程。
如何从这杯看似清澈的水中，找到曾经被墨水滴入过的痕迹？这便是AI鉴伪需要解决的问题：在越来越真假难辨的AI网络世界中，捕捉AI留下的证据。
AI鉴伪已经不只是一个实验室问题，大部分高校都开始应用论文AI率检测，许多电商店铺也在头疼AI造假难题。合合信息图像算法研发总监郭丰俊向我们分享了一组数据：在他们的鉴别业务中，图片类AI伪造的数量占70%～80%，主要集中在金融、保险、电商领域。
“别小看购物小票。”郭丰俊说，有人用AI伪造小票赚积分，做推广活动薅羊毛，规模远比普通消费者想象的更大。出海金融业务的AI伪造案例也在快速增加，海外用户的征信材料、身份证件是伪造的高发地带。
疫情后，越来越多业务从线下迁移到线上，真实世界中的一张纸、一张证件、一张票据，也开始变成系统里的一个图像文件。对于以“扫描全能王”闻名的合合信息来说，这种变化推动公司从2019年开始投入AIGC鉴伪。
用AI对抗AI，是一个“道高一尺，魔高一丈”的过程。作为行业局中人，在这场真与假的较量中，郭丰俊感受到的真正挑战远比技术本身复杂。
最大的阻力仍然是安全团队经常面对的一组冲突指标：检出率和误报率。“既想100%检出造假，又想零误报，这几乎是不可能的。检测灵敏度调高一分，就能提高检出率，但也可能把真的判成假的。”
AI鉴伪好比一个不断平衡的小型法庭，一边是选择“宁可错杀一千，不可放过一个”，另一边是选择最严格解释，避免伤害“无辜”。
郭丰俊希望将误报率控制在千分之一以下。但他也承认，没有一个系统能够脱离具体业务场景，必须针对不同客户做定制化服务，无法复用标准化产品。现在的基本原则是：让系统带来的损失，显著低于没有这套系统时的损失，同时不引入额外的系统性风险。
“标准”是采访中郭丰俊反复提到的一个词，没有标准，“AI鉴伪”容易变成一个被滥用的标签。但当下行业既没有国家标准，也没有通用的技术规范，“覆盖哪些伪造方式、准确率怎么算、检出率怎么测”的共识迟迟未落地。
AI技术如何跑赢造假？检出与误报如何平衡？行业需要怎样的标准？带着这些问题，合合信息图像算法研发总监郭丰俊与我们分享了他的观点。
以下为交流摘录，内容经过不改变原意的编辑：
“道高一尺，魔高一丈”：一场停不下来的攻防
21世纪：这两年AI造假的手段和趋势发生了怎样的变化？是图片造假先冒头吗？
郭丰俊：肯定是图片先起来的，因为图片的处理工具更多、门槛更低。最早可以追溯到2015年左右，GAN（生成对抗网络）技术出来以后，通过生成式的方法得到高质量的图片。但那时候生成的图像质量其实很差，有很多干扰和噪点。
现在主流的技术路线已经变了，叫扩散模型（Diffusion Model）。你可以这么理解，就像一滴墨水滴到水里，它会慢慢扩散、变得模糊，模型就是先学习“从清晰到模糊”的过程。生成阶段就是反过来，按照倒序的步骤，从模糊退回到清晰，生成质量非常高的图片。扩散模型生成的图像整体逼真度远高于传统 GAN，伪造效果好，检测难度也更高。
在图片、文本、视频三种介质中，图片鉴伪是最难的，因为文本有上下文，视频有时序上的前后帧关系，都有额外的信息可以参照。但图片是单一模态的，你只能从它本身的空间域和频率域去找线索。
21世纪：合合信息是什么时候开始提供鉴伪服务的？
郭丰俊：差不多是2019年到2020年之间，正好赶上疫情期间。那时候线上业务爆发式增长，注册、审核、认证全部挪到线上，需要用户上传大量资料和证件。其实鉴伪是我们原有业务线的自然延伸。最早我们给金融机构做的是信息提取和识别，帮他们把证件上的姓名、身份证号这些信息自动填到系统里。后来他们对上传资料有了质量要求，比如图片要完整、不能有光斑、不能对着屏幕翻拍。再往后，他们发现即使资料完整、图像清晰，也可能是伪造的，这就到了需要鉴伪的阶段。
21世纪：在你们的监测中，哪些场景是AI伪造的重灾区？
郭丰俊：从业务体量来看，图片类伪造是大头，大约占到了70%到80%，主要集中在金融、保险、电商这几个领域。图片类型包括各种证照、医疗发票、商超购物小票。别小看小票，有人用它来伪造积分、做推广活动薅羊毛，量非常大。
还有一个快速增长的新领域——出海金融业务。随着中国企业走出去，海外用户的征信材料、身份证件等成为伪造的高发地带。最典型的就是海外金融信贷业务，比如国内的一些金融科技公司出海做贷款服务，申请人需要上传身份证件、收入证明、银行流水。但这些材料如果是伪造的，一旦放款出去就变成坏账，损失非常直接。我们遇到过不少案例，造假者用AI生成一套看起来完全真实的证件和收入证明，审核人员用肉眼根本看不出来。
21世纪：这种攻防的节奏似乎越来越快。你们在实战中是否感受到造假手段的迭代在加速？
郭丰俊：这是一个“道高一尺，魔高一丈”的过程。现在AI生成技术几乎每个月都有新模型出来。有个银行客户的案例特别典型。我们最开始给他们做了一套系统，主要检测的是篡改，比如有人用Photoshop或者一些半自动化的工具，把一张脸贴到另一个人的证件照片上。系统上线后效果不错，用了挺长时间。
但是从2024年年初开始，客户突然反馈说系统的检出率大幅下降。我们一查，发现黑灰产的手段已经变了，他们不再用“贴图”的方式，而是用最新的AIGC方法直接生成一张全新的脸。这种脸没有“贴”的痕迹，因为它根本就是从头生成的。
我们赶紧把技术方案全改了一遍，不再只盯着“拼贴痕迹”，而是去识别AI生成内容的底层特征。升级完以后，检出率又回到了高位。这说明攻击手段的迭代速度确实在加快。未来模型迭代只会更快，智能体、AI终端设备的变化也会带来新的伪造形式，当智能体能自主执行多步任务时，伪造也走向了规模化、自动化。我们需要做的，是不断重新去“找”AI留下的新痕迹。
检出率与误报率的权衡
21世纪：在金融这种对误判“零容忍”的场景中，鉴伪系统能做到零失误吗？
郭丰俊：既想100%检出造假，又想零误报，这几乎是不可能的。我们的基本准则是：让系统带来的损失显著低于没有系统时的损失，同时不引入额外的系统性风险。
这里面有一个“跷跷板效应”。如果提高鉴别灵敏度，确实能发现更多造假，但也可能把真的判为假，这会增加人工复核成本，甚至引发客户投诉。反之，如果为了用户体验降低灵敏度，又可能放过漏网之鱼。
21世纪：具体怎么取舍？
郭丰俊：具体怎么取舍，跟客户的体量有关。如果客户每天有几百万笔业务，哪怕只有1%的误判，需要复核的绝对数量也是惊人的，这会严重拉低效率。所以，我们会和客户一起，根据他们的业务痛点，动态调整阈值。一般我们的标准是：如果人工能发现20个伪造样本，系统独立判断出的数量至少要达到人工的2倍以上，效果必须大幅超过人工，客户才会有动力用。
21世纪：在误判率这件事上，你们自己内部有标准吗？
郭丰俊：我们希望误报率控制在千分之一以下，最好能到万分之一。因为金融业务里图片量非常大，如果误判比例高，把真实判断成造假，用户就会投诉，银行就得处理客诉，还要面临流失客户的风险。所以我们会把这个指标压得非常狠。
但不同客户接受度确实不一样。检出率也是，比如100张假图里能检出多少张，这个数字会根据客户的实际业务风险偏好来调整。这是一个权衡的过程。
21世纪：除了精度问题，实战中还面临什么挑战？
郭丰俊：最大的难题其实是“稀释”问题。一张AI生成的图片，在社交平台、即时通讯工具里经过压缩、缩放、转码后，原本的伪造“痕迹”会被严重削弱。所以，我们的技术不能只是一个孤立的模块，必须从系统层面整体设计。
在B端部署时，我们会在系统里结合拍照、采集等环节形成闭环，减少关键信息的丢失。我们的鉴伪系统前端还有一个质检模块。如果用户上传的图片是对着屏幕翻拍的，不是实物拍摄，这个模块会直接拦截，因为它本身就不符合“原始材料”的要求。而且我们不只是看单张图，还会把这张图和关联的身份信息做交叉验证，比如检查证件号码、姓名、照片是否在逻辑上自洽。
而在直接面向大众时，我们必须主动模拟各种可能的“稀释”路径。这种方案有时也需要应用在B端，因为黑灰产会绕过B端的实时拍照采集环节。
21世纪：怎么绕过？举个例子。
郭丰俊：比如，我们遇到过一种极端情况：用户手里的证件本身就是假的，他是对着那个假证件拍了一张照。这种“实物造假+拍照上传”的组合攻击，在实验室数据集里几乎没有。这也说明了为什么现有模型的实验室准确率往往很高，但一到真实场景往往效果大打折扣。这就需要我们的鉴伪专家把实物鉴伪的知识“喂”给AI，让系统学会识别物理世界的造假痕迹。
没有标准的战场
21世纪：像ChatGPT推出过C2PA元数据标记，Adobe有内容凭证体系。和这些主流厂商的做法相比，合合的路线有什么不一样？
郭丰俊：最大的区别在于我们的思路是把“主动防御”和“被动检测”结合起来。像OpenAI的ChatGPT、Adobe的Firefly等都已接入C2PA内容凭证体系，生成时在文件里写入元数据与签名，这属于“主动防御”，前提是生成方愿意配合。而一旦生成方不配合，或元数据在截图、转存、压缩中被剥离，就需要“被动检测”兜底，就是直接分析图像的像素、频域、噪声等底层统计特征，判断其是否由AI生成。
不过，被动检测在压缩、翻拍等真实对抗场景下的鲁棒性，恰恰是这个行业公认的难题。合合的做法是两者都做。我们既做水印检测，也做无标记情况下的痕迹分析，而且把这两套体系打通了。
21世纪：作为这个行业的技术提供者，遇到过哪些比较棘手的障碍？
郭丰俊：最大的障碍是客户标准不统一。每个银行、每家金融机构对鉴伪系统的要求都不一样，有的要求误报率在千分之一以下，有的觉得百分之一就能接受。这导致我们本来想做一套标准化产品，结果不得不针对不同客户做大量定制，业务成本很高，推广效率也受影响。
更深层的问题是行业缺乏统一标准，既没有国家标准，也没有行业通用的技术规范。没有标准，系统就没法大规模铺开。前两年我们跟某单位联合制定过一个《文本图像篡改检测系统技术要求》团体标准，未来我们也很希望能跟有关部门推动国标落地。
21世纪：现在做AI鉴伪的公司多吗？市场是否存在鱼龙混杂的情况？
郭丰俊：AI鉴伪是必然趋势，但现状确实是产品能力参差不齐。目前市面上真正能对外提供专业鉴伪技术服务的并不算多。一些名义上做AI鉴伪的公司，在实际应用中，其鉴别技术能力达不到真实环境里的鉴伪要求。
还有一些大公司内部服务自身的鉴定部门，比如保险相关的企业，但他们更多是“真人专家+简单工具”的模式，不一定是用AI做深度鉴伪，能力边界非常有限。
行业里现在缺一套标准共识，比如覆盖的技术范围是什么样的，评价指标是什么。技术范围上，系统应该覆盖哪些伪造方式、测试哪些类型的图片；评价指标上，准确率怎么算、检出率怎么测。
没有这些标准共识，“AI鉴伪”就变成了一个容易被滥用的标签。
“不赚钱，但应该做”
21世纪：合合有没有和外部力量合作？比如模型厂商、官方机构，或者一些大的APP平台？
郭丰俊：我们非常愿意跟各方合作，也一直在寻找好的合作机会。大家共同提升技术、共同做内容真实性治理，这是我们很期待的方向。目前比较实质性的进展是在媒体合作和C端触达上。我们刚刚推出了一款面向C端用户的小程序，可以帮普通人检测图片、视频是不是AI生成的，现在是免费的。
从长远来看，我们需要与监测机构、监管部门、公安部门等社会各方把信息打通，建立更完善的可溯源体系。比如，当公安部门掌握了一种新型诈骗的伪造样本，如果能通过某种机制快速同步给技术公司，我们就能有针对性地升级模型政府机构的合作推动也是我们未来的路径之一。
21世纪：为什么要做一个不赚钱的C端产品？
郭丰俊：坦白讲，现在更大的问题是很多人根本不知道AI鉴伪能做到什么程度。AI造假的风险虽然在业内已经被反复强调，但公众素养提升工作，还远远没有铺开我们推出免费的C端小程序，不只是为了展示技术，更是为了让普通人体会到“原来AI造假和鉴伪是这样的”，从而提升公众对AI内容的辨别意识。这件事不赚钱，但我们认为应该做。
这个产品也在某些媒体APP里内嵌，跟我们自己小程序是一样的使用逻辑。对C端用户来说，这更像是一种公益性质的、提升社会价值的服务。
21世纪：对于未来内容真实性治理，您有什么样的畅想？
郭丰俊：我们的立场一直很明确，安全和可信，不是某一个行业的事情，而是全社会应该共同关注的课题。要让社会了解AI造假的风险、让公众具备基本的辨别能力、让行业形成可落地的标准。只有有了国家标准或行业共识，鉴伪作为一种产品才能更规范地落地、更高效地推广。我们希望通过输出技术和经验，帮助行业建立“什么是合格的鉴伪系统”的共识，作为这个领域的技术提供者，我们愿意承担这个责任。
热门跟贴