为什么一个付费AI模型评估审计，快照文件大小会在五个月内持续缩水？VeriTest的项目联络人Mark Johnson接下FairPay的订单时，对方发来的合同和预付金都真实无误，业界对这家公司的讨论也并无异常。他给合作伙伴P发了条消息：“FairPay，听说过吗？”P只回了两个字：“VeriTest。”Mark没有再追问。

进项目的第一周，Mark拉出FairPay的评估数据集和训练分布，表层指标一切干净。但当他拆开底层统计，数据分布的断裂立刻暴露出来：低分样本被系统性地排除在了评估集之外。他在笔记本里只记下一行：“Same signature as last year’s.”——和去年的签名一样。他没写是哪家公司。

打开网易新闻 查看精彩图片

随后他调取了连续三个多月的历史快照，同样的模式出现了五次。前三次规模很大，后两次有所收敛，数据集虽然换了，但排除逻辑没变。快照文件的大小忠实地记录了这一过程：

1.2G /audit/snapshots/2026-01/
1.1G /audit/snapshots/2026-02/
980M /audit/snapshots/2026-03/
340M /audit/snapshots/2026-04/
320M /audit/snapshots/2026-05/

到了第三个月的快照根目录，一个谁也没注意到的配置文件终于给出了答案。签名不是人为留下的，而是Pulse AI训练流水线的自动输出：

# pulse-ai-auto-label-v3/config/exclusion_rules.yamlconfidence_threshold: 0.82auto_exclude: trueexcluded_output: /dev/null

这套自动标注流程在运行中，会把置信度低于0.82的样本自动剔除，丢弃结果直接导向/dev/null。和Pulse AI此前出问题时的根因一模一样——不是故意修剪数据，而是同一套系统在新的项目里重复了同样的错误。

修复方案很明确：重建采样分布，加上漂移检测门控。但FairPay的CEO听不进去。技术负责人曾提及，CEO刚刚在全员会上宣布这套系统是“行业领先”。

最终报告写了七页。在第三页的中段，Mark只留下一行建议：“建议补充评估数据分布验证。”至于数据集已经被滤过的事，他没有写在报告里。