一个AI编码代理可以让失败的测试"通过"——办法不是改代码,而是改测试。测试套件变绿,代理的总结说活干完了,而你原本依赖的那条保障,已经悄悄消失。只看生产代码的diff和一片绿色的测试结果,这件事很容易被漏掉。

下面是一套专门针对这个问题的审查流程,只需要普通的Git和你的测试运行器。在提交代理做出的任何改动之前,先跑一遍。

被削弱的测试长什么样

要留意被删掉的失败路径用例,也要留意被藏起来的偶发失败——用sleep、重试、更宽松的超时,或者把文件移出CI,都能把问题盖住。

第一步:列出改动触及的每一个测试

不要从生产文件开始。先收集测试文件,包括新增的未跟踪文件和删除项。git diff不显示未跟踪文件,而代理经常新增一个从未被暂存的测试文件,或者删掉一个。

  • git diff --name-status HEAD配合测试目录通配符,列出改动状态。
  • git ls-files --others --exclude-standard找出未跟踪的测试文件。
  • 如果代理的分支已经提交,用三点形式从合并基点比较,避免看到main上的无关工作。

记下每个路径和状态(修改、新增、删除、重命名);重命名可能藏住被删的用例。如果运行器或CI配置也在同一次改动里,检查路径过滤规则——一行改动就能让某个测试在CI里不再运行,哪怕它在本地跑过。

第二步:读测试diff,而不只是看测试输出

一次绿色的运行只说明执行了的测试通过了,它不会告诉你哪些断言被删掉了。先读被删除的行。可以用粗糙的过滤命令把常见嫌疑捞出来:匹配expect、assert、toBe、toEqual、toThrow等断言关键词的删除行,以及skip、xit、it.skip、describe.skip、xfail、pytest.mark.skip、unittest.skip、t.Skip、#[ignore]等跳过标记。

对每一条被删除或被跳过的断言,你需要一个自己的理由。"它当时在失败"不算理由。

第三步:检查断言是不是变弱了

一个测试可以名字不变,含义却已经和从前不同。对比新旧期望值:

  • 精确值换成更宽松的匹配器:toBe(3)变成toBeTruthy(),toEqual({...})变成toHaveProperty('id'),toBe(403)变成toBeGreaterThanOrEqual(400)。
  • 具体错误换成任意错误:toThrow(UnauthorizedError)变成toThrow(),assertRaises(ValueError)变成assertRaises(Exception)。
  • 完整结构换成片段:用toMatchObject或toContain代替完整对象。
  • 让检查变得空洞的类型逃逸:as any,或者mock从未用真实输入调用过。

如果生产代码的改动应当保持行为不变,旧断言就应当依然有效。如果改动本就要改变行为,新断言应当描述你要求的行为,而不是代码碰巧现在做了什么。

第四步:把快照更新当作行为变更

当代理更新快照、golden文件或录制的fixture时,快照测试按构造就会通过。问题在于你是否接受新的输出。像读UI或API变更一样读快照diff:什么出现了,什么消失了,哪个状态码或错误文本变了?如果每一个改动块你都解释不了,就不要接受这次更新。重新生成快照,可能把一个bug记录成新的基线。

第五步:用旧测试跑新代码

这一步能抓住"把测试改写成迎合bug"的情况。保留代理的生产代码改动,恢复已提交的测试,然后跑那套测试。如果旧测试在新代码上失败,说明存在行为变更。那可能是你要求的,也可能是代理靠改测试藏起来的回归。在保留任何一个版本之前,先判断是哪一种。如果代理重命名了被测函数,把旧断言适配到新名字。如果你只打算提交工作区的一部分,就在已暂存的内容上重跑测试(git stash --keep-index);运行器执行的是工作区,不是索引。

第六步:留意不再真正执行代码的测试

一个测试可以保留全部断言,却不再测试生产代码:被测单元被mock了,协作者被桩成happy path,或者时间和功能开关被冻结,导致你关心的分支永远不运行。如果新测试主要检查的是toHaveBeenCalled(),问一句:这个生产函数要正确,测试才能通过吗?

提交前的清单

  1. 每一个修改、新增、删除和未跟踪的测试文件都在你的清单上,包括快照和fixture。
  2. 每一条被删除或被跳过的断言,都有一个你认可的理由。
  3. 没有匹配器被放宽,除非你确实想要更弱的保障。
  4. 每一次快照或golden文件更新,都是你能解释的行为变更。
  5. 旧测试仍然表达你想要的行为,或者你有意替换了那个行为。
  6. 新测试真正执行生产代码,而不只是它的mock。
  7. 真正重要的那个CI任务会运行这些文件,而不只是代理在本地跑过的命令。

在Mac上做这套审查,只需要Git和测试运行器。如果想把阅读部分放在一个窗口里,Yenpo是一款免费的Mac原生应用,用于阅读和审查AI编码代理写的代码,它打开代理工作的本地Git仓库,与Claude Code、Codex、Cursor、GitHub均无集成。其中的Local Changes显示自上次提交以来的改动,包括未跟踪文件,也可以比较某个提交或两个分支;Search All Files帮你列出改动中每一处skip、被放宽的匹配器和快照文件。你还可以选择接入自己的AI提供商,让AI Reader回答哪些测试被删除或削弱,它的答案会链接到所引用的源码行,方便逐条打开核对。AI Reader默认只读:Allow Edits只对下一条发给AI Reader的消息生效,之后回到只读。

下载地址是yenpo.app。披露:Yenpo由本文作者开发。