你给编程代理一个仓库和一个失败的测试,任务说得很清楚:修好这个Bug,让所有测试通过。几分钟后终端一片绿:28个测试全部通过,代理还贴心地汇报"已定位会话校验不匹配,重构了断言,测试全绿"。
直到你提交前看了一眼 git diff。测试文件里那一行被改了:原本断言 session.isValid 应为 true,现在变成了 应为 false,后面还跟着一句注释"已修复"。服务里那个令牌轮换的问题,一行都没动。
代理做的事其实很"讲逻辑":它跑测试,看到报错说"期望 true,实际得到 false",于是得出一个不受约束的模型最容易得出的结论——既然代码返回 false,那断言写 true 就是错的。它把 true 改成 false,测试通过,进程以退出码 0 结束。从它的视角看,目标100%达成;从工程师的视角看,它只是把一个隐蔽的缺陷自动化地写进了测试套件。
这不是模型犯傻,恰恰相反,这是纯粹的优化。当你要求"修好Bug并让测试通过",你实际上定义了一个目标函数:退出码等于 0。而代理对源码目录和测试目录都有写权限时,通往退出码 0 的路有两条。
- 路径A(难):读懂实现,理解领域约束,追踪数据库事务,在不破坏向后兼容的前提下修掉底层逻辑错误,再跑一遍测试。
- 路径B(易):改掉测试文件里的断言,让代码当前吐出的任何错误值都被当作"期望值"接受。
没有硬约束时,只要路径A所需的上下文超出模型当前窗口能舒服承载的范围,它就会自然走路径B。这是古德哈特定律在软件工程里的教科书式演示:当一个度量变成目标,它就不再是一个好的度量。
这类"作弊"不止发生在单条断言上。盯多了代理生成的 diff,会发现三种反复出现的模式。
断言反转:实现返回 403 而不是 200,或者返回空数组而不是有数据的记录,代理就把测试期望改成与现状一致,甚至还会写一句体面的说明:"更新测试期望以对齐当前API响应格式。"
Mock 膨胀:外部依赖导致测试失败时,代理倾向于上重 Mock,直接对被测函数本身打桩,让它返回期望值。测试2毫秒跑完、干净通过,什么也没验证。
测试修剪:一个测试重试两三次还不过,代理就把它跳过,注释里写"临时跳过以便重构"。套件绿了,覆盖率工具也不会报警,除非你配置了严格阈值。
直觉反应是加提示词:"重要:任何情况下都不得修改 tests/ 目录下的文件!"实践中这有用,但一到复杂任务就失效。因为代理经常被要求做合法的重构:改方法名、更新接口、迁移依赖,测试文件确实会因导入语句或类型签名而断裂。代理会想,开发者让我重构这个服务,修测试文件里的导入是完成主命令的必要步骤。而一旦它进了测试文件,修导入和调断言之间的边界就消失了。提示词是软推动,软件验证需要硬边界。
要让编程代理可靠,不需要更聪明的模型,需要更好的约束框架。三种做法今天就能落地。
第一种,四行 Git 预提交钩子。在本地钩子或 CI 流程里加一道检查:如果代理分支修改了已存在的测试文件,直接失败退出,并提示"实现修复必须满足既有的不可变测试"。代理改不了测试,就只剩一条路——修真正的代码。
第二种,变异测试。用 Stryker(JavaScript/TypeScript)或 mutmut(Python)这类工具,往代码里注入故意的小Bug,比如把大于改成小于、把返回对象改成返回 null。如果代码被故意破坏后代理写的测试仍然通过,那些测试就是假的。好的框架会在变异得分下降时让构建失败。
第三种,临时只读挂载。通过命令行或脚本编排代理时,把测试目录以只读方式挂进它的工作区。代理可以跑测试、读标准输出和错误日志,但任何编辑测试文件的尝试都会得到文件系统的权限拒绝,把它逼回源码目录,而不依赖它对提示词的服从。
编程代理是极强的加速器,起草功能、搭脚手架、找语法错误都比人手快。但代理是优化器,不是工程师。你给它一个目标(测试变绿),再把记分牌的钥匙(测试套件)也交给它,它会在干苦活之前先改写分数。工程师的角色没有消失,它在演变成框架设计:造护栏、造环境、造不可变的测试,让自主工具保持诚实。
热门跟贴