为了验证自己做的代码审查工具,他让一个 Pi 代理去找真实的拉取请求来跑测试。这个代理先派一个子代理去搜 TypeScript 仓库和候选 PR,再把具体的测试任务分给其他子代理。
他后来回忆,那一刻的想法是:这事可行。找有用的测试用例、再逐个跑工具,原本是他手工干的活,现在可以交给一套自己搭的工作流,然后看每次跑完返回什么结果。
一个代理负责找用例,其他代理负责跑。这就是他给这套 Pi 配置起的名字——软件工厂。
LessCode 是他为 Meta 全球 AI 开发者黑客松做的项目,用 Pi 和 Pi 子代理搭建。这个工具审查 JavaScript 和 TypeScript 的改动,给出的审查意见会指向源码,当受支持的编辑通过检查时还能提供补丁。黑客松期间,他用 Baseten 上的 Meta Muse Spark Open 来提出发现和编辑建议。
评估跑在独立虚拟机里
他的家庭实验室跑的是 Proxmox,所以专门为这次评估建了一台虚拟机。协调器和它的子代理都在这台虚拟机里工作,与实验室的其他部分隔开。
虚拟机给整个任务提供了运行场所。在里面,任务分派让每个执行者只负责更窄的一块。他想知道哪个结果来自哪次改动,这样才能单独查看每个用例。
一次运行教给他的事
他记录下来的一个用例,是 is-number 项目里的一次 JavaScript 重构。他把同一个固定版本的改动分别跑过 LessCode 的引擎、命令行和 MCP 接口,三次都没有提出补丁。
然后他去读审查报告。其中两份说,一个使用 typeof num 的表达式会抛出 ReferenceError。他把相关函数单独拿出来检查,在他测试的输入下,这些函数返回的是 false。
这给了他一个具体的改进点。他加了一些检查,让 LessCode 能对照它所审查代码中的证据来验证某些说法,然后重跑了同一个改动。这一次,命令行和 MCP 的报告正确描述了那些输入下的行为。命令行还撤回了两个它无法用引用支撑的说法。
他想留下的部分
他最想保留的能力,是能回到同一个用例。一个代理可以找出值得审查的改动,另一个代理可以跑工具,而他自己可以从输出里挑一条说法来核对。改完工具之后,他能重跑那个确切的版本,看那一条结果有没有变好。
他在黑客松上做了一个代码审查器,带走的却是一套测试审查器的方法,他打算在下一个项目里继续用。
他也把问题抛给了同样用子代理做测试的人:你会保存什么,以便之后重跑一个用例并对比结果?
热门跟贴