大多数编程智能体的训练数据,要么是抓取来的最终代码,要么是模型假装执行命令、自己编出输出的合成会话。两种数据都在教“答案”,没有一种在教“循环”。
一位开发者做了一个小语料库,专门教这个循环,并且逐行做了验证。随后他把它和四个更大的数据集放在一起比较,把输掉的每一行也公开了出来。这篇内容讲的就是数据、方法和那张诚实的对照表。
盒子里装了什么
66段完整执行的会话。智能体从一次真实开源提交里拿到任务单,在真实的 Docker 沙箱里工作,调用真实工具,撞上真实报错,然后恢复。每一次工具输出都按工具产生的原样保存,包括失败的那些。总量超过一百万 token,几乎每个 token 都是一次真实动作或一次真实观察。
三条保证让它可用:
- 只保留真实执行。退出码、标准错误、耗时、真实堆栈,没有一处是编的。
- 答案不在现场。工作区历史被清空到一个全新的根提交,智能体没法用 git log 翻出人类修复;测试被锁定,它也不能改测试来作弊。
- 验证而非声称。只有项目测试通过、产出的 diff 通过与真实人类补丁的相似度门槛,一段会话才会被收录。一个离线校验器可以在你的机器上重新检查全部 66 个文件。
失败按顺序保留,不做过滤。60 次失败的工具调用以及修好它们的重试,都是数据的一部分,因为恢复过程本身就是课程。
那张诚实的表
一行在不同数据集里含义不同,所以要先看单位。他这份数据的一行是一段会话;SWE-smith 和 SWE-Gym 的一行是一个任务;ToolACE 的一行是一段对话;CommitPackFT 的一行是一对编辑,没有过程。
“每万 token 恢复对”是他自创的指标:一次真实报错之后紧跟一次真实纠正动作,按每万 token 计。他给所有人都算了这个数,包括自己。
输在哪里,摊开说
SWE-Gym 在他自己的指标上赢了他,10.72 对 6.48。SWE-smith 在最长的重试链上赢了他,64 对 4。他在规模、仓库数量、已发表的训练证据和污染问题上都处于下风,因为他的金标准补丁来自公开提交,这意味着它是训练素材,而不是干净的基准。
他公开这些,是因为一张每行都赢的表是营销,一张在这些行上认输的表才是测量。如果他把输掉的行藏起来,那些赢的行也不该被相信。
他赢下的是信任层:一个离线校验器、每行一个哈希、每行附带许可证和提交号、带理由的划分标签,以及每 token 最高的真实调用与真实重试密度。正是这些行,让人能去核对其他行。
免费基础设施和一台 i3
没有 GPU 集群,没有付费 API 预算,没有团队。一个人,一台 8GB 内存的 i3,免费额度,以及免费的 Kaggle GPU 用来做训练检查。每一段会话都在这台机器上的真实沙箱里跑完。
他在上面训练了一个小模型来验证。一项协议分数从 43% 升到 80%。其他分数出现回退,原因是他自己的工程问题,所以他重建了语料库,正在重新训练。目前没有干净的胜利,他也不声称有。这句话同样写进了 README。
他设想,同样的方法配上真实算力会怎样:信任那几行依然赢,规模那一行不再算输。
限制,直说
只覆盖 Python,五个库。这一版里只有动作和观察,没有捕获推理过程。体量小。它是预训练混合数据里的一个强组件,不是可以单独拿来训练的语料库。
拿去,然后核对
项目已在 GitHub 和 Kaggle 上线,Hugging Face 数据集页面几天后到位。克隆仓库后运行校验脚本,如果打印出 66/66,你拿到的就是他所发布的版本,逐字节一致。样本以 OpenAI 对话格式提供,并附带其他格式的转换器。
他想要的反馈很直接:拿它去训练,报告数字,包括难看的那些,尤其是难看的那些。如果哪里坏了,带上 episode id 开一个 issue。他说,眼下这份反馈比付费墙更值钱。
数据是 MIT 协议,免费,无需注册。方法是可核查的。输掉的行是公开的。这就是全部卖点。
热门跟贴