NVIDIA 在一篇新论文里提出了 ACES 评估框架,核心结论很直接:技能文档得分高,不等于智能体在运行时真的能从中受益。

技能的主要贡献论文认为在于发现与工作流顺序,而不是最终答案质量。

打开网易新闻 查看精彩图片

ACES 的做法是固定任务、模型、沙箱等变量,只对比有无目标技能两次运行的奖励差,这个差值被定义为 Skill Lift。

在生产技能实测中,结构与裁判评分和 Skill Lift 的相关性分别只有 −0.0181 和 −0.0266,几乎为零。