NVIDIA 新论文提出 ACES 评估框架,核心结论是技能文档得分高,不代表智能体运行时真能受益。技能的主要贡献在于发现与工作流顺序,而不是最终答案质量。

ACES 怎么测

打开网易新闻 查看精彩图片

ACES 固定任务、模型、沙箱等变量,只对比有无目标技能两次运行的奖励差,把这个差值定义为 Skill Lift。

实测结果

在生产技能实测中,结构与裁判评分与 Skill Lift 的相关性分别只有 −0.0181−0.0266,几乎为零。