NVIDIA 新论文提出 ACES 评估框架,核心结论是技能文档得分高,不代表智能体运行时真能受益。技能的主要贡献在于发现与工作流顺序,而不是最终答案质量。
ACES 怎么测
打开网易新闻 查看精彩图片
ACES 固定任务、模型、沙箱等变量,只对比有无目标技能两次运行的奖励差,把这个差值定义为 Skill Lift。
实测结果
在生产技能实测中,结构与裁判评分与 Skill Lift 的相关性分别只有 −0.0181 和 −0.0266,几乎为零。
NVIDIA 新论文提出 ACES 评估框架,核心结论是技能文档得分高,不代表智能体运行时真能受益。技能的主要贡献在于发现与工作流顺序,而不是最终答案质量。
ACES 怎么测
ACES 固定任务、模型、沙箱等变量,只对比有无目标技能两次运行的奖励差,把这个差值定义为 Skill Lift。
实测结果
在生产技能实测中,结构与裁判评分与 Skill Lift 的相关性分别只有 −0.0181 和 −0.0266,几乎为零。
热门跟贴