商家让 Agent 巡检昨日投放,它交回一份结构完整的报告。Trace 一拉,查的却是当天数据。报告看着像对的,任务其实没完成——这正是商家广告助手评测要解决的第一道坎。
商家广告助手面向投放巡检、异常诊断、数据报告和计划编辑等场景。它要读取持续变化的真实账户数据、调用多个工具、遵守投放规则,必要时直接调整投放计划。判断它能不能上生产,不能只看最终回答像不像对的,还要验证整个任务是否被正确完成:意图和时间范围理解准不准、数据与工具调用对不对、关键规则守没守、最终账户状态或交付物符不符合预期。
公开 Benchmark 的成绩不能直接当上线依据。它们覆盖的任务、业务规则和数据与广告投放不同。可复用的是任务设计、环境构造和判定方法,Task 集得围绕广告业务自己建。
两条路径凑出一套考题
该拿什么任务来考它?只从线上 Bad Case 入手,样本容易集中在已经暴露的错误上;只靠团队主动构造,又难回答关键流程和风险是否覆盖。实践下来是两条互补路径:从业务 SOP 自顶向下拆解,保证核心流程和关键分支不遗漏;从线上使用和离线测试的 Bad Case 自底向上补齐,覆盖设计阶段难以预见的边界与风险。
拆解时把每个 Skill 还原为业务状态图,明确六类要素:业务状态、数据依赖、条件分支、提前停止点、能力边界,以及跨 Skill 的转交点。以到店 KA 每日巡检为例,主流程是状态驱动的分支流程,不是从头跑到尾的固定链路:
- 未发现异常门店时,跳过投放层下钻,但仍要生成巡检报告;
- 账户余额不足时,只产生账户级预警,不单独触发门店下钻;
- 只有发现问题投放后,才进入分层归因;
- 命中预算、余额、状态或时段等直接根因后,停止后续弱证据检查;
- 用户实际要做日报复盘、计划诊断或计划编辑时,转交相应 Skill 并结束当前巡检。
Bad Case 则被抽象成可复用的失效模式。前述“查错日期”会被归为“日期理解与计算失效”,再扩展覆盖今日、昨日、历史日期和周末等情况。两条路径合起来,为 KA 每日巡检设计了六类共 41 个评测场景。路由转交与核心主流程同等重要:生产可用的 Agent 不仅要知道该做什么,还要知道什么时候不该启动完整巡检,而应追问、转交或拒绝。
成功标准要拆到可取证
收到一份报告就算完成吗?拆成三层看:执行流程是否遵循业务 SOP,包括工具调用顺序、必要步骤覆盖、有无低效或重复调用、条件分支是否正确执行;执行过程和结论是否有据可依,包括参数值是否与任务上下文语义一致、工具选得对不对、输出是否忠实于工具实际返回的数据;巡检报告是否可交付,包括内容是否缺失、必要模板是否输出、结论是否存在模糊表述。
这些检查项构成评分细则。必要步骤、顺序调用、正确工具、参数一致性、参数合规性、输出忠实性、输出完整性、输出遵守必要模板作为成功必需项;低效与重复工具调用、规划效率、结论表达等指标用于质量分层和问题诊断,不影响任务是否成功。判定时,能从 Trace 精确取证的交给确定性 Grader,需要理解业务语义和证据关系的交给 LLM Grader。
指标汇总为五个维度:任务完成率反映整体成功情况,Pass@k 和 Pass^k 分别衡量能力上限与执行稳定性,工具调用顺序命中率、必要步骤覆盖率等帮助定位成败主因,规划效率、结论确定性观测输出质量,Token、LLM 调用轮次、端到端时延和 TTFT 衡量资源消耗与运行效率。
先校准尺子,再谈模型变强
评测器本身也会出错。OpenAI 审计 138 道难以攻克的 SWE-bench Verified 任务时,发现其中 59.4% 存在任务描述或测试设计缺陷。商家 Agent 同样如此:Trace 解析、确定性 Grader 或 LLM Rubric 一旦有偏差,就会导致错误归因。
确定性 Grader 的校准重点是规则有没有准确表达业务约束。早期 Task 用线性顺序描述工具调用,容易把合理的并行与汇聚路径判为失败;人工复核发现这类假阴性后,复杂路径升级为 DAG,节点表示必要工具调用,边只保留真实的数据依赖。LLM Grader 则重点验证与业务专家的语义一致性,证据不足的高风险问题允许返回“无法判断”,而不是硬给二元结论。
这里要分清:评测误判减少说明尺子更准,不代表 Agent 变强。只有用校准后的同一套标准重跑 Benchmark,才能判断能力是否真的提升。评测器也需要持续维护——自动回归、稳定抽检、触发复核三种机制结合,人的职责是校准标准、处理争议、复核高风险结果和识别新的失效模式。
从“不会做”到“不能稳定做对”
任务失败只是结果,不是根因。分层指标把问题定位到路由、必要步骤、工具参数、条件分支、事实依据或最终输出等具体检查项,再直接查看关联的局部 Trace、工具参数和返回结果,通常就能确认原因。只有指标与 Trace 结论冲突、局部证据不足或同一问题随机出现时,才进一步查看完整 Trace、重复执行或补充控制变量验证。
以 KA 每日巡检为例,分层指标显示问题集中在四方面:配置职责混杂、命令路由不唯一、条件分支和停止条件不明确、稳定逻辑过度依赖模型。优化遵循同一原则:减少模型需要记忆和自由判断的确定性约束,把解析、计算和筛选交给确定性代码,模型聚焦流程调度、条件理解和业务表达。
用同一套 Benchmark 回归后,能力上限和执行效率均明显提升,但 Pass^k 仍显著低于 Pass@k。主要瓶颈已从“不会做”转为“不能稳定做对”,这直接影响了后续的优化思路。
离线 Benchmark 能验证能力、稳定性、事实性、Token 和时延,却不能直接等同于商家业务收益。当前观测到的过程指标和业务结果变化,由于使用商家数较少且缺少同期对照组,还可能受季节、活动和商家经营状态影响,只能视为业务价值的初步信号,而非因果收益。
把评测做成可重复运行的流程
模型、Skill 和工具持续更新,团队需要复用任务与判定标准、批量执行评测,并保留问题复核和版本比较所需的证据。借助图灵评测平台,评测准备、执行判定和分析回归被组织为可重复运行的流程。
比较两个版本的巡检完成率,先要确认它们面对同一批任务和同一套要求:Task 集管理维护任务输入、前置条件和预期行为,环境配置复制线上 Agent 配置作为基线,明确模型、Prompt、Skill、工具和权限。真实账户数据会随时间变化,运行日期、账号和数据状态也要核对——复制配置不等于固定了业务数据。
Rubric 被配置为可执行检查项,成功必需项决定任务是否完成,质量诊断项用于分析优化。根因分析时,团队可从评测报告下钻到具体 Task、失败检查项和执行片段。人工质检抽检 LLM Judge 的判定结果,以人机一致率衡量其与业务专家判断的一致程度。比如工具返回“投放消耗下降”,Agent 写成“投放效果变差”,LLM Judge 判为忠实,业务专家判为不通过——分歧促使团队在 Rubric 中明确“结论必须有数据支撑”,再用历史样本验证一致率是否改善。
Task 集、Evaluator 和 Pipeline 保留为可复用的评测资产。Pipeline 串联任务批量执行、结果采集和机器评测,并关联 Task、执行环境及 Agent 版本。修复一个失败任务后,还要检查对其他场景的影响:显式化停止条件后,既要验证“无异常时不继续下钻”,也要检查“存在异常时仍能完成必要诊断”。
业务 Agent 评测体系不是一次性建成的测试平台,而是一套从业务任务出发,逐步形成场景、指标、证据、诊断和迭代闭环的业务基础设施。Task 和指标不必照搬,但这条建设路径可以复用:从业务任务出发而非公开数据集,从业务风险推导指标,指标既能衡量也能诊断,评测器和 Agent 分别迭代,离线 Benchmark、线上过程指标和业务结果共同构成证据链。
热门跟贴