做Agent的人大概都遇到过这种尴尬：上线前跑分漂亮，上线后用户骂声一片。问题出在哪？LangChain团队的divyasan0用Q&A形式把Agent Evals的常见问题一次性答了，给出的是一套可落地的工程流程，而不是又一篇概念科普。

从真实trace起步，别从想象起步

打开网易新闻 查看精彩图片

这套流程的第一步是从真实trace起步。不是先设计评测集，而是先看Agent在真实场景里到底跑了什么。接着是小数据集建立基线——先有一个能对比的起点，再谈优化。失败案例要回流迭代，把线上翻车的样本重新喂回评测流程。

评测本身分两层：离线/在线分层评估。离线跑得动、可复现，在线看真实分布，两边不能混为一谈。

代码优先于LLM裁判

一个容易被忽略的原则是代码优先于LLM裁判。能用规则、断言、脚本判定的，就别急着上大模型当裁判。LLM裁判成本高、稳定性差，适合处理代码判不了的模糊语义，而不是当默认选项。

流程里还提到benchmark这一环。基准测试提供的是横向参照，但它替代不了基于自己业务trace建立的评测集——别人的分数再高，也不代表你的场景能跑通。

整套流程串起来看，逻辑很清晰：

  1. 真实trace起步，拿到真实分布
  2. 小数据集建基线，先有对比锚点
  3. 失败案例回流，持续迭代
  4. 离线与在线分层评估，各管一段
  5. 代码判定优先，LLM裁判兜底

对正在搭Agent评测体系的团队来说，这份Q&A的价值在于把顺序讲清楚了。先做什么、后做什么，比堆一堆指标更有用。