智能体执行完一个任务，中间调了哪些工具、拿到什么结果、最后回复得对不对——这些散落在各处的步骤，怎么统一打分？DAIR.AI 的 Elvis Saravia 发布了一份 Jev-as-a-Judge 交互式指南，专门讲这件事。

这份指南的核心，是用 TypeSafe AI 的决策模型 Jev 来做评判者。评估对象不是单条回复，而是智能体的完整执行轨迹。

打开网易新闻 查看精彩图片

一条轨迹里都有什么

按指南的拆法，一条完整轨迹包含三部分：请求、工具调用及其结果、最终回复。评估要覆盖的是这整条链路，而不是只看最后那句话说得漂不漂亮。

这也是智能体评估和普通对话评估的分水岭。中间步骤错了，最后蒙对答案，轨迹本身依然是有问题的。

打开网易新闻 查看精彩图片

为什么用决策模型当裁判

指南给出的路径是让 Jev 承担评判角色，对轨迹做评估。它是一份交互式指南，边看边动手，而不是只讲概念。

对正在搭智能体的开发者来说，这套思路解决的是一个很实际的问题：轨迹数据攒了一堆，缺一个稳定的判断标准。