七个同事一起去了LangChain的Interrupt大会，回来之后聊得最多的不是框架，而是评测。这是Indicium AI的两位高级FDE（前置交付工程师）Bruno Alho和Gonçalo Lourenço写下的参会复盘。他们在客户现场帮人搭AI智能体，进场时好奇有什么新东西，出场时脑子里装的全是"怎么把智能体送进生产"。

打开网易新闻 查看精彩图片

产品发布当然有，先讲这个。大部分消息围绕LangSmith——LangChain用来观测和评测大模型应用的平台。两个发布比较扎眼：一是智能体可以直接跑在LangSmith里，用LangChain最新的Deep Agents包，构建、运行、监控在一个地方完成；二是BYOC（自带云），此前只有自托管和用LangChain云两条路，现在多了第三条——平台跑在客户自己的云账号里。跟客户安全团队开过数据驻留会的人，都懂这条为什么重要。

但这是一场厂商大会，卖栈的成分少不了。真正让他们在回程路上讨论的，不是产品。

问题已经从"能不能做"变成"敢不敢信"

行业的问法变了：不再是"我们能不能搭一个智能体"，而是"我们能不能在生产里信它，并且证明它可信"。第二个问题跟选哪个框架无关——用LangGraph、用别的框架、还是自己写代码，看起来都一样。每个团队都会撞上三件事：

  • 评测：发布前后，怎么知道智能体做的是对的事？
  • 可追溯：它出错的时候，能不能看见为什么？
  • 治理：能不能向客户、审计或监管展示它做了什么、谁签的字？

好工具能让这三件事都变容易，但养成习惯还得靠自己。智能体可以用任何东西搭出来，让它达到生产标准的，是围在它周围的那层东西：每一步的轨迹，同时喂给评测和治理。

评测就是智能体的测试套件

没人会不合入没跑过测试的代码——好吧，没人会承认。智能体也该享受同等待遇，只是多一个变数：大模型输出每次都不一样，发布前查一次不够。大会上的分享把评测分成三个阶段：

  • 离线评测：每次发布前，对着精心整理的输入与预期行为数据集跑一遍。改了提示词、模型或工具，它告诉你哪里坏了。
  • 在线评测：用大模型当裁判、简单启发式规则和用户反馈，持续给真实生产流量打分，抓你数据集从没想过的漂移和边角情况。
  • 人工复核：把棘手案例交给领域专家，他们的标注回流进离线数据集，每一次失败都变成未来的一个测试。

这个反馈闭环是团队最常跳过的一环，也恰恰是让智能体真正变好的那一环。离线评测把关每次发布，在线评测盯着生产，人工复核把硬骨头变成数据集里的新条目。

最贴合这个主题的发布是LangSmith Engine里的红队测试。它会读智能体的轨迹和代码，弄清这个智能体是干什么的，然后去探测生产里还没发生过的失败，比如幻觉、无视系统提示词规则。每个被确认的问题都附带根因、修复建议和进评测数据集的测试用例。说白了，它替你写了你忘了写的测试。目前还是私测，只对跑在LangSmith Deployment上的智能体开放，但方向是对的。探测只有在失败被确认后才升级为问题，不会被误报淹没；每个问题再分两路：一个在你看到之前就已测过的修复，以及直接进评测数据集的新用例。

可追溯：把解题过程写出来

还记得数学老师要求你写出解题过程吗？智能体也该守这条规矩。一个最终答案，背后是一串检索、工具调用和大模型调用的链条。只记答案，答错了就是悬案；记下每一步，它就变成一个带地址的bug。一份有用的轨迹要为每次运行记录：每次大模型调用的输入、输出、延迟和成本；每次工具调用和返回结果；每次检索和召回的文档；智能体在每个分支上做的决策。

有了这些，你就能把一个坏答案追回它的原因——是检索器拉错了文档，还是工具返回了过期数据。修好，再把这个案例加进评测集，让它没法偷偷溜回来。只记最终答案，错误的检索是隐形的；每一步都记，它第一个跳出来。

治理：把收据留好

这是评测和可追溯为业务兑现价值的地方。为调试收集的轨迹，同时也是审计线索：智能体看到了什么、做了什么、为什么。另一半是在关键处把人留在控制环里。人在环检查点让智能体在执行高影响动作前暂停——发邮件、改记录、批付款——等人确认。对受监管行业的客户来说，这往往决定一个试点能不能走到生产。低影响动作直接跑，高影响动作等人，无论哪种，动作最后都落进审计轨迹。

两位作者把这份清单带回了Indicium AI的项目：第一天就建评测数据集，哪怕很小，每发现一次失败就扩一条；提示词、模型或工具每变一次就跑离线评测；持续给生产流量打分，不是只在发布时打；记录每次运行的每一步，不只是最终答案；任何难以撤销的动作前加人工审批；跟客户提前约定"好"长什么样、怎么量。这些都不需要特定厂商，需要的是把智能体当普通生产软件对待的纪律。

他们给明年大会提了两个愿望：多讲"什么坏了、我们怎么修的"，少讲"什么做对了"；评测实操工作坊的场地再大点——今年这些工作坊满得太快，他们一个都没挤进去。

一句话总结这趟参会的收获：用一个下午选框架，然后把项目剩下的时间全花在评测和轨迹上。框架会来来去去，这三个习惯会留下来。