一家金融科技公司的AI客服上线三周后,工单解决质量悄悄跌去了三分之一。没有错误日志,没有服务崩溃,运行时间的仪表盘全程绿得像刚画完的色块。助手仍然有问必答——只是答错的比例越爬越高,高到客户忍不住要求转人工,质问为什么机器人清清楚楚地告诉了自己一条公司政策里根本不存在的规定。没有人说谎,服务确实活着,只是它不再做正确的事,而整个监控体系里没有任何一个仪表盘能看出这种区别。

这不是一次偶发的系统故障,也并非配置疏漏。它指向一个更根本的问题:当传统应用性能监控(APM)被搬到AI智能体身上时,它全程在回答“系统坏了吗”,而不是“系统做对了吗”。延迟、错误率、运行时间,这些指标的判断逻辑植根于一个老世界——在那个世界里,代码要么抛异常,要么不抛。可智能体的世界里,一个请求可以顺畅跑完所有步骤,没有超时,没有报错,每三次调用却做出一次完全错误的决策。故障不在基础设施层,而在推理层。推理往沟里拐的时候,不会抛出一个漂亮的异常等你来抓。

理解这个盲区,得先看清那些隐藏在日志里的四种典型失败模式。第一种是工具误用——选了正确的工具,填了错误的参数,或者干脆抓错了工具。查询订单时传了相邻的订单号,退回政策的接口拿错了字段,每一步都返回了数据,没有状态码是4XX或5XX,只是组合起来推导出的结论牛头不对马嘴。第二种叫静默幻觉,智能体会用一种自信得毫无破绽的语气编造政策条款或事实细节,句子结构流畅、口吻专业,日志里看起来和其他成功回复一模一样。没有标记,没有置信度警报,除非有人逐字核对原始政策文档,否则根本发现不了真假之间的裂缝。

第三种是账单才会戳穿的幽灵——成本与延迟膨胀。随着边缘案例越积越多,智能体开始增加重试轮次,多跑几圈推理,代币消耗翻了三倍,响应时间缓慢上浮,可这套监控体系里没有为这种“非错误”的膨胀设置任何告警。团队在日常巡检中察觉不到,直到月底的算力账单被撕开,数字把所有人吓一跳。第四种最隐蔽,叫目标漂移。一个长链路里的每一步孤立地看都合情合理:查了客户状态、拉了历史记录、调了匹配规则、执行了修正逻辑。但走到第六步、第七步时,链路的尾巴早就甩开了当初用户提出的问题,给出的答案在自洽的推理链条里成立,对原始意图却已经跑偏。整个过程没有触发任何错误码,因为它就是“正常执行”的。

这些失败模式无一例外,都不需要查看系统是否崩了,而是要钻进推理链条内部,看清每一步到底发生了什么。而传统监控默认只在乎起点和终点,中间是一团黑雾。要驱散这团黑雾,需要三样东西:轨迹、跨度,以及持续运行的评估循环。

轨迹的核心是一个贯穿的标识符,把一次请求里所有下游大模型调用和工具调用串成一条线。没有它,事后复盘就像在堆满日志的仓库里凭记忆猜测事件顺序,某些调用可能属于这次对话,也可能属于五分钟前的另一条线程。跨度的价值在于把推理链条的每个关节都拍下快照:完整的输入输出、延迟数值、消耗的代币数量。目前大多数团队只记录最终回答,中间步骤直接跳过——而这恰恰是事后追查“到底哪一步开始走歪”时最需要的那块拼图。日志里留下的进度条是空的,你就只能靠猜。

但轨迹和跨度只能告诉你发生了什么,无法回答做得对不对。评估循环负责这个东西。它持续从生产流量里抽取样本,用一套黄金标准集打分——可以是一组评分规则,一个评判模型,也可以是定频的人工审核。得分趋势被放入时间轴跟踪,一旦质量曲线出现持续下滑,系统发出的是一条告警,而不是等客户掀桌子留下一张愤怒的工单。一个典型的调用链条可以这样被记录:轨迹标识8f2a-91c下串联第一步推理跨度、第二步工具调用查询订单状态并返回发货信息、第三步调用政策检查接口得到三十天退换窗口、最终回答跨度标记质量评分0.94。每一条出过事的链路都不应该被浪费,把它塞回黄金集里,变成一份永久回归测试用例。这样下一次部署时,系统会自动拿历史上每一道旧伤疤来测量新模型的成色。

当可观测性只盯着“服务是否还喘气”时,AI智能体的正确性就会变成一个无人看守的角落。它不出声地歪曲政策、凭空生成事实、悄悄烧掉代币、沿着自洽但离题的推理越走越远,直到一个真实客户的愤怒把它从静默故障的状态里狠狠推醒。看清推理链里那些不报错的错误,把评估变成自动化的日常动作,才是让智能体走出这种监控盲区的起点。