一个智能体在演示里跑得行云流水,放到真实客户面前却频频出错。这两者之间的距离,不是换个更大的模型就能填平的。
真正卡住大多数团队的,是模型外面那圈"无聊的机械结构":确定性、评估、校准过的置信度、分层护栏、审计留痕、可观测性。模型只是这套系统里一个被包住的组件,其余部分都是普通但扎实的工程。
一句话讲清核心矛盾
大模型是概率性的,生产环境要的是确定性保证。你没法让模型本身变得确定,但可以把它的职责压缩到最小——只保留那个真正需要判断力的决策点,然后用可测试、可拦截、可审计、可观测的确定性机制把它包起来。
换句话说,模型是系统里唯一"不确定"的那块,其他所有环节都应该是普通工程能搞定的东西。
从演示到生产,要爬七级台阶
这套成熟度模型把过程拆成从0到6的层级,每一级都默认下一级已经打好。找自己最弱的那一级,按顺序补。
- 0 笔记本级:一个提示词、一个模型、一条顺利路径的演示。破绽是"在我举的例子上是好的"。
- 1 确定性:智能体只能提议、绝不直接执行;每个能力对应固定流程;模型被限制在一个节点里;循环有边界。破绽是智能体能写业务状态,行为取决于它自己游荡到哪条路径。
- 2 评估:把评估做成持续集成的关卡;建立基线来发现漂移;用生产数据做影子评估。破绽是改完提示词只能靠祈祷,评估还躺在笔记本里。
- 3 置信度:组合出经过校准的置信度;设定自动与人工的分流阈值;抽样做裁判。破绽是直接拿模型的原始置信度做决策,没有弃权机制。
- 4 安全与治理:纵深防御的护栏;在边界处理个人身份信息;只追加的审计账本;有作用域限制的记忆。破绽是只有一个审核过滤器,日志里是原始输入,审计记录还能被改。
- 5 可运维性:决策过程可观测;成本可控;模型路由与降级;一键熔断。破绽是质量和成本问题你从账单和客户那里才知道。
- 6 生产级构建:构建过程本身有纪律——给编码智能体一套操作系统,让并行智能体围绕决策日志工作。破绽是知识靠口口相传,每隔几周就要把决策重新吵一遍。
顺序不能乱:确定性先于评估,评估先于信任置信度,置信度先于自动化,安全先于规模化,可观测性先于睡个安稳觉。多数团队在0级很强,却盼着5级的能力。
90秒自测:你现在到底在哪一级
对照下面这些条目,勾出今天已经成立的:
- 智能体只能提议,由另一个组件在审批后执行变更。
- 每个能力都是固定的步骤序列,模型只是其中一步。
- 提示词或模型改动导致质量回退,会被持续集成拦下。
- 每次发布都和基线对比,而不只是看是否过了及格线。
- 决策带有组合且校准过的置信度,低置信度转人工。
- 护栏是分层的(输入、输出、个人信息、验证、裁判),且失败时默认关闭。
- 敏感数据在边界被脱敏或哈希,审计账本只追加。
- 能在仪表盘上看到决策、护栏拦截、token成本和人工接管率。
- 能在几秒内停掉自动决策,不需要重新部署。
- 来之不易的决策被写进日志,人和智能体都能读。
勾中不到一半,说明你比演示看起来的要早期得多。
每一级都有对应的深挖清单
这套方法给每一层都配了专门的拆解文章。第一级确定性下,讲怎么让智能体变无聊、一次智能体请求的解剖、用结构化输出替代自由文本、以及有边界的ReAct循环——那是循环唯一该出现的地方。
第二级评估,讲评估如何成为部署关卡、以及生产环境里的漂移检测。第三级置信度,讲怎么在置信度上做构建、用大模型当裁判、以及人在环路里的交互设计。
第四级安全与治理,覆盖纵深防御护栏、边界上的个人信息处理、只追加的审计账本、多租户智能体的记忆模型、以及种子与运行时的区分。第五级可运维性,从六边形架构、可观测性、成本控制,到模型路由与降级、熔断与优雅降级、智能体身份、平台真正需要的基础设施、以及如何让流水线跑得更快。
第六级讲构建本身:用并行的自主智能体跑一次构建、决策日志、以及给编码智能体的一套操作系统。
结论其实很反直觉
你没法靠更信任模型来达到生产级,只能靠更多地约束它——在它周围建起可测试、可度量、可审计、可观测的系统。按顺序爬这七级台阶,每一篇拆解都是其中一级。
热门跟贴