把团队真正在生产环境跑的AI Agent栈画出来,会得到六个层和三条纵向切面。层从上到下依次是:模型、框架、工具与MCP、记忆、持久运行时、计算与沙箱。纵向切面横跨所有层:身份与访问、护栏、可观测性与评估。

打开网易新闻 查看精彩图片

预算和注意力大多花在上面三层。最常被漏掉的那一层,是框架和它运行其上的计算之间的运行时,通常由一个检查点保存器(checkpointer)加一个重试装饰器顶替。而恰恰是这一层,决定了崩溃一次要付出多少代价。

每一层各自管什么

模型负责推理和语言。它迟早会被换掉,所以把供应商的选择放在配置里,而不是写进Agent代码。

框架是编程模型:一个循环、一张图,或者一个crew。挑团队读起来最顺手的那个。各家框架正在收敛到同样的几种模式上,可读性比功能多寡更重要。

工具与MCP决定Agent怎么触碰世界。MCP描述工具,把访问决策留给运行工具的人,这也是身份和护栏必须做成纵向切面、而不能事后补的原因。

记忆是对话历史、长期事实和检索到的上下文。记忆是最常被和下面那层搞混的一层:记忆是Agent知道什么,是它能回忆起来的事实;持久运行时是Agent做过什么,是它绝不能重复的步骤。

被跳过的那层:持久运行时

持久运行时在每次大模型调用和工具调用完成时记录下来,这样崩溃后从下一步接着跑,而不是从头再来。

检查点保存器不等于持久执行。在节点之间保存图状态,并不会记录某个工具已经做了什么。重试装饰器一触发,退款就发两次,邮件再发一遍。

还有一个附带好处:一次被记录下来的运行,同时就是一份可以逐步回放的评估,输入完全一致。

计算与沙箱这一层,可以是Kubernetes、虚拟机、无服务器,或者给不可信代码准备的沙箱。它负责运行并隔离进程,然后把它丢掉。沙箱让持久性问题更尖锐:它们按设计就是短命的,会超时、被回收、每个任务结束后被拆除。对隔离来说这是对的,也意味着运行状态不能住在里面。

“运行时”是这套栈里最被滥用的词

翻几份Agent栈的图就会发现,“运行时”至少指三样不同的东西:

  • 循环。在进程内跑推理、行动、观察的骨架。
  • 宿主。会话被部署、扩缩容和隔离的地方。
  • 持久运行时。让一次运行能比它启动时的进程活得更久的东西。

这个词之所以被滥用,是因为它来自语言运行时,那里它指“执行代码的东西”,而Agent栈里每个产品都在执行点什么,于是人人都来认领。前两个让Agent跑起来,只有第三个让它在生产环境里稳定地一直跑下去。

身份、护栏、可观测性与评估不是层。每一层都需要知道是谁在调用、被允许做什么、发生了什么、做得好不好。把它们当成栈里的一个格子,你在每一层都会得到不同的答案。身份与访问:哪个Agent在调用、它可以调用什么,每个Agent一个身份,每个工具默认拒绝。护栏:Agent可以说什么、做什么,输入输出检查、工具调用策略、高风险步骤交给人。可观测性与评估:每一步的输入、输出、耗时和成本,以OpenTelemetry导出到你已经在用的后端;评估在发布前和生产中给这些链路打分。

Web服务时代也走过同样的路:可靠消息和事务各自有了规范,因为光有连接协议从来不足以让分布式工作变可靠。Agent是同一个问题,只是每一步更贵。看到Agentic AI基金会描述一套开放的Agent栈是好事,AGENTS.md、MCP、A2A、网关和沙箱给了行业关于Agent如何连接的共同基础。Agent如何在失败中存活,是顺理成章该被带进这场对话的下一层。

把持久执行放到你选定的框架下面,崩溃就不再意味着重复劳动。