AI Agent烧钱的速度比很多人想象的要快得多。一个典型的多步骤工作流——意图分类、检索上下文、推理、起草回复、验证输出——单次请求就能轻松消耗15000到40000个token。按GPT-4o的定价，这意味着每次执行成本在0.06到0.16美元之间。如果每天运行5万次，仅推理费用就高达3000到8000美元。
好消息是：大多数生产环境的Agent系统浪费了40%到60%的token支出，这些问题完全可以通过正确的工程手段解决。本文将介绍真正有效的具体技术——token预算管理、任务感知模型路由、提示缓存、请求批处理和输出压缩——以及应用每种技术时需要警惕的失败模式。
Agent成本到底花在哪
在优化之前，你需要一个准确的成本模型。Agent工作流的成本结构与简单的聊天机器人补全截然不同，这些差异决定了你该把精力投在哪里。
四个主要成本驱动因素：
系统提示重复。每次调用大模型都会重新发送系统提示。在10到20轮的Agent循环中，一个2000 token的系统提示被发送10到20次，相当于每次工作流执行就有20000到40000 token的纯重复。
上下文累积。Agent通常会传递完整的对话历史来保持连贯性。一个从500 token开始、每轮增加300 token的工作流，到第10轮时达到3500 token，而且成本增长是超线性的——因为输入和输出成本都会随着上下文膨胀而叠加。
模型错配。用前沿模型（GPT-4o、Claude Opus、Gemini 1.5 Pro）处理小模型完全能胜任的任务——意图分类、JSON提取、格式验证——这是最常见、也最容易纠正的浪费来源。
推测性执行。许多Agent框架会"以防万一"地急切调用工具和模型，而非条件触发。一个Agent总是执行网页搜索步骤，即使4分钟前的缓存结果仍然有效，就是在为不必要的计算烧钱。
我们分析过的一个中等复杂度客服Agent的真实成本归因如下：这些比例因工作流类型而异，但在我们监测过的部署中，前三类始终占主导地位。这也是我们重点关注的方向。
Token预算管理
Token预算是对Agent推理过程中可消耗token数量的显式约束，这是平台工程师最未充分利用的杠杆。
硬预算与软预算
硬预算在达到token阈值时中止执行或强制摘要。软预算触发警告，并可能将Agent切换到更经济的推理模式——更短的输出、更少的工具调用、压缩的上下文。
实现上，可以通过装饰器模式在Agent执行层注入预算检查，而不污染业务逻辑。关键是在成本失控前设置多层防线，而非事后统计。
热门跟贴