LangChain 公布了一组 AI 搜索的令牌预算统计。在 Open SWE 的 150 条对话样本中,平均每条轨迹消耗 84K 令牌,而真正属于"人说话"的部分——用户消息加上代理的最终回复——加起来只有约 1.5K。

剩下的令牌去哪了?答案指向工具输出。文件读取、shell 命令、测试日志,这些动作产生的文本吃掉了大约四分之三的令牌。也就是说,一次 AI 搜索跑下来,绝大部分预算不是花在"想"和"答"上,而是花在"看"和"跑"上。

这组数据来自 LangChain 对真实代理交互的统计,样本量 150 条,统计口径是固定令牌预算内的每条轨迹。几个关键数字值得单独拎出来看:

  • 平均轨迹令牌:84K
  • 用户消息 + 代理最终回复:约 1.5K
  • 工具输出占比:约 四分之三

把这三个数放在一起,能看出一个不太体面的事实:代理的"嘴"很省,代理的"手"很贵。文件读取和 shell 命令这类操作,单次输出动辄几千令牌,几次叠加就把预算推到了 84K 的量级。测试日志更是重灾区,一行报错可能就带出一整段堆栈。

对做 LLM 推理优化的人来说,这组统计给出的信号很直接:想压令牌成本,盯着对话长度做文章收益有限,真正的空间在工具输出的裁剪和压缩上。至于怎么裁、裁到什么程度不影响代理判断,这份统计没有给出答案。