用 AI SDK 搭 Agent 的人,可能都遇到过同一个问题:工具一多,发现过程就开始拖慢速度。AI SDK 给出的解法很直接——在 Tool Search 里专门使用「代码模式」(code mode)。
为什么要专门提这一点
Tool Search 的作用是让模型在众多工具里找到该用的那一个。这个过程本身要消耗资源,而「代码模式」的价值在于保留工具缓存。缓存一旦保住,工具发现环节的延迟就有机会降下来,Token 消耗也可能随之减少。
换句话说,这不是换一个更聪明的模型,而是换一种调用方式,把重复开销省掉。
省的是哪两笔账
- 延迟:工具发现过程变快
- Token:发现环节的消耗减少
这两项恰好是 Agent 编排里最容易被忽视、又最容易累积的成本。工具数量越多,每次发现都重新走一遍,开销就越明显。
AI SDK 把这条建议单独拎出来讲,说明它不是一个可选项,而是使用 Tool Search 时值得默认采用的姿势。对正在做 LLM 推理优化或 Agent 编排的开发者来说,改动量不大,但方向明确。
热门跟贴