AI圈最近流传一张图,让不少开发者倒吸一口凉气:智能体(Agent)消耗的token量,已经达到人类用户的近5倍。更夸张的是,这个数字自2月以来暴涨了约14倍。
这张图来自a16z的Charts of the Week系列。数据背后藏着一个可能被大多数人忽略的行业变局——当智能体成为OpenRouter上的token消耗主力,这家以"比价"为核心商业模式的AI路由平台,其议价能力可能正在被悄悄削弱。
OpenRouter的生意经:谁便宜就选谁
先简单说下OpenRouter是干什么的。它夹在开发者和大模型供应商之间,核心赚钱逻辑就是"价格套利":每次查询,它会把请求发给当下报价最低的供应商,赚取差价或服务费。
这种模式在传统的人机交互场景下非常成立。人类用户提问通常是独立的,一个问题就是一个请求,问题之间不需要任何连续性。这种情况下,每次查询都重新选择最便宜的供应商,完全没问题。
但智能体的行为模式完全不一样。一个智能体在执行长任务时,会在每个阶段重新发送同一大段背景指令。也就是说,它每次调用都在重复发送相同的"前缀"内容,这在技术上被称为"缓存命中"(cache hit)。
缓存命中的代价:中途换人,全款重付
这里有个关键的技术细节:缓存命中的内容只存在于仍然持有"热前缀"的那台机器上。如果任务中途被路由到另一家更便宜的供应商,之前缓存的副本就会被丢弃,整个大段前缀需要重新付费计算。
换句话说,模型供应商会把缓存命中的那部分内容存在自己的服务器内存里,复用的时候只收一个很小的费用。但这份"便宜"是有绑定条件的——它被锁在单一公司的服务器上。
一旦任务中途转移到更便宜的竞争对手那里,存储的副本作废,完整的大段内容得重新付全款。这笔账算下来,中途换供应商可能反而更贵。
议价筹码失效:智能体被"锁死"在初始供应商
这个技术现实直接改变了OpenRouter的博弈地位。数据显示,OpenRouter上超过85%的智能体token都来自这种廉价的缓存复用,而不是全新的计算。
后果是什么?智能体一旦在某个供应商那里启动了任务,就大概率会一直留在那里直到任务结束。因为中途换人意味着要重新支付全额的预填充(pre-fill)费用,这比省下的那点差价贵得多。
于是,OpenRouter用来压价的杀手锏——"你不降价我就把流量导给别人"——在智能体流量面前失效了。路由器威胁把业务带到别处的筹码,在智能体场景下基本被清零。
折扣空间被压缩:智能体流量或成议价洼地
这带来的直接推论是:路由器能从模型供应商那里挤出的折扣,在智能体流量上可能会大幅缩水,而且会比其他流量类型更早出现这种萎缩。
逻辑很简单:既然智能体任务中途无法轻易切换供应商,那么供应商就没有动力为了留住这笔流量而给出额外折扣。反正你跑不掉,我为什么要降价?
人类用户反而成了AI的"少数派"。虽然人类也在消耗token,但智能体的消耗速度是人类的近5倍,且增长曲线陡峭得多——2月至今翻了14倍。当智能体成为平台上的主流流量,平台的商业逻辑就必须跟着改写。
对开发者的启示:选供应商要更谨慎
这件事对普通开发者的直接影响可能比想象中来得更快。如果你正在开发智能体应用,以下几点值得留意:
- 供应商锁定是常态:智能体任务一旦启动,中途换供应商的成本极高,选型时要把长期稳定性放在比单次价格更重要的位置。
- 缓存策略决定成本:超过85%的智能体token是缓存复用,这意味着你的成本结构高度依赖供应商的缓存机制和定价策略,需要仔细评估。
- 折扣空间可能收窄:随着智能体流量占比继续攀升,路由器能帮你压价的空间会越来越小,预算规划要留出余量。
说到底,OpenRouter的比价模式在人类交互时代是成立的,但智能体的技术特性正在瓦解这个前提。当"谁便宜选谁"变成"选了就不能换",路由器的议价能力自然大打折扣。
这个变化不会一夜之间发生,但趋势已经摆在那里。智能体消耗token的速度是人类的5倍,增长是14倍,而议价筹码正在以更快的速度失效。对于所有依赖AI路由服务的团队来说,是时候重新审视自己的供应商策略了。
热门跟贴