我们运营着一个小型 OpenAI 兼容 API 中转服务。要给每个上架模型定一个合理的价格,绕不开一个很无聊的问题:一次请求,实际成本到底是多少?官方价目表回答不了这个问题,于是我们自己去测。

过去两周,我们向目录里的每个模型发送固定探针,再读取上游计费端点的前后差值。测出来的几件事出乎意料,而且对所有基于大模型 API 做开发的人都成立——哪怕你从不碰中转商。

标价是最没意思的数字

每家供应商都报两个数:每百万输入 token 的价格、每百万输出 token 的价格。你的账单不直接由其中任何一个决定。按顺序,真正决定实际成本的是这几项:

  • 输出长度。输出 token 的价格大约是输入 token 的 4 到 8 倍。一个标着 0.50 美元 / 3.00 美元的模型,不是"一个 0.50 美元的模型"——答案一长,你付的就是第二个数。
  • 重试。10 万次请求里 5% 的失败率,就是 5000 次你要付两遍钱的调用,外加延迟。
  • 提示词体积漂移。一段"很短"的系统提示悄悄涨到 3000 token,对账单的影响比在同档位两个模型之间切换还大。

推理 token 看不见,但照样计费

这一项让我们花了一周。有些上游中转把模型的思考过程放在 reasoning_content 里返回,有些放在 reasoning 里,还有些只在 usage 块里计 reasoning_tokens,什么都不返回。

如果你在做展示"思考过程"的界面,会发现:字段名在中转之间并不统一;有些路由悄悄丢掉它却照样收费;usage.completion_tokens_details.reasoning_tokens 往往是推理确实发生过的唯一诚实信号。

我们最后在自己的服务侧把上游字段名统一成 reasoning_content;对于路由完全不暴露思考过程的模型,我们在模型文件里直接说明,而不是假装有。

同一个模型名,不同的成本

两个中转可以用不同账号档位提供"同一个模型",价格不同,而且谁都没撒谎。模型是同一个,容量不是。这就是按模型做的对比页价值低于看上去的原因:对比表拿一个报价比另一个报价,它不会告诉你重试、缓存和输出长度之后账单是多少。

我们具体怎么测

对每个模型:发送固定提示词,把 max_tokens 设得足够高,保证答案不被截断(被截断的答案会让成本看起来比实际便宜);读取上游计费计数器的前后值;除以实际报告的 token 数,而不是我们猜的 token 数;重复到样本稳定。如果始终不稳定,我们就不给它定价,标记为低置信度成本,并冻结它的自动调价。

麻烦的部分在于:图片、视频和语音不按 token 计费。按张、按秒、按字符,各自需要自己的单位和自己的探针。把这些混进 token 对比里,得到的数字错得很自信。

这些数字现在怎么用

我们保留扣除费用后 20% 的净利率下限,靠两件事执行:一个定时任务重新测量成本,当某个模型漂移到下限以下时上调价格(它从不自动降价);一个进程启动时的检查,遍历整个目录,任何模型定价低于下限就在开始服务前重新定价。两者都会写审计日志。两者都很无聊。无聊正是重点:定价 bug 是无声的,不会报错,你只是每次请求少赚一点,直到几个月后有人发现。

如果你是买方

三件实用的事:用自己的流量对比,而不是对比表——拿你真正会发的十条提示词,跑两家供应商,比发票,五分钟的活胜过任何对比文章;盯住输出长度,限制 max_tokens、精简系统提示,通常比换供应商省得更多;问清楚流量是从哪个档位服务的,"官方价七折"是真的,"同名不同容量"也是真的,能回答这个问题的供应商通常值得留下。

我们会在每个上架模型的官方价旁边公布自己的标价,包括我们不便宜的那些——这种模型确实存在,藏起来会让整张表失去意义。