斯洛伐克语用户向GPT-5发一句提示词,账单比英国用户发同样一句话高出约68%。不是汇率问题,是模型切分文本的方式不同。

打开网易新闻 查看精彩图片

发现这件事的过程很朴素:发票金额和草稿纸上的估算对不上。英文基准和价目表说一套,斯洛伐克语提示词的账单说另一套。于是有人停止猜测,开始实测——同样的1,012个句子、204种语言、35个分词器,结果整理成“Token税指数”。

核心结论先摆出来:

  • 在GPT-4o、GPT-4.1和GPT-5背后的分词器上,斯洛伐克语所需token是英语的1.68倍;在2023年的GPT-4分词器上是2.13倍
  • 35个分词器的中位数是1.81倍。主流模型中最好的是Llama 4,1.56倍;最差的是Falcon 3,2.27倍
  • 只有欧洲语料训练的分词器接近持平:EuroLLM为1.35倍,Teuken为1.41倍。斯洛伐克语原生分词器SlovakBERT为0.77倍,比英语还便宜。差距是选择,不是物理规律。
  • 斯洛伐克语并不特殊。在GPT-5的分词器上,204种语言里有161种至少付出1.5倍,42种达到2倍以上。桑塔利语是13.7倍

“贵68%”落到实际使用上是三件事同时发生。钱:每月1000欧元的英文负载,在GPT-5上换成斯洛伐克语是1680欧元,Claude Sonnet 4.6上是1800欧元,Qwen 3上是2070欧元,提示词和回答都一样。上下文:128k窗口装的是128k token而不是词,斯洛伐克语下文档、RAG分块和聊天记录大约少装40%的词,模型更早“忘事”。延迟:输出逐token生成,同样内容的斯洛伐克语回答要多走1.6到2倍的步数,流式输出肉眼可见地慢,用户往往先注意到这个,再注意到账单。

更扎心的一点:按原始UTF-8字节算,同样文本斯洛伐克语只比英语长9%。语言本身不长,是分词器不认识它。

分词器是从训练文本里建出来的压缩词典。BPE扫描数十亿句子,把出现频率足够高的片段收进词表。英语在互联网上积累了三十年的文本量,词典里塞满“the”“ing”“tion”和整词。在GPT-5的分词器上,一个英语token平均4.9个字符,一个斯洛伐克语token平均2.9个字符。

斯洛伐克语在三个具体环节上雪上加霜:变音符号(č š ž ť ď ľ ň ô ä)各占两个字节,如果分词器没把“ľudí”学成一个整体,可能切成ľ+ud+í,第一段甚至是双字节字符的单个字节;屈折变化多,英语有house和houses,斯洛伐克语有dom、domu、domov、domy、domom、domami、dome,每个形式都是分词器必须见过足够多次才能记住的独立字符串;语料里斯洛伐克语不够多,这是真正的原因——网络足迹约两倍的捷克语在同一分词器上比斯洛伐克语好几分(GPT-5上1.60倍对1.68倍),使用者四倍的波兰语是1.64倍。税跟着训练文本量走,不跟语言难度走。

好消息在GPT这条线上。OpenAI 2023年的分词器(cl100k_base,GPT-4/3.5)对斯洛伐克语收2.13倍,2024年的(o200k_base,GPT-4o到GPT-5)收1.68倍。词表翻倍到20万条,给斯洛伐克语打了21%的折扣,没人专门宣布过。Anthropic走了同一条路:Claude 2是2.25倍,Sonnet 4.6是1.80倍,5.5系列是1.58倍。

坏消息在人们为了省钱而自托管的开源权重模型里。Qwen 3(2.07倍)、Kimi K2(2.01倍)、DeepSeek V3(1.91倍)对斯洛伐克语都比GPT-5更差。模型本身很优秀,分词器是为中文和英文建的。拿它们跑斯洛伐克语,“便宜”的模型每句话要多花约四分之一的算力,比你想替换掉的API还贵。

托管模型的分词器改不了,能改的是发过去的东西:选模型前先把这笔税算进预算,每百万token的价格乘以自己语言的比率,便宜20%但分词器差25%的模型并不便宜;系统提示词和工具schema保持英文,它们每次调用都发出去,是提示词里语言唯一可控的部分,用户文本可以是斯洛伐克语,那800 token的指令块不必是;RAG分块按token而不是字符来定大小,用真实分词器量,按英文文档调的切块器在斯洛伐克语上会溢出;优先用更新的分词器家族,还停在GPT-4时代或Llama 3时代部署的,换到20万词表的模型是15%到20%的成本下降,质量不妥协;自托管先试EuroLLM和Teuken,它们是特意用中欧文本训练的,也是斯洛伐克语下仅有的低于1.5倍的两个。

测量方法:语料用FLORES-200 devtest,1,012个来自维基百科的句子,经专业翻译成204种语言,每种语言承载完全相同的信息。每套语料过每个分词器,比率是该语言总token数除以英语总token数,附bootstrap 95%置信区间。商业分词器(OpenAI、Anthropic)通过官方库或token计数端点,开源模型通过Hugging Face分词器。代码在MIT协议下开源,数据有DOI,任何人都能复跑。

有一个提醒需要说清楚:分词器更便宜不等于模型更好。Teuken压缩斯洛伐克语很在行,回答仍然不如GPT-5。比率告诉你每句话付多少钱,不告诉你拿回来什么。