Hinglish 是印度人每天在键盘上敲出来的罗马化印地语-英语混写，它不是英语。Beam 自己的模型卡写得很直白：这个模型“主要面向英语开发”。于是问题来了：同一道题，用英语给一遍，用 Hinglish 给一遍，模型身上会发生什么变化？

打开网易新闻 查看精彩图片

这个问题被做成了 HinglishBench，一个规模不大的评测。方向由作者设定，构建和运行由他的 AI 助手代为完成，下面每个数字都来自那些实际运行。

实验怎么搭的

82 道 GSM8K 数学题，每道都有两个语言版本：英语原文，以及 Beam 翻译的 Hinglish 版本，翻译经过一条自动数字保留规则校验。原始 100 道里有 18 道没通过校验，被剔除。

三个模型——beam-1.0-501B-A23B、gemma-3-27B-it、qwen3-32B——在两种语言下拿到完全相同的零样本提示：解题，可以简短思考，最后一行只写数字答案。评分方式是最后一行精确匹配。

每次运行记录两件事：答对还是答错，以及 API 报告的补全 token 数。注意是 token，不是账单，这里没有任何美元数字。

三个模型，三种付法

每个模型在这次运行里“付”的东西不一样：

  • Beam 付的是 token。英语 96.3%，Hinglish 95.1%，差距不大，但 82 对样本、每格只跑一次，只能当作观察到的差异，不能证明两者等价。与此同时，Hinglish 答案的补全 token 中位数是同一道题英语答案的1.47 倍
  • Qwen 付的是准确率。这次运行里 82.9% 对 90.2%，token 没有增加，中位数比值 1.00 倍。
  • Gemma 这次运行里既没有 token 增加，也没有准确率下滑：93.9% 对 91.5%，中位数比值 0.96 倍。

所以能下的结论很窄：在这些运行里，Beam 身上出现了 Hinglish 的 token 税。它不是 Hinglish 的普遍属性，也不是每个模型都有的属性。

另外两个数据集，同样的模式

这两组是补充检查，不是独立复现——两组额外数据都由 Beam 翻译或撰写——但模式重复了：

  • 100 对作者自建的分级题：token 中位数比值 1.58 倍，两种语言准确率都是 98.0%。
  • 309 对反向题（Hinglish 在前、翻译成英语），说明效应不限于英语在前的情形：比值 1.30 倍。Gemma（0.99 倍）和 Qwen（0.94 倍）在这里同样没有税。

两种提示变体在这些运行里都没能消除它：在 30 道 Hinglish 题上加“用英语思考”的系统提示，准确率变化 0 个百分点，token 反而增加 9.9%；Beam 的 reasoning_effort=medium 比值 1.39 倍，低 effort 下是 1.47 倍。每格一个样本，这批数据估不出运行间方差。这些结果排除了容易想到的解释，但没有找出原因。

必须说清的边界

每格单次运行、零样本、n=82。这些是观察值，不是被证明的效应，不做显著性声明。没有人工校验：所有质量检查都是自动的或基于模型的，翻译由 Beam 自己生成、由自动规则验证，没有任何内容经过独立的人工复核。

中位数的定义是精确的：把每对题的比值排序后取偏上的中间元素，Beam 是 1.4706，报作 1.47 倍。额外两组数据与 Beam 同源，分级集由 Beam 构建，反向集由 Beam 撰写且更简单、准确率饱和。它们能检查模式，但排除不了翻译或选题带来的伪影。GSM8K 是美式英语语境下的数学题，翻译保留了语境，美元还是美元；只涉及罗马化 Hinglish，不含天城文。

为什么 token 数值得一看

在按 token 平价的定价下，服务成本随输出 token 增长。所以这些运行里，Beam 的 Hinglish 答案在同样题目上带着约 1.5 倍于英语的输出 token 数——一个在纯英语评测里完全看不见的差异。这是关于 82 对题上 token 的陈述，不是账单，也不是市场判断。

运行器只用 Python 标准库，没有依赖。换上自己的 HF token、换成自己关心的语言对——泰米尔语-英语、西班牙语-英语，什么都可以——就能得到同样的成对表格。