同一个模型，换一套评分方法，名次可能完全不同。有人把137个同时拥有LMArena评分和llmrun综合分的模型放在一起比对，整体排名相关性达到0.91，看起来两套体系高度一致。
但只看最强的20个模型，相关性掉到-0.02。两个数字都没错，它们回答的是不同问题，分歧恰好出现在人们盯得最紧的地方。
要得到一个"这个模型有多好"的分数，常见路径有三条。
固定评测集求平均
发布方让每个模型跑同一套测试，再算加权平均。Artificial Analysis智能指数用了10项评测，分成四个加权类别；已停更的Hugging Face开放大模型排行榜依赖6项基准，计分前先扣掉随机猜测的基线。
这种做法干净可控，但覆盖面受限于发布方跑得起多少测试；换一套新评测，就等于出了新版本，和旧结果不再能公平比较。
让人投票
LMArena给用户两个匿名回答，对投票拟合Bradley-Terry模型，本质上是Elo系统。不需要基准网格，两两对战就够。问题在于，它测的是观众更喜欢哪个回答，不是模型实际能做什么。长度被识别为最强的风格效应，LMArena的风格控制会针对长度和Markdown做调整，但投票终究只是投票。独立审计《排行榜幻象》还指出，闭源模型被采样进对战的次数多于开源模型。
推断隐藏能力
项目反应理论把每项基准结果当作模型能力的证据，并给每个测试分配自己的难度。Epoch能力指数在50多项基准上应用这一方法，llmrun的综合分则覆盖40项。一大好处是处理稀疏数据：两个从未同台跑过同一基准的模型，仍可通过与两者都有交集的中间基准进行比较。但估计值有多可靠，取决于支撑它的榜单有多厚；除非量表冻结，重新拟合可能让旧数值发生漂移。
几种主流指数各有适用场景：
- Artificial Analysis智能指数：对自跑的10项评测做加权平均，指数本身没有区间，适合同一测试框架内的当前模型对比。
- LMArena：用Bradley-Terry分析人类投票，带置信区间，适合比较聊天偏好。
- Epoch能力指数：跨50多项基准做IRT，使用90%自助法区间，适合追踪前沿随时间的进展。
- llmrun综合分：在40个榜单上做IRT，量表固定，为每个模型给出90%分布范围，适合开源权重模型，并需结合硬件兼容性查看。
- LiveBench：自跑评测并轮换题目，带95%自助法区间，适合需要尽量降低数据污染的场合。
看一个分数时怎么不骗自己
如果两个区间重叠，就当平局。MiMo V2.6 Pro RL得133.4，Kimi K3为132.8。MiMo基于8个榜单，90%区间是130.6到136.2；Kimi基于30个榜单，区间在131.2到134.4。按现有数据两者旗鼓相当，不过Kimi的数字更可靠一些。
如果只在意某一项能力，就别看总排名。DeepSeek V4.1 Flash以129.5分在开源模型中排第五，但编程能力只有122.2，比Kimi K3的134.4低约12分；它的强项在推理，得分134.0。
如果模型要跑在自己的机器上，先看内存。Kimi K3即使采用4位精度，也需要约1.7 TB内存。头部开源模型没有一个能塞进单张24 GB显卡，24 GB页面只排列那些塞得进的模型。
该读哪一个
为本地使用选模型，先从开源权重选项的分项得分入手，再按GPU能承受的范围收窄。追踪前沿进展，看ECI或Artificial Analysis指数。关心聊天模型的手感，看LMArena，最好开启风格控制。担心模型见过测试题，看LiveBench，它每次更新会替换约六分之一的题目。
无论读哪个，都先看区间，再弄清它到底在测什么。一个窄区间如果来自多次运行，并不能说明那些具体基准是怎么被选出来的。
llmrun综合分与ECI关系最近，区别主要在范围：它不自己跑模型，全部数据来自已发布的基准，如Epoch的hub、LiveBench、SWE-bench排行榜和MMLU-Pro；聚焦开源权重模型，并考察每个模型与硬件的匹配；量表锁定在2026年第四季度参考值，只有某模型的新结果进来时才更新分数；一个榜单只有在过去一年内有结果时才保持有效。
已知缺口同样明确：多数基准以英文为主，尚无视觉和多语言领域，且完全依赖上游来源发布的内容。
热门跟贴