大语言模型排名并不可靠，三万分之一的数据变动即可左右结果|多模态|大语言模型|计算机

企业若想使用大语言模型整理销售报告或分类处理客户咨询，可从数百款独立大语言模型中进行选择，每款模型的性能都存在细微差异。

为缩小选择范围，企业通常会参考大语言模型排名平台。这类平台会收集用户与模型交互的反馈，依据模型在特定任务中的表现，对最新的大语言模型进行排名。

但麻省理工学院的研究人员发现，少量用户交互数据就会导致结果出现偏差，让人们误判某款大语言模型是特定应用场景的理想选择。该研究表明，剔除极少一部分众包数据，就会改变模型的排名位次。

研究人员研发出一种快速检测方法，可测试排名平台是否容易受到这类问题影响。该评估方法能定位到对结果偏差影响最大的单条投票，方便用户核查这些高影响力投票。

研究人员表示，这项研究凸显了制定更严谨策略评估模型排名的必要性。他们在本次研究中并未重点研究解决方案，但提出了可提升平台稳定性的建议，例如收集更详细的反馈数据来生成排名。

该研究同时向依赖排名选择大语言模型的用户发出警示。这类决策可能会对企业或机构产生深远且高昂的代价。

麻省理工学院电气工程与计算机科学系副教授、信息与决策系统实验室及数据系统与社会研究所成员、计算机科学与人工智能实验室附属研究员、该研究资深作者塔玛拉・布罗德里克（Tamara Broderick）表示：“我们惊讶地发现，这类排名平台对该问题的敏感度极高。如果数万条用户反馈中，仅两三条就决定了排名第一的大语言模型，那么人们就不能认定，这款模型投入使用后会持续优于其他所有模型。”

该论文的第一作者为电气工程与计算机科学系研究生黄珍妮（Jenny Huang）、申云逸（Yunyi Shen），还有 IBM 研究院高级研究科学家丹尼斯・魏（Dennis Wei），他们与布罗德里克共同完成了这项研究。该研究成果将在国际学习表征大会上发布。

大语言模型排名平台的类型众多，最主流的模式是让用户向两款模型提交同一查询，再选择输出效果更好的模型。

平台会汇总这类对比结果生成排名，展示各款大语言模型在编程、视觉理解等特定任务中的最优表现。

用户选择排名靠前的大语言模型时，通常会认为该模型的优异排名具备泛化性。这意味着在全新数据集、相似但不完全相同的应用场景中，这款模型依旧能优于其他模型。

麻省理工学院的研究人员此前曾研究统计学、经济学等领域的泛化性问题。相关研究发现，部分场景中剔除小部分数据就会改变模型结果，这说明这类研究的结论可能无法适用于更广泛的场景。

研究人员希望验证，这类分析方法能否应用于大语言模型排名平台。

布罗德里克表示：“用户最终想知道的，是自己是否选到了最优的大语言模型。如果仅有少量提示词决定了排名，就说明这份排名并非绝对权威。”

但人工测试剔除数据的影响并不现实。例如，他们评估的一个排名平台拥有超 5.7 万条投票。测试剔除 0.1% 数据，需要从 5.7 万条投票中逐一剔除 57 条投票的子集，子集数量超 10 的 194 次方，再重新计算排名。

研究人员基于此前的研究成果，研发出一种高效的近似计算方法，并将其适配应用于大语言模型排名系统。

布罗德里克表示：“我们虽有理论证明该近似方法在特定假设下有效，但用户无需仅凭理论判断。我们的方法最终会为用户标注出问题数据点，用户只需剔除这些数据，重新运行分析，就能查看排名是否发生变化。”

研究人员将该方法应用于主流排名平台后，惊讶地发现，仅需剔除极少数据点，就会让头部大语言模型的排名发生显著变化。有案例显示，从 5.7 万余条投票中仅剔除 2 条，占比 0.0035%，就改变了排名第一的模型。

另一家使用专业标注人员、高质量提示词的排名平台，稳定性则更强。该平台需剔除 2575 条评估中的 83 条，占比约 3%，才会改变头部模型的排名。