Google DeepMind 在一篇新论文中,将模型路由问题形式化为“潘多拉之盒”问题。这一框架的核心,是在检查成本高昂时如何做出最优搜索决策。

路由到最优搜索

打开网易新闻 查看精彩图片

论文提出,在高斯信号模型下,该策略存在闭式解。这意味着系统可以据此判断,对每个专家和输入,是否值得进行更细化的估计。这一数学基础,为后续的工程实现提供了明确依据。

Pandora's Router 的实际表现

研究团队在多个大语言模型(LLM)基准、检索增强专家以及可变推理时长的 LLM 上测试了该方法。结果显示,名为 Pandora's Router 的方案,能以远低于昂贵估计器的调用频率,达到与穷举估计相当的质量水平。

这一结果意味着,在推理成本敏感的部署场景中,路由策略有机会在保持输出质量的同时,显著降低计算开销。