Google DeepMind 在一篇新论文中,将模型路由问题形式化为一个“潘多拉之盒”问题。这一视角的核心在于,当检查成本高昂时,如何寻找最优的搜索策略。

研究团队在高斯信号模型下推导出了该问题的策略闭式解。这一解能够判断每个专家和输入是否值得进行更细致的估计,从而为路由决策提供理论依据。

打开网易新闻 查看精彩图片

核心方法:Pandora's Router

基于上述理论,团队提出了 Pandora's Router 方法。实验覆盖了多个 LLM 基准、检索增强专家以及可变推理时长的 LLM 场景。

结果显示,与昂贵的估计器相比,Pandora's Router 能以远低于其调用频率的成本,达到与穷举估计相当的质量水平。这为降低大模型推理开销提供了一条新思路。