港科大研究团队在ICML'26上揭示了一项关乎混合专家模型（MoE）路由机制的关键发现：当模型接收到连续重复的token时，原本高效的动态路由分配会迅速走向失衡。

实验显示，这些重复的输入导致路由机制将过多token导向同一批专家模块，部分GPU因此成为计算瓶颈——“掉队者”。这种负载不匀直接拉长了推理过程的响应耗时，首次token时间（TTFT）出现显著恶化。

打开网易新闻 查看精彩图片

具体数据上，受重复token影响的TTFT增幅在20%至148%之间浮动。也就是说，在最严重的情况下，用户等待模型给出第一个单词的延迟可能增加近1.5倍。

团队指出，这一现象暴露了MoE架构在面对简单重复模式时的脆弱性，路由的负载均衡能力并不像预想中那样稳健。该发现也为后续优化MoE的调度策略提供了重要的参考坐标。