当行业默认“更强的 AI”等同于“等待下一个更大的模型”时,另一条路线正在变得清晰:不追求单点突破,而是把已有的模型编排成一个能协作、能互检的系统。
近期,AI 网关OrcaRouter(https://www.orcarouter.ai/)上线了一套名为 Routing DSL 的可编程路由策略。它的技术主张可以概括为一句话:用一套声明式规则,把多个现成模型组合起来,逼近——在部分场景甚至追平——顶级单模型的表现。其中一个被反复提及的参照对象,是被不少开发者视为最强模型的 Fable 5。
本文要点
• 在一组示意性测试中,多模型“组合面板”的得分普遍高于它的任一成员模型,且多个组合追平了顶级单模型。
• 这并非取巧,而是有清晰研究脉络的支撑:自一致性、混合智能体、复合 AI 系统、推理时计算扩展。
• OrcaRouter 的价值不在于提出新方法,而在于把这些原本停留在论文与脚本层面的思路,做成可声明、可灰度、可审计的基础设施。
一、一个被低估的事实:组合往往胜过单点
先看现象。在一组示意性测试中(注:以下为说明趋势的示意数据,非官方跑分,100 题中评分 93 题),由多个模型并行作答、再经仲裁挑选的“组合面板”,其得分普遍高于参与组合的每一个成员模型(图表 1):
· Claude Opus 4.8 与 GPT-5.5 组成的双模型面板(约 67.5%),同时高于二者各自单跑(约 58.5% 与 60%),领先 7 到 9 个百分点;
多个组合追平、甚至超过了 Fable 5 单跑(约 65.5%);
更值得注意的是:即便是“同一模型的自我组合”(Opus×2)也能逼近顶级水平;而一组更便宜的模型组合(约 64.5%)同样贴近 Fable 5——这意味着“性能”与“单价”被部分解耦。
如果再按请求难度做智能分流,把整套策略跑成一个完整端点,其综合表现在这组示意数据中可与 Fable 5 持平(图表 2)。换句话说,真正起作用的不是“更强的模型”,而是“更合理的编排结构”。
二、为什么有效:一条清晰的研究脉络
这一现象并非反常,它与过去两年生成式 AI 领域的一条重要研究主线高度吻合——通过在推理阶段投入更多计算与结构,而非单纯堆叠参数,来换取能力提升(图表 3)。
自一致性(Self-Consistency):让模型对同一问题采样多条推理路径,再以多数投票得出答案,可显著提升推理准确率。
混合智能体(Mixture-of-Agents):把多个模型的输出分层聚合、互相参考,仅用开源模型就能在部分对话基准上超过当时最强的闭源单模型。
模型即裁判(LLM-as-a-Judge):用一个模型评判、排序另一些模型的输出,已成为评测与筛选的常用手段。
复合 AI 系统(Compound AI Systems):学界明确提出,前沿能力正从“单一模型”转向“系统级组合”——检索、工具、多模型协作共同构成系统。
这些工作指向同一个机制:不同模型的错误往往是不相关的(decorrelated)。让它们各自独立作答,错误是分散的;再用投票、裁判或执行验证把正确答案挑出来,整体正确率就被抬升(图表 4)。模型之间的分歧不是噪音,而是可被收割的信号。
三、从论文到基础设施:Routing DSL 做了什么
上述方法虽有效,却长期停留在论文复现和一次性脚本的层面——难以治理、难以观测,更难安全地放到生产流量上。
OrcaRouter(https://www.orcarouter.ai/)
的Routing DSL
(https://docs.orcarouter.ai/zh/routing/routing-dsl)
本质上是给“复合 AI 系统”提供了一个声明式、可灰度、可审计的工程形态。
规则用 YAML 描述,条件判断用 CEL 表达式(运行在安全沙箱内、只读、微秒级求值),自上而下匹配。开发者既可按难度或任务把请求分流给不同模型,也可以让一条规则“扇出”到多个模型并行作答(图表 5):
use:
parallel: # 2~5 个模型并行作答
- { model: "claude-opus-4-8" }
- { model: "gpt-5.5" }
- { model: "gemini-3.1-pro" }
arbiter:
strategy: best_of_n # 由一个"裁判模型"挑选最优
model: "claude-sonnet-4-6"
仲裁提供四种策略,对应不同的工程目标:
更关键的是它的治理面:lint 静态校验、dry-run 试跑、影子模式(只评估不生效、先看 A/B 差异与成本变化)、0—100% 的灰度放量,以及每次变更的回滚审计。这套机制,使“把多模型编排放上生产流量”从一件高风险操作,变成可控、可观测、可回退的工程实践。
四、意义与边界
把视角拉远,这件事的意义有三层:其一是供给侧的现实意义——当头部模型对普通用户收紧、顶级能力变得稀缺,编排提供了一条“用现有资源重新逼近前沿能力”的路径;其二是成本结构的改变——“用拓扑换智能”使性能与单价解耦,真正昂贵的并行扇出只发生在难度最高的少数请求上(图表 6);其三是工程范式的迁移——团队的竞争力,正从“选用哪个模型”,部分转移到“如何编排模型”。
但同样需要冷静看待它的边界:
成本:并行扇出意味着每条调用腿都要计费,只有配合按难度分流才具备经济性;
成熟度:多模型并行扇出的运行时目前仍处于灰度/预览阶段,计费链路仍在验证;
数据:本文引用的对比均为示意,而非官方基准;
适用性:并非所有任务都受益——低难度或答案确定的请求,单模型往往更经济;编排也会引入额外延迟与系统复杂度。
换言之,编排是一种需要按场景权衡的工具,而非银弹。
结语
模型能力的边界,正在从“单点参数竞赛”扩展到“系统级编排”。在这条路线上,前沿不再只是一个需要等待的模型,而是一种可以被设计、被治理的结构。对工程团队而言,这或许意味着一个朴素但重要的转变:把更多注意力,从“追逐下一个模型”,转向“如何把已有的模型组织得更好”。
注:本文所涉性能对比均为示意性数据,仅用于说明趋势,非官方跑分;文中所述多模型融合运行时目前处于灰度/预览阶段。
更多内容:https://www.orcarouter.ai/blog/routing-dsl-compose-a-panel-of-models-that-thinks-like-fable-5
热门跟贴