跑Agent最怕什么?账单。模型调得越勤,Token烧得越快。openJiuwen给出的解法是:让路由自己学会省钱。
这家团队首发了一套开源智能路由框架X-Router,主打自演进模型路由技术,官方给出的实测数据是——Token消耗减少50%以上。
打开网易新闻 查看精彩图片
它到底在路由什么
Agent应用调用模型时,通常要在成本、延迟、质量三者之间做取舍。X-Router的做法是把这件事交给框架:通过模型画像、动态决策层和自演进机制,为Agent应用实现最优的模型调度。
换句话说,哪个任务该用哪个模型,不再靠人拍脑袋,而是由路由层动态判断。
两个关键词:昇腾亲和、越跑越省
这套框架的另一个标签是昇腾亲和,同时强调“Agent越跑越省”——自演进机制意味着路由策略会随使用持续调整,而不是一套静态规则用到底。
对每天和Token账单打交道的开发者来说,50%这个数字,比任何架构图都更有说服力。
热门跟贴