大语言模型用起来爽,账单和等待时间却常常让人头疼。GitHub上出现了一个叫 Sriti Core 的开源项目,定位很直接:做LLM的智能路由代理与级联引擎。
它的核心思路是通过多层级编排来优化LLM的成本和延迟。简单说,就是让请求走更合适的路径,而不是一股脑全丢给最贵的模型。
打开网易新闻 查看精彩图片
它到底解决什么问题
LLM应用开发者普遍面临两难:用大模型效果好但贵且慢,用小模型便宜快但质量可能不够。Sriti Core 试图在中间做调度,用级联的方式把不同层级的模型串起来。
项目在GitHub上以开源形式发布,仓库名为 sriti-ai/sriti-core。官方描述强调两个关键词:高效和智能路由。
为什么值得关注
路由和级联不是新概念,但把它做成开源、可直接接入的代理层,对中小团队来说省去了自己造轮子的成本。尤其是成本敏感的场景,多一层智能调度可能意味着账单上的明显差别。
目前项目刚在GitHub亮相,具体接入方式和性能数据还需看仓库文档。对LLM成本优化有需求的开发者,可以先去仓库围观。
热门跟贴