周三凌晨两点,一个独立开发者盯着账单直嘬牙花子。他发现应用里近三分之一的请求,用户只是敲了个“你好”或问“今天天气怎么样”,但每条都走了最贵的前沿模型,看着数字心里在滴血。更气的是,偶尔真有用户贴来四百行的React组件让重构,用便宜模型回复得却像实习生写的。

直接二选一太蠢了。不是每个提示都配得上Claude Sonnet 4.6。“里斯本是哪国首都”和“用Suspense重构这组件”根本不是一个重量级的活儿,花同样的钱显然荒唐。那能不能让系统自动识别,把琐碎问题打发去坐经济舱,硬骨头才请贵客出马?

打开网易新闻 查看精彩图片

他动手写了个提示分类器,拢共大约五十行TypeScript,跑在Cloudflare Workers上。每次请求来了,先过一道轻量模型判断是不是编码活儿——是,就路由给Claude Sonnet 4.6,它写代码是圈内公认的头牌;不是,就转给Workers AI上又快又便宜的开放模型处理。路由逻辑全搁在AI Gateway里,应用只需对一个端点发请求,管它后边几家供应商,账单立竿见影瘦身。

这套连招的精髓藏在三层结构里。第一层,Worker拦截所有兼容OpenAI格式的聊天请求,顺手调用Workers AI的免费层——用的是Llama 4 Scout——给每条提示打个分类标签,要么“coding”要么“simple”。第二层,标签塞进元数据头,原封不动扔进AI Gateway。第三层,网关读标签,动态路由拨动分岔口:标了coding的请求发往Anthropic的claude-sonnet-4-6,其余则分流到例如moonshot的kimi-k2.7-code这类经济型模型。客户端全程不知背后换了几手,只看到一个统一入口,日志、缓存、速率限制全在网关统一打理。

搭建起来也就三下钟。先在Cloudflare控制台创个带认证的AI Gateway,把Anthropic的密钥偷偷存进去,Worker从此不用直接露底。再进动态路由页面,用可视化拖拽定规矩:元数据标记“coding”就走Claude,否则走廉价模型,保存即生效。最后在本地搭好Worker,贴进去包裹好的分类逻辑,把网关账户ID和名称塞进环境变量,部署上去就能开工。

没有供应商绑架,不同模型的输出质量差却能在同一面板直观对比。更妙的是,那些惯常的“Hello”再也不必付着前沿模型的天价。用不到半天敲出的轻量方案,把“不配”的请求自动挑走,省下的真金白银,够再去多跑几轮真需要思考的任务了。