“一个端点,任何模型,管道的事交给它。”这是LLM网关对开发者的承诺。Respan Gateway是一款用Rust写的新开源网关,今年10月公开。我把它装在Windows电脑上,指向Gemini,故意弄坏一个供应商,看它是否说到做到。
先说它是什么:一个单一二进制文件,夹在你的代码和AI接口之间。你继续用手里已有的SDK(OpenAI、Anthropic或Gemini),向它请求任意模型,它把请求翻译成该模型供应商能听懂的话。
上手前有几处值得留意:
- 一切皆插件。供应商、路由、定价、MCP和追踪都建在同一套公开的Rust API上,你可以用它写自己的插件。
- 内置16家供应商,包括OpenAI、Anthropic、Gemini、xAI、DeepSeek、Mistral、Groq、OpenRouter、Ollama和vLLM,外加任何兼容OpenAI的端点。
- MIT或Apache-2.0协议,自托管,免费。
- 自带网页界面,有实时请求日志、试验场和路由调试器。
安装方式有四种:pip install respan-gateway(附带编译好的二进制,覆盖Windows)、cargo install、发布压缩包或Docker。在Linux机器上,pip安装大约花了3秒。
配置可以完全不要:导出一个供应商密钥,运行respan-gateway即可。为了测试,我写了一个小的gateway.toml,把Gemini设为真实供应商,再加一个叫down的供应商,指向本地一个没人监听的端口。任何裸的“gemini-*”模型会先试这个死掉的供应商,再落到Gemini,重试2次,退避200毫秒。
启动前,respan-gateway check会校验配置文件,并打印出它将要提供什么:供应商、端点、路由、鉴权是否开启。这省掉了我反复猜测重启的循环。有个默认值我很喜欢:没有配置客户端密钥时,网关只在回环地址上应答,拒绝在公网地址上启动。你不可能因为忘了某个设置而意外暴露供应商密钥。
“任何SDK、任何模型”是它的招牌功能,我先测了这个。同一个提示词发给gemini/gemini-3.5-flash-lite两次:一次用Anthropic Messages格式,一次用OpenAI Chat格式。两次都正确返回,分别耗时1.03秒和1.52秒。网关把Anthropic格式的请求变成Gemini调用,再把答案翻译回来,连用量都按Anthropic的形状给出。
代码里的全部诀窍就是:保留你的客户端,改base URL,改模型字符串。
路上遇到两件事,都不是网关的错。一是Google在我脚下退役了一个模型,我最初选的gemini-2.5-flash对新用户关闭,网关把Google自己的404消息原样透传,改什么一目了然。二是思考token会吃掉小预算,用完整的Gemini 3.5 Flash加max_tokens=150时,模型花了140个token思考,返回了被截断的答案,网关在用量里如实报告了thinking_tokens: 140。
我最在意的测试是故障转移。我请求裸模型名gemini-3.5-flash-lite,匹配gemini-*路由。网关先试down,失败,重试,然后回落到Gemini。我跑了三次,每次调用都返回200和正确答案,客户端从未看到失败。
有意思的是第三次:在四次失败之后,网关把down放进了冷却,直接跳过它,请求在0.79秒内直达Gemini。前两次调用各花了约5秒,大部分时间大概是Windows在放弃前反复重连那个死掉的本地端口,tries = 2又把它翻了一倍。一个能快速报错的供应商会转移得快得多。
路由页是我最喜欢的调试功能。在“Try a model”里输入模型名,它会显示请求会去哪、为什么,而且不发送任何东西。它显示down的错误率是100%,Gemini是682毫秒。路由还能做更多:挑最便宜、最快、加权或随机,用hedge = "200ms"对冲慢调用,用needs = ["tools"]过滤,匹配glob。配置改动无需重启即可生效。
打开网页界面,你得到的是一个正经的仪表盘。我那次干净运行之后:5个请求,0%错误,进出token数,以及按供应商的统计。请求页是实时日志,带模型、端点、供应商、状态、延迟和token,还有筛选和导出。模型页列出了我的Gemini密钥能触达的全部57个模型,带上下文窗口。
注意价格那一列是空的。只有当供应商的模型列表里带价格,或者你自己声明时,网关才知道价格,而Gemini的列表里没有。开箱即用,我拿到了token但没有美元数字。每个模型加几行配置就能修好。
性能是Respan的主打。这些是他们在README里公布的数字。公平地说两点:这是Respan自己的基准测试,而且LiteLLM是以单worker运行的,增加worker会缩小差距。我没有跑负载测试。我能说的是,网关没有增加任何我能察觉到的开销:我的往返时间由Gemini本身主导。
不喜欢的地方也有。它很年轻,写这篇文章时是v0.3.0,供应商列表、插件生态和社区在一段时间内都会比LiteLLM小。Gemini开箱没有价格。失败的尝试在供应商页上看不见,down在那里显示0个请求,而路由页正确显示它100%错误。自定义插件意味着要写Rust,插件API很干净,但纯Python团队只能靠配置和内置功能。文档有些地方很薄,有用的路由细节藏在仓库的docs/configuration.md和gateway.example.toml里,先读那些。
谁该用它:如果你想要一个延迟和内存都轻的自托管网关,喜欢把路由和故障转移放在一个可读的TOML文件里,想混用SDK和供应商而不重写客户端代码,它最合适。如果你今天就需要最广的集成列表,或者成熟的企业功能集,LiteLLM目前仍是更稳妥的选择。
对我来说,要紧的部分在真实供应商上完全按描述工作:Anthropic格式的请求从Gemini回来了,一个死掉的供应商被绕过然后进了冷却,check和路由页让看清网关在做什么、为什么变得容易。对一个v0.3版本,这超出了我的预期。
热门跟贴