演示现场,团队把一朵云上的模型网关直接关掉。9秒后,那朵云上的智能体照样给出了回答——请求从另一朵云的网关上走了出去。

打开网易新闻 查看精彩图片

这是一套跑在谷歌云和微软云上的概念验证:两个AI智能体,一个在谷歌云的Agent Runtime里,一个在微软云的Microsoft Foundry里。每个智能体在Microsoft Entra Agent ID里都有自己的身份,自己不存任何密钥。

智能体要调模型,中间就隔了一层模型网关。这层网关同时跑在两朵云上,从任意一侧都能调用Gemini和Azure OpenAI,而且它手里不持有任何API密钥。

为什么要在中间加一层

一个智能体直接调模型没问题,两个也还行。到五十个就不舒服了:每个智能体都得配齐它用到的每一家模型厂商的凭证;没有一个地方能说清哪个智能体可以用哪个模型;用量散在两朵云、两个账单控制台里。

网关一次解决这三件事。智能体只对一个端点说话,规则和用量记录都放在那里。选LiteLLM的原因是它在一套兼容OpenAI的API后面,同时能对接Vertex AI和Azure OpenAI。

麻烦在于,网关通常会引入两种新密钥:它持有调用模型厂商的密钥,以及它发给调用方的密钥。这套设计两种都不想要。

设计长什么样

每朵云里各有一个LiteLLM,配置完全一致:谷歌云上跑在Cloud Run,微软云上跑在Container Apps。每个服务里带一个Redis边车,只存自己的短期状态。两边共用一个Postgres数据库,放在Cloud SQL上,存智能体、允许使用的模型和用量。

每个网关都连着两家的模型。微软云上的那个能调Gemini,谷歌云上的那个能调Azure OpenAI。智能体用自己那朵云的网关,拿到的模型目录是一样的。

模型清单在两边是同一个文件,里面根本没有api_key这一行。

智能体用自己的身份登录

LiteLLM通常会给每个调用方发一个虚拟密钥,那等于每个智能体又多一个秘密,正是要避免的东西。

每个智能体在Microsoft Entra Agent ID里已经有身份,能为自己有角色的任何受众取令牌。于是网关就成了又一个受众,带一个角色LLM.Invoke。智能体把自己的Entra令牌当bearer发过去。

LiteLLM这一侧,一个自定义鉴权钩子替换掉了密钥查询。它校验签名、受众、签发方,检查令牌里有没有LLM.Invoke角色,再按令牌里的调用方ID找到对应的团队,确认请求的模型在该智能体的允许清单里。不在清单里,就在调用任何厂商之前被拒掉。

令牌里的调用方ID就是智能体的身份,LiteLLM的“团队”也用同一个ID做键。用量按智能体记录,不需要谁再发明第二套命名。

允许清单来自登记智能体用的清单文件。登记流水线在Entra里分配LLM.Invoke角色,并在LiteLLM里按那些模型建好团队。

网关自己也不持有模型密钥

这是整套设计能立住的部分。网关往外走的每一条链路,用的都是工作负载自己的身份。

  • 谷歌云到Gemini:Cloud Run的服务账号本身带Vertex AI角色,不用配。
  • 谷歌云到Azure OpenAI:LiteLLM向谷歌要一个OIDC令牌,交给Entra,由应用注册上的联合凭证接收,模型条目里就一行配置。
  • 微软云到Azure OpenAI:用Container App的托管身份。
  • 微软云到Gemini:反向联合。托管身份的令牌在谷歌的工作负载身份池里做交换,让它能以Cloud Run那侧同一个服务账号行事。谷歌客户端库发现那个凭证文件后会自动完成交换,一个小边车负责保持文件里的Azure令牌新鲜。

到数据库这一段,两个网关都通过Cloud SQL Auth Proxy边车访问,用IAM数据库认证,数据库用户就是服务账号,连接串里没有密码。

网关挂了会怎样

一旦一朵云里的所有智能体都依赖那朵云的网关,这个网关就是它们共同的单点故障。所以有一件事必须保证:自己那朵云的网关不可用时,智能体还能继续拿到回答。

两个性质让这件事成立。同一个令牌在两个网关上都能用,它们共享受众、角色和数据库,智能体不需要任何新东西就能被另一朵云服务。任一网关都能触达两家的模型,模型厂商挂了和网关挂了是两种独立的故障,哪一种都不会把智能体困住。

还有一条规则值得写下来:拒绝不是故障。401、403、429说明网关在正常工作,只是说了不。切到另一朵云,绝不能成为绕过这个“不”的办法。

测试里,微软云的网关被关掉后,微软云智能体的下一个回答在9秒后经由谷歌云的网关返回。

踩过的坑

  • 让一侧独占schema。两个LiteLLM实例在启动时同时迁移同一个数据库是竞态,一个跑迁移,另一个用DISABLE_SCHEMA_UPDATE=true启动。
  • 自定义鉴权失败会以401返回。LiteLLM把钩子抛出的异常都这么映射,哪怕逻辑上是403。客户端应该读消息,不能只看状态码。
  • 锁死镜像版本。自定义鉴权钩子导入了LiteLLM内部实现,不锁版本的升级可能一次弄坏所有智能体的登录。
  • 关掉消息日志。打开turn_off_message_logging后,数据库只留谁调了什么、用了多少,不留提示词。

这套设计对你提出的要求

每分钟限流是按云算的。速率计数器放在Redis里,每朵云各有一套,60次每分钟的限额在两边各是60次。

共享数据库只在一朵云里,两个网关都依赖它,上生产时这是第一个要盯的地方。

网关仍然有一个管理密钥。LiteLLM自己的管理需要主密钥,它放在每朵云的密钥管理器里,由网关的身份读取。智能体永远看不到它,它也不出现在智能体与模型之间的任何请求里。

智能体和模型之间,没有需要轮换的API密钥。