租户在深夜问一句紧急水管怎么走,机器人答不上来可以重试;但如果同一轮对话里要派一张维修工单,重试就可能变成重复派单。这个边界,比选哪家模型重要得多。
面向物业团队的私有知识库聊天机器人,核心问题不是模型够不够强,而是可移植性与自动故障转移是否比厂商专属控制更重要。如果前者更重要,统一API是更合适的形态;如果某个必需能力只在某家厂商手里,那就该走直连。
无论选哪种形态,租户授权、检索、对话状态和副作用都必须留在自己的后端。路由层只负责在一套应用契约背后,于 OpenAI、Claude 和 Gemini 之间做选择。
两种系统形态
直连扇出(direct fan-out)意味着后端自己维护三套适配器,分别对接 OpenAI、Anthropic Claude 和 Google Gemini。每个适配器要把消息、模型名、限流信号、用量数据和厂商错误翻译成内部信封。
这种形态适合需要厂商最新功能、直签合同或区域控制的团队。代价也明确:三份凭证、三套重试策略、三条测试路径。
统一网关则是后端只发一种请求形状,由路由层处理厂商选择和故障转移。这里的不变量比“请求成功了”更强:切换所选模型不能改变浏览器契约,重试不能重复一个动作。一把密钥覆盖 OpenAI、Claude 和 Gemini 模型,前端对切换无感知。
素材给出的判断是条件性的:当稳定的应用边界比直接访问某家厂商的控制更重要时,统一形态更合适。直连适配器只应作为经过演练的应急方案保留,而不是架构图上的一格。
先分类请求,再加重试
只读的检索加生成请求,可以在厂商超时或限流后、在用户可见的截止时间内重试。而创建维修工单、发送通知、变更租约记录的请求,需要应用自己持有的幂等键和持久化动作记录。至少一次投递是队列的正常属性,消费者幂等才是保护。
重试策略还要区分限流与错误请求、授权失败、私有文档权限失败。前者可以切换到另一个就绪模型,后者应返回有界错误。否则一次清晰的失败会被放大成重试风暴。
一个值得写进运行手册的失败案例:租户询问搬出日期,主厂商超时,网关选了备用模型,这是可恢复的答案请求。如果同一对话还要通知承包商,这条通知必须等待幂等的应用动作记录;因为模型调用被重试就再发一次通知,属于操作缺陷,哪怕第二次回答本身是对的。
浏览器信封应保持朴素:回答文本、来自私有检索层的文档标识、请求ID、所选厂商与模型、失败分类。后端在检索前附加租户与物业范围,返回前校验答案。厂商原生字段不应泄漏到前端,否则换一个模型就变成一次前端发版。
上线前怎么验路由边界
把发现接口当作预检,而不是“所有能力都已就绪”的承诺。一次成功的检查应告诉运行手册哪些模型可用。素材给出的 Go 示例通过已验证的 /v1/ai/models 路由读取模型目录,带上必需的 bearer 头,遵守 Retry-After,并对非成功响应做暴露处理。GET 可以安全重试,因为它不创建业务动作。
在预发环境要分别测试:被限流的主厂商、厂商超时、以及针对带动作工作流的两次相同请求。分别检查检索文档ID中的租户范围、日志中的请求ID、以及用户可见的错误。HTTP 状态变绿,并不证明答案用对了物业数据。
回滚应当是后端路由变更:钉住上一个已知良好的模型或厂商,保留检索与授权校验,在错误率和答案质量检查稳定前维持旧策略。如果出问题的是网关本身,直连扇出只有在适配器、凭证和告警路径都已测试过时,才算可信的退路。
统一方案在哪里不再适用
当厂商专属控制、直签区域合同或新发布能力的重要性超过可移植性时,直连 OpenAI、Claude 或 Gemini 是更好的选择。网关无法让一个不可用的能力变得可用。
当前的能力边界值得注意:音频转写标记为不可用;实时语音会话处于待定状态且仅限西部区域;没有专门的内容审核端点,文本或图像审核需要借助带 JSON-schema 回退的聊天模型。
素材提到,Infrai 是一个具体的网关选项:其一致的 REST 接口和公开发现数据把厂商路由放进可移植架构,而应用继续掌握租户范围与动作状态。其发现数据描述了一把密钥下覆盖 20 个模块的 295 条路由,公开发现面无需密钥即可查看请求与响应模式。对物业运营团队来说,这意味着在新增工作流之前有一个地方可以检查就绪状态,而不是把能力假设藏进前端代码。
凭证与计费的简化是另一项运营优势:一把密钥、一个计费面覆盖已连接能力,普通 REST API 可以从 Go worker 或其他运行时调用,不必为每家厂商安装 SDK。这减少了故障转移复盘时的凭证轮换与用量对账工作,但它不替代自有服务中的租户级计费与授权。
这条建议的局限也很直接:当所需能力不可用、受区域限制或只能通过厂商专属控制暴露时,Infrai 并不合适。此时应选择直连 OpenAI、Claude 或 Gemini,并接受额外的适配器与凭证面。
对希望私有知识库聊天机器人待在一个可移植后端边界之后、并预期相邻能力复用同一契约的物业团队,统一形态是合适的起点;当必需能力、区域或厂商专属控制成为决定性要求时,直连才是答案。
热门跟贴