AI用得越多,接大模型的路子就越杂。AUMOVIO的团队各自摸索出了不同的LLM接入方式,有的是厂商集成,有的是为特定场景自建的网关。这些做法都解决了真实需求,但随着AI铺开,种类一多,运维、成本归属和治理的一致性就变得复杂起来。

打开网易新闻 查看精彩图片

他们列出的改进方向有四条:把模型使用汇总到一处,便于统一报表;把花费归到用户、团队或用例头上;把厂商更新、故障和支持收进一个共享服务;用统一方式落实模型审批、日志和护栏。

AUMOVIO的跨职能AI工作组拉来了安全、数据保护、业务部门和IT的相关方,最终拍板:用一个集中式AI网关作为LLM访问与治理的共享通道,给全公司定下统一方向。剩下的工作,是让这条中央通道对团队和他们的应用真正有用。

买还是造,五个理由定了

自建一个AI网关不难,难的是把它当企业级服务长期运营:厂商API会变,依赖要打补丁,安全要求会演进,用户还需要支持。一旦应用依赖上它,网关就得有路线图、值班轮换和支持流程。掂量之后,五个理由让他们选了Databricks Unity Gateway。

  • Databricks本来就是他们的数据平台。One AUMOVIO数据平台(1ADP)跑在Databricks上,把模型访问放在受治理的企业数据旁边,不用引入新厂商、不用审新的网络路径、不用多运维一套孤立的技术栈。
  • 企业身份集成。Databricks已接入公司的Microsoft Entra ID租户,其他AUMOVIO应用也用同一租户认证。应用出示Entra ID令牌,通过令牌交换获得Unity Gateway访问权,没有独立账号,不用分发API密钥,也不用定制集成。新应用上线只需一次权限授予,企业身份失效时,所有模型的访问权自动终止。
  • 治理与用量追踪。模型审批、访问策略、用量追踪和日志集中在一处,不必每个应用各实现一遍。推理表的载荷日志默认关闭,只有经过明确批准的正当理由才开启,这符合数据保护协议的要求。
  • 保留选择厂商的自由。这一点最重要。他们发布一份精选的1adp-*模型别名目录,Unity Gateway把每个别名路由到对应的提供方:Databricks托管的基础模型、Google Vertex AI、Azure OpenAI、AWS Bedrock等。用户面向一个稳定、厂商中立的名称写代码,他们可以把这个名字重新指向别的厂商或更新的模型,消费方一行代码都不用改。
  • 整套配置是基础设施即代码。Terraform表达了Unity Gateway对他们的全部行为:每个1adp-*别名背后的端点、模型路由到哪家、厂商降级时的回退顺序、速率限制和每个端点的护栏。加模型、改别名指向、收紧安全控制,都是一次经过评审、有版本、可跨环境复现的拉取请求。生产出问题时,版本控制能说清是哪个配置导致的。

网关之上,又搭了三样东西

集中模型访问只是第一步。他们随后在Unity Gateway上建了三项能力,支撑团队管理、访问和使用AI的方式。

成本归属与内部计费。Unity Gateway报告消耗了多少token,每个用户把自己的消耗分配给个人成本中心或所在项目。流水线把这份分配与Databricks系统表关联,把用量记到正确的成本中心,再以仪表盘发布结果:哪些模型被用、被谁用、消耗怎么变化、花了多少钱。预算负责人能看到自己的支出,识别消耗变化。

精选模型目录。标准化访问并不意味着模型可以互换。目录是唯一事实来源,说明哪些模型获批、对应什么、跑在哪个消耗层级。团队仍然要针对自己选的模型测试应用,但不用再为够到模型去搭基础设施。

面向员工的界面。1ADP AI App在生产环境跑在同一个网关上,给员工一条受治理的用AI途径,不用写代码。开发者拿到的是OpenAI兼容端点,可以把兼容的智能体编程工具指向中央模型。同一套基础设施,两类受众:模型访问标准化,开发界面的选择保持开放。

下一阶段往平台上层走

下一阶段要往AI平台栈的上层移动:在1ADP项目内共享智能体,通过托管的和自带(bring-your-own)的MCP(模型上下文协议)连接,接入知识源、网页搜索和其他工具。模型访问保持集中,变化的是智能体能触达的工具范围。这带出了新问题:智能体可以检索什么、可以调用哪些工具、以谁的权限行事。有一个统一框架来回答这些问题,正是他们当初做整合的原因。

给同样在整合多种模型接入方式的人,他们的建议是:把安全、数据保护、业务部门和IT拉进运营模型,然后让这个共享服务对要用它的团队真正有用。比较自建还是采购时,按十年去算账,而不是按原型去算:谁给厂商集成打补丁,谁接支持工单,谁处理故障,明年谁再来一遍。

最后要判断什么是真正该自己造的。网关不是。成本归属、模型目录和面向员工的AI App是,因为它们编码了AUMOVIO的运作方式,没有厂商会把这些直接交到他们手上。架构、安全决策和应用质量的责任,仍然由他们自己承担。