微软在Azure Kubernetes Service（AKS）上提出了一套三层参考架构，用来优化AI智能体的流量处理。该架构的核心思路是通过语义路由、策略管理和GPU感知的负载均衡，让运行在云原生环境中的AI智能体能更高效地调度请求。

这套方案面向的AI智能体通常是承载大语言模型的应用，其流量模式对延迟和GPU资源都很敏感。三层设计将路由决策与策略管控、硬件资源感知结合在一起，帮助在多个模型副本或不同模型之间更合理地分配任务，从而提升整体服务性能。

打开网易新闻 查看精彩图片