观点网讯:11月5日,阿里云灵骏真武M890超节点已完成月之暗面Kimi K3.1 Pro模型权重的Day0适配,并在vLLM与SGLang两大主流开源推理框架上完成全链路验证。

Kimi K3.1 Pro总参数为2.8万亿,支持100万Token上下文。该模型延续超大规模稀疏混合专家(MoE)架构,采用KDA线性注意力与DSA稀疏注意力相结合的混合注意力设计,支持多Token预测(MTP)。目前,Kimi K3.1 Pro也在千问AI平台部署上线,对外提供API服务。

针对万亿参数大模型“高吞吐、低延迟、高并发”的需求,阿里云、平头哥与Kimi团队依托T-Head SAIL软件栈完成联合适配,并针对FlashMLA算子、DeepGEMM MOE算子、MegaMoE以及MoonEP的适配与调优做了重点优化,用户可基于裸金属或REIN智能引擎服务完成推理服务在超节点资源上的部署。

阿里云中卫超节点地域开启邀测。阿里云中卫超节点新增了平头哥磐脉920智能网卡,该卡采用PCIe 5.0与112G PAM4以太网技术,最高支持400Gbps吞吐带宽、400Mpps收发包率,支持多路径RDMA与用户可编程拥塞控制;内置PCIe Switch芯片级网络架构,以极低时延直连GPU与SSD,减少对外部交换芯片的依赖,可节省系统成本30%。

目前,阿里云在乌兰察布和中卫数据中心均提供DAY0适配各种主流大模型的超节点实例。灵骏真武M890超节点实例已经服务上百家头部客户。即将推出的下一代真武V900超节点实例,性能将较当前一代提升3倍。

免责声明:本文内容与数据由观点根据公开信息整理,不构成投资建议,使用前请核实。

本文源自:观点网