11月4日,月之暗面正式公布 Kimi K3.1 Pro 的完整模型权重。同一天,昇腾这边已经把推理部署跑通了——基于 vLLM Ascend 与 SGLang,实现 0 Day 推理适配。
支持范围覆盖昇腾 Atlas 800 A3、Atlas 900 A3 SuperPod 超节点,以及昇腾 950 超节点系列产品。模型发布首日,用户和开发者就能开展部署与应用验证。
Kimi K3.1 Pro 是 K3.1 系列的首个模型,拥有 2.8 万亿参数,原生支持视觉理解,具备百万 token 上下文窗口。它在 K3 基础上进一步扩大后训练规模,在代码开发、3D 创作、金融研究、事实准确性和长程智能体任务等方面实现能力提升。
百万级上下文带来的直接变化,是模型可以综合利用长篇文档、代码和多轮交互中的任务信息,再结合视觉理解与工具调用完成多步骤任务,支撑软件研发、企业知识处理等复杂场景。
计算架构上,K3.1 Pro 采用混合线性注意力,结合 KDA 线性注意力层和 DSA 稀疏注意力层。要发挥这一架构的计算优势,算子执行、缓存管理与跨卡通信都得协同优化。
围绕模型新增的稀疏注意力、百万级上下文及推理服务需求,昇腾开展了算子与框架协同优化。适配工作覆盖历史信息筛选、稀疏注意力计算、预处理与残差计算,并结合分布式缓存和框架能力叠加,支撑长上下文推理与服务部署。
昇腾推理团队依托 Kimi K3 的适配经验,提前开展模型分析,协同推进模型接入、算子开发与服务验证。在已有 KDA 与 MoE 支持的基础上,完成了 K3.1 Pro 新增稀疏注意力路径与多模态推理适配,并同步支持推理框架的既有服务能力。
模型权重公布与推理适配同日落地,意味着这套 2.8 万亿参数的 MoE 模型,在发布第一天就有了可用的国产算力部署路径。
热门跟贴