Kimi K3发布，国产Fable 5来了！|kimi|max|大模型|路由

编辑｜冷猫、山辉

Kimi 终于投下了我们期待许久的重磅炸弹！

今天一早，Kimi 正式推出了其最新，最强的开源大模型 Kimi K3，是全球首个开源的 3 万亿参数级别模型，支持 1M 上下文，原生支持视觉理解

根据 Kimi 的说法，其「在过去 12 个月中的 9 个月里，都保持着开源模型的规模上限」。

我们知道大模型世界的基本规律：参数大就是强。那么作为首个开源领域达到 3 万亿参数级别的模型，能力到底有多强？

根据权威的大模型竞技场 Arena.ai 的最新榜单，Kimi K3 在前端代码竞技场排名第一，远远超越了 Claude Fable 5，遥遥领先。

能够看出，前端代码能力和美学的理解是 Kimi K3 发力的方向。Kimi 在发布 K3 时放出的小短片，充分展示了模型在前端、三维模型、视觉图像和交互设计方面的超强实力。

视频链接：https://mp.weixin.qq.com/s/9HK7C33VUg_UhFfz93M-yw

而在整体智能表现上，根据 Artificial Analysis 的数据，K3 在人工智能分析指数中取得了 57 分的成绩，虽说与全球榜一的闭源模型 Fable 5 的 60 分和 GPT-5.6 Sol 的 59 分相比稍显逊色，但也已经实现了远超业内其他大模型的智能水平，在开源领域依旧保持强势领先地位。

开放的 3T 级模型

2.8T 的参数规模对模型架构和训练系统提出了多重要求，包括降低超长序列的注意力成本、改善深层网络的信息传递、维持高稀疏度 MoE 的路由均衡等等。

根据 Kimi 发布的技术博客，Kimi K3 的主要技术组成包括 Kimi Delta Attention（KDA）、Attention Residuals（AttnRes）、Stable LatentMoE，以及面向低精度训练与大规模专家并行设计的基础设施。

技术博客链接：https://www.kimi.com/blog/kimi-k3

KDA 主要解决注意力机制在长序列下的扩展效率问题。AttnRes 则会选择性地检索分布在不同深度的表示，而不是将这些表示统一累积。二者共同构成 Kimi K3 的架构主干，使模型能够有效扩展至远超万亿参数的规模。

Kimi K3 采用的Stable LatentMoE，将模型总参数扩展至 2.8 万亿，但每次计算只从 896 个专家中激活 16 个。

这种高稀疏度设计可以在控制单次计算量的同时扩大模型容量，但也对专家路由和负载均衡提出了更高要求。为此，Kimi 引入Quantile Balancing，根据路由得分的分位数直接完成专家分配，减少对启发式更新和敏感均衡超参数的依赖。

从监督微调阶段开始，Kimi K3 就引入了量化感知训练，采用 MXFP4 权重和 MXFP8 激活，以适配更广泛的低精度硬件。

此外，Kimi 团队提出了Per-Head Muon方法，将 Muon 优化器扩展为针对每个注意力头独立优化，从而在超大规模训练中实现更加灵活的学习过程。

同时，Sigmoid Tanh Unit（SiTU）Gated MLA 分别增强了激活控制能力和注意力选择能力。上述技术共同支持了 Kimi K3 在 2.8 万亿参数规模下实现稳定、高效的训练。

按照 Kimi 的说法，这些架构与工程改进共同使 K3 的整体规模扩展效率达到 Kimi K2 的约 2.5 倍。因此，Kimi K3 的关键就在于，为如此庞大的模型配套了一整套让它能够稳定训练和实际部署的技术方案。

实验结果

虽然其整体性能仍然落后于最强大的专有模型 Claude Fable 5 和 GPT 5.6 Sol，但 Kimi K3 在评估套件中表现出了前沿水平的性能，始终优于其他受测模型。

在实际使用中，性能分数与开销的性价比是非常重要的参考标准。Kimi K3 在性价比上也能保持相当优秀的水平。

Kimi K3 推进了端到端知识工作。除了公开的基准测试结果外，Kimi K3 (max) 在 Kimi 内部的评估中也展现出持续的性能提升，这些提升源于在真实用户代理工作流程中观察到的反复出现的模式和挑战。这些在不同的生产导向型工作流程中持续存在的优势，反映了 Kimi K3 代理知识工作能力的全面提升。