Kimi K3正式开源 拥有2.8万亿参数 每个人都可以下载并部署

【CNMO科技消息】近日，@月之暗面Kimi 发布Kimi K3的模型权重、技术报告，并开源支撑Kimi K3模型训练的关键Infra技术：MoonEP、FlashKDA和AgentEnv。

打开网易新闻 查看精彩图片

据CNMO科技了解，Kimi K3是月之暗面能力最强的模型：这是一个拥有2.8万亿参数的混合专家（MoE）模型，具备原生视觉理解能力，并支持100万token的上下文窗口。

现在，每个人都可以下载并部署Kimi K3模型——无论是用于内部研发，还是嵌入到面向终端用户的产品中，均可自由使用。

打开网易新闻 查看精彩图片

与Kimi K3模型权重一起公开的，还有模型训练方法——Kimi K3技术报告已同步上线。

从技术报告中，用户可以了解这些技术细节：

KDA+AttnRes：以3:1比例混合KDA与Gated MLA，实现高效长上下文建模，并通过块级注意力残差增强跨层信息流动。

Stable LatentMoE：每个token从896个路由专家中激活16个，并通过SiTU-GLU与Quantile Balancing保持极高稀疏度下的训练稳定。

MoonViT-V2：视觉编码器从零开始使用next-token prediction训练，无需对比预训练，在达到SigLIP初始化基线效果的同时获得更稳定的优化过程。

后训练与评估：在通用推理、通用Agent和编程Agent三大领域进行大规模任务合成，百万token上下文的强化学习基建，近20个内部评测集的完整评估结果。