投资者内参丨杨跃滂

7月27日晚间,月之暗面正式宣布开源Kimi K3模型权重,同步发布技术报告,并开放三项支撑模型训练的关键基础设施技术——MoonEP、FlashKDA 和 AgentEnv。

打开网易新闻 查看精彩图片

Kimi K3由此成为全球首个真正落地的3万亿参数级别开源模型。

2.8万亿参数模型全球开放

Kimi K3是月之暗面目前能力最强的模型,总参数规模达到2.8万亿,采用混合专家(MoE)架构,具备原生视觉理解能力,并支持100万token的上下文窗口。

相比上一代Kimi K2.5,K3的参数规模提升约3倍。在算力条件并不宽裕的情况下,月之暗面凭借Kimi Delta Attention(KDA)、Attention Residuals(AttnRes)以及MoonEP等技术手段,将规模化效率提升了2.5倍(即在算力最优意义下,单位算力产出的智能约等于原来的2.5倍)。

月之暗面评测显示,尽管K3综合性能仍不及业界顶尖闭源模型 Claude Fable 5 与 GPT 5.6 Sol,但优于其他参与测试的模型。

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

第三方评测进一步验证了K3的实力。

AA-Briefcase是由Artificial Analysis(全球AI行业最受关注的独立分析机构之一,其榜单曾先后被OpenAI、Anthropic、Google等海外头部公司引用)开发的一个代理知识工作基准测试工具。

其中的AA-Briefcase Elo是一项综合评估指标,融合了通过率评分、分析能力Elo评分以及表现Elo评分,各项得分越高代表性能越好。Kimi K3在这一指标上取得1540分,位居前三。

打开网易新闻 查看精彩图片

开源的不只是模型,更是整个“技术底座”

月之暗面公布的技术报告披露了多项技术细节:

KDA + AttnRes:以3:1比例混合KDA与Gated MLA,实现高效长上下文建模,并通过块级注意力残差增强跨层信息流动。

传统注意力机制处理长文本时,模型读入的内容每增加一倍,计算量会增至约四倍;KDA将这种关系从“平方级”降到“线性级”,在同等算力下显著增强了模型处理信息、完成任务的能力。

AttnRes(Attention Residuals,注意力残差)则相当于给模型加装了一套“稳定器”,让信息在数百层网络间传递时不衰减、不失真。

Stable LatentMoE:每个token从896个路由专家中激活16个,通过SiTU-GLU与Quantile Balancing保持极高稀疏度下的训练稳定。

换句话说,K3拥有896个专家储备,但处理每个问题时只调度最擅长的16个专家协同完成,很好地控制了调用成本。

MoonViT-V2:视觉编码器从零开始使用next-token prediction训练,无需对比预训练。

后训练与评估:覆盖通用推理、通用Agent和编程Agent三大领域,包含百万token上下文的强化学习基建及近20个内部评测集。

打开网易新闻 查看精彩图片

此次开源的范围远超模型本身。月之暗面同步开放了支撑Kimi K3训练的三项关键基础设施(Infra)技术:

MoonEP:为超大细粒度MoE打造的高性能通信库,让专家并行通信在不均衡的情况下仍实现极致效率。

FlashKDA:Kimi Delta Attention的高性能算子,在英伟达H20上相比基线prefill速度提升1.72至2.22倍。prefill速度会直接影响用户等待第一个字出现的时间。

AgentEnv:与KVCache.ai合作开发的沙箱系统,为Kimi K3后训练提供高保真、强隔离环境,支持快速快照、恢复和分叉。沙箱系统类似于实验室里的无菌操作台,将代码与外界完全隔开,互不影响。
其中FlashKDA此前已开源,MoonEP和AgentEnv随本次发布正式开源。

华为阿里海光Day0跟进,黄仁勋力挺开源

月之暗面刚开放模型权重,国内芯片与云计算厂商便迅速跟进,甚至在产品正式发布的当天(Day0)就完成了配套支持,即Day0适配。

官宣仅几分钟后,华为昇腾CANN即宣布对Kimi K3的量化实现Day0原生支持。

打开网易新闻 查看精彩图片

7月28日早间,阿里云宣布真武M890超节点实例完成Day0适配,成为国内首个跑通近3万亿参数模型的超节点实例;

打开网易新闻 查看精彩图片

海光信息亦发文表示已完成Kimi K3在海光DCU平台的全流程适配、部署与性能验证。

打开网易新闻 查看精彩图片

这充分说明,国内算力生态已经具备快速承载运行世界级规模开源大模型的能力。

就在Kimi K3宣布开源的三天前——7月24日,英伟达CEO黄仁勋在社交平台X上发布了人生第一条推文。

推文内容指向一封由a16z发起,英伟达联合微软、Meta、Perplexity AI、Hugging Face等25家公司共同签署的公开信。该公开信明确主张“前沿开源模型与前沿闭源模型应并存发展”,并称开源模型具备安全、创新、AI自主主权等多重价值。OpenAI、Anthropic、Google三家最大的闭源实验室均未参与签署。

“一个广泛、开放的生态系统,是最适合承载AGI的土壤”

月之暗面表示,现在每个人都可以下载并部署Kimi K3模型——无论是用于内部研发,还是嵌入到面向终端用户的产品中,均可自由使用。具体使用范围需遵循Kimi K3许可证。

该许可证中,有两项特殊规定值得关注:

针对提供“模型及服务”公司的商业用途需求,被许可方及其关联方连续12个月合计收入超过2000万美元的,必须与月之暗面签署单独的协议。

任何拥有超过1亿月度活跃用户,或每月收入超过 2000 万美元的商业产品或服务,都必须在用户界面中清楚地展示“Kimi K3”标识。

打开网易新闻 查看精彩图片

月之暗面在公告中表示:“我们坚信开放权重模型的价值。它们能降低获取智能的门槛,推动创新,并赋予用户对数据更大的控制权、隐私保护和所有权。在过去几周里,我们很高兴听到了许多来自AI社区,以及与我们有着共同愿景的技术领袖的支持声音。我们相信,对于AGI这样具有深远影响的技术,一个广泛、开放的生态系统是最适合承载它的土壤。”

风险提示:本文为内容资讯,不构成个人投资建议。市场有风险,投资需谨慎。