快科技7月28日消息，海光信息宣布已完成Kimi K3在海光DCU平台的全栈适配与性能验证，这意味着国产GPU也能跑万亿级大模型了。
海光DCU从底层算子到推理引擎完成了全栈优化，模型代码无需任何调整即可运行，迁移成本几乎为零，开发者拿到算力即可上线部署，兼容性出色。
打开网易新闻 查看精彩图片
针对KDA注意力和896专家MoE架构，海光完成算子级定制优化。即使896个专家并行工作，在百万级上下文的重载场景下推理依然高效稳定，不会卡顿。
场景落地方面，K3在海光DCU上可支撑长程智能体工程、视觉闭环创作和自主芯片设计等前沿场景，国产算力用户也可以跑通万亿级开源模型。
需要提及的是，月之暗面在发布K3前，已联合海光、曙光完成完整兼容性调优。曙光基于海光DCU硬件栈，打通了Kimi MoE架构的分布式训练与多卡并行推理链路。
海光DCU则通过底层硬件与软件栈的协同优化，在曙光8000集群上实现了长文本推理的稳定运行。
官方实测显示，国产卡性能折损控制在12%以内，已达到商用部署标准。
打开网易新闻 查看精彩图片
热门跟贴