昨天柒哥在社群刷到一则消息说中国 MiniMax 计划推出 2.7 万亿参数模型,有助于加速中国开源 AI 模型在全球范围内的扩张。
2.7万亿参数什么概念?跟之前比提升了很多倍,也会超过国内大部分的模型,怕不是要直接跻身全球第一梯队了。专家说最快Q3推出,真是悬念拉满,一起去扒一下这个访谈有哪些干货。以下新模型简称M3.1,旧模型简称M3。
新模型技术提升在哪些方面?
从训练反馈看,新模型 loss 收敛速度和 benchmark 中间表现均超出预期,内部信心充足,目标是做到"国内最好"并追赶全球头部三家。
M3.1 相比 M3 的核心改进在于补足了后训练阶段的短板。
M3 因开发时间紧张缺乏充分的后训练,导致预训练基础虽好、benchmark 表现漂亮,却出现"复杂任务优异、简单任务易错"的反差问题; M3.1 通过充分的后续训练(包括 SFT 和强化学习)基本解决了M3的遗留问题,使模型在简单任务和复杂任务上的表现更加均衡。在数据层面,M3.1 显著提升了数据质量和数量,在长程任务数据支持下实现倍数级能力提升,同时通过优化数据筛选机制和增强训练约束,显著降低了幻觉率。
整体而言,M3.1 是基于 M3 经验、用更充分的训练时间和更优质的数据,把预训练阶段埋下的好底子真正释放出来,并为后续版本更大规模数据和更长训练时间的优化积累了经验。
核心创新是什么?
核心创新在于将 MSA 架构升级至MSA 2.0,从而实现训练效率和成本的双重优化。
MSA 架构的技术优势在于支持超长序列任务,成量级降低 Attention 开销,极致提高硬件利用效率并缩短训练时间,其强扩展性可支撑2.5 万亿参数扩展,具备复杂任务处理能力,是模型公司的核心竞争力所在。
选择自研 MSA 而非沿用现有架构,是MiniMax 基于实际训练和推理任务特性、综合考量性能与计算资源后的决策——在数据规模巨大、模型需持续学习而非快速收敛,以及显卡算力、显存等硬件受限的多重约束下,自主创新架构能最大化硬件利用效率,同时保障模型稳定提升,避免简单套用其他模型带来的效率瓶颈。
关于算力基础设施
MiniMax 认为模型竞争的关键除算法和数据外,还在于 Infra 端算力与集群能力,因此持续布局以确保技术生态优势。
具体而言,竞争体现在数据资源积累与算力集群优势两方面,集群部署优化直接影响训练效率和业务应用——公司训练端集群建设与系统部门协同仅数月,便实现了高稳定性和性能提升,达到大云集群水平,自主组网不仅节省成本和时间,其高稳定性还超过预期,体现了强大的技术实力。
在海外算力方面,公司合规获得优质海外算力,已全面升级至最新一代显卡,领先多数仍停留在 Hopper 代的同行。国产算力方面,验证结果显示基本可用,但产能有限,预计2026 年 Q3 末搭建首个国产集群,采取推理先行、训练随后的策略,符合当前生态培养阶段。
专家表示我们整体在算力硬件上处于相对领先状态。训练端几乎全面迁移到了最新硬件,坦言"给我多少卡我都能用得完",算力永远不嫌多,但战略层面配置已足够合理。
关于Coding格局的判断
在 Coding 竞争格局方面,MiniMax的 M3 系列预训练效果优异,但 M3 因后期强化不足存在缺陷,M3.1 通过提升数据质量和数量显著改善了这一问题。
在 Coding 方面的改进主要体现在三个层面:一是长程复杂任务能力显著提升,数据量和质量均有倍数级增长;二是前端审美表现优异且将持续保持;三是在复杂设计、代码扩展等难题上的攻克能力将比简单问题更突出,因为简单 Coding 各家已拉不开差距。
关于 Coding 数据飞轮,市场上存在两派观点:一派主张领先模型通过自循环数据持续领先,另一派主张依赖高质量专业代码数据。
专家偏向后者,认为数据质量和训练方案更为关键。
理由是 GitHub Copilot 作为最早大规模做 Coding 的项目并未长期领先,说明先发优势有限;Coding 领域的数据获取相对容易(团队本身就是程序员,专家支持直接),不依赖难以替代的专业知识(如医药)。因此 Coding 壁垒不在先发,而在数据质量、数量及训练方案,这是相对确定且可控的。
从市场竞争格局看,当前国内外 Coding 领域混战,无明显领跑者,M3 及 2.7 版本已显著提升,更大参数版本预计将达到市场最佳水平。整体对 Coding 能力持续提升持乐观态度。
新模型在商业化上会带来什么变化?
采用MSA降低计算开销,毛利率预计超过M2。专家从技术和需求判断使用使用反馈良好,销售市场也会稳定增长。
专家反馈M3使用量增长较快,内部也一直在上优化和加卡,即使这样,目前高峰期负载偶尔会过载,表明市场需求和销量保持活跃状态。整体来看,销售和优化仍然保持良性循环,没有明显瓶颈。M3模型输出速度国内领先,用户体验好。
而新模型M3.1在数据量和质量上有很大提升,从内部视角看,coding能力的提升和体验方面目前都稳妥,后续也会继续保持优势。
柒哥整理完这个访谈,只能说每一条都非常硬气! 参数实实在在上去了,创新架构构成核心竞争力,coding能力解决了最关键的数量和质量问题直接去解决复杂问题, 算力还是领先于同行,这一把真的是要去冲击全球前三了!
热门跟贴