MiniMax 稀宇科技今日宣布,开源 MiniMax M3.1 Flash 的模型权重。这组数字值得先摆出来:总参数 428B,激活参数 23B。
打开网易新闻 查看精彩图片
相较于上一代 M3 模型,M3.1 Flash 的模型能力实现了全面提升。提升之外,这次更受关注的是推理效率上的几项优化。
第一项是全模型稀疏注意力:前三个全注意力层被替换为稀疏注意力。第二项是量化感知训练(QAT):路由 MoE 专家迁移到 W4A4(共享专家除外),稀疏注意力索引器和主分支从 Q8KV8 迁移到 Q8KV4。第三项是 Power-aware scheduling:通过对计算卡功耗的精细分配,让计算卡持续维持算力高位,压榨硬件效率。
模型于 10 月 19 日上线,72 小时内真实用户处理超过 100 万亿 Token。这个量级是判断一次开源是否真正被用起来的关键指标。
开源首日接入的名单拉得很长。芯片侧,MiniMax 携手华为昇腾、平头哥、昆仑芯、摩尔线程、壁仞、海光、沐曦、天数、英伟达、AMD 等海内外厂商;推理和云平台侧,则有 Together AI、Fireworks、Nebius、Baseten、Modal、DigitalOcean 等。
推理框架与开源社区同样在列:vLLM、SGLang、智源 FlagOS 以及 Hugging Face、魔搭,将与 MiniMax 一起推动模型在不同芯片、云平台和开发环境中的应用,持续拓展全球 AI 开源生态。
权重已放出,Hugging Face 与魔搭社区均可获取。
热门跟贴