10月23日,MiniMax宣布开源M3.1 Flash模型权重。该模型总参数428B,激活参数23B。

打开网易新闻 查看精彩图片

据MiniMax介绍,相较于上一代M3模型,M3.1 Flash的模型能力实现了全面提升。此外,通过全模型稀疏注意力、量化感知训练和Power-aware scheduling等优化工作,M3.1 Flash进一步提升了推理效率。

优化方案包含三大方向:采用全模型稀疏注意力,将前三层全注意力层替换为稀疏注意力;落地量化感知训练(QAT),路由MoE专家迁移至W4A4精度(共享专家除外),稀疏注意力索引器和主分支从Q8KV8迁移到Q8KV4;搭载功耗感知调度策略Power-aware scheduling,精细化分配显卡功耗,让硬件稳定跑满高算力区间。

同时,MiniMax表示,M3.1 Flash上线后,72小时内真实用户处理超过100万亿Token。

此外,vLLM、SGLang、智源 FlagOS 和 Hugging Face、魔搭等推理框架与开源社区,也将与MiniMax一齐推动模型在不同芯片、云平台和开发环境中的应用。