IT时代网6月15日消息,MiniMax宣布开源其原生多模态旗舰模型MiniMax M3权重,同步发布MSA(MiniMax Sparse Attention)技术论文。M3总参数428B、激活参数23B,是首个从Step 0开始做多模态混合训练的开源模型,在Artificial Analysis综合智能指数排行榜上取得全球开源模型最高排名。

M3训练阶段使用大量文本、图像和其他模态交错排列的数据,让不同模态的语义空间从预训练阶段就深度融合,建立起统一的跨模态语义空间,为多模态理解、生成和复杂任务融合提供底层基础。MSA架构设计让M3在长上下文下的计算成本大幅降低,论文完整披露了架构与工程实现细节。

发布两周以来,M3在多项基准测试中表现亮眼:Artificial Analysis综合智能指数开源模型第一、GDPval-AA排行榜开源模型第一、Vals.AI榜单国产模型第一名,在金融与Coding任务上表现突出。M3还跻身帕累托最优模型序列,提供最高性价比。

针对访问量激增带来的体验问题,MiniMax持续优化,M3输出速度已从上线时的约30 TPS提升至约80 TPS,接下来还将继续提速30-40%。Token Plan后台上线调用量看板,用户可直观查看当前用量及剩余额度。模型权重已在GitHub和Hugging Face开源,MSA论文同步发布于arXiv。

打开网易新闻 查看精彩图片

此图片为IT时代网AI生成的示意图

注:本文中包含AI辅助创作的内容。