品玩10月9日讯,jetbrains 近日宣布,正式推出Mellum2.1版本,该模型为6月开源的12B混合专家模型的下一版本。架构自2版本起未作改动,仍为2.5B激活参数的紧凑快速模型,采用Apache 2.0许可,变化集中于预训练之后的环节。
本次工作几乎全部投入后训练,以强化学习为主:强化学习由简短的收尾阶段转为训练主体;新增数学、竞赛编程、科学、工具调用与软件工程等任务,并将公开数据集与自建任务结合,因公开数据常存在测试失效、答案不可验证或难度失当等问题,各来源均经筛选后方进入训练;同时自建基础设施运行数千个强化学习环境,训练期间启动数百万个沙箱。
评测中,Mellum2.1与Mellum2及同类的Qwen3.5-9B、Gemma 4 E4B采用统一设置对比,编码智能体方向提升最为明显,编码、竞赛编程、数学、工具调用与通用知识均有改善。速度方面,高负载下其为该组最快,单请求经多token预测约提速1.6倍。模型已在Hugging Face提供。
打开网易新闻 查看精彩图片
热门跟贴