“MiMo-V2.6 很可能是迄今为止任何开源模型团队根据计算量进行的最大的单一 RL 运行。”
9月23日，小米 MiMo 团队成员罗福莉发布了一篇长文《MiMo-V2.6：通往扩展RL的艰难之路》，复盘 MiMo-V2.6 的强化学习训练过程。
她把这次尝试概括为四个字，扩展 RL。
在她看来，MiMo-V2.6 的意义并不只是又发布了一个模型，而是一次对“强化学习能否继续扩大规模”的实际探索。
“在计算资源极其稀缺的时代，我们仍然选择将一个由几十人组成的团队长期致力于一个目标：扩展 RL。”
她写道，这件事“不仅仅需要研究信念”，还需要“对 AGI 的愿景、对未知的尊重，以及直面最棘手问题的勇气”。
罗福莉认为，MiMo-V2.6 是一个“通过训练中期构建潜力的模型，并通过强化 RL 解锁”的模型。
她尤其强调，这次工作背后的研究和工程挑战非常大，甚至认为“在我看来，它背后的研究创新和工程挑战超过了 DeepSeek R1，后者我曾部分参与”。
而在具体的 RL 路线选择上，她也专门回应了一个问题：为什么选择 MixRL，而不是 MOPD？
她首先强调，“它们不是相互竞争的选择”。
对于中等难度、可以验证的任务，包括代码和相关 Agent 任务，团队采用 MixRL，并观察到“结果模型的泛化能力非常出色”。
但对于那些“难以验证的、极长地平线的，或者单纯太具挑战性而无法纳入联合 RL 运行的任务”，则采取单独训练，再通过 MOPD 合并能力。
因为如果把这些任务全部塞进同一次联合 RL，“会大幅降低 rollout 效率，或引入显著的 rollout 过时问题”。
她举出的例子包括游戏、3D 任务，以及带有主观评估信号的任务。
但罗福莉给出的第三个答案更有意思，而且她自己也说“略带调侃意味”。
“我们的团队足够扁平，也足够摆脱组织壁垒，以至于 MixRL 对我们来说根本不难。更重要的是，每个人都喜欢这种工作方式。”
来自不同领域的人每天聚在一起，围绕 Agent RL 中一个又一个瓶颈展开工作。
“我将永远记住这一时期的 RL 每日更新会议。它们激烈而密集，智能在实时中涌现。”
在她看来，这种高度密集的协作，也是这次 RL Scaling 的重要组成部分。
与此同时，小米并没有只发布模型。
为了让开源社区能够继续研究 Agentic RL，团队还发布了一个“从 MiMo RL 轨迹中蒸馏的 Qwen 模型”，希望把它作为强化学习的一个更强起点；同时开放“7K 个多样化环境”和完整的 RL 训练框架。
罗福莉解释，这些资源的目的很直接，“为了帮助开源社区专注于解决真实的 Agentic RL 问题。”
如果说过去几年大模型 Scaling 主要围绕预训练展开，那么 MiMo-V2.6 所体现出的思路，是把越来越多的计算资源投入模型的“经历”本身：让模型进入不同任务和环境，执行、失败、重新尝试，再通过 RL 将能力进一步释放出来。
这也解释了为什么她反复强调的不是一个孤立的模型，而是环境、任务、训练方式，以及整个团队协作体系。
在文章最后，罗福莉说 MiMo-V2.6 “只是开始”。
尽管“未来的大部分仍未知”，“在智能易于复制的时代，我们仍然选择通往自我改进和 AGI 的这条艰难之路。”
她说，团队愿意继续投入“所需的时间、计算资源和热情”，一个接一个地面对棘手问题，“并将它们彻底解决，直到智能跨越进入一个新范式”。
热门跟贴