9月17日凌晨,罗福莉把一张尚未完成的答卷挂到了互联网上。
| 网页上,MiMo-V2.6-Pro和MiMo-V2.6-Flash仍在训练。Token数量不断增加、样本数继续累积,奖励曲线在波动中向前伸展。一只美元计数器悬在旁边,很快越过百万。每过一个小时,又有超过3万美元被记在上面。
大模型公司习惯递交答案。罗福莉缺把草稿摊开了。
“沉默近半年,我们一直在用这段时间研究一个问题:强化学习到底可以走多远。”
她在社交平台上写道。
这句话听起来像一个技术问题。放在罗福莉身上,又像一句处境说明。
她曾经参与DeepSeekMoE、DeepSeek-Coder-V2和DeepSeek-R1,被外界反复称为“天才少女”。
| 如今,她负责小米MiMo大模型,面对的工作却很少有天才故事里那种灵光乍现。屏幕上是一批又一批Prompt,一轮又一轮Rollout,还有调度、路由、奖励、测试环境、训练稳定性,以及一条可能随时走偏的曲线。
人们喜欢谈论智能如何涌现。
罗福莉要先保证机房别将这种涌现训练坏了。
01
一张网,先罩住了模型
MiMo-V2.6这一轮的强化学习,每个Step处理约20亿Token。
| 团队一次送入1568个Prompt,每个Prompt生成16条Rollout。换句话说,同一道题不会只得到一个答案。模型要同时走进16条岔路,调用不同工具,尝试不同步骤,有些抵达终点,有些则在半路迷失。
一个训练批次里,大约会出现25088次尝试。
于是,真正困难从此开始。
假如模型解一道数学题,答案可以直接核对。代码也相对简单,测试用例通过或失败,机器能够给出明确反馈。Agent的任务则长得多,模型可能先搜索网页,再阅读文件,随后制定方案、调用工具、修改代码,最后检查结果。一项任务走上几十步以后,成功究竟应该归功于哪一步?失败又从哪里开始?已经很难回答了。
这就是信用分配。
| 罗福莉在帖子中特别提到,团队扩展了评估计算,引入Agentic In-group Credit Assignment,并结合测试用例和Rubric奖励。简单说,小米不只在增加做题的人,也在增加阅卷的人,还试图让阅卷者看懂一条漫长轨迹中每个动作的贡献。
模型答错,可以再试一次。裁判给错分,则会将错误变成方向。
尤其当算力越多,这种危险越大。
一个失真的奖励函数,会让模型以更快速度学会讨好评判器;一个存在漏洞的测试环境,会把投机行为奖励成能力;一个只看最终结果的裁判,可能把中途的侥幸误认成推理……
强化学习因此像一张网。算力是网线、环境提供网眼,奖励系统决定什么能够穿过去。模型在里面一次次挣扎,渐渐学会哪些动作会得到分数。
问题在于,得到高分与真正变聪明,从来不是同一件容易证明的事。
02
她开始修建一座工厂
罗福莉的技术轨迹里,一直有一种不太显眼的连续性。
在DeepSeek,她署名参与的工作横跨MoE架构、代码模型与强化学习。来到小米以后,研究问题开始从模型内部向整套训练系统扩张。
| 2025年10月,她作为共同通讯作者参与R3研究。MoE模型会将不同Token分配给不同“专家”,但训练引擎与推理引擎可能作出不同的路由选择。同一个Token,在两个系统里走进不同房间,强化学习便会产生偏差,严重时甚至训练崩溃。
R3的解决办法比较直接:将Rollout阶段的路由记录下来,训练时重新播放。模型从哪扇门进去,更新参数时仍从那扇门进去。
| 几个月后,MiMo团队与北京大学推出ARL-Tangram。Agent做强化学习时,需要同时占用GPU、CPU、内存、工具环境和外部API。传统调度方式会让一段轨迹长时间捆绑资源,即使模型正在等待网页响应,机器也可能被闲置在那里。
ARL-Tangram将任务拆到动作级后重新调度。官方实验显示,动作完成时间最多改善4.3倍,训练Step最多提速1.5倍,外部资源最高节省71.2%。
接着是MOPD。不同教师模型分别学习代码、搜索、数学和工具调用,再将这些能力装回一个学生模型,尽量避免一种能力进步时,另一种能力从模型身上滑落。
路由、调度、老师、奖励、环境……这些词都没有“人工智能觉醒”听起来动人。可当强化学习扩大到数十亿Token、数万条并行轨迹,决定成败的恰恰是这些词。
罗福莉如今正在做的事情,越来越像管理一座工厂。原料从一端进入,经过模型生成、环境交互、结果验证和参数更新,再从另一端出来。每一道工序都要保持一致,每一处等待都在消耗算力,每一个错误的奖励都可能污染下一批产品。
天才神话喜欢一个瞬间。
| 工程则需要数千个环节不要同时出错。
03
小米需要一颗怎样的大脑?
罗福莉面对的第二张网,来自小米。
| 向上看,MiMo需要追赶全球最强基础模型。DeepSeek、阿里、字节、月之暗面以及海外实验室都在加快迭代。榜单每隔几周变化一次,一个刚刚进入第一梯队的模型,很快又会被下一次发布重新排序。
| 向下看,小米拥有手机、汽车、家庭设备和机器人。集团需要的大模型终究要进入这些产品,听懂用户一句含糊的话,控制设备完成连续动作,并在真实环境中承担结果。
一边要求通用智能足够强、一边要求技术落到具体硬件。
这两种需求看似顺流而下,实际经常相互牵扯。面向真实设备的模型需要低延迟、低成本、稳定调用和明确权限;前沿模型研究则需要更大计算量、更长思考时间和更自由的探索空间。前者希望每次行为都可预测,后者依赖大量不可预测的尝试。
罗福莉在加入小米时写过一句话:“智能终将从语言迈向物理世界。”
这句话很容易写在欢迎海报上。但真的走到物理世界,路会突然变窄。
| 聊天机器人答错一道题,用户可以重新提问。汽车、家庭设备和机器人执行错一个动作,后果不会随着对话框关闭而消失。语言模型可以在概率里工作,物理世界要求责任能够找到归属。
MiMo-V2.6公开的训练任务目前覆盖代码、视觉、通用与对话。这些能力距离真正接管“人车家”还有很长一段路。模型需要学会调用工具,也需要知道何时停手;需要理解用户意图,也需要在不确定时把决定交还给人。
小米想要一颗能够控制庞大生态的大脑。
这颗头脑首先要学会克制自己的手。
04
所有人,看着模型训练
我发现,MiMo团队的公开方式已经出现一种规律。当然,也可能是巧合。
| 2026年3月,一个代号“Hunter Alpha”的匿名模型出现在OpenRouter。外界不知道开发者是谁,用户只管调用。在身份揭晓之前,这个模型的累计调用量已经超过1万亿Token。随后小米宣布,Hunter Alpha是MiMo-V2-Pro的早期测试版本。
6月,MiMo Code开源。团队把模型放进更长的真实编程任务,观察Agent如何在数十步甚至数百步以后维持记忆、验证目标、处理错误,并把经验留到下一次任务。
9月,罗福莉又公开了V2.6的训练面板。
| 第一次,身份被藏起来,让使用结果先说话。第二次,Agent进入真实项目,让长期行为接受检验。第三次,模型还没完成训练,过程已经进入公众视野。
这形成了一种不同于发布会的沟通方式。罗福莉没有只告诉外界MiMo能跑多快,她开始让人看发动机怎样运转。
对一个大模型领域的后来者,这种公开方式与节奏,其实具有实际用途。
| 排行榜能够证明某一时刻的成绩,却很难证明团队能持续训练下一代模型。论文能够解释方法,却无法完全展示基础设施是否真的运转。实时面板上的Token、样本、奖励和成本,向研究人员传递着另一组信息:这里有算力、有复杂环境、有尚未解决的问题,也有人愿意为一次实验承担昂贵后果。
这大概是科技行业最昂贵的一种招聘海报。
但公开没有卸下压力,只让压力有了刻度。
奖励曲线稍有回落,外界会猜测训练是否失控;Pro版本提升缓慢,人们会追问万亿参数是否值得;美元数字不断上升,媒体会把技术实验换算成“每小时烧掉20万元”。一轮仍在中途的训练,被迫提前承担了最终产品的解释责任。
罗福莉亲手打开了这扇窗,风也会从这里吹进来。
05
透明玻璃后面,有什么?
面对直播中的训练页面,我最在意的并非美元数字。
一百多万美元对普通人是一笔巨款,放进前沿大模型研发,只能算一段昂贵实验。况且,页面上的Cost究竟采用何种计算口径,是否包含硬件折旧、环境调用、评估模型和人工成本,小米尚未给出完整说明。这个数字不能直接等同于财务报表里的现金支出。
真正值得追问的,其实是那些没有出现在屏幕上的东西。
| 训练数据如何构成?不同任务的奖励权重如何分配?模型有没有利用测试环境的漏洞?DeepSWE分数上涨,来自通用能力提升,还是对特定测试框架更加熟悉?训练过程中发生过多少次回滚?有多少条轨迹需要人工介入?Pro与Flash之间,能力差距是否足以覆盖成本差距?
实时页面展示了曲线,却没有展示曲线背后的全部选择。
当然,这并会不削弱公开本身的价值。任何公司都不可能直播全部训练数据和内部系统。只是“能够看见”很容易制造一种错觉,让人误以为自己已经“看懂”。
| 就像玻璃是透明的,而房间仍有边界。
罗福莉承诺,未来几周会逐步开源技术细节。因此,真正决定这次直播分量的,将是她最终愿意公开多少:成功的方法,失败的轨迹,评判系统的局限,以及算力继续增加以后,能力提升是否仍然存在。
如果只有曲线上扬,这是一场技术展示。
如果连曲线为什么下跌也能被解释,这才是一场公开实验。
06
她,也在网里
外界喜欢把罗福莉写成一个迅速上升的年轻天才。
| 这个标签省事,也残忍。它将复杂工作压缩成个人天赋、将团队变成背景,还会把每一次普通失误改写成“天才是否失灵”。
但训练页面则给出了另一幅画面。
罗福莉没有站在聚光灯下发布一个已经打磨完成的模型。她站在一轮尚未结束的强化学习旁边,看着两个版本以不同速度消耗Token和美元。
| 没有人能提前保证曲线继续向上,也没有人知道大规模Agent RL跨过某个点以后,会涌现出更强能力,还是更隐蔽的奖励投机。
她为模型设计了测试环境、奖励标准和信用分配。模型的每一个动作都被记录,每一条轨迹都要接受判断。
围绕她的系统也在做同样的事情。
同行看技术路线、开发者看实际能力、媒体看训练成本、小米看模型能否进入产品……DeepSeek的履历成为起点,也成为比较坐标。她做出的每一个选择,都有一群人等待打分。
模型困在奖励函数里。
团队困在排行榜里。
罗福莉困在一个被迅速放大的名字里。
这就是她面对的天罗地网。
| 没有哪一根线单独构成危险。真正的压力来自所有线同时收紧:模型必须更聪明、训练必须更稳定、成本必须能解释、技术必须可落地、发布速度不能掉队、公开程度还要足以建立信任……
9月17日以后,网页上的曲线还在向右延伸。新的Token进入模型,新的轨迹得到奖励,美元数字继续变化……罗福莉问的是强化学习还能走多远?
但更难回答的问题也许是:当模型、小米和她本人都被一套庞大的奖励系统包围时,究竟是谁在训练谁?
(声明:本文仅作产业分析,不构成投资建议。)
热门跟贴