邱锡鹏、刘鹏飞团队挑战大模型预训练RSI，三个月炼出30B MoE模型！|优化器|分类器|大模型|客户端节点|智能体|邱锡鹏|预训练

智猩猩AI整理

编辑：没方

递归自我改进（RSI）目前已经应用于GPU算子优化、Agent Harness和模型后训练等领域，但这些方法通常依赖低成本、可重复的实验，以及明确的性能评估指标。

想要将RSI引入大模型预训练仍较困难。一次完整的前沿模型预训练往往需要数十万GPU小时，无法反复开展实验。且预训练模型的真正价值，不仅取决于当前性能，还取决于后续训练的提升空间。

针对这一问题，上海创智学院联合Xinxu AI提出了一套面向大模型预训练的RSI方法No Second Run。

核心思路是不再要求整个预训练过程反复运行，将其拆解为三个类型、六个改进闭环，让AI Agent参与训练系统的持续优化。

基于这套方法，团队在三个月内从零训练出801-30B-A3B模型，总参数约300亿、激活参数约30亿，训练量达到11.8万亿Token。

实验显示，801-30B-A3B在13项基座模型评测中取得平均分73.13，仅次于Qwen3.5-35B-A3B。该模型仅经过约63.3亿Token的监督微调、没有进行强化学习，就在四项Agent基准测试中取得最高平均分。

图注：左：递归自我改进（RSI）在预训练中与在后训练中呈现出不同的形态。右：801-30B-A3B（红色）与开源基线模型的对比，上图为基座模型基准上的结果，下图为监督微调后的结果。

此外，团队已将Tiny-SFT数据集开源，801-30B-A3B-Base后续也会开源。

三大类型、六个RSI闭环

RSI一般遵循“提出改进-执行实验-评估结果-更新方案”的循环。研究团队保留这一基本流程，但将改进对象从模型本身扩展到数据、基础设施、训练配置及研发协作系统。

图注：研究团队提出三类循环，并实例化为六个实际循环。

表注：每类循环如何实例化RSI的四个步骤。

（1）调试闭环（Debugging Loops），包括基础设施调试和数据调试。

图注：调试闭环

在基础设施调试中，Agent持续监控模型各层梯度、专家负载、优化器状态等内部指标，并结合代码变更记录和训练超参数寻找异常原因。

例如，早期实验中，研究人员发现MoE模型部分层存在专家负载失衡。

图注：试点运行中两种形成对照的负载均衡异常。灰色曲线表示 48 个层各自的逐层 MaxVio；虚线表示聚合 MaxVio。(a) 在初始试点中，聚合与逐层 MaxVio 均在强均衡作用下下降，提示可能存在过度均衡。插图放大了低 MaxVio 区域。(b) 在修订试点中，尽管聚合值处于中等水平，第 15、18 和 48 层却表现出偏高的 MaxVio，揭示出被聚合监控所掩盖的层间失衡。

Agent关联分析了130多个基础设施代码版本和106个超参数字段，最终将异常定位到负载均衡惩罚项及其与优化器状态更新的相互作用。

团队据此将负载均衡系数从0.01降低至0.0001，将学习率从0.0027调整为0.0005，并将Router参数的优化器由Muon切换为AdamW。正式训练还进一步采用全局Batch负载均衡，并取消归一化参数和偏置参数的权重衰减。

经过上述调整，在相同的3万亿Token训练预算下，模型第15层的MaxVio指标从第二次试验中的超过14降至正式训练中的约5，明显缓解了此前出现的专家负载失衡问题。

图注：随着训练推进，逐层负载失衡上升，而下游评测增益逐渐减小。灰色阴影区域标记了两个面板中相同的区间（约 2.2–6T token）。(a) 在该区间内，第 15 层 MaxVio 快速上升，而全局 MaxVio 保持相对稳定。(b) 在同一区间内，下游评测增益逐渐减小。MaxVio 越高表示负载失衡越严重。这一对比说明，与仅依赖下游评测相比，逐层内部指标能为检测潜在训练问题提供更细粒度的信号。

数据调试则从模型异常输出反向追溯训练数据。

研究人员发现，早期模型存在重复生成配置文件、回答问题时突然切换固定问答模板，以及不断生成相似数学题等现象。

图注：诊断模型输出中的不良模式。

Agent会自动编写检测程序，在1053个数据子集中搜索异常模式，并追踪六条数据流水线、30多个处理阶段。随后提出数据清洗、过滤或提示词修改方案，由人类决定是否执行。

（2）后训练潜力评估闭环（Headroom Loop）。

如下图所示，团队设计了三种互补的评估方法。

Tiny-SFT：使用约63.3亿Token的轻量级监督微调数据，对不同预训练检查点分别进行微调，直接比较它们的后训练表现。

图注：Tiny-SFT 数据构成与验证。

学习能力评估：观察模型在获得更多微调数据后，性能提升的速度，而不仅是初始成绩。

Max-over-protocols：通过不同评估协议观察模型能够展现的能力上限，减少单一测试方式造成的误判。

这些指标共同指导训练配方调整，帮助团队判断是否继续预训练，以及何时修改训练配置。

（3）经验指标化闭环（Experience-to-Metric Loops），让原本依赖人工经验的数据处理任务拥有可量化的优化目标。

其中，分类器开发闭环由人类提出分类需求并构建评估集，Agent负责提示词优化、模型选择和反复测试，再依据准确率等指标决定是否更新。

图注：数据分类器的迭代开发。左：由人类定义分类任务①；由强模型采样数据并标注评测集②；智能体分析案例并调优标注提示③；强模型使用该提示为训练数据打标签④；从这些标签中蒸馏出紧凑分类器⑤并进行评估⑥。该组件可作为调优后的提示部署（选项 A），或作为蒸馏模型部署（选项 B）。右：广告意图、计算学科与临床健康学科三类分类器在三次迭代（v1–v3）中的准确率与 F1。

网站发现闭环通过SEO工具扩展优质种子网站，Agent逐一检查内容相关性和质量，再通过验证的网站作为下一轮搜索起点。

图注：结构感知的网页数据获取。一项人类需求启动一个由智能体驱动、包含两个循环的流水线。Loop 1（站点发现）通过网络的链接结构扩展并验证相关站点。Loop 2（抓取覆盖）将每个已确认站点抓取至由其SEO页面数估计所设定的覆盖目标。链接、搜索索引与robots指令被视为结构化信号，而非被丢弃。

网页抓取覆盖率闭环则将实际抓取页面数与SEO估计页面数进行比较，发现覆盖不足时，由Agent修改爬虫并重新执行。

此外，团队还利用Agent规模化构建训练数据，通过九种不同的Harness，基于约22万个可执行的Pull Request任务开展Rollout，生成了超过1000亿Token的已验证执行轨迹，Agent相关数据总量达到1340亿Token。这些数据被用于模型的长上下文预训练阶段。

图注：Agent任务数据生成流水线概览。该流水线的核心组件是验证关卡（Validation Gates）。只有当任务通过策略合规性检查、执行检查和语义检查，并且同一套评估能够在初始代码上执行失败、在参考代码上执行成功时，该任务才会被接纳。随后，系统会将任务进行清理和封装，生成Docker/OCI镜像，保留外部评估机制，但移除参考补丁和原始历史记录，以避免泄露标准答案。未通过验证的任务则会连同相关证据和修复建议一起返回，以便进一步修改和重新验证（图中虚线路径所示）。

801-30B-A3B取得

七款模型中的第二名

研究团队采用Qwen3-30B-A3B的MoE架构，通过三个常规预训练子阶段和两个上下文扩展阶段完成训练，将上下文长度从4096 Token逐步扩展至32768和262144 Token。

团队先后进行了两个试验版本和一次正式训练。在相同的1万亿Token训练预算下，22项基准测试的平均得分从初始试验的47.78分，提升至修订试验的51.96分，正式训练进一步达到56.83分。

在3万亿Token时，正式训练得分达到59.94分，高于修订试验的56.48分。

图注：三个月内的两次试验训练与正式预训练。上半部分：展示各轮训练的主要配置变化，相同颜色对应下方各轮训练的性能评估曲线。下半部分：第一次试验（暖棕色）和第二次修订试验（灰蓝色）分别在训练量达到1万亿Token和3万亿Token时停止；正式预训练（深青绿色）展示了第一阶段（Stage1-1）训练至7万亿Token时的性能表现。图中的五类任务得分分别为各类别所包含基准测试的平均分，Overall（整体得分）则是所有共同基准测试的平均分。

（1）七款基座模型对比，平均分仅次于Qwen3.5-35B-A3B。

团队选取13项基准测试，覆盖常识推理、复杂推理、代码、数学和科学等领域。

801-30B-A3B模型平均得分为73.13分，超过Qwen3-30B-A3B的66.16分，以及Nemotron-3.5-Lightning-30B-A3B的73.07分。

表注：基座模型性能评估。