从一步生图到流式视频：清华团队探索「样本分布训练」|实验|样本分布训练|流式|清华|神经网络|统计量|高斯

对着屏幕说一句 “向左转”，画面随即展开新的视野；调整角色的动作，场景紧接着给出反馈。多模态交互要求视觉生成跟上人的操作，而漫长的等待会打断整个体验。

这让 few-step generation，少步生成，成为交互系统的关键能力。将生成压缩到一步或少数几步，为持续响应腾出时间与算力，同时保持高质量，是生成模型走向实时多模态交互、进一步连接世界模型的重要问题。

一步生图达到 SOTA 水平，8 卡搞定 140 亿参数流式视频模型后训练。清华大学等机构研究者的 MGFlow 与 Elastic Forcing，交出了两份相互呼应的成绩单。

MGFlow 在 ImageNet 256×256 生成中，后训练 pMF-H、JiT-H 取得单步生成1.45、1.64 FDr⁶的断崖式 SOTA 好成绩；在 FLUX.2 [klein] 4B 文生图对照中，一步生成的GenEval 达到 0.900，PickScore 达到 21.98，超越原版 4 步模型，领先所有同规模 baseline。Elastic Forcing 则以更少算力，在 VBench 上取得 84.64 总分大幅超越 Self Forcing，同时在8 张 H200 上用 23.2 小时完成了对 14B 生成模型的流式实时生成改造

两项工作的共同问题是：当生成过程被压缩到一步或少数几步，能否让一批生成结果，直接从一批参考结果中学到 “整体应该是什么样”？

MGFlow 从理论上解释这类监督怎样产生有效的更新，Elastic Forcing 则回答它怎样扩展到昂贵的视频训练。连接两者的，是一种新的训练方法：样本分布训练（distributional training）。这种基于样本统计的分布级训练，通过比较生成样本与参考样本的整体分布提供监督，而不必为每个生成结果预先指定一个唯一的参考答案。直观地说，这是让模型从 “分布对分布” 的比较中学习。

图 1：MGFlow 一步文生图样例。

视频链接：https://mp.weixin.qq.com/s/vTK8T-QmUAwtmCH_7DNKfg

Volcanic dusk｜火山暮色。Elastic Forcing 五步流式生成。

视频链接：https://mp.weixin.qq.com/s/vTK8T-QmUAwtmCH_7DNKfg

A field of sunflowers｜向日葵花田。Elastic Forcing 五步流式生成。

从逐个 “对答案”，到一批结果共同学习

生成任务通常没有唯一答案。同样是 “山谷中的河流”，不同的视角、光照与构图都可以成立。模型需要学到的，是这组合理结果的丰富性。

多步扩散能够逐轮修正结果，一步生成器则要在一次网络调用中完成从噪声到图像的映射。压缩后的模型能否覆盖目标数据中的内容与变化？样本分布训练直接考察整批生成结果，将这种整体差距转化为学习信号。

样本分布训练先用冻结的视觉编码器，把生成样本与参考样本映射到特征空间，再比较两组特征的分布。如果参考集合包含多种模式，生成器却只会其中一种，即使单个结果很漂亮，整体仍然没有学对。

特征空间让这种比较有了抓手：不同编码器能够关注语义、外观或时序结构，把像素层面的复杂差异转化为可比较的表征。因此，参考集合里 “有哪些结果、各占多少、彼此怎样变化”，都可能成为训练信息。

每条样本该怎样更新，由它与整个集合的关系共同决定。这种关系可以体现为共享的统计量，也可以体现为样本之间的相互作用，这就是 “集体监督”。学习分布本来就是生成建模的目标；这里的关键，是从样本集合出发，直接构造这种监督。

接下来便有了两个相连的问题：如何把分布差异变成有效的更新？怎样让这种训练在昂贵的视频模型上算得起？

MGFlow：把不同方法放进同一套分布优化框架

已有方法已经展示了集体监督的雏型，但是它们的出发点并不相同。FD-Loss 引入 FD 指标作为 loss，比较两组特征的均值与协方差，从整体损失求梯度；Drifting 则利用参考样本的吸引、生成样本之间的排斥，直接构造更新方向。

一个问 “整体差多少”，一个问 “每个点往哪里走”。MGFlow 将两者纳入同一套分布优化框架。

它拆开了两个关键选择：用什么模型描述分布，以及用什么准则比较分布。前者可以是单高斯、混合高斯或核密度估计；后者可以是最优传输距离，可以是 KL 散度，或者其他度量。最优传输关注搬动分布的代价，KL 则衡量概率分配的差异。

连接两者的是 Wasserstein 梯度流：将生成特征想象成一群粒子，分布层面的目标可以导出每个位置的移动方向。由此，“整体差异” 与 “逐点更新” 得到了共同解释。

这意味着，损失函数和更新规则可以在同一套语言中分析：某种移动方式究竟在缩小什么分布差异，又依赖怎样的分布假设，都能被更清楚地说明。统一框架因而具有指导设计的作用。

在论文分析的设置下，单高斯加最优传输，对应 FD-Loss；高斯核密度估计加 KL，则在平滑密度上得到与高斯核 Drifting 对应的更新场，相差一个带宽尺度因子。

图 2：分布模型决定保留什么信息，匹配准则决定怎样对齐；梯度流连接整体目标与样本更新。原图来自 MGFlow 论文。

这套统一视角的价值，是把原本各自设计的方法变成一个可以系统探索的设计空间。例如，保留单高斯、把最优传输换成 KL，就能得到另一种解析更新；采用混合高斯，则能在整体统计量与局部样本结构之间调节建模粒度

但能描述多个模式，不等于能把样本送到正确的位置。假设参考分布的两类结果各占一半，生成器却明显偏向其中一类：即使两类结果内部都越来越逼真，整体比例仍可能不对。MGFlow 因此不仅细化分布模型，还把样本分配与更新方向连接起来，让 “应该向各个模式分配多少” 与 “样本具体往哪里移动” 相互配合。

沿着这条思路，MGFlow 用多个高斯成分刻画不同模式，并将受容量约束的样本分配与成对更新结合，让 “分给哪个模式” 和 “向哪里更新” 保持一致。这样，整体覆盖要求就能落实到一批特征的具体移动上。

直观地说，单个高斯像是在用一组整体统计量概括所有结果，混合高斯则允许不同区域拥有各自的统计特征；分配与更新的配合，让这些区域真正参与监督。多种粒度的分布描述发生在后训练阶段，推理时仍只需一次网络评估。

这带来了实际收益。在 ImageNet 256×256 一步生成实验中，MGFlow-KL 在 pMF-H、JiT-H 上的FDr⁶ 达到了 SOTA 水平的 1.45、1.64，较 FD-Loss 大幅降低约 23%、38%。该指标综合六种表征空间的分布差异，越低越好。

值得关注的是，MGFlow-KL 没有直接用 FD 损失训练，却改善了这一指标；在未用于构造训练损失的三种编码器上，综合指标也得到改善，证明这个方法能够超出训练所用表征、学到更好的分布。

文生图实验中，MGFlow 将 FLUX.2 [klein] 4B 后训练为一步生成器，图文联合匹配版本的GenEval 从原四步模型的 0.794 提升至 0.900，PickScore 从 21.85 提升至 21.98：超越了 FLUX.2 [klein] 4B 原版的四步结果，取得同规模模型 SOTA 表现。

对交互式图像创作而言，用户每次修改提示词，都希望迅速看到符合要求的新画面。MGFlow 将更快的反馈与更准确的表达，放进了同一条后训练路线。

Elastic Forcing：把 14B 视频后训练带进单个八卡节点

减少生成步数，提高生成速度的更重要的应用场景是自回归视频生成：如果生成速度超过播放速度，那么便可以实现“边生成边播放” 的实时流式生成和交互体验。而当样本从图像变成视频，集体监督面对的挑战随之放大：视频更长、模型更大，一批结果之间的比较也更昂贵。

基于 Self Forcing 的方法，全都使用非对称 DMD 将双向视频扩散模型蒸馏成少步自回归模型。这种方法在小模型上十分有效，但扩大到百亿参数的大型视频模型上则面临着训练不稳定、计算成本过高等问题。Elastic Forcing 转而使用样本分布训练。新方法最直观的优势，是让 14B 自回归视频模型的后训练，在单个八卡节点上完成。如果用 Self Forcing 的方法训练 14B 模型，甚至会在 64 卡上显存溢出；而 Elastic Forcing 则用 8 张 H200、23.2 小时搞定，生成效果甚至超越工业界模型 Krea-Realtime。

这使百亿级视频模型的分布后训练，成为单节点上可执行的实验，降低了继续迭代的资源门槛。

单节点预算也让团队更容易围绕新数据、新目标持续开展实验。对于需要反复改进角色、风格或场景的产品，训练成本直接影响尝试新方案的频率。

这个优势来自于后训练需要维护的网络发生了变化。沿用 score 监督，扩大生成器也会带来辅助扩散网络的负担；改由参考视频提供监督后，资源可以更多地用于生成器本身，百亿级流式模型的后训练因此有了明确、可执行的预算。

视频链接：https://mp.weixin.qq.com/s/vTK8T-QmUAwtmCH_7DNKfg

A clash above the clouds｜云端交锋。Elastic Forcing 五步流式生成。

视频链接：https://mp.weixin.qq.com/s/vTK8T-QmUAwtmCH_7DNKfg

A mountain sanctuary｜山间圣境。Elastic Forcing 五步流式生成。

它是怎样做到的？Self Forcing 的 DMD 后训练依赖预训练扩散教师与在线辅助 score 模型提供训练方向。模型越大，维护这些额外网络的成本越高。Elastic Forcing 保留自回归生成流程，改用参考视频与生成视频在冻结特征空间中的最大均值差异（MMD）作为监督，后训练时不再维护这两个辅助 score 网络。

图 3：Elastic Forcing 用参考样本特征的直接分布级监督，替代辅助 score 网络。

不过，移除额外网络还不够。MMD 包含跨样本相互作用，往往需要巨大的训练批量（batch），这在昂贵的视频模型训练中往往不现实。如果把大批量拆开，各自算损失再累加梯度，会漏掉跨小批量的样本对。Elastic Forcing 的应对方案是把问题拆成两层：先让足够多的样本在特征空间中共同决定更新方向，再控制把这个方向传回生成器所需的开销。集体监督中的样本联系必须保留，反向传播却未必需要同时承担整批计算图。

Elastic Forcing 在参考端结合预计算统计摘要与随机抽样，平衡近似偏差和估计波动；在生成端先用整批特征确定更新方向，再分开回放计算图、选择部分样本反传，并作相应梯度缩放。参与分布估计的规模与反传预算由此解耦，未被选中反传的样本仍能影响整体方向。

这种安排保留了集体监督最有价值的部分：让更多样本共同决定更新方向，同时避免把同等规模的计算图都留在显存中。统计估计需要多少样本，与一次能承担多少反传，由此有了不同的调节空间。

在与 Self Forcing 对齐架构、初始化和生成流程的 1.3B 对照中，Elastic Forcing 将 VBench 总分从83.80 提升至 84.64，同时保持 17 FPS 的生成速度。从小模型对照到 14B 扩展，分布监督兼顾了质量与训练可行性。

14B 模型的质量还接受了人类盲评。在覆盖人物动作、动物运动和物体交互等场景的盲评中，42 位参与者评价了 20 组配对视频。按 1—5 分量表，在 8 卡训练一天时间的 Elastic Forcing 14B 的平均分为 3.354，大幅高于工业界模型 Krea Realtime 14B 的 3.054，证明样本分布训练在流式视频生成模型后训练上的出色效果和强大潜力。

参考分布，也在定义模型要学什么

当目标由参考样本定义，改变参考集合，就能改变后训练要学习的内容。Elastic Forcing 在 1.3B 上展示了奶龙角色、黑白风格与全景投影式构图的适配，无需先针对这些目标重新适配扩散教师。

参考数据的来源也更灵活：标准实验采用 Wan 生成的视频，论文还展示了以 OpenVid 真实视频为参考的定性结果。模型能够从怎样的目标中学习，与参考集合的选择直接相关。

图 4：三行依次为 Self Forcing、Wan-14B 与 Elastic Forcing；右上橙框为角色示意。Elastic Forcing 使用 1.3B 生成器，图片裁自论文。

MGFlow 的图文联合匹配则将图像与文本特征拼接，让监督直接包含文字与画面的对应关系。前者调整参考集合包含什么，后者调整训练比较哪些联合信息，都让 “模型要学什么” 成为可设计的对象。

在 MGFlow 的文生图对照中，两种版本都接受文本条件，但仅匹配图像分布时 GenEval 为 0.856，加入图文联合匹配后提升到 0.900。训练目标直接关注 “这段文字与这幅画面是否对应”，带来了更好的文本对齐表现。

例如，一批图像里同时有红色汽车和蓝色自行车，单看图像集合可以判断内容是否丰富，但要学会 “红色汽车” 这条指令对应哪种结果，还需要保留条件与画面的配对信息。图文联合分布把这种对应关系放进监督目标，也为进一步纳入动作、状态等条件提供了自然的研究入口。

两项工作采用不同的匹配方法，却围绕同一条研究路线推进：MGFlow 解释分布监督如何统一理解、系统设计，Elastic Forcing 解决它进入大规模视频时的计算难题。如何描述分布、比较分布，再把它转化为负担得起的训练信号，正在成为生成模型新的探索空间。

让生成跟上交互走向世界模型与动作模型

当少步生成进一步接入动作条件，这条研究路线便与世界模型（world model）、世界动作模型（world action model）联系起来。世界模型需要预测环境怎样变化，世界动作模型还要把行动与后果联系起来：移动视角后会看到什么，执行一次操作后场景会如何演化。每次预测都要参与下一次决策，生成速度便直接关系到系统能够以多高的频率观察、推演和响应。

少步生成在这里承担的是快速预测的角色。在固定时间内，更短的生成过程为比较多种候选未来留下空间；自回归流式生成则提供了连续展开视觉状态的方式。面向动作驱动的环境模拟，下一步可以把当前观察、动作条件与后续视觉轨迹组织成联合分布，让监督同时关注未来画面的合理性，以及它与所采取动作的对应关系。

这种拓展也与样本分布训练的出发点相合：同一场景、同一动作往往存在多种合理后续，模型需要学习它们的整体规律与发生比例。MGFlow 为设计这样的分布监督提供方法框架，Elastic Forcing 则展示了将直接样本监督扩展到大规模视频模型的训练路径。面向交互视频、游戏环境与具身智能，这两项工作的结合点已经清晰：以少步生成缩短反馈，以联合分布组织条件与结果，以可承担的后训练持续吸收新场景数据。

从一句提示生成内容，到随着每一次操作给出新的视觉反馈，生成模型正在走进连续交互。让模型更快地生成，也让它以更有效、更经济的方式学习，正是 MGFlow 与 Elastic Forcing 共同推进的方向。

两篇论文均来自清华大学人工智能学院 Meow Lab 实验室，联合复旦大学、西安交通大学、北京大学、浙江大学、中国科学技术大学、加州大学伯克利分校等高校合作完成。

论文与项目资源

MGFlow：