扩散模型的强化学习训练里，探索一直是个难题。模型该往哪个方向试、试多少，通常靠人工设定，或者干脆随机撒点。结果就是大量算力花在了无效的采样上。

一个叫 ExploreNet 的新方法想解决这个问题。它的思路是：让模型自己学会"该在哪里探索"。

打开网易新闻 查看精彩图片

它到底做了什么

ExploreNet 学习的是一个自适应的探索分布，这个分布以当前状态为条件。也就是说，模型处在什么状态，就决定往哪里探索，而不是全程用一套固定的探索策略。

更关键的是它的奖励信号来源——rollout 的多样性。采样出来的结果越多样，说明探索越有效，这个信号反过来训练探索分布本身。

这套机制被用在扩散 GRPO 上。按照介绍，它带来的是更快、更有针对性的学习。

为什么多样性可以当奖励

扩散模型的采样本身带有随机性，但随机不等于有效探索。如果每次采样都落在差不多的区域，梯度信号就缺乏区分度，训练效率自然上不去。

把 rollout 的多样性作为奖励，等于给探索行为定了一个可优化的目标：不是探索得越多越好，而是探索得越分散、越有区分度越好。探索分布在这个奖励下被不断调整，逐渐学会在哪些状态下该放开、哪些状态下该收敛。

这套逻辑和扩散 GRPO 的结合点在于，GRPO 本身依赖一组采样结果来估计优势，采样质量直接决定训练信号的质量。探索分布如果学得好，采样组内的信息量就更高。

一个值得注意的方向

把"探索策略"本身变成可学习的模块，而不是超参数，这个思路在扩散 RL 里并不常见。它把原本需要人工调的部分交给了训练过程。

对于做扩散模型后训练的团队来说，这类方法的吸引力在于：不需要改采样器本身，而是在采样之前加一层决策——往哪里走。至于实际能带来多少效率提升，还要看它在具体任务上的表现。