循环架构的模型，梯度往往只流经最后几步，早期隐藏状态更新几乎学不到东西。新论文 Looped Flows 想解决的就是这个问题。

局部去噪，让每次更新彼此关联

打开网易新闻 查看精彩图片

论文提出用局部去噪目标来训练循环架构，让每一次隐藏状态更新之间产生关联，而不是只让梯度在末端起作用。作者称，该模型在 6 个推理基准中的 5 个上优于此前的循环模型。

推理时沿概率流运行

推理阶段，模型沿概率流运行。更细的时间网格可以换取更多算力，不同起始噪声在存在多解的任务上，能产生不同的有效答案。