想象一张铺满散点的画布,每个点都是一张训练图片。生成模型要做的,是把这些点的分布规律学会,再画出一批全新的点。
很多方法的第一步,是去拟合一个密度函数——回答“某个位置出现样本的概率有多大”。但2019年,Yang Song 和 Stefano Ermon 在论文《通过估计数据分布的梯度进行生成建模》里,把重心从密度本身,挪到了密度的梯度方向。
打开网易新闻 查看精彩图片
score 是什么?
密度告诉你“哪里更像真实数据”;梯度告诉你“往哪个方向挪,能更接近真实数据”。论文给这个梯度方向起了个名字:score(分数)。它的巧妙之处在于:即便不知道分布长什么样,只沿着 score 指出的方向不断修正,也能一步步生成新样本。
为什么说它是扩散模型的基石?
今天生成式AI的主角——扩散模型,核心逻辑和这恰恰是同一条路。论文作者在文中明确写道:学会估计梯度方向、而不是直接估计数据密度,为现代扩散模型奠定了基础。
一篇换了个角度提问的论文,绕开了密度估计这座大山,反而给整个生成式AI画出了新路线。下次再看到“扩散模型”四个字,不妨回想一下2019年这个“不学密度,改学梯度”的巧思。
热门跟贴