打开网易新闻 查看精彩图片

想象一下，一个学生交了一篇作文，同时请了四位老师来批改。一位是语文老师，专门看用词和情感；一位是美术老师，专门看画面感和构图；一位是数学老师，专门看逻辑结构；一位是地理老师，专门看空间描述是否准确。如果这四位老师各自给出批注，学生能看懂每个人想要什么。但如果学校规定，所有意见必须汇总成一份总分，再压缩成一句话反馈给学生，会发生什么？

学生可能会一头雾水。因为语文老师说"多用比喻"，地理老师说"少用比喻多用精确方位词"，这两条建议混在一起取平均之后，学生什么都学不到。

这正是一篇最近的论文——《PixelDense》想要解决的问题。它研究的是像素空间扩散模型（一种直接在像素层面生成图像的AI绘画技术，不经过压缩编码再解码的中间步骤）如何同时向多位"老师"学习，却不让老师们的意见互相打架。

**核心问题：为什么加更多老师，反而学得更差**

先说说背景。这几年AI生成图像有个很火的技巧，叫做表示对齐（REPA，Representation Alignment的缩写，指让生成模型内部的某一层特征，去模仿一个训练好的、专门做图像理解的模型的特征，从而加速训练）。

这个技巧最早用的是DINOv2（Meta开发的一种自监督视觉特征提取模型，擅长捕捉物体的语义信息，比如"这是一只猫"这种全局性的认知）或者CLIP（OpenAI开发的图文对齐模型）作为监督信号。效果立竿见影，训练速度提升了一个数量级。

但问题来了。后续有研究者（iREPA这篇论文）发现，REPA真正起作用的不是那些语义信息，而是空间结构信息。换句话说，不是"这是一只猫"这件事帮助了生成模型，而是"猫的轮廓在图片的这个位置"这类空间信息在起作用。

这个发现很有意思，因为它暗示了一件事：如果空间结构才是关键，那为什么大家一直只用DINOv2这种语义模型当老师？市面上明明有专门为空间结构训练的模型，比如SAM2（Meta的"分割一切"模型，专门识别物体边界和区域）、Depth Anything v2（专门预测图片深度的模型，告诉你哪里近哪里远）、Metric3D v2（专门预测物体表面朝向的模型）。

这些模型天生就是干这个的，为什么没人拿它们当REPA的老师？

论文作者们做了一个很朴素的实验来验证这个想法。他们在PixelGen（一个1.1B参数的像素空间文生图模型）上分别单独加入SAM2、Depth Anything v2、Metric3D v2作为额外的对齐目标，结果发现每一个都比只用DINOv2效果更好，而且两个"几何类"老师（深度和法线）的效果还超过了"分割类"老师SAM2。

这个结果印证了iREPA的猜测：空间结构，尤其是几何结构，确实是REPA发挥作用的核心。

但真正有意思的转折在后面。既然四个老师单独加都有用，那把它们全部加进去，效果是不是会更好？

答案是：不但没有更好，反而比最好的单一老师还差。

论文用GenEval（一个评估文生图模型组合性能力的基准，比如数数对不对、颜色对不对、位置对不对）这个指标来衡量。只加DINOv2的基线是0.7927，加Depth Anything v2能到0.8069，但四个老师简单相加之后，反而掉到了0.8036，比单独加深度老师还差。

这就是开头作文批改的场景在AI训练里真实发生了。四个老师的意见被硬塞进了同一个"批注本"，也就是扩散模型（一种通过逐步去噪生成图像的AI模型）里同一层的同一组特征。语义老师想让这组特征具备"视角不变性"，不管猫是朝左还是朝右拍，都认得出是猫；几何老师想让这组特征记住精确的空间位置和朝向。这两种要求本质上是矛盾的，硬塞进同一个空间，谁也教不好谁。

论文把这个现象叫做负迁移（negative transfer，指多任务学习中，一个任务的学习反而损害了另一个任务的表现，而不是互相促进）。

**解决方案：给两类老师分开办公室**

既然问题出在"所有老师挤在同一间办公室改作业"，解决办法就很直观了：给语义类的老师和几何类的老师分开办公室，各自带一个班。

论文提出的PixelDense框架，具体做法是把扩散模型中间某一层的特征，投影到两条互相独立的通道里。一条叫语义流，专门对接DINOv2和SAM2；另一条叫几何流，专门对接Depth Anything v2和Metric3D v2。

每条通道各自有一个投影瓶颈（projection bottleneck，指神经网络中用一个较窄的中间层把高维特征压缩再展开的结构，起到信息筛选和特征转换的作用），语义流的宽度设为768维，正好匹配DINOv2的原生特征宽度；几何流设为1024维，匹配深度和法线模型的宽度。

但光是分开两条通道还不够。因为两条通道读取的是同一个源头的特征，如果它们学到的投影方向最终还是高度重合，相当于换了个马甲，本质上还是挤在一起。

这里论文加了一个很巧妙的设计，叫权重空间正交性惩罚（orthogonality penalty，指强制两组权重矩阵的行向量互相垂直，使得它们代表完全不同的方向，不产生重叠的约束）。

具体做法是，把语义流和几何流的输入投影矩阵，每一行都归一化成单位向量，然后计算两组向量之间的平均余弦相似度（衡量两个向量方向接近程度的指标，数值越接近0说明越垂直，越不相关）。训练时把这个相似度当作一个额外的损失项加进去，逼着它趋近于0。

当这个值真的接近0时，意味着语义流关注的特征方向和几何流关注的特征方向在数学上是正交的，彼此不会抢占对方的"地盘"。

这个正交性约束不需要额外的数据，也不增加推理成本，纯粹是在训练阶段对权重矩阵做的一次几何上的"划清界限"。

打个比方，这就像一栋办公楼里，语文老师和地理老师即使分到了不同的办公室,如果两间办公室的窗户都朝着同一个方向开,学生的作业本还是会被同一阵风吹得到处都是,批注照样串味。正交性约束相当于强制两间办公室的窗户朝向完全相反的两个方向,风（也就是梯度信号）就不会互相干扰了。如果不加这个约束会怎样？论文的消融实验给出了答案：去掉正交惩罚，GenEval从0.8093跌到0.8053，而把惩罚力度调到十倍，又会矫枉过正，跌到0.8023。

所有这四个老师，包括DINOv2、SAM2、Depth Anything v2、Metric3D v2，在训练时全部冻结参数，不参与梯度更新，只负责提供"标准答案"让学生对照。更重要的是，训练结束之后，这四个老师全部被丢弃，推理时模型只用原本的三通道RGB生成器，不会因为加了老师而变慢一分一毫。

**实验结果：数字说话**

这套方案落地到PixelGen-XXL这个1.1B参数的骨干模型上，具体提升是多少？

GenEval的总分从0.7927涨到0.8093，相对提升2.09%。这个提升幅度听起来不算夸张，但要知道GenEval测的是组合性理解能力，比如"两只红色的猫和一只蓝色的狗"这种需要精确计数、配色、位置关系的复杂指令，这类任务原本就是生成模型的软肋，能在不增加推理成本的前提下挤出两个百分点，并不容易。

论文还做了一个很扎实的验证，叫做partial-noise reconstruction（部分噪声重建，指把一张真实图片加一定比例的噪声后，让模型尝试还原，再用独立的第三方模型检验还原结果是否保留了原图的结构信息）。这个测试很关键，因为它绕开了训练时用过的那四个老师模型，改用完全独立的评判者，比如OneFormer（一个专门做全景分割的模型）和Marigold（一个专门做深度和法线估计的扩散模型），来检验生成结果是否真的保留了物体边界、深度层次、表面朝向这些几何信息。

结果显示，在噪声水平为0.5时，PixelDense相比原始PixelGen，在COCO数据集上的全景分割质量指标PQ提升了35.3%，在Flickr30K上提升了53.1%；深度误差指标AbsRel最高下降了36.0%。这些数字说明，PixelDense不只是在考试分数上更漂亮，它确实让模型对真实世界的几何结构理解得更准了。

| 配置 | GenEval总分 |

| 仅DINOv2（基线） | 0.7927 |

| 单加SAM2 | 0.8020 |

| 单加Depth Anything v2 | 0.8069 |

| 单加Metric3D v2 | 0.8060 |

| 四老师简单相加 | 0.8036 |

| **完整PixelDense（分流+正交）** | **0.8093** |

从这张表能看出一个很清楚的规律：单独加任何一个几何老师，效果都超过简单相加四个老师。这恰恰印证了前面说的，简单的"人多力量大"在特征冲突的场景下是不成立的，必须先解决冲突，再谈叠加。

论文还做了一个从零开始训练的实验，不借助任何预训练权重，在128×128分辨率上跑了10万步。结果是带PixelDense的模型比不带的版本，用快23%的训练步数就追上了对方的历史最高分，并且之后持续保持领先，而不带PixelDense的版本在到达峰值后反而开始下滑。这说明密集感知监督不仅能提升最终效果，还能让模型更快地学会"该往哪个方向使劲"。

**图像编辑场景下的验证**

论文还顺带测试了这套方法在图像编辑任务上的表现，用的是SDEdit（一种通过先加噪再去噪、结合目标文字描述来实现图像编辑的经典方法）在PIE-Bench（一个专门评测图像编辑质量的基准数据集）上跑。

结果显示，在所有噪声强度下，PixelDense版本的模型在背景区域的PSNR（峰值信噪比，衡量图像质量的常用指标，数值越高说明失真越小）都比原始PixelGen高，最高差距达到2.2分贝。

这个结果其实挺好理解。图像编辑的核心诉求是"只改该改的地方，别的地方原样保留"，这本质上也是一种结构保持能力的考验。既然PixelDense在重建测试里已经证明了自己更擅长保留几何结构，那它在编辑场景里背景保留得更好，也就顺理成章了。

**这项工作建立在什么基础上，又启发了什么**

这篇论文并不是凭空冒出来的。它直接站在了两篇工作的肩膀上。

一篇是2025年提出的REPA，首次证明了用冻结的编码器对齐扩散模型中间特征，能大幅加速训练。另一篇是iREPA，发现REPA真正起作用的是空间结构而非语义信息，这个发现相当于给后续研究指了一条路：既然空间结构是关键，那该去找真正专精空间结构的模型来当老师，而不是继续死磕语义编码器。

PixelDense做的事情，正是把iREPA的理论洞察转化成了一套可落地的工程方案，并且在转化过程中发现了一个新问题（多老师负迁移），又给出了解决办法（语义几何双流加正交约束）。

论文里提到的Align4Gen和Geometry Forcing两篇工作，也探索过多编码器对齐，但它们面向的是视频扩散模型，目标是保持时间上的连贯性，并没有处理语义和几何信号互相冲突这个问题，而是直接把多个老师的信号简单相加。PixelDense在这个意义上，算是第一次系统性地把"教师之间会打架"这件事当作一个独立问题来解决。