VGGT-World 把冻结 VGGT 的中间特征当作世界状态,只训练约0.43B 参数的时序预测模块,用干净目标预测 z-prediction解决高维特征难训练的问题,用两阶段潜空间流强制课程训练抑制自回归误差累积。VGGT-World 在 KITTI 和 Cityscapes 的深度预测上超过对比方法,推理更快,并能直接输出深度和点图。
论文题目:
VGGT-World: Transforming VGGT into an Autoregressive Geometry World Model
论文链接:
https://arxiv.org/abs/2603.12655
项目主页:
https://github.com/SimonSun0810/VGGT-World
一、引言
机器人和自动驾驶不仅要知道“场景现在什么样”,还要预判“接下来怎么变”。VGGT 等几何基础模型能从图像推断相机、深度和点云[1],但只处理已看到的画面;要预测未来,还得学会场景与相机运动的时间规律。常见做法是先生成未来视频,再从中恢复几何。但画面逼真不代表几何正确:首图中,视频世界模型的预测视觉上连贯,几何上却破碎错位。而且 RGB 重建会把大量容量耗在外观细节上。Gen3R[3]在视频生成中引入几何先验,DINO-Foresight[2]直接预测视觉编码器特征,但后者并非为多视图几何设计。
VGGT-World 则直接在几何基础模型的特征空间里预测,空间表达和解码能力现成,只需学习时间变化。难点有两个:VGGT 特征有 1024 维,远比视频 VAE 潜变量难生成;推理时模型要拿自己的预测当历史,训练与推理分布不一致。本文的两项关键设计分别针对这两点。
二、技术贡献
本工作主要贡献如下:
• 提出以冻结几何基础模型特征作为预测状态的世界建模方案,不训练视频 VAE, 不微调 VGGT 主干,直接自回归预测未来几何特征,并用原有解码器输出深度、点图等结果;
• 针对高维潜空间中速度预测难以学稳的问题,采用直接预测干净目标的 z-prediction,并用双流历史条件交互与单流块内细化构建时序流 Transformer;
• 设计教师强制预训练与轨迹一致流强制微调的两阶段课程,让历史条件从真实特征逐步过渡到模型自身的部分去噪结果,缓解暴露偏差。
三、方法介绍 3.1 总体框架
流程分三步:冻结的 VGGT 前部网络把已观测图像编码为几何状态;可训练的时序流 Transformer 基于固定长度历史逐块生成未来特征;最后把真实历史和预测特征拼接,由冻结的后续 VGGT 层和任务头统一解码。监督信号只来自冻结 VGGT 提取的特征,无需深度或点云标注。
3.2 几何状态与层级接口
设输入视频包含 帧图像,第 帧对应的几何状态为:
其中, 是冻结编码器, 是 patch token 数,另有 5 个相机和 register token; 为离散视频时间, 为连续流时间。
几何头需要第 层的多尺度特征,只预测深层状态就无法补回浅层特征,因此作者选择 作为最早的可解码状态,后续层交给冻结网络传播。
3.3 分块自回归预测与固定历史窗口
设已观测 帧,每次预测 帧,未来划分为 块,满足 。第 个目标块与整段未来的分解为:
是预测第 块的历史条件,取自最近的 帧。推理时每生成一块就滑动一次窗口,条件长度保持固定。
3.4 联合解码及未来对当前感知的反馈
预测结束,将真实历史与所有预测块拼接,统一解码:
和 分别为点图和深度。作者希望这些生成的未来上下文能反过来约束当前帧的几何估计,实验也证实了这一点。
3.5 高维特征空间为何采用干净目标预测
本文采用 Rectified Flow [4]式的流匹配,插值路径与速度场为:
其中 为高斯噪声, 为干净状态, 为纯噪声。作者发现,在 1024 维空间里直接训练 v-prediction,结果会长期停留在噪声状态:有效几何状态只占高维空间中一小块结构化子集,各向同性噪声很容易把状态推离这一结构化子集。
图1 高维VGGT特征中的预测方式对比。左为训练信噪比曲线,中为目标特征及图像,右为不同迭代下的特征PCA可视化,z-prediction恢复结构更快
因此网络直接估计干净几何块 。图1中,z-prediction 的信噪比始终更高,可视化中也更快恢复出场景结构。
3.6 双流历史交互与单流块内细化
时序流网络由双流处理器 和单流细化器 组成:
双流模块中,带噪目标块作为 Query,同时关注自身和干净历史条件的 Key, Value,历史不参与加噪。流时间 经 adaLN 注入各模块。记 为经 adaLN 和 调制后的第 层目标特征,则:
单流模块只在目标块内部做自注意力:
实现中双流块和单流块各 8 个:前者吸收历史上下文,后者细化目标块的时空几何。
3.7 第一阶段以真实历史建立基本预测能力
第一阶段用教师强制,以真实历史为条件训练,带权 z-prediction 损失为:
教师强制能学到稳定的几何转换,但测试时历史来自模型自身,误差会逐块放大。
3.8 第二阶段用模型自己的部分去噪轨迹训练
第二阶段让模型在训练中就接触推理时的历史误差:不直接加高斯噪声,而是用模型自身 ODE 生成的中间状态作为扰动,只积分到一半也更省算力。思路与 Diffusion Forcing[5] 相近,但混合条件专为几何潜空间设计。
先在真实历史 下从噪声生成前一块,Euler 求解器只积分到 :
先在真实历史 下从噪声生成前一块,Euler 求解器只积分到 :
再用 将其与真实块 插值,得到下一块的条件:
最后以该混合历史为条件,预测加噪后下一块的干净状态:
其中 控制生成成分的比例, 控制历史的去噪程度, 是目标块的加噪程度。原文式12未带第一阶段的 权重。
微调时 从 0 线性增至 1,逐步提高模型生成历史的比例;即使时,条件也只是部分去噪状态。记生成误差为,混合历史为,误差二阶矩随缩 放,所以过早使用较大的 会破坏第一阶段学到的分布。
四、部分结果展示 4.1 数据集和评测设置
Cityscapes(驾驶深度):2975 段训练、500 段验证,每段 30 帧,16 FPS; 短期预测 3 帧,中期 9 帧。
KITTI(驾驶深度):143 段训练、13 段验证,10 FPS; 短期预测 2 帧,中期 6 帧。
TartanAir(多样 6-DoF 运动下的合成场景几何): 约 70 万帧,沿用 Gen3R 协议按 9:1 划分,对比 1-view 和 2-view 条件。
训练用 AdamW, 学习率 ,权重衰减 0.05, 梯度裁剪阈值 1.0, 单张 RTX Pro 6000 96GB; 两阶段 batch size 分别为 64 和 48, chunk size 为 4, rollout stride 为 1。深度指标为 AbsRel(越低越好)和(越高越好),即与中较大者小于 1.25 的像素比例,和 分别为预测与真实深度,下文以百分数表示。点云评测先用 Umeyama 相似变换对齐,各采样 20000 个点,计算 Accuracy(预测到真值)、Completeness(真值到预测)及二者均值 Chamfer Distance(CD), 均越低越好。
4.2 KITTI 的深度预测
表1 KITTI的短期与中期深度预测结果
相比最强基线 DINO-Foresight, VGGT-World 的短期 AbsRel 从 0.082 降到 0.065(约 −20.7%),中期从 0.115 降到 0.098(约 −14.8%), 分别提高 2.4 和 4.3 个百分点。有意思的是,只复制上一帧深度的 Copy-Last 都胜过两种规模的 Cosmos, 可见把视频模型做大并不会带来更好的几何。DINO-Foresight 还用了真实深度微调,VGGT-World 没用,依然领先。
图2 KITTI短期与中期深度预测。Upper Bound为真实未来图像输入VGGT的结果,作为参考上限
4.3 Cityscapes 的深度预测与课程消融
表2 Cityscapes的短期与中期深度预测及混合比例消融
相比 DINO-Foresight, 短期 AbsRel 下降约 31.6%,中期下降约 7.4%, 分别提高 5.2 和 1.9 个百分点;短期 AbsRel 改善最显著, 提升相对温和。去掉 Forcing 后,短期 AbsRel 从 0.078 回到 0.079, 中期从 0.126 回到 0.131, 分别下降 0.1 和 0.5 个百分点。中期影响更大,符合课程训练针对递归误差的初衷。固定 均不如线性课程, 时退化最明显,说明模型历史的比重应逐步增加。
4.4 TartanAir 的点云预测
表3 TartanAir在不同文本、位姿及输入视图条件下的点云预测结果
在同样不用文本和位姿的条件下,VGGT-World 三项指标都优于 Gen3R: CD 为 2.8451, 相比 1-view Gen3R 的 5.7478 下降约 50.5%,相比 2-view 的 4.4432 下降约 36.0%。Forcing 又使 Acc. 、Comp. 和 CD 分别降低约 4.9%、10.2% 和 7.7%。Gen3R 加上文本和位姿后,1-view 的 Comp. /CD 为 2.5367/2.7809, 好于 VGGT-World 的 4.5297/2.8451。VGGT-World 的长处在于不依赖额外条件,Accuracy 突出。
图3 TartanAir室内外点云预测示例, 列顺序为真实几何、Gen3R和VGGT-World
4.5 预测未来能帮助当前感知吗
表4 TartanAir上引入预测上下文后的几何估计结果
表4显示,预测未来能反过来帮助当前几何感知:Completeness 从 1.2159 降到 1.0646(约 −12.4%),CD 从 1.0416 降到 0.9705(约 −6.8%),Accuracy 从 0.8672 略升到 0.8764。生成的上下文补充了结构线索,代价是少量位置误差。
图4 说明未来上下文并非越多越好:起初完整性提升带动 CD 下降,随着递归误差积累,多余的预测开始引入失真,最优点约在第 7 帧。
4.6 速度与可训练参数规模
每帧生成延迟:Cosmos-12B 9.50 s, Gen3R 6.90 s, VGGT-World 1.90 s。可训练参数分别为 12.0B, 8.8B 和 0.43B, VGGT-World 另有 1.3B 冻结参数。
图5 推理效率与参数占用对比, 左图按生成帧归一化延迟,右图区分可训练与冻结参数
VGGT-World 比 Cosmos-12B 快 5 倍,比 Gen3R 快约 3.6 倍,且只需训练约 4.3 亿参数。
五、总结与展望
VGGT-World 的核心启发是:做几何预测时,世界状态不必是视频潜变量。冻结的几何基础模型已提供空间先验,在其特征空间里学习时间变化即可;z-prediction 解决高维生成难优化,部分去噪历史的渐进混合应对自回归误差。VGGT-World 在驾驶场景深度预测上全面超过基线,无额外条件的点云预测误差大幅下降,适度的预测上下文还能改善当前几何。目前,该模型尚未引入动作条件,无法回答“换一个动作会怎样”。作者计划引入相机位姿和动作条件,让 rollout 更可控;自适应选择预测长度、抑制递归几何漂移也值得探索。
六、思考与讨论
Q:不生成 RGB 视频,VGGT-World 还能被称为世界模型吗?
A:可以。世界模型的核心是预测世界状态的演化,不一定要生成视频。VGGT-World 学习几何特征的转移,能解码出深度、点图和相机,是几何层面的世界模型;代价是纹理、外观等信息不在其输出范围内。
Q:两阶段课程是否已经消除了长期预测误差,未来信息是否总能改善当前感知?
A:没有。课程训练缓解了部分递归误差,但图4中 CD 在第 7 帧后回升;当前感知实验里 Completeness 和 CD 变好,Accuracy 却略降。预测上下文有收益也有误差,关键是选好预测长度。
以下是开放性问题,欢迎读者朋友留言讨论: 如果将 VGGT-World 用于带动作条件的机器人规划,应如何设计一种同时考虑几何不确定性、预测长度和行动风险的评估机制,避免“生成未来改善当前感知”变成错误预测的自我强化?
-The End-
本周上新!
扫码观看!
“AI技术流”原创投稿计划
TechBeat是由将门创投建立的AI学习社区(www.techbeat.net)。社区上线700+期talk视频,3000+篇技术干货文章,方向覆盖CV/NLP/ML/Robotis等;每月定期举办顶会及其他线上交流活动,不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台,希望为AI人才打造更专业的服务和体验,加速并陪伴其成长。
投稿内容
// 最新技术解读/系统性知识分享 //
// 前沿资讯解说/心得经历讲述 //
投稿须知
稿件需要为原创文章,并标明作者信息。
我们会选择部分在深度技术解析及科研心得方向,对用户启发更大的文章,做原创性内容奖励
投稿方式
发送邮件到
yimingzhang@thejiangmen.com
或添加工作人员微信(aceyiming)投稿,沟通投稿详情
关于我“门”
将门是一家以专注于数智核心科技领域的新型创投机构,也是北京市标杆型孵化器。 公司致力于通过连接技术与商业,发掘和培育具有全球影响力的科技创新企业,推动企业创新发展与产业升级。
将门成立于2015年底,创始团队由微软创投在中国的创始团队原班人马构建而成,曾为微软优选和深度孵化了126家创新的技术型创业公司。
如果您是技术领域的初创企业,不仅想获得投资,还希望获得一系列持续性、有价值的投后服务,欢迎发送或者推荐项目给我“门”:
bp@thejiangmen.com
点击右上角,把文章分享到朋友圈
热门跟贴