当前,从单目视频重建手与物体的四维交互是机器人学习、增强现实和人机交互的重要基础。然而,该任务通常面临手指遮挡、物体尺度歧义,以及手与物体在三维空间中难以对齐等挑战,现有方法通常需要逐序列进行拟合,计算代价高且对初始化参数非常敏感。后面出现的生成式方法虽然能够更好的学习交互先验,但是大多从随机噪声出发,难以保留视频中实例特定的物体几何与姿态线索。
本文介绍一篇 NVIDIA 的最新工作 4D-HOF。4D-HOF将重建问题表述为一种条件流匹配过程,以视觉基础模型输出的粗略但具有信息量的手物状态作为源分布,学习一条连续传输路径,将其引导至物理合理的交互流形中,从而以前馈方式来联合校正平移、旋转与手物对齐。在 HO3D-v3 数据集上的实验结果表明,4D-HOF 的手-物相对 Chamfer 距离()仅有 5.98 cm²,并且处理一段约 200 帧视频仅需 24 分钟,其中生成式细化阶段仅需要 1 分钟,在精度与效率之间取得了较好的平衡。
论文题目:
4D-HOF: Hand-Object Flow Matching for Feed-Forward 4D Interaction Reconstruction
文章链接:
https://arxiv.org/abs/2610.08782
项目主页:
https://tamu-visual-ai.github.io/4D-HOF/
一、研究背景
单目4D手与物体交互重建需要从连续 RGB 视频中恢复物体的三维几何与六自由度姿态,同时估计手部姿态及其与物体的时序关系。由于单目视频只能提供二维投影,且手部容易对物体造成频繁遮挡,从而导致手与物体的空间关系错配(如手指悬空、穿透物体等现象)。
上图展示了4D-HOF在四类具有代表性的单目手物交互场景(耳机、水壶、柱状物体与相机四类场景)中的定性重建结果。上方为输入RGB帧,下方为重建的手物交互渲染效果。整体结果表明,4D-HOF能够生成符合物理常识且时序稳定的4D交互序列。
二、本文方法
本文方法的核心目标是将一段 帧单目 RGB 视频转化为共享坐标系中的手物交互序列,输出包括一个物体网格 、物体六自由度姿态,以及由 MANO 参数描述的手形状和逐帧姿态。整体流程先由基础模型构建一个粗略的手物状态,再通过条件流匹配模型细化整体的交互序列,具体流程如下图所示。
2.1 将 4D 交互重建表示为条件流匹配任务
设输入的 帧单目 RGB 视频序列为。目标是恢复规范物体网格、物体六自由度姿态,以及由 MANO 参数描述的手部形状与逐帧姿态。对于手物重建,如果源分布只有随机噪声,模型就需要在单目观测阶段中出现的大量三维解中搜索具体实例。为此,作者采用流匹配 [1] 形式,来连接任意源分布与目标分布 :
其中, 是待学习的速度场, 控制流匹配中的随机性, 为布朗运动。本文给出的常见布朗桥形式为 ,当 时,这一形式退化为确定性流匹配。4D-HOF 的关键选择是在推理时以基础模型产生的粗略手物状态作为起点,将目标分布设为物理上合理的手物交互,而不是要求模型从纯噪声中重建整段视频。
2.2 使用视觉基础模型对几何形态进行初始化
本文将第 帧初始交互状态记为 。初始化阶段先进行上下文场景解析,由视觉语言模型定位交互对象,分割模型输出逐帧物体掩码 ,MoGe-3 模型估计深度 与相机参数。手部由 WiLoR模型[2]预测逐帧 MANO 参数与二维关键点。物体侧则选取视角互补的关键帧,经预训练多视图生成模型来重建网格 ,再基于深度信息与改进的 FoundationPose模型 [3] 来对齐场景并估计逐帧姿态 。这些基础模型输出虽然保留了实例几何与姿态线索,但由于各模块之间是独立估计的,非常容易造成误差积累。
2.3 用条件流联合修正手物状态
经过上述阶段得到初始序列 后,4D-HOF 就可以将其传递到交互状态 。其中,条件速度场不仅接收中间状态 和流时间 ,还接收物体网格 、手形状 与视频 。物体表面采样点和 MANO 手部顶点共同构成显式的三维输入,由 Point Transformer V3 模型提取手物空间关系。DINOv2 模型提供逐帧图像特征,多帧特征再送入到 DiT 进行时序推理和速度预测,本文的条件流匹配目标为:
由于网络的输出是速度而不是最终姿态,本文进一步从生成轨迹中恢复终点估计,并对其施加三维位置监督。该损失分别对 MANO 关节、变换后的物体点云以及物体点与手部关节之间的相对欧氏距离来进行约束:
2.4 在推理阶段加入测试时引导策略
在条件流匹配过程中,模型可以在推理阶段直接修正中间状态,而无需在重建完成后再进行后优化。测试时引导 由物体轮廓、手物交互与时间平滑三部分组成,状态更新公式如下:
为了缓解手部的遮挡干扰,4D-HOF将物体掩码与膨胀后的手部掩码合并为。然后目标函数会同时惩罚落在 之外及画面外的投影点,并鼓励投影覆盖可见的物体边界:
其中, 、 、 分别衡量到允许区域、画面外及最近投影点的距离。交互引导 会进一步强化训练阶段抑制手物穿透的约束。时间引导 则进一步约束手与物体状态的一阶与二阶时间差分:
其中,平移增量取相邻帧的位置差,旋转增量以相邻帧相对旋转的轴角向量表示,再对增量计算二阶差分。
三、实验结果
本文在 HO3D-v3 和 DexYCB 两个benchmark上评估了4D-HOF方法的性能:前者以复杂交互和严重遮挡为特点,后者侧重多主体的桌面抓取任务。实验分别选取 18 段 HO3D-v3 和 20 段 DexYCB 序列,并与 HOLD、MagicHOI、AGILE、CHOIR 四个基线方法进行对比。评价指标主要分为五个方面:手部精度用关节位置误差(MPJPE,mm)来衡量。物体精度用双向 Chamfer 距离(CD,cm²)和 F-score(F5/F10,%)来评估。交互一致性用手物相对 Chamfer 距离(CDh,cm²)、穿模体积(IV,cm³)和接触准确率(CA,%)评估。时序稳定性用手部关节轨迹抖动幅度(JM,m/s³)衡量,数值越低越平滑。鲁棒性则用序列成功率(SR,%)表示。
3.1 定量实验结果
上表展示了在 HO3D-v3 数据集上,4D-HOF 与 HOLD、MagicHOI、AGILE、CHOIR 方法在交互一致性、手部/物体重建精度及鲁棒性方面的对比结果。4D-HOF方法在手物相对Chamfer距离降至5.98 cm²,穿模体积为13.44 cm³,接触准确率达97.27%,成功率为100%。其时序抖动为1.61 m/s³,显著低于HOLD、MagicHOI与AGILE,虽略高于CHOIR,但整体交互质量更优。
上表展示了 DexYCB 数据集上的实验结果,其中条件流匹配以点云显式编码手物空间关系,融合DINOv2外观特征与时序注意力,联合修正几何、位姿、尺度与对齐。因此,4D-HOF在DexYCB上实现了更好的手部精度、物体重建与交互质量,并保持高鲁棒性。
上表展示了不同方法在约200帧序列上的计算成本对比。4D-HOF方法预处理约23分钟、生成式细化约1分钟,总计约24分钟。HOLD总耗时约25.1小时,MagicHOI约2.4小时,AGILE约2.1~2.2小时,CHOIR约30分钟。结果表明,4D-HOF以条件流匹配实现前馈式细化,将传统逐序列优化从数小时或数十分钟压缩至约1分钟,在保持竞争性重建质量的同时显著提升推理效率,并优于除CHOIR外的大多数对比方法。
3.2 定性实验结果
上图在HO3D-v3与DexYCB数据集上给出了定性对比,展示输入帧、真值、4D-HOF及HOLD、MagicHOI、CHOIR等基线的重建结果。整体来看,4D-HOF的重建手物构型与GT最为接近:物体几何保持更完整,手部姿态与接触关系更合理,跨帧轨迹也更稳定。相比之下,HOLD与MagicHOI在遮挡、复杂抓握等挑战性序列中出现了明显的几何失真、手物错位或接触错误现象,部分序列甚至失败。CHOIR虽有一定改善,但仍存在一定的问题。
3.3 消融实验结果
上表通过消融实验验证了不同的视觉基础模型初始化策略对最终重建的影响。如果以单图 SAM3D 来代替多视图物体重建, 会退化到 262.19 cm²,接触准确率降至 64.40%。若退回 FoundationPose 默认的跟踪模型, 会提升到 15646.78 cm²,表明在遮挡情况下会发生严重漂移的情况。仅使用基础模型初始状态时, 为 46.58 cm²、接触准确率 78.07%;即使加入了测试时引导策略, 仍为 41.75 cm²、接触准确率 81.53%。这说明高质量初始化与学习到的流匹配交互先验都非常重要,测试时引导无法替代生成式细化。
上表进一步通过消融实验验证了流匹配模型设计的有效性。在去除时间建模后, 升至 18.93 cm², 增至 4.26 m/s³,说明时序建模对轨迹的稳定性至关重要。
四、总结
4D-HOF将单目手物重建从传统的逐视频优化范式,转变为一种可控的流匹配模式,并在统一模型中联合建模手、物体及其时序轨迹。4D-HOF先由视觉基础模型构建一个粗略的手物初始状态,并将其作为生成过程的源分布,然后再学习条件流匹配,将初始状态沿连续路径细化到符合物理常识的交互流形中。模型在统一框架中处理手、物体及其时序轨迹,条件速度场融合手物三维几何、视频外观特征与时间信息,从而联合校正几何、位姿和尺度等细节信息。模型的训练以流匹配为主,并加入了三维位置、接触/穿透和手部正则等约束。并且在推理时引入了轮廓、交互与时间平滑引导,以一种轻量的方式完成来前馈细化。
参考
[1] Michael Albergo, Nicholas M Boffi, and Eric Vanden-Eijnden. Stochastic interpolants: A unifying framework for flows and diffusions. Journal of Machine Learning Research, 26(209):1–80, 2025.
[2] Rolandos Alexandros Potamias, Jinglei Zhang, Jiankang Deng, and Stefanos Zafeiriou. Wilor: End-to-end 3d hand localization and reconstruction in-the-wild. In Proceedings of the Computer Vision and Pattern Recognition Conference, pp. 12242–12254, 2025.
[3] Bowen Wen, Wei Yang, Jan Kautz, and Stan Birchfield. Foundationpose: Unified 6d pose estimation and tracking of novel objects. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 17868–17879, 2024.
-The End-
本周上新!
扫码观看!
“AI技术流”原创投稿计划
TechBeat是由将门创投建立的AI学习社区(www.techbeat.net)。社区上线700+期talk视频,3000+篇技术干货文章,方向覆盖CV/NLP/ML/Robotis等;每月定期举办顶会及其他线上交流活动,不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台,希望为AI人才打造更专业的服务和体验,加速并陪伴其成长。
投稿内容
// 最新技术解读/系统性知识分享 //
// 前沿资讯解说/心得经历讲述 //
投稿须知
稿件需要为原创文章,并标明作者信息。
我们会选择部分在深度技术解析及科研心得方向,对用户启发更大的文章,做原创性内容奖励
投稿方式
发送邮件到
yimingzhang@thejiangmen.com
或添加工作人员微信(aceyiming)投稿,沟通投稿详情
关于我“门”
将门是一家以专注于数智核心科技领域的新型创投机构,也是北京市标杆型孵化器。 公司致力于通过连接技术与商业,发掘和培育具有全球影响力的科技创新企业,推动企业创新发展与产业升级。
将门成立于2015年底,创始团队由微软创投在中国的创始团队原班人马构建而成,曾为微软优选和深度孵化了126家创新的技术型创业公司。
如果您是技术领域的初创企业,不仅想获得投资,还希望获得一系列持续性、有价值的投后服务,欢迎发送或者推荐项目给我“门”:
bp@thejiangmen.com
点击右上角,把文章分享到朋友圈
热门跟贴