单帧深度估计的模型放到视频里,帧与帧之间的深度会剧烈抖动。这是过去许多单帧 SOTA 模型共同的毛病,画面一动,点云就开始闪。苹果发布的 Depth Pro 2 把这件事正面处理了:原生打通时间一致性(Temporal Consistency),一个网络同时吃下单张照片、完整视频和实时画面。
初代 Depth Pro 的突破点在单图。到了第二代,核心创新换成了时序一致性。按输入画面的完整分辨率,模型逐像素输出以米为单位的绝对深度,也就是 Metric Depth。静态图像和动态视频,走的是同一套架构。
视频点云闪烁问题被解决之后,受影响的是一整串下游工作流:
- 3D 视频点云重建
- AI 视频空间锚定
- 机器人视觉
- 医疗影像管线
这些场景原本要额外做帧间平滑,现在可以直接省掉这一层。
配套发布的还有 apple/DepthPro2-focal,一个 23.5M 参数的独立焦距估计器,体积仅 94MB。它的作用是在相机元数据缺失时反推像素焦距。没有 EXIF 信息,普通镜头拍出来的素材也能还原真实物理尺度。
全系列共 4 个尺寸,参数从 24M 到 872M。运行平台覆盖 NVIDIA GPU、Apple Silicon(含 Core ML 导出)以及 CPU。轻量版 DepthPro2-S 在 720p 下仅占 3.8GiB 显存,速度达到 143.9fps。
授权边界需要留意:模型权重采用非商用研究许可。
热门跟贴