来源：市场资讯
（来源：计算机视觉研究院）
计算机视觉研究院
公众号ID｜计算机视觉研究院
学习群｜扫码在主页获取加入方式
https://pmc.ncbi.nlm.nih.gov/articles/PMC12843383/pdf/jimaging-12-00026.pdf
计算机视觉研究院专栏
Column of Computer Vision Institute
本文提出分层多分辨率自监督框架（HMR-Framework），通过 “粗→中→细” 三级重建 + Gabor 感知纹理增强，彻底解决多尺度纹理纠缠问题，重建精度与细节还原度登顶业内 SOTA！
PART/1
行业痛点：单张图 3D 人脸重建，卡在哪？
单张 2D 图像重建 3D 人脸，天生存在两大硬伤：
1.深度信息模糊：2D 图像缺乏立体深度 cues，难以还原面部立体结构；
2.多尺度纹理纠缠：面部粗轮廓、中尺度结构（法令纹、酒窝）、细尺度纹理（皱纹、毛孔）相互缠绕，传统模型无法兼顾。
现有方法要么依赖 3D 扫描标注、泛化性差，要么只能还原粗形态，细粒度细节完全丢失，远达不到真实应用的高保真要求。
PART/2
核心方案：HMR 分层多分辨率自监督框架
研究团队跳出传统单阶段 / 两阶段重建思路，打造三阶段渐进式重建 pipeline，从粗到精逐步还原面部几何结构，全程自监督训练，无需 3D 真实标注数据。
1.粗尺度：3DMM 几何先验重建
用 VGG 编码器回归 3D 形变模型（3DMM）参数，快速生成面部基础轮廓，搭建整体几何骨架。
2.中尺度：顶点变形图精细化
预测三通道顶点变形图，搭配全局 - 局部马尔可夫随机场损失（GL-MRFLoss），还原法令纹、酒窝等中尺度结构，保证面部结构连贯性。
3.细尺度：Gabor 感知纹理增强
首创可学习 Gabor 感知纹理模块，解耦空间 - 频率信息，精准捕捉高频细节；配合小波细节感知损失，降噪同时保留皮肤微纹理。
PART/3
关键创新：Gabor 感知 + 双损失，细节拉满
本次研究的核心突破，集中在细节还原的技术创新上，也是超越传统方法的关键：
将可学习 2D Gabor 滤波器嵌入网络，自适应提取高频面部纹理，首次实现 Gabor 卷积层与 3D 人脸重建 pipeline 融合，精准捕捉皱纹、毛孔等细粒度特征。
- GL-MRFLoss
：兼顾全局面部完整性 + 眼嘴局部细节，避免几何畸变；
- 小波细节感知损失（DPLoss）
：用 Haar 小波变换分解纹理，抗噪同时保留边缘细节，解决野生图像噪声干扰问题。
PART/4
实验验证：吊打主流方法，细节精度登顶
研究在CelebA数据集训练，FaceScape基准测试集评估，从定量、定性、效率多维度验证效果：
1.定量指标：倒角距离（CD）、平均法向误差（MNE）在 0°-30° 姿态下最优，大姿态（60°）仍保持业内前三；LPIPS 细节一致性指标0.22425，大幅领先所有对比方法。
2.定性效果：完美还原鱼尾纹、额头纹、皮肤纹理等细粒度特征，远超 Deep3D、UDL、DECA 等传统方案， even 媲美有监督的 HRN 方法。
3.效率：单张推理约 6 秒，仅比两阶段方法慢 0.6 秒，精度提升换来的耗时增加完全可控。
PART/5
总结
这款HMR 分层多分辨率自监督框架，通过三级渐进式重建 + Gabor 高频细节提取 + 双损失约束，实现了单张图像无标注、高保真、强鲁棒的 3D 人脸重建，在虚拟人、人脸识别、医疗整形等场景具备极高落地价值。
未来团队将进一步优化大姿态鲁棒性，通过模型压缩提升推理速度，让 3D 人脸重建更轻量、更精准！
有相关需求的你可以联系我们！
热门跟贴