人形机器人与真人的界限正愈发模糊,中国一项新研究揭示了背后的关键技术突破:研究人员开发出大规模3D面部数据集和新型AI模型,无需依赖2D图像或数字模板,可直接从原始3D数据中检测面部关键点。这项技术瞄准构建逼真仿生人及虚拟人类的核心挑战——让它们能自然表达情绪、识别身份并与人互动。

打开网易新闻 查看精彩图片

面部3D关键点检测是实现上述能力的核心技术之一,它能在3D空间中定位人脸关键特征点。现有系统多依赖2D纹理映射或合成3D人脸,但数字模型常与真实人脸几何结构不符,纹理对齐也难精准,易引入误差。新研究则绕过这些局限,直接处理真实场景下的3D面部扫描数据。

研究由中国科学院深圳先进技术研究院宋展教授,联合福建工程学院叶玉平博士主导。

一、构建超大规模真实3D人脸数据集

为支撑研究,团队搭建了定制化3D/4D面部采集系统,通过标准化数据流程,构建了包含约20万张高保真3D面部扫描图的数据库。该数据库涵盖多表情3D人脸数据集、标准化3D面部关键点数据集、高精度3D人体数据集、动态4D面部表情数据集,是目前已报道的最大规模结构化真实3D人脸数据集合之一,入选福建省2025年高质量AI数据集计划。

二、曲率融合AI:直接从点云解析面部几何

研究人员未向AI输入带纹理的图像,而是设计了曲率融合图注意力网络(CF-GAT),直接处理无序点云数据(点云仅记录面部空间点的几何结构,不含表面纹理)。团队引入几何驱动采样策略,在简化点集的同时保留关键曲率信息,将曲率数据编码为显式几何先验融入模型注意力机制,使网络既能捕捉细微局部形状变化,又能建模面部全局结构关系。

三、性能超越传统:鲁棒性与精准度双提升

通过图注意力结构,CF-GAT直接从原始几何数据预测3D关键点坐标,无需依赖2D纹理或预定义模板,减少了对表面外观的依赖。测试显示:

对噪声的鲁棒性更强,适配不同脸型的泛化能力更优;

能精准定位细粒度关键点,这是实现逼真表情和面部追踪的核心。

研究强调,高质量大规模数据集是算法性能的关键:基于真实场景几何细节训练,模型能学习更丰富的空间模式,更好适应真实世界的多样性。

四、应用前景:赋能多领域智能交互

这项进展可支撑三大方向:

更逼真的人形机器人:实现自然情绪表达与身份识别;

更精准的生物识别系统:提升面部验证的安全性与准确率;

更具表现力的虚拟化身:优化元宇宙、影视娱乐中的数字人体验。

随着仿生人在医疗、服务、娱乐领域普及,底层几何智能将决定它们在人类眼中的“真实感”。研究成果发表于《IEEE视频技术电路与系统汇刊》。