近日，人工智能领域CCF-A类顶级会议IJCAI (International Joint Conference on Artificial Intelligence) 2024年度的论文揭晓，来自西安电子科技大学通信工程学院的何刚老师团队所发表的题为“Beyond Alignment: Blind Video Face Restoration via Parsing-Guided Temporal-Coherent Transformer”的最新针对视频人脸修复算法研究成果被成功收录。
人脸恢复通常指从低质量的人脸图像中恢复出高质量细节的技术，例如去模糊、去噪声、恢复等。这些技术通过算法改善图像质量，使人脸特征更清晰。而视频人脸恢复则是将这一过程应用于视频序列，它不仅需要处理每一帧的图像质量，还要保证时间上的连贯性和自然过渡，确保视频中人脸的动态表现和质量的一致性。这要求算法能够有效处理视频中的运动模糊、压缩损失等问题。人脸恢复任务在最近几年被广泛研究，并且在工业界被广泛应用。
该论文研究首次提出了一种新颖的盲视频人脸恢复方法，即解析引导的时间一致性变换器（PGTFormer），旨在解决现有技术在处理低质量视频人脸时遇到的挑战。该方法无需预对齐即可恢复高保真的人脸细节，并增强视频中不同姿态变化的时间连贯性。PGTFormer利用语义解析指导选择最优人脸先验，生成时间上连贯且无缺陷的人脸结果。该研究还包括了一个时间空间矢量量化自编码器（TS-VQGAN）的预训练模型，以及一个时间解析引导的码本预测器（TPCP），这些创新技术显著提高了人脸恢复的效率和准确性。
图像左侧为原始图像，右侧为人脸修复算法处理后图像
论文作者简介
何刚，副教授，博士生导师，现工作于西安电子科技大学通信工程学院，图像传输与处理研究所。博士毕业于早稻田大学，研究方向是人工智能全链路视频画质修复增强编码及智能感知融合视觉处理，发表SCI论文及会议50余篇。当前担任国家信标委人工智能分委会计算机视觉工作组联合组长、陕西省高校工程研究中心副主任、西电荣耀通信互联创新联合实验室执行主任等，主持参与国家自然科学基金，科技部重点项目，工信部重点研发项目等，并与工业界多家知名企业在画质提升和融合感知等领域展开深入合作。
徐克鹏，博士研究生，西安电子科技大学通信工程学院图像传输与处理研究所成员。目前在西安电子科技大学攻读博士学位，博士期间的指导老师为何刚老师和吴宪云老师，研究方向为深度学习在图像视频压缩与增强领域上的应用，目前已在ACMMM、IJCAI等国际顶级会议发表多篇论文。
李云松，教授，博士生导师，国家级高层次人才，西安电子科技大学通信工程学院执行院长，图像传输与处理研究所负责人。主要从事图像/视频处理、编码及传输、芯片设计及高性能计算等领域的研究工作，主持并完成了国家自然科学基金、国家重大专项、863、探月工程，载人航天、火星探测工程等多项科研项目。
论文成果链接
人脸修复算法成果展示链接：
人脸修复算法论文链接：
人脸修复算法代码链接：
来源 / 通信工程学院
编辑 / 郭楠楠
责编 / 王 格
出品 / 西安电子科技大学融媒体中心
热门跟贴