金融界2024年11月28日消息,国家知识产权局信息显示,厦门蝉镜科技有限公司申请一项名为“一种数字人模型的训练方法、装置以及设备”的专利,公开号CN 119031210 A,申请日期为2024年8月。

专利摘要显示,本发明公开了一种数字人模型的训练方法,其包括:获取人像视频文件,利用预设的牙齿关键帧模型确定所述人像视频文件的关键帧作为牙齿参考图像;提取所述人像视频文件中的每一图像帧并进行处理,得到训练图像,以及提取所述人像视频文件的音频并进行处理,得到音频数据;将调整后的所述牙齿参考图像、所述训练图像、以及所述音频数据分别输入第一视频编码网络、第二视频编码网络以及音频编码网络进行特征提取,得到第一特征向量、第二特征向量以及音频特征向量;将所述第一特征向量、所述第二特征向量以及所述音频特征向量进行拼接后输入解码网络进行模型训练,得到数字人模型。能够提升模型的逼真度,以生成自然、连贯且逼真的唇齿动作的数字人视频。

本文源自:金融界

作者:情报员