还在为制作趣味视频、口播讲解视频发愁吗?

今天带来的LivePortrait,可以轻松控制图像或视频中的人物,参照参考视频生成表情和动作动态视频,适合各种趣味视频和口播场景。

打开网易新闻 查看精彩图片

LivePortrait 框架简介

LivePortrait是一个肖像动画生成框架,主要用于将静态图像与输入参考视频结合,生成逼真的动态表情视频。该框架特别注重泛化能力可控性效率,在提升视频质量的同时,优化了框架的性能。

打开网易新闻 查看精彩图片

研发团队扩展了训练数据至约6900万高质量帧,并采用了混合图像-视频的训练策略,极大提高了合成效果。

打开网易新闻 查看精彩图片

此外,通过引入隐式关键点(implicit keypoints),结合缝合模块重定向模块,实现了低计算开销下的高效动画生成。

打开网易新闻 查看精彩图片

系统要求与准备

  1. 显卡要求

    电脑配置至少4GB显存的显卡,以确保最佳的性能和兼容性。

  2. 环境配置Conda

    访问Conda官网下载合适的操作系统安装。

  3. CUDA驱动(NVIDIA显卡用户)

    访问英伟达官网下载安装CUDA 11.8。

安装步骤

在准备安装Live Portrait的目录下,地址栏输入'cmd'打开命令窗口。

输入以下指令克隆Live Portrait程序库

1

git clone https://github.com/KwaiVGI/LivePortrait

程序克隆完成后,进入克隆项目的文件目录内

1

cd LivePortrait

使用conda创建虚拟环境并激活

1

git clone https://github.com/KwaiVGI/LivePortrait

2

cd LivePortrait

conda create -n LivePortrait python=3.9

conda activate LivePortrait

进入克隆的Live Portrait目录,令安装所需的依赖包

1

pip install -r requirements.txt

2

pip install -r requirements_macOS.txt

打开网易新闻 查看精彩图片

下载权重

1

git lfs install

2

git clone https://huggingface.co/KwaiVGI/LivePortrait temp_pretrained_weights

mv temp_pretrained_weights/* pretrained_weights/

rm -rf temp_pretrained_weights

在Live Portrait目录下,新建一个文本,命名为'run.bat'并打开

1

@echo off

2

CALL conda activate liveportrait

python app.py --server-name 127.0.0.1 --server-port 8890 --no-share

保存并关闭文件。

双击run.bat文件启动Live Portrait。

打开网易新闻 查看精彩图片

使用说明

  1. 上传照片与视频
    在操作界面点击“Upload Photo”上传静态图片,点击“Upload Video”上传表情参考视频。

    打开网易新闻 查看精彩图片

  2. 生成合成视频
    点击“Animate”开始生成。生成完成后,可以查看原视频与合成视频的对比,或下载生成的视频。

    打开网易新闻 查看精彩图片

  3. 调整表情参数
    可通过滑块调整眼睛和嘴巴的动作幅度,生成表情包图片。

    打开网易新闻 查看精彩图片

表情控制参数

rotate_pitch:抬头与低头

rotate_yaw:左右转头

rotate_roll:歪头

blink:闭眼与睁眼

eyebrow:皱眉与挑眉

wink:眨左眼

pupil_x:眼睛左右移动

pupil_y:眼睛上下移动

aaa:闭嘴与张嘴

woo:咧嘴与嘟嘴

smile:微笑

ComfyUI-AdvancedLivePortrait让人脸编辑变得简单高效,实现动态效果,提升创作效率。感兴趣的小伙伴们快去试试吧!