一个开发者把 VoxCPM2 接进了视频翻译流程,做出来的工具能直接把视频转成多种语言,同时保留原说话人的音色和对话的自然感。
核心链路怎么跑
打开网易新闻 查看精彩图片
项目把几件事串了起来:用 VoxCPM2 做参考音色克隆,用 Whisper 完成转录和词级对齐,再走自动翻译,最后可选 LatentSync 做唇形同步。整套流程优先在本地处理,从人声分离一路做到视频重建。
打开网易新闻 查看精彩图片
端到端,不用来回切工具
这意味着用户不需要自己拼装多个软件,一个项目里就能完成从原始视频到多语言成片的完整步骤。音色克隆和词级对齐是保留自然度的关键,唇形同步则作为可选项留给有需要的场景。
热门跟贴