一个开发者把视频翻译配音这件事做成了开源项目。基于 VoxCPM2 构建的工具,能把视频翻译成多种语言,同时保留原说话人的音色和对话自然度。

端到端流程

打开网易新闻 查看精彩图片

项目整合了 VoxCPM2 参考音色克隆、Whisper 转录与词级对齐、自动翻译,以及可选的 LatentSync 唇形同步。从人声分离到视频重建,整个链路都支持本地优先处理。

这意味着用户不需要把素材传到第三方服务器,翻译和配音可以在自己的机器上完成。对注重隐私或网络受限的场景,本地优先是一个实用选择。

打开网易新闻 查看精彩图片

音色与嘴型

保留原说话人音色是这套工具的核心卖点。参考音色克隆让翻译后的配音听起来还是同一个人,而不是机械的合成音。可选的唇形同步则进一步解决“音画不同步”的观感问题。

目前项目刚发布,实际效果还需要更多用户测试。但把音色克隆、转录对齐、翻译和唇形同步串成一个开源流程,确实降低了视频多语言分发的门槛。