腾讯混元同声传译大模型 Hy-SimulMT 今日发布并开源。它支持中英之间语音到语音的实时翻译：说话人的音频实时输入模型，模型边听边译，实时给出译文和语音。

打开网易新闻 查看精彩图片

低时延是这款模型的一大亮点。官方实测响应时间在 3 秒左右，而人类专业译员的平均水平在 4-5 秒。模型还支持实时音色克隆，可以高度还原说话人的声音和语气。

该模型在腾讯 Hy 翻译 App 首发，免费提供服务体验。测评结果显示，它的翻译效果超过了市面上主流的开源同传模型，甚至超过大部分商用同传 API。

在业界常用的长音频开源评测集 RealSI 上，Hy-SimulMT 展示了较好的同传翻译效果。横轴的 StreamLAAL 是同传翻译的延迟指标，反映模型输出翻译结果相比输入音频的延迟秒数，越低越好；纵轴表示翻译质量，使用 GPT6.1-Sol 打分，越高越好。Hy-SimulMT 在延迟最低的情况下，效果达到开源模型最佳，甚至超过大多数商业 API。在短音频测试集上，它也有较好表现。

为了更准确评估真实水平，团队在合规允许范围内广泛收集了互联网上新出现的中文和英文音频，覆盖十个领域：

  • 软件 AI
  • 医学
  • 制造能源
  • 自然科学
  • 农业食品
  • 商务管理
  • 法律
  • 教育
  • 文化文旅
  • 体育生活

这些音频涉及演讲、访谈、会议等多个场景。团队不仅测试了 Hy-SimulMT 的效果，也请多位人类同传专家对这些音频进行同声传译。

人类同传专家一共 6 位，其中 3 位拥有 CATTI 一级口译证书，3 位拥有 CATTI 二级口译证书，所有专家都有多年的同传实战经验。测评对 Hy-SimulMT 和人类同传专家的翻译内容在延迟和翻译质量上做对比，人类同传专家选取的是 3 个人中的最高分。

在这次能力定位测评中，Hy-SimulMT 的翻译质量达到人类同传专家水平（得分更高），速度更快（时延更低）。