数字人的本质是拼装管线:语音识别、大模型想词、语音合成、驱动面部,什么时候说话、被打断怎么办,全靠外部脚本。蚂蚁刚开源的 Duo 走的是另一条路——把智能主体放进世界模型内部,让它自己决定什么时候开口、什么时候倾听。

这是“双向世界模型”的首个实现。现有世界模型主要模拟物理世界,Duo 则专注于让虚拟人拥有内生的交互决策能力,实时生成视听回应。

两个模块,一条时间线

框架由 Intent 与 Realization 两个耦合模块构成:

  • Intent 模块负责思考和决策,每约 0.7 秒处理一个时间块,结合用户输入和交互历史,决定 speak 还是 wait,并生成语言内容;
  • Realization 模块负责视听表达,接收 Intent 隐状态,生成相应的音频与视频。

两个模块在统一时间线上因果同步,通过注意力掩码防止访问未来信息,从而实现持续衔接的交互。说话与倾听不再是外部触发,而是模型内部的一次决策。

范式意义大于产品意义

Duo 的定位不是一款现成产品。它给出的判断是:这一范式的意义大于产品意义。

如果世界模型能内生承载自主智能体,游戏 NPC、虚拟陪伴、沉浸培训的实现方式都可能被改写——不再是触发式对话树,而是真正活在场景中的存在。

从拼装管线到内生决策,差别在于“什么时候说话”这件事由谁来做主。Duo 把这个问题交给了模型自己。