阿里通义实验室刚扔出一枚重磅炸弹——Wan-Streamer v0.2,直接把实时AI交互卷到了“全模态真人感”的新高度。官方给出的数据极具冲击力:端到端响应延迟压到550毫秒,其中模型自身延迟仅200毫秒;输出分辨率从上一代的192×336猛增至640×368,像素量提升超过3倍,25FPS流畅画质下,微表情、手势、甚至房间布局都清晰可见。

更“可怕”的是,它并非简单拼接语音、视觉模块,而是把“听、看、说、演”统一塞进单个Transformer,原生支持文本、音频、视频的实时理解与同步生成。对比市面主流实时交互系统,只有Wan-Streamer同时做到视频感知、视频输出、全双工交互、端到端架构且延迟低于1秒。

打开网易新闻 查看精彩图片

秘密在于“流式单元”设计:每160毫秒就完成一轮“感知→理解→生成→解码”的完整闭环,不等你说完整句话,AI已同步思考并给出音视频回应。为同时搞定高清和低延迟,v0.2首次引入“思考者+执行者”双轨并行架构——单卡Thinker专攻延迟敏感的流式感知与音频解码,多卡Performer集群用Ulysses并行扛起高分辨率视频生成,两者时序重叠,硬是把高画质计算从延迟关键路径中剥离。

效果有多颠覆?你只要用自然语言描述,就能实时召唤任何角色面对面聊天:听秦始皇复盘统一六国的谋略、看李白现场吟诗、让蒙娜丽莎开口讲文艺复兴、跟《清明上河图》里的路人打听宋朝物价,甚至逼问你家猫主子整天谋划什么……没有预设剧本,没有固定角色库,想象力是唯一天花板。应用场景直指视频通话式AI陪练、面试模拟、心理咨询、沉浸式教育、真人感游戏NPC等一切需要“在场感”的领域。