IT时代网6月14日消息,在第8届智源大会上,昆仑万维旗下Skywork首席科学家刘扬首次公布了Matrix-Game 3.5的核心技术突破,并提出"下一帧状态生成和动作生成应进行联合训练"的全新框架。Matrix-Game 3.5计划于2026年7月正式发布。
刘扬在演讲中指出,当前业界对"世界模型"定义混乱,他提出了三步理解框架:理解当下状态(超越纯视觉信息,需理解物体物理属性)、预测下一个状态、将预测结果渲染呈现。更重要的是,团队在实际训练中发现,状态预测与动作生成应联合训练而非分而治之,联合训练对状态理解和预测均带来显著提升。
Matrix-Game 3.5的最大变化是从游戏场景向真实场景全面扩展,支持多风格动态切换与指令控制,引入NPC交互能力,并全新升级长时记忆能力。在架构层面,3.5版本采用PRoPE机制替代额外参数注入,通过相机投影矩阵让模型直接感知相机相对位姿,降低对原始视频分布的破坏。记忆机制从原样存储历史帧升级为三维空间块检索,画面一致性更高、相机轨迹更稳定、记忆可随时更新替换。
在数据层面,Skywork团队构建了三条自动化数据生产管线,已产出500万+高质量视频切片、1万+有效训练小时数、1200+覆盖游戏场景数。刘扬展望,团队下一个目标是构建原生统一的世界模型框架,推动世界模型跨越游戏边界,迈向机器人控制与物理世界交互。
打开网易新闻 查看精彩图片
此图片为IT时代网AI生成的示意图
注:本文中包含AI辅助创作的内容。
热门跟贴