10月16日消息,昆仑万维正式发布视频生成游戏模型Matrix-Game 4.0,并同步开源项目代码、模型权重及技术报告。昆仑万维创始人周亚辉参与了该项目技术报告的署名。
打开网易新闻 查看精彩图片
据介绍,Matrix-Game 4.0采用游戏引擎与视频生成模型协同运行的技术架构,在单张NVIDIA RTX 5090消费级显卡上,即可实现480p分辨率、60 FPS的实时游戏体验,玩家操作至画面响应的端到端延迟低于150毫秒。
性能方面,Matrix-Game 4.0单步去噪的稳态生成速度达到83 FPS,显存峰值为18.5 GiB。据昆仑万维公布的测试数据,其端到端延迟约为112毫秒,而Code World Model、StreamRender-H3及AgentGarten分别约为10.2秒、545毫秒和878毫秒。
技术架构方面,Matrix-Game 4.0将游戏运行逻辑与视觉生成分离,由游戏引擎维护世界状态、物理规则及交互逻辑,视频生成模型负责实时渲染画面,并通过Coding Agent将自然语言需求转化为游戏代码,支持用户调整场景、NPC行为及游戏玩法。
模型基于Wan2.2 5B改造,采用30层因果DiT架构,并结合动态Caption、空间记忆及结构画面约束等技术,提升连续交互过程中的画面一致性。团队还通过CUDA Graph、FP8量化及KV缓存优化等方式降低推理延迟。
目前,Matrix-Game 4.0已在GitHub、Hugging Face等平台开放相关资源。昆仑万维表示,未来将进一步提升画面分辨率,探索多人联机及更多游戏场景的支持。(定西)
热门跟贴