一水 发自 凹非寺
量子位 | 公众号QbitAI
不er，印象中非常吃算力的「游戏世界模型」，居然就这样被塞进一张RTX 5090里了？！
而且身上还挂着两个非常诱人的标签：
国产、开源。
就在刚刚，昆仑万维旗下Skywork AI发布Matrix-Game 4.0，据悉这是「全球首款可在单张消费级显卡上实时运行的游戏世界模型」。
快速翻到Demo，坦白讲480p的画质确实还有提升空间，但再看几秒：
诶，不对劲！！
以前常见的游戏世界模型Demo，是玩家按一下方向键，模型接着往前生成画面。世界能逛，场景会动，但底下究竟有没有一套真正运行的游戏，不太好说。
但Matrix-Game 4.0已经不太一样了。
玩家中弹，先掉的是盾牌耐久；盾碎了，才开始扣血；等血量归零，游戏真就结束了。
视频地址：https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
好家伙，原来不只是画面在动，背后的游戏逻辑也跟着跑起来了啊。
更离谱的是，这一整套没躺在什么豪华算力集群里。
就一张RTX 5090。
按下键，不到0.15秒画面就有反应；一秒能跑60帧；整套系统占用显存峰值约18.5GiB。
玩法甚至还能改。
让Coding Agent动动游戏代码，原本的计时赛，转眼就能变成拦截目标车辆的追击战。
视频地址：https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
一张卡，托起一局由AI实时画出来、又按代码规则运行的游戏。
怎么做到的？
给视频模型套上Harness
这一次，Matrix-Game 4.0没走寻常路。
团队给出的核心判断是：
与其让视频模型隐式记忆世界，不如让游戏引擎显式维护世界。
以谷歌Genie为代表的路线，率先让玩家走进AI实时生成的世界，走到哪里，模型就把画面生成到哪里。
但世界能逛，不等于游戏能玩。
画面偶尔多一棵树、少一扇窗，顶多让人出戏。可要是NPC的位置、玩家的血量、任务的输赢也由模型临场发挥，那还玩啥啊？？
所以比画面穿帮更麻烦的，其实是规则脱缰。
在团队看来，现阶段的视频生成更像一种「符际翻译」，负责把文字、动作和场景信息转成连续画面。
「画」这件事，视频模型确实擅长。
可过去常见的路线，偏要让它既记住整个世界，又算清游戏规则，还得不停往下生成画面。
好家伙，一个模型直接身兼数职，短时间还能撑住，时间一长你懂的。。。
△图片由AI生成
所以到了Matrix-Game 4.0，团队干脆把活儿拆开：
游戏引擎负责把游戏跑对，视频模型负责把画面画好。
这么一拆，世界状态就不再藏在模型生成的像素里，而改由代码明确记录。
即使视觉生成偶尔出现偏差，也不会直接改写玩家血量、道具归属和任务进度等。
团队把这套思路概括为「给视频模型套上Harness」：
1、玩家先用自然语言说出想法，Coding Agent负责把它写成游戏代码；
2、游戏引擎当「裁判」，负责维护世界状态、执行游戏规则，并画出一份不会乱的结构草图；
3、视频模型则当「画师」，照着草图实时生成最终画面。
说白了就是，该确定的交给代码，该发挥的交给AI。
至于这套分工效果如何，直接看Demo。
最开始，引擎输出的还是一片由方块、骨架和简单地形组成的结构画面。
看着多少有点「毛坯房」的意思。
但人物在哪、道具在哪、谁在移动，已经交代得明明白白。
等视频模型接手，城堡、草地、材质和光影被实时补齐，刚才还是3D草模，转眼就成了完整的游戏画面。
视频地址：https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
画得出来是一方面，底下的规则也真在跑。
就拿盾牌来说，玩家拾取后，引擎会把它正式写进游戏状态。中弹时先扣盾牌耐久，盾牌失效后再扣角色血量；等血量归零，游戏结束。
视频模型负责把过程画出来，具体怎么结算，全由代码说了算。
视频地址：https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
更有意思的是，这些规则还能继续改。
想提高武器射速，直接用自然语言告诉Coding Agent。
底层代码一改，武器的实际攻击逻辑也跟着变化。
视频地址：https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
一个对战场景，刚好把整套方法跑了一遍：
Coding Agent负责改，引擎负责算，视频模型负责画。
AI生成的世界，也由「看起来像游戏」，开始走向「真正按游戏规则运行」。
一张RTX 5090，怎么把游戏跑起来？
思路捋顺了，下一关才是真正的硬骨头：
算力。
毕竟让视频模型实时画游戏，听起来就不像一张消费级显卡能扛住的活儿。
几乎同一时间，英伟达研究团队也发布了StreamRender-H3，同样采用「代码运行世界、视频模型生成画面」的路线。
但其官方展示的部署配置，是8张GB200 GPU。每个视频块采用两步去噪，每个流式生成步骤的扩散渲染耗时为218ms。
这还只是扩散渲染阶段。算上视频块收集、解码和播放等环节，如果按照两个视频块形成一次完整反馈来计算，端到端延迟约为545ms。
按这组数据粗略对照，Matrix-Game 4.0从按键到画面显示约需112ms，约为StreamRender-H3估算端到端延迟的五分之一；硬件配置则从8张GB200，降到了一张RTX 5090。
当然，两者的分辨率和延迟统计口径并不完全一致，不能直接排座次。
但从工程实现来看，单张消费级显卡能够跑到这个速度，已经足够有冲击力。
而这张卡，也不是突然就扛住了一切。
从Matrix-Game 1.0开始，团队一直在给游戏世界模型补课：
1.0先让生成的世界听懂玩家操作，2.0解决实时，3.0补上长时记忆，3.5继续稳住空间和角色。
△图片由AI生成
到了4.0，团队开始直面另一道题：
这个实时生成、还能记住的世界，什么时候才算一款游戏？
答案前面已经揭晓了，那就是把规则交给代码和游戏引擎。
但要让规则和画面在一张RTX 5090上同时跑，光是重新分工还不够。
还得从工程角度给整条链路减负。
第一减：减少模型需要自己猜的东西
第一步，是把生成任务变简单。
「凭空作画」？？NONONO，哪有「照着草图搞精装」来得省力。
为了教会模型这项本事，团队用UE5制作了一批成对数据：一边是结构画面，一边是对应的精细画面。
前者不管材质、光影这些花活儿，只保留场景结构、物体位置和运动轨迹，后者才是最终要生成的效果。
这么练下来，游戏引擎只要先把结构画面跑出来，视频模型就能照着补全材质、光影和环境细节。
但光有草图还不够。
同一个方块，到底是盾牌、NPC还是路障，模型看不出来。
于是系统还会读取引擎提供的可见对象和实时状态，动态拼出Caption，告诉模型画面里有什么、正在发生什么。
视频地址：https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
结构画面负责交代「在哪」，动态Caption负责说明「是什么、在干什么」。
好家伙，图纸和说明书都递到手里了。
这下，视频模型只管照着画。
第二减：减少模型需要自己记的东西
一张图画准了还不够，游戏得一直往下跑。
问题是，视频越长，历史画面就越多。
每次生成都让模型从头翻记录，不仅费劲，前面画歪的一点还可能被一路带下去。
不er，关键画面直接递到眼前不香吗~
Matrix-Game 4.0基于Wan2.2 5B Fun Control改造出了V2V模型，每次生成除了参考当前的结构画面，还会调用空间记忆参考图、用于衔接的首帧，以及缓存中的近期历史信息。
该在哪、长啥样、怎么接，全提示到位，画着画着跑偏的概率自然也就降下来了。
第三减：减少模型需要计算的东西
最后一刀，直接砍向计算量本身。
扩散模型生成画面，有点像从满屏噪点里反复修改，改一遍不够，再改几遍，直到画面成形。
游戏可等不了这么久。
团队通过少步自回归蒸馏，把这个过程压缩到只改1步或2步，而且一次只生成四帧。
算得快还不够，GPU等着CPU下指令、历史数据来回搬运，同样会拖慢速度。
于是CUDA Graph、FP8融合算子、KV环形缓存和轻量编解码器也全上了：
能少算一次就少算一次，能不搬的数据就别来回搬。
最终，文本编码器、DiT和VAE全部常驻一张RTX 5090。
单步去噪时，视频模型的稳态生成速度达到83 FPS，两步去噪时约57 FPS。
实际游戏以60 FPS运行，玩家按下按键后，不到0.15秒就能看到画面响应。
讲真，看到这里，我觉得单卡60帧真正狠的，已经不是「60」这个数字了。
以前只能躺在算力集群里跑的游戏世界模型，现在一张RTX 5090，就能直接搬上开发者的桌面。
视频地址：https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA
更绝的是，硬件门槛刚砍下来，昆仑万维转头又来了一记：
开源。
中国AI把开源卷到游戏世界模型
「开源」这个动作，放在游戏世界模型里，分量比想象中更重。
每次看到世界模型发布，我都会有种熟悉的感觉：
Demo确实炸。
雪山、城市、沙漠随便生成，人物按下方向键就能往前走，视频在社交平台刷得满天飞。
然后呢？
然后就没了。
模型权重拿不到，推理代码看不见，开发者更别说下载到本地，改个规则、换个场景试试。
简单扫一眼行业就会发现，大多数玩家开放的是产品、API或者研究演示，真正把模型和代码交到开发者手里的，还是少数。
所以Matrix-Game 4.0这波开源，主打一个用着不烧心（手动狗头）。
划重点，这还不是今天突然想「开」了，这家公司从Matrix-Game 1.0开始就一直走开源路线。
回头看，这么早就选择把技术摊开，感觉一个很重要的原因是：
世界模型赛道越来越热闹，技术路线却远远没有收敛。
△图片由AI生成
有人继续押注视频生成，有人主攻3D空间，还有人重新请回游戏引擎。
看着都叫世界模型，底层解法其实已经越走越不一样。
唯一逐渐清晰的是，光会生成视频已经不够看了，世界得能进去、能交互，最好还能长期运行起来。
至于这一步到底怎么迈，各家还在疯狂试错。
也正因为没有标准答案，开源才有了用武之地。
模型往开发者手里一交，能不能复现、换个场景会不会翻车、还能整出什么新玩法，直接上手roll一遍。
好不好使，社区自然会给答案。
而这套打法，咱其实熟得不能再熟了。
大语言模型开源，多模态继续开源，现在以昆仑万维为代表的中国开源力量，顺着就卷到了游戏世界模型。
好家伙，一个新赛道刚热起来，熟悉的配方已经端上桌了。
当然，Matrix-Game 4.0现在还只是个开始。
480p画质确实谈不上多精细，距离更稳定、更长时间、更多人同时玩的AI世界，也还有一段路。
但路都还没定，答案当然也不能只让几家公司关起门来写。
谷歌Genie之后，国产玩家这次给出的解法是：
代码负责让世界守规矩，AI负责把世界画出来。
一张RTX 5090就能跑，模型和代码也一起交了出来。
至于后面还能被开发者玩成什么样？
只能说：
Matrix-Game 4.0大舞台，喜欢您就来。
【大舞台传送门】：
https://github.com/SkyworkAI/Matrix-Game
https://huggingface.co/Skywork/Matrix-Game-4.0
https://matrix-game-v4-0.github.io/page/
热门跟贴