来源：市场资讯
（来源：科技行者）
这项由香港大学、复旦大学、浙江大学与快手科技联合完成的研究，以预印本形式于2026年6月30日发布在arXiv平台，论文编号为arXiv:2606.31734。有兴趣深入了解的读者可通过该编号查询完整论文。
你有没有过这样的经历：和一个朋友聊天，聊了好一会儿，突然发现他已经完全忘记了你们五分钟前说过的话，又重新讲起同一件事？这种对话体验实在令人抓狂。现在，让AI来"拍电影"也面临着同样的困境——它能拍出精彩的开头，却在片子拍长了之后，彻底忘记前面发生了什么，导致场景东拼西凑、前后矛盾。
这支来自香港大学、复旦大学、浙江大学以及快手科技的研究团队，专门针对这个"AI失忆症"问题，开发出了一套名为**MemLearner**的解决方案。他们的核心思路是：与其给AI安排一套死板的"记忆清单规则"，不如直接教它学会自己决定该记住什么、该在什么时候调取记忆。这个区别，就像一个只会查字典的人和一个真正理解上下文的人之间的差距——前者按规则办事，后者凭理解应对。
一、先说说"视频世界模型"到底是什么
要理解这项研究，先得弄清楚"视频世界模型"究竟是个什么东西。
以游戏为例。当你在玩一款开放世界游戏时，游戏引擎会根据你的操作——往左走、往右看、跳过一个台阶——实时生成你眼前的画面。视频世界模型干的是同一件事，只不过它不是用代码写死的游戏规则，而是一个经过大量真实视频训练的AI系统。你给它一个摄像机的移动指令，它就生成对应的视频画面，就好像你真的在一个真实世界里漫步一样。
这类技术的潜力非常大：可以用于制作游戏场景、拍摄电影、训练机器人，甚至可以作为虚拟现实体验的底层引擎。研究人员把它称为"交互式视频生成模型"，意思是用户能通过动作指令与生成的视频世界实时互动。
然而，当视频生成的时间稍微一长，问题就来了。AI的"视野"是有限的——它只能"看到"最近一段时间发生的事情，更早之前的画面它已经看不见了。于是，当摄像机转了一圈再转回来时，AI已经忘记了这个地方长什么样，只好临时发挥，结果生成的画面和之前的完全对不上。这就是所谓的"场景一致性"问题，也是这篇论文要攻克的核心难关。
二、现有方案为什么不够用
在这项研究之前，研究者们已经尝试过几种不同的思路来解决AI的"失忆"问题，但每种方案都有它的软肋。
第一类方法是"3D重建记忆"。这类方法让AI先把已经看过的场景重建成一个三维模型，下次需要回忆的时候，就从三维模型里渲染出对应视角的画面作为参考。这个思路听起来很扎实，但三维重建本身就容易出错，而且对于会动的物体——比如走路的人、摇尾巴的狗——三维重建几乎无从下手。
第二类方法是"特征压缩记忆"。AI不直接存储画面，而是把历史内容压缩成一些抽象的特征码，就像把一本书浓缩成几条关键词。这样存储效率高，但信息损失也很大，细节容易丢失。
第三类方法是最直观的"关键帧记忆"，也就是从历史视频里挑选出一些代表性的帧，直接作为当前生成的参考。这个方向其实很有前途，因为它简单直接，不需要额外的三维重建或特征压缩。但问题在于：怎么挑帧？
目前主流的挑帧方式是用固定规则。比如，计算当前摄像机的视野范围（FOV），然后挑选那些和当前视野重叠最多的历史帧；或者用点云估算的方法，找到在空间位置上最接近的帧。这些规则在简单场景里还算管用，但一遇到复杂情况就露出了破绽。
以墙壁遮挡为例。假设摄像机在一栋建筑的外面，转到了另一侧。按照视野重叠规则，AI会认为某几帧"很相关"——因为它们的拍摄方向相似。但实际上，这两个视角之间隔着一堵墙，场景内容完全不同，参考这些帧只会帮倒忙。再比如，一只在场景里游荡的狗，它的位置会不断变化，基于静态空间位置的规则根本无法正确追踪它。
更根本的问题在于：这些规则是人为写死的，无法随着场景的复杂程度自动调整。
三、MemLearner的核心思路：让AI自己学会"该看哪里"
MemLearner提出的解决方案，从根本上改变了这个问题的处理方式。与其告诉AI"按照规则X去找相关帧"，不如让AI通过大量训练，自己学会判断哪些历史信息对当前的生成最有帮助。
为了实现这一点，研究团队引入了一种叫做"查询令牌"（Query Token）的机制。要理解这个概念，可以用图书馆借阅来打比方。
假设你是一名正在写小说的作家（对应AI里负责生成视频的部分），图书馆里存放着你之前写过的所有素材（对应历史视频帧）。你需要一位助理（对应查询令牌）来帮你从图书馆里调取相关资料。
这位助理的工作方式很特别：他首先会看一眼你正在写的当前章节草稿（预测令牌），弄清楚你现在需要什么风格的信息；然后再拿着这个"需求"去图书馆翻找（上下文令牌），把真正有用的资料整理好递给你；最后，你参考这些资料完成写作。
在MemLearner的框架里，整个系统处理的信息被分成三种角色：C令牌（Context Token，历史上下文），代表已有的历史视频帧；Q令牌（Query Token，查询令牌），是连接历史和当前生成的中间桥梁；P令牌（Predicted Token，预测令牌），代表当前正在生成的视频帧。Q令牌先关注P令牌，理解"要生成什么"，再关注C令牌，提取"需要哪些历史信息"，最后P令牌参考Q令牌完成生成。
这个机制完全通过端到端训练来学习——也就是说，AI不需要任何额外的人工标注来说明"这个情况下应该查询哪些帧"，它只是通过生成视频时的误差信号，反过来不断调整查询策略，最终自然而然地学会了适应性记忆提取。
四、一个被放弃的设计，以及背后的洞察
研究团队在设计过程中，也走过一段弯路，而这段弯路本身很能说明问题。
最直觉的想法是：既然需要一个"查询助理"，那就单独训练一个专门的查询模块，让它负责从历史帧里提取信息，再把提取结果传给视频生成模型。两个模块各司其职，听起来很合理。
然而实验结果让团队大吃一惊：这个单独训练的查询模块完全没能学会查询历史信息。通过注意力可视化分析发现，这个模块的查询令牌和历史上下文令牌之间的相似度接近于零——换句话说，这个模块根本就没有在读历史帧，只是在输出一堆毫无意义的信号。
更糟糕的是，由于这个独立模块的输出没有意义，视频生成模型也渐渐学会了"无视"这个模块的输出，最终直接退化成一个普通的文本生成视频模型，完全不具备记忆能力。
这个失败揭示了一个关键洞察：从零开始训练一个新模块，想让它学会有意义的视觉查询，是极其困难的，因为你没有办法为"正确的查询"提供明确的监督信号——没有人能标注"在这一帧，你应该去查历史第147帧的左上角"这样的信息。
正确的做法是：直接利用视频生成模型本身来做查询。视频生成模型已经经过大规模预训练，对视觉内容有着丰富的理解能力。把查询令牌和上下文令牌、预测令牌一起输入到同一个视频生成模型里，让模型的自注意力机制自然地建立起它们之间的联系，效果就会好得多——因为模型已经具备了理解视觉内容的能力，只需要学习如何运用这种能力来做记忆查询。
五、两个让系统跑得更快的巧思
理论上，把所有历史帧和当前帧都塞进模型里让它自己分析，效果当然最好。但实际操作中，这会带来巨大的计算量——历史帧越来越多，计算量会线性增长，最终变得不可负担。
研究团队提出了两个简洁的效率优化策略。
第一个策略叫做"浅层查询，深层生成"。整个扩散变换器模型有28层，研究团队把它分成两段：前5层（浅层）作为"查询层"，负责让Q令牌从C令牌和P令牌中提取信息；后23层（深层）作为"生成层"，只处理Q令牌和P令牌，C令牌不再参与。
这背后的逻辑是：提取记忆更像"编码"，不需要太多计算量；真正的创作生成才是大头。类比到人类写作：快速浏览一下参考资料（浅层）只需要几分钟，真正坐下来写作（深层）才是主要工作。实验证明，5层已经足够完成有效的记忆提取，继续增加查询层数对效果的提升非常有限，却会明显拖慢速度。
第二个策略叫做"只保留有用的注意力计算"。在注意力机制里，每个令牌既可以作为"提问者"（查询），也可以作为"被问者"（键值对）。研究团队仔细分析了哪些注意力交互是真正必要的，删掉了所有冗余计算。最终保留下来的只有三种核心交互：Q令牌向P令牌提问（搞清楚当前要生成什么）、Q令牌向C令牌提问（从历史帧里提取信息）、P令牌向P令牌和Q令牌提问（生成时参考同伴和查询结果）。特别值得注意的是，C令牌不作为提问者——历史帧的内容只需要被查询，而不需要主动去问任何人。
六、专门为复杂场景打造的训练数据集
一个聪明的算法，还需要合适的训练数据。研究团队在这方面也下了很大的功夫，因为他们发现，现有的长视频数据集没有一个能完全满足训练需求。
理想的训练数据需要同时具备四个特点：精确的逐帧摄像机位姿标注（知道每一帧摄像机在哪里、朝哪里看）、场景遮挡关系（物体互相遮挡的情况）、动态物体（会动的人或动物）以及大量的"重访场景"（摄像机离开某个地方又回来的情况）。现有数据集各有残缺：用YouTube视频组成的数据集内容丰富，但摄像机标注不精确；基于游戏引擎渲染的数据集标注精确，但没有遮挡和动态物体。
于是，研究团队自己在虚幻引擎里搭建了一套数据采集流程。他们精心挑选了13个不同风格的三维场景，涵盖街道、购物中心、乡村、室内室外各种环境，并在场景中加入了人类角色、狗、骆驼、马等动态物体。为了高效地生成摄像机运动轨迹，他们写了一个自动化脚本，让摄像机在场景中自主漫游、自动避障，同时记录下每一帧的位姿信息。最终采集了100段长视频，分布在13个场景中，每段视频平均超过18000帧，总计16.7小时的视频内容。
仅靠渲染视频还不够，因为渲染画面和真实世界的视觉风格存在差距。为此，研究团队还加入了两类真实世界视频：一类有较为准确的摄像机估算标注，另一类完全没有摄像机标注。对于这三类不同来源的数据，他们采用了一个独特的训练策略：给每类数据分别配备一个专属的摄像机编码器，完全没有标注的真实视频则直接用零参数（相当于告诉模型"这段视频没有摄像机信息"）。通过这种隔离方式，不同质量的标注数据互不干扰，模型可以同时从精确的渲染数据、真实的风格数据和丰富的多样性数据中各取所长。
七、实验结果：数字和故事都说明了问题
研究团队在多个不同的数据集上进行了全面评估，包括自己采集的复杂场景数据集、另一个团队发布的无遮挡无动态物体数据集，以及真实世界的SpatialVID数据集。
评估方式分两种。第一种叫"地面真值对比"：给AI看一段历史帧，让它生成接下来的画面，然后对比生成结果和真实视频有多像。第二种叫"重访对比"：让摄像机在场景里转出去再转回来，对比"出去时拍的某个地方"和"回来时再次拍到同一个地方"的画面是否一致。第二种测试方式更加贴近实际应用场景，也更能考验模型的真实记忆能力。
拿来对比的方法包括几类：完全没有记忆设计的长视频生成模型DFoT、通过压缩历史帧保留有限记忆的FramePack、基于点云规则检索的VMem，以及基于视野重叠规则检索的Context-as-Memory（CaM），还有研究团队自己尝试过并放弃的"独立查询模块"设计。
在复杂场景数据集上，MemLearner在所有指标上均取得了最好的成绩。以像素相似度指标PSNR（数值越高越好）为例，CaM方法得到了19.85分，而MemLearner达到了21.23分；在衡量感知相似度的LPIPS指标上（数值越低越好），CaM为0.3475，MemLearner为0.2904，差距相当明显。在视频生成质量指标FVD上，MemLearner同样领先。
那个被放弃的"独立查询模块"方案，PSNR只有9.16分，比完全没有记忆的DFoT（16.98分）还低——这直接印证了研究团队关于"独立模块无法有效学习"的判断。
有意思的是，当在没有遮挡和动态物体的简单场景数据集上测试时，CaM和MemLearner的成绩非常接近（分别是20.22和20.35）。这说明在简单场景下，规则方法和学习方法表现相当；但一旦场景复杂起来，学习方法的优势就会显著拉开。
研究团队还用了一项零样本迁移测试：在完全没有接触过的Epic-Kitchens厨房视频数据集上直接测试（这个数据集风格和训练数据差异很大），MemLearner依然比同类方法表现更好，说明学到的记忆机制具有一定的通用性。
八、细节决定成败：几个关键设计选择的验证
研究团队还通过一系列消融实验，逐一验证了每个设计选择的必要性。
关于查询令牌的初始化方式，研究团队测试了两种方案：用随机噪声初始化和用带噪声的预测令牌副本初始化。结果两者的表现几乎没有差别，说明初始值是什么其实并不重要——真正重要的是Q令牌通过注意力机制从P令牌那里学到当前的需求，而不是靠初始值传递信息。
关于摄像机位姿信息是否必须提供给所有令牌，结果颇为出人意料。研究团队发现，就算不给历史帧（C令牌）和查询令牌（Q令牌）注入摄像机信息，只给当前生成帧（P令牌）注入，模型的记忆能力并没有明显下降。这意味着，视频生成模型具备从纯视觉信息中隐式理解空间几何关系的潜力，不需要手动提供三维坐标信息。
关于注意力计算的必要性，删掉Q令牌向P令牌提问这一步（也就是让Q令牌不再先理解"要生成什么"），会导致性能大幅下滑，PSNR从21.23跌到17.27。这证实了"先理解需求再查询信息"这个两步走逻辑的关键性。
此外，研究团队还测试了把分别训练查询模块的方案改为"先预训练再联合微调"——用L1损失来预训练查询模块，让Q令牌的输出靠近P令牌，然后再联合微调。结果这个方案依然远逊于MemLearner（PSNR仅16.56），再次印证了端到端学习的优越性：不需要人为设计中间监督目标，让误差信号自然地反向传播到查询机制里，效果反而更好。
九、这套方案能用在别的模型上吗
一个自然的疑问是：MemLearner是不是只能搭配研究团队内部使用的专属模型？
为了验证通用性，研究团队还把同样的方法应用到了Wan2.1这个开源视频生成模型上（参数量为13亿）。结果显示，MemLearner在Wan2.1上同样比基线方法表现更好，说明这套机制并不依赖特定的模型架构，只要底层模型使用了三维注意力机制，就可以直接接入MemLearner的查询框架。
说到底，MemLearner做的事情，就是把AI视频生成里那个"按规则找参考帧"的死板逻辑，换成了一个"通过学习来理解上下文需求"的灵活机制。这个转变听起来简单，但背后隐藏着一个深刻的工程洞察：与其费力设计各种规则来告诉AI"什么情况下该记什么"，不如给AI提供足够丰富的训练场景，让它自己摸索出适合的记忆策略。
这项研究对普通人的生活并不会立竿见影，但它所解决的问题，其实是未来一大批应用的基础性障碍。当我们期待AI能为我们生成一段沉浸式的虚拟旅行视频、能在游戏里创造出真正有记忆的虚拟世界、能帮助机器人在复杂环境里保持对空间的连贯认知——所有这些，都需要先解决AI的"失忆"问题。MemLearner给出了一个目前来看相当有说服力的方向。
当然，研究团队自己也坦承，问题远没有彻底解决。当场景里有超过五个角色同时互动时，现有的10亿参数模型就开始力不从心，生成画面会出现角色外貌不一致或物体消失的情况。更长远来看，记忆不应该随着视频时长线性膨胀，未来需要研究的方向包括如何压缩、更新、编辑，甚至有选择地遗忘历史信息——就像人的记忆一样，不是存档所有细节，而是保留真正重要的内容。
对这项研究感兴趣的朋友，可以通过arXiv编号2606.31734找到完整论文，以及该团队的演示项目页面，里面有实际生成的视频案例可供直观感受。
Q&A
Q1：MemLearner解决的"场景一致性"问题具体是什么意思？
A：场景一致性是指在生成长视频时，摄像机离开某个地方又回来后，AI生成的画面要和之前拍过的保持一致——同一个房间应该有同样的家具，同一个角色应该有同样的外貌。由于AI的"视野"有限，它很容易忘记早期的画面，导致重访时生成出完全不同的场景，这就是一致性问题。
Q2：MemLearner的查询令牌和普通的历史帧检索有什么区别？
A：传统历史帧检索靠人工写死的规则（比如摄像机视野重叠度），而MemLearner的查询令牌通过训练学会自适应地判断"当前生成需要哪些历史信息"。它先理解当前要生成的内容，再去历史帧里提取相关信息，整个过程是通过生成误差反向训练出来的，不需要任何手动标注的查询标准。
Q3：MemLearner在有遮挡的场景里为什么比基于视野规则的方法更好？
A：基于视野规则的方法只看摄像机朝向是否相似，无法判断两个视角之间是否有墙壁遮挡。而MemLearner通过训练学到了视觉内容之间的关联，能够隐式地理解遮挡关系，只调取真正视觉相关的历史帧，而不是仅仅方向相近的帧。
热门跟贴