这项由韩国庆熙大学与NAVER Cloud联合开展的研究，以预印本形式发布于arXiv，编号为arXiv:2601.16211v3，最新版本更新于2026年7月2日。该成果聚焦于视频动作识别领域中一个令人意想不到却又普遍存在的"偷懒"现象，并提出了一套名为RCORE的解决框架。
**视频理解，比想象中要难得多**
假设你打开一段十秒的视频，画面里有人和一个抽屉。你看了两眼就知道：这个人在"关抽屉"。你是怎么知道的？因为你看到手推着抽屉向里走，抽屉从开到合，有明显的时间顺序。这种对"动作前后变化"的感知，是人类理解行为的核心能力。
然而，对于经过大量数据训练的AI视频识别模型来说，情况就完全不同了。研究团队发现，很多时候这些模型并不是真的在"看"动作的时间过程，而是在做一件更省力的事——认出画面里的物体，然后凭印象猜动作。
打个比方：你见过训练数据里"开抽屉"出现了一千次，"关抽屉"才出现了三十次，那么只要模型认出了"抽屉"这个东西，它大概率就会说"这是在开抽屉"——哪怕视频里明明是在关。这就是研究团队所定义的"物体驱动的捷径"（object-driven shortcut）现象：模型靠物体来猜动词，而不是真正理解动作。
这篇研究的题目"为什么我打不开抽屉"，正是这个问题的一个生动缩影。
**零样本组合动作识别：AI面临的一道组合题**
在深入问题之前，先理解这项研究所针对的任务背景。研究团队专注于一个叫做"零样本组合动作识别"（Zero-Shot Compositional Action Recognition，简称ZS-CAR）的问题。
一、任务本身像一道拼图题
人类的日常动作，大多数都可以拆成两部分：一个"动词"（做了什么，比如开、关、放、举），和一个"名词/物体"（对谁做，比如抽屉、杯子、书、钥匙）。把这两部分拼在一起，就是一个完整的动作描述，比如"开抽屉""放杯子""举书"。
ZS-CAR要求模型具备一种特殊能力：在训练阶段只见过部分"动词+物体"的组合，到了测试阶段，却要正确识别那些从未见过的新组合。比如，训练时见过"开窗户"和"关抽屉"，测试时就要能识别"开抽屉"——即便这个组合在训练数据里从未出现过。
动词的集合和名词的集合在训练和测试阶段是共用的，变化的只是它们之间的搭配方式。这就像你学过用刀切苹果、用叉插橙子，现在要判断视频里是"用叉插苹果"还是"用刀切橙子"。
二、两个根本性的麻烦
研究团队认为，ZS-CAR之所以困难，根本原因有两个。
第一个麻烦，是训练数据里的组合极度稀疏且分布不均。在现实世界的视频数据集里，"动词+物体"的组合绝大多数是空白的。举个例子：有161个动词和248个物体，理论上可以组成161×248=39928种组合，但实际出现在数据集里的只有其中12.8%。更糟糕的是，这12.8%里面也是高度不均匀的，少数几个组合（比如"开冰箱""放碗"）出现了几千次，而其他大多数组合只出现了寥寥几次。这就好像你在学外语单词时，某些搭配天天出现、反复强化，其他搭配几乎从未见过——学出来的"语感"自然就歪了。
第二个麻烦，是动词和物体的学习难度本来就不对等。物体是静态的、视觉上明确的——哪怕只看一帧画面，你也能认出"那是一个抽屉"。但动词却是时间性的、过程性的——"开"和"关"的区别，必须看整段视频的时间变化才能判断。模型在训练时会自然地优先学那些容易学的东西：物体特征学得又快又准，动词特征学得慢、效果也差。
这两个麻烦加在一起，就像让一个从小只在南方长大、没见过冰雪的人去判断"堆雪人"和"踢雪球"的区别——他可能靠认出"雪"这个背景来猜，而根本没办法真正区分动作本身。
**研究团队如何证明"偷懒"确实存在**
找到问题还不够，研究团队还需要用实验来证明这种"偷懒"行为真的发生了，并且量化它对模型性能的损害程度。
一、从学习曲线里看出端倪
团队用一个简单实验来验证"物体比动词更容易学"这个假设。他们搭建了一个包含10种动词和10种物体、恰好100个组合均衡覆盖的小型测试集，然后从零开始训练一个视觉变换器（ViT）模型。结果非常清楚：模型对物体的识别准确率在训练早期就迅速攀升，而对动词的准确率爬升得明显更慢，最终也更低。这直接说明在视频理解任务里，物体特征天然比动词特征更容易捕捉。
二、故意制造偏差，看模型怎么跑偏
接下来，团队做了一个更直接的测试。他们构造了一个极度偏斜的训练集：每个动词都只和一个特定物体出现，比如"推"只和"书"配对，"拉"只和"遥控器"配对，形成极强的固定搭配关系。然后把这个偏斜的训练集喂给使用了CLIP预训练权重的模型，再测试它在"未见组合"上的表现。
结果令人警觉：在未见过的新组合上，模型对物体的识别准确率依然很高（因为物体没变），但对动词的识别准确率却跌破了随机水平。也就是说，模型不是在识别动词，而是在用物体来猜动词。更值得关注的是，当他们换成一个完全随机初始化的模型（而不是使用CLIP预训练）做同样的实验，结论一模一样——这说明这种偷懒行为不是CLIP预训练带来的副作用，而是这类任务结构本身导致的普遍问题。
三、给"偷懒"程度打个分数
为了量化这种偷懒行为，研究团队提出了两个诊断指标，可以理解为给模型的"偷懒程度"打分。
第一个指标叫"错误预测已见组合率"（False Seen Prediction，简称FSP）。当模型在测试那些从未见过的新组合时，如果预测错了，它是不是倾向于把答案猜成训练集里出现过的组合？这个比例越高，说明模型越依赖训练时留下的记忆，而不是真正在理解眼前的视频。
第二个指标叫"错误预测高频组合率"（False Co-occurrence Prediction，简称FCP）。在上面那些猜错的情况里，模型是不是特别倾向于猜训练集里出现频率最高的那些组合？这个比例越高，说明模型越是被高频搭配带着走，对低频的、新的组合几乎失去判断能力。
此外，团队还定义了"组合差距"（Compositional Gap，ΔCG）这个指标：如果模型真正理解了动词和物体的组合关系，那么它识别整体组合的准确率，应该高于单独识别动词和单独识别物体的准确率之积。如果这个差值是负的，就说明模型在做联合判断时，反而比分别判断时表现得更差——这是模型没有真正学到组合逻辑的直接证据。
四、用真实模型验证，结果令人不安
团队把这三个指标用在了当时最先进的ZS-CAR方法C2C上，并分别测试了两种主干网络：纯图像预训练的CLIP，以及专门针对视频预训练的InternVideo2。
训练过程中，随着模型学习进展，FSP和FCP持续上升，同时已见组合和未见组合之间的准确率差距不断拉大。也就是说，模型学习的时间越长，它对已见组合记忆得越深，对新组合的偏见也越严重。
更令人担忧的是，即使换成专门在大量视频数据上预训练的InternVideo2，这种偏差依然存在，只是程度略轻——FSP依然很高，预测错误中"动词猜错、物体猜对"的比例依然占大头。强大的视频预训练并不能自动解决这个问题。
组合差距指标也给出了负值：在未见过的新组合上，模型的联合识别准确率比"分别识别动词×分别识别物体"还要低，说明模型的组合逻辑在未见领域是失效的。
**RCORE：针对"偷懒"的两把手术刀**
诊断清楚了问题，团队提出了RCORE框架——一套专门针对物体驱动捷径的训练方案，包含两个相互补充的核心组件。
一、CPR：消除高频搭配的"磁力"
第一个组件叫"共现先验正则化"（Co-occurrence Prior Regularization，简称CPR）。它的目标是解决第一个根本性麻烦：训练数据里组合稀疏且分布不均的问题。
CPR做的第一件事，是主动生成那些"理论上存在但训练集里没出现过"的新组合视频。具体做法是：从一段真实视频（比如"举勺子"）里，找到画面里运动幅度最大的区域（通常就是动作发生的地方），然后把另一段视频（比如"放钢笔"）的中间帧截出来，把"钢笔"这个物体的图像混合进去，替换掉原来的"勺子"。这样就人工合成了一段"举钢笔"的视频。这个过程需要一个轻量级的算法来自动找到视频里的运动前景区域，避免把无关的背景区域也混入，以生成尽可能真实的合成样本。
合成视频的标签也随之调整为混合标签：比如原视频是"举勺子"，混入30%的"钢笔"，那么合成视频的物体标签就是70%的勺子+30%的钢笔，组合标签也是两种组合的加权混合。
有了新组合的视频和标签，CPR做的第二件事是在训练时扩展分类的范围。常规的ZS-CAR训练只在"已见组合"里做分类，新合成的组合根本无从插足。CPR引入了一种"批次自适应标签空间扩展"策略：每次训练时，把这一批次里合成的新组合临时加进分类空间，让模型在当前批次里学会给这些新组合打分，而不需要一次性在全部理论可能的组合里做分类（那样会适得其反，因为大量未见组合会在整个训练过程中一直被当成反例压制）。
CPR做的第三件事，是对那些高频出现的"惯用搭配"施加惩罚。训练集里有些组合出现次数远超平均水平——这些就是磁力最强的"偷懒诱饵"。CPR要求：对于新合成的组合，模型给它打的分，必须比那些高频搭配的分数高出一定幅度（由一个叫做"间隔m"的超参数控制）。如果做不到，就产生损失来惩罚模型。这相当于强迫模型："你得把新组合看得比那些熟悉的老套路更重要，不然就扣分。"
不过，研究还发现一个细节：如果对所有"搭配错误"的组合都施加惩罚，效果反而会变差，尤其是物体识别能力会下降。最有效的做法是只对那些"高频出现的搭配"施加惩罚，而非全部错误搭配——精准打击，而非大水漫灌。
二、TORC：强迫模型真正"看"时间
第二个组件叫"组合时序正则化"（Temporal Order Regularization for Composition，简称TORC）。它的目标是解决第二个根本性麻烦：动词的时序特征被物体特征盖住的问题。
TORC的核心思路是：既然模型学不好时序，那就用一种强制性的训练约束，让模型不得不关注时间顺序。
具体来说，TORC制造两种干扰版本的输入。第一种是"倒放版本"：把视频帧的顺序完全反转，就像把一段"开抽屉"的视频倒着播放，变成"关抽屉"的顺序。第二种是"随机打乱版本"：把视频帧的顺序随机重排，彻底破坏时间结构，保留的只有静态的空间内容。
针对倒放版本，TORC要求：原始视频提取出的"动词特征"，和倒放版本提取出的"动词特征"，余弦相似度（可以理解为"有多像"）要尽可能低，甚至变成负值。这是在说：顺放和倒放的动词语义应该截然不同，模型必须能区分它们。训练前的基线模型C2C在这两种特征之间的相似度高达0.92（几乎完全相同），说明它压根没在区分时间方向，完全靠空间内容来表征动词。经过TORC训练后，这个相似度降到了-0.79，说明模型已经能真正感知时序方向的差异。
针对随机打乱版本，TORC要求：把乱序视频输入模型后，模型对动词类别的预测不应该有很高的置信度。逻辑是：时间顺序被破坏了，正确的动词识别应该变得很困难；如果模型依然对某个动词充满信心，说明它是在靠静态物体特征来猜动词，而不是真正用时序特征在推理。用一个技术指标来说，就是要最大化"动词预测的信息熵"——让模型在面对乱序视频时尽量"不知道"应该选哪个动词。
TORC和CPR联合工作时，形成了一个互补的组合：CPR负责解决"数据层面的偏斜"，TORC负责解决"特征层面的依赖"。一个在训练数据上做手脚，另一个在训练目标上加约束，共同推着模型朝真正理解动词的方向走。
**RCORE在真实测试中的表现**
研究团队在两个数据集上验证了RCORE的效果。
一、Sth-com：常规战场
Sth-com是从"Something-Something V2"这个广为人知的手部动作视频数据集改造而来的ZS-CAR测试集，包含约7.9万段视频、161个动词和248个物体。
研究团队特别指出，现有的ZS-CAR评估方式存在一个不公平的地方：它只在"数据集里实际出现过的组合"里做选择，而不是在所有理论可能的组合里选。这就好比考试时给了你一份缩小版的选项表，你只需要从这个缩小版里选——而不是真正面对全部可能的答案。更有问题的是，很多已有方法还会用测试集的标签来调整一个"偏置参数"，让未见组合的分数人为提高——这在真实应用里根本行不通，因为你不可能事先知道测试集的答案。
因此，RCORE的评估采用了更严格的"开放世界、无测试集偏置"设置：模型必须在全部161×248=39928个可能组合里做选择，而且不使用任何测试集信息来调参。
在这个更严格的设置下，相比C2C基线，RCORE在CLIP主干网络上把未见组合的识别准确率提高了3.8个百分点，在InternVideo2主干网络上提高了4.5个百分点。更重要的是，RCORE在未见组合上的ΔCG（组合差距）变成了正值，说明模型的联合识别能力真的超越了分别识别的简单乘积——这在所有基线方法里都是做不到的。
在"闭合世界"这个传统评估设置（即限制在数据集已有组合里选择）下，RCORE也取得了最高的调和均值（H.M.）和曲线下面积（AUC），超过了此前最好的方法LogicCAR。
关于FSP/FCP的变化，训练过程中RCORE的这两个指标整体保持稳定甚至轻微下降（从约47%降至约44%），而基线模型则持续上升（从约53%升至约63%）。这说明RCORE确实有效地抑制了模型向"已见高频组合"的逃逸倾向。
二、EK100-com：更难的挑战
研究团队还专门引入了一个新的测试集EK100-com，这是他们从EPIC-KITCHENS-100这个以第一人称视角拍摄的厨房活动数据集中重新整理而来的ZS-CAR基准，包含约7.1万段视频、81个动词和216个物体。EK100-com的挑战在于其数据分布更为极端：标签覆盖率只有7.5%（即只有7.5%的动词-物体组合在数据集里出现过），远低于Sth-com的12.8%。而且由于EPIC-KITCHENS的数据本身就高度长尾分布（"取刀叉"出现几千次，"晃动垫子"只有几次），高频组合对模型的磁力更强。
在EK100-com上，RCORE相比C2C在CLIP主干上把未见组合准确率提升了6.9个百分点，在InternVideo2主干上提升了7.0个百分点。这比在Sth-com上的提升幅度还要大，说明在数据更稀疏、偏差更严重的场景下，RCORE的效果更为显著。
对比方法Jung et al.（另一种ZS-CAR方法）在EK100-com上的表现不尽如人意，比基线C2C在已见和未见组合上都低了3-4个百分点，说明这类方法在面对极端数据稀疏性时有明显局限。
三、消融实验的精细拆解
研究团队还做了大量消融实验，拆解每个设计决策的贡献。
在Sth-com上，单独使用TORC对未见组合动词准确率提升最大（3.5个百分点），说明时序正则化是改善动词识别的关键。单独使用CPR主要提升了未见组合的整体准确率（3.1个百分点），但会带来已见组合准确率的小幅下降（4.2个百分点），说明扩展监督信号确实有一定的"忘旧学新"代价。两者结合后，未见组合准确率提升了5.0个百分点，调和均值提升了2.7个百分点，体现了互补效应。
关于TORC的两个子项，余弦相似度损失（区分正放和倒放）和熵损失（避免对乱序视频过度自信）单独使用时都有改善，两者合用时效果最好。
关于CPR的标签空间设计，如果在全部理论组合空间上做分类（而不是批次自适应扩展），未见准确率会大幅下降，因为几乎全部未见组合在整个训练过程中都被反复当成反例压制。批次自适应扩展策略规避了这个陷阱，同时又比只在已见组合里分类（完全不扩展）高出2.3个百分点。
关于基于时序信息的动词特征有效性，团队专门在Sth-com的"需要时序推理"子集上，比较了原始视频和帧序打乱视频的准确率差距。RCORE打乱后的性能下降幅度明显大于基线模型，说明RCORE的动词表征确实更依赖时间顺序，而非静态内容——这正是目标所在。在动词混淆矩阵上，基线C2C经常把"展开"和"折叠"互相混淆，而RCORE能将它们明确区分开来。
此外，当研究团队将RCORE应用到更大规模（11倍参数量）的InternVideo2-1B主干上，性能提升幅度和方向与小规模模型保持一致，说明RCORE的有效性不依赖于模型规模。
**说到底，这项研究告诉了我们什么**
归根结底，这项来自庆熙大学和NAVER Cloud的研究揭示了一件看似简单却颇为深刻的事情：AI在看视频理解动作时，有一种根深蒂固的惰性——认出了物体，就懒得再费力去看时间过程了。而这种惰性，在训练数据越稀疏、某些搭配越高频的情况下，会被进一步强化。
RCORE的贡献在于同时从两个方向推着模型改变：一方面让它见过更多类型的新组合，降低高频搭配的统治力；另一方面强制它的动词理解必须对时间顺序敏感，不能只靠物体来猜。这两件事加在一起，让模型在面对从未见过的新动作组合时，表现出了更可靠的判断能力。
有意思的是，研究还发现一个实用价值：经过RCORE训练的模型，在测试时根本不需要用验证集来调整任何偏置参数就能取得好成绩，而其他基线方法即使经过了这种调整，性能也不如RCORE的"原始"版本——这对真实应用来说意味着少了一道复杂的工序。
当然，这项研究的视角仍然聚焦在"编码器类视觉语言模型"这一范畴，对于当下正在崛起的大型生成式视觉语言模型（比如能输出对话文本的那类），其框架是否能直接迁移，还需要进一步探索。此外，CPR生成合成视频的方式依赖于自动找运动前景区域，在某些复杂场景下未必总是精准。
对于关注视频AI、智能监控、人机交互或辅助生活技术的读者来说，这一方向的进展意味着：未来的AI系统也许真的能分清"你是在开冰箱还是在关冰箱"，而不是仅仅认出"那里有个冰箱"就草率下结论。感兴趣的读者可以通过arXiv编号arXiv:2601.16211查阅完整论文，代码也已在GitHub上公开，地址为KHU-VLL/RCORE项目。
Q&A
Q1：零样本组合动作识别和普通动作识别有什么区别？
A：普通动作识别是见过什么动作就认什么动作，测试时遇到的类别在训练时都出现过。零样本组合动作识别则要求模型见过"开窗户"和"关抽屉"之后，能识别从未见过的"开抽屉"——动词和物体都认识，但这个搭配组合是全新的。难点在于模型需要真正理解动词本身的含义，而不是靠记忆搭配关系来取巧。
Q2：RCORE框架中的CPR和TORC分别解决什么问题？
A：CPR（共现先验正则化）解决的是数据层面的问题：训练数据里某些动词-物体搭配出现太多次，导致模型形成强烈的"惯用搭配"偏见，CPR通过合成新组合样本并惩罚高频搭配来打破这种偏见。TORC（时序正则化）解决的是特征层面的问题：动词识别本应依赖时间顺序，但模型倾向于靠静态物体特征来猜动词，TORC通过强制区分正放和倒放视频、以及对乱序视频的预测保持不确定性，来迫使模型真正学习时序信息。
Q3：为什么视频AI模型会用物体来猜动词，而不是真正理解动作？
A：这是训练机制和数据特性共同造成的。物体在单帧画面里就清晰可见，特征容易提取；而动词需要观察多帧的时间变化才能判断，学起来难度更高。在训练时，模型会自然优先学那些更容易拟合的特征——认出物体得到正确反馈，远比学会时序判断来得快。加上数据集里某些搭配高频出现，只要认出物体就能大概率猜对动词，这种"捷径"在训练中被不断强化，最终导致动词的时序理解能力被边缘化。
热门跟贴