这项由新加坡南洋理工大学、香港大学、约翰斯·霍普金斯大学、AI2和北卡罗来纳大学教堂山分校联合开展的研究，于2026年6月29日以预印本形式发布在arXiv平台，论文编号为arXiv:2606.30026。感兴趣的读者可以通过该编号在arXiv上查阅完整论文。
一、当AI遇上艺术：它能看懂"为什么"吗？
当你坐在电影院，某个画面让你莫名其妙地心跳加速，或者某段沉默让你感到一阵窒息——这种感受从何而来？答案往往藏在导演的每一个选择里：摄像机的角度、光线的冷暖、剪辑的节奏、甚至是演员站立的位置。这些选择不是随机的，而是艺术家精心设计的"语言"，用来向观众传递情绪、主题和意义。
现在的AI，尤其是那些既能看图又能理解文字的"多模态大语言模型"，已经在很多任务上展现出接近人类甚至超越人类的能力——比如回答问题、识别物体、翻译语言。但有一个问题一直没有被认真测试过：这些AI真的能理解艺术背后的创作意图吗？它们知道一部电影为什么用对称构图、为什么在某个时刻选择沉默、为什么游戏设计师要用特定的光影风格渲染一个关卡吗？
这正是这篇论文想要探究的问题。研究团队创建了一个叫做MUSEBENCH的测试基准，专门用来测试AI在理解"视听艺术创作意图"方面的能力。结果相当令人震惊：即便是目前最强大的AI模型，得分也只有48.29%，而人类专家的得分高达87.18%。这个差距，大约相当于一个刚入门的学生和一位资深教授之间的距离。
二、我们为什么需要一个专门的艺术理解测试？
在MUSEBENCH出现之前，现有的视频理解测试大多在问"视频里发生了什么"——比如"这段视频的后半部分展示了什么内容"。这类问题就像是考察一个人能不能描述菜单上的菜名，而MUSEBENCH要问的是"厨师为什么要用这种烹饪手法"——这是完全不同层次的理解。
研究团队发现，构建这样一个测试面临三个深层挑战。第一个挑战是专业知识极其稀缺。艺术分析需要专业训练，你不能随便找人来写关于电影摄影或舞台设计的专业问题，这类知识不是普通众包就能完成的。第二个挑战是艺术本身的多义性。同一幅画、同一个镜头，不同的专业人士可能从不同角度给出多个同样合理的解读，而传统的"选一个正确答案"的测试格式根本无法捕捉这种复杂性。第三个挑战是如何公平评估。如果一道题有5个选项，另一道题有8个选项，随机猜测的胜率本来就不同，简单比较正确率是不公平的。
针对这三个挑战，研究团队分别设计了三个对应的解决方案，它们共同构成了MUSEBENCH的核心架构。
三、视频评论文章：AI的艺术老师
解决专业知识稀缺问题的关键思路，是找到一个天然具备专业分析内容的数据来源。研究团队发现，网络上存在大量的"视频评论文章"（video essay）——这是一种由影评人、艺术评论者或专业创作者制作的分析性视频，他们在讲解某部电影的摄影手法、某幅画作的构图技巧，或某个游戏的视觉设计时，会一边播放相关画面，一边做专业解说。
这种格式有三个天然优势，使它成为构建测试的理想原料。创作者不只是告诉你"这里用了什么技法"，还会解释"为什么这样用、产生了什么效果"——这正是意图层面的分析。而且解说词和画面是精确同步的，专家分析的内容直接对应屏幕上正在展示的视觉证据。此外，这类视频覆盖了电影、摄影、舞台表演、游戏设计等大量在现有AI测试中被忽视的领域。
研究团队从YouTube、Bilibili和TikTok上收集了超过一万个这样的视频评论文章，经过严格筛选后作为原始数据。筛选过程本身就很讲究：先用AI根据关键词搜索候选视频，再用另一个AI判断这个视频是否真正在做艺术分析（而不是教程、广告或纯粹的游玩录像），最后还要经过人工审核，剔除那些"画面只是讲解者的头像"或"实质上是操作演示"的视频。
四、问题是怎么"炼"出来的？
把视频变成测试题，需要经过四个精心设计的步骤，就像将原矿石冶炼成精钢。
第一步是切片。每个视频被切成10秒钟一段的小片段，建立统一的时间粒度，方便后续处理。
第二步是为每个片段生成详细的视觉描述。研究团队使用一个专门的视觉-语言模型，对每个10秒片段以每秒1帧的速率采样，并结合对应的解说文字，生成一段精细的视觉描述，包括色彩、构图、动态、场景背景等信息。这些描述只是用于内部生成题目，不会作为提示提供给被测试的AI。
第三步是生成问题和答案。将片段的视觉描述和完整的解说文字一起提供给AI，让它为每个视频生成3到5道题。有两个关键约束：一是问题必须能仅凭画面回答，不能是"解说者认为..."这种依赖解说词才能回答的问题；二是必须先写出正确答案，再写干扰选项，避免干扰选项在文字风格上与正确答案产生明显差异。
第四步是生成干扰选项。这是整个流程中最精心设计的环节。干扰选项必须看起来专业、合理，但实际上是错误的。研究团队设计了七种干扰策略：将正确术语用于错误分析、给出听起来对但缺少核心洞察的过度简化版本、混淆相近但不同的概念、颠倒技法与效果的因果关系、将正确分析错误地应用于不同场景或时间段，以及那种部分正确但在关键点上错误的"半真半假"选项。每道题的每个干扰选项必须使用不同的策略，确保一个没看过视频的人无法通过阅读题目本身就猜出答案。
五、两种题型：单选与多选的哲学差异
MUSEBENCH包含两种互补的题型，反映了艺术理解的两个不同维度。
单选题要求AI在4到8个选项中找出唯一正确的答案，测试的是"能否在多个合理解读中准确识别最精确的那个"。这类题就像问：在这幅画的诸多特点中，哪一个最准确地描述了画家的核心意图？
多选题则要求AI从选项中选出所有正确的答案，其中正确答案有2到4个。这类题承认了艺术的多义性——同一个导演的视觉选择，可以同时体现对秩序感的追求、对现实主义的疏离，以及对叙事者权威的强调。多选题问的是"能否找到所有成立的解读维度"。
值得注意的是，无论哪种题型，题目都会告知AI当前是单选还是多选，但不会告诉它正确答案的具体数量，这防止了AI通过简单计数来推断答案。
六、公平计分：不是所有"对"都一样
为了解决不同题目难度不可比较的问题，研究团队引入了两套评分方式。
对于单选题，他们发明了"机会调整准确率"（CAA）。核心思路很简单：如果一道题有4个选项，随机猜中的概率是25%；如果有8个选项，随机猜中的概率只有12.5%。直接比较这两种题的正确率，对难题来说是不公平的。CAA的做法是，从实际得分中减去随机猜测的期望得分，然后归一化，使得随机猜测的期望得分始终是0，完全答对始终是1，无论选项数量多少。这样不同难度的题就可以放在同一把尺子上比较了。如果一个模型的CAA是负数，意味着它的表现甚至不如随机猜测，基本上就是在"反向操作"。
对于多选题，他们使用基于集合的精确率、召回率和F1分数。精确率衡量模型选出的答案中有多少是真正正确的（避免乱选一气），召回率衡量所有正确答案中模型找到了多少（避免只选最显眼的一个）。F1分数则综合两者，给出一个平衡评价。同时他们也保留了精确匹配率作为辅助指标——只有当模型选出的答案集合和正确答案集合完全一致时才算对，这个标准极为严格。
七、质量把关：不能让"坏题"混进来
生成题目只是开始，确保题目质量才是真正的挑战。研究团队建立了一个迭代审核循环，分四个步骤不断改进题目质量。首先批量生成候选题，然后由领域专家对每道题打pass或fail，并记录失败原因。接着将所有新发现的问题类型汇总，最后更新生成规则，触发全面重新生成。
在审核过程中，研究人员发现了8种系统性错误，分布在四个严重程度等级。最严重的问题包括标签指向不存在的选项、题干中内嵌的选项列表与正式选项数组不一致，以及多选题的正确答案集合为空。次严重的问题包括多个选项文字完全相同，或所有选项共享超过50个字符的相同前缀（这样的选项实际上无法区分）。中等问题包括多选题实际上只有一个正确答案退化成单选题，以及"正确答案"字段用的是改写版本而不是选项的原文。
此外还有7个无法通过替换单题来解决的系统性问题，比如选项辨别度太低、语言风格过于学术化、干扰选项不够有区分度等，这些都需要从根本上重写生成提示词来解决。
最终，四位领域专家对每类题型各90道样本进行了独立打分，评分维度包括整体质量、视觉必要性（答案是否真的需要看视频才能回答）、机制追溯（选项是否展示了"技法→效果→意图"的因果链条）以及答案完整性。各维度在各类别的平均分均超过4分（满分5分），评分者间一致性达到0.855，接近完美一致。
八、28个AI模型的大考
研究团队以零样本方式（即不给AI任何示范例题）测试了28个当前最先进的多模态大语言模型，涵盖三类：闭源商业模型（如GPT-5.4、Claude-4.6-Opus、Gemini-3.1-pro-preview、Grok-4.1等）、开源通用模型（如Qwen3.5、InternVL3、LLaVA-OneVision等），以及专门针对视频理解优化的开源模型（如VideoLLaMA2、VideoLLaMA3、Video-R1等）。
还有5个额外的模型采用动态关键帧选择策略，意思是它们不是均匀采样视频帧，而是自适应地挑选最有信息量的帧。
每道题，模型会收到以1帧/秒速率采样的视频片段（不含解说员声轨），以及对应的文字提示。对于支持音频输入的模型，还会提供去掉解说的环境音频；对于不支持音频的模型，则提供该音频的文字转录。
九、成绩单揭晓：差距远比你想象的大
整体结果用一句话来概括就是：所有AI都不及格，而且差得不少。
最强的单个模型Claude-4.6-Opus的总体准确率是48.29%，而人类专家的准确率是87.18%。两者之间将近40个百分点的差距，在测试领域是相当显著的。GPT-5.4排第二，44.58%。商业闭源模型整体表现最好，其次是开源通用模型，专门针对视频优化的开源模型表现并没有比通用模型好，甚至一些小型通用模型的表现还能追平或超过视频专用模型。
从各类别来看，差异非常明显。电影艺术和舞台表演艺术是模型相对最擅长的，Claude-4.6-Opus在电影艺术单选题上的CAA达到63.26，在舞台表演单选题上达到62.65。静态视觉艺术居中。游戏艺术则是所有模型的共同软肋——Claude在游戏艺术单选题的CAA只有34.07，GPT-5.4只有32.00，甚至有些模型出现了负分（GLM-4.5v在游戏艺术单选题上得了-4.34，比随机猜测还差）。
随机猜测的期望CAA接近0，而人类专家在游戏艺术单选题上仍然能达到86.15。这个差距说明游戏艺术对AI来说是一个特别陌生的领域，可能因为互动视觉、实时摄像控制、风格化渲染等游戏特有的视觉语言在网络规模的训练数据中严重缺乏。
十、四个更深层的发现
除了总体排名，研究团队还做了四项深入分析，揭示了AI在艺术理解上更细腻的行为模式。
关于动态关键帧选择，5个使用这类策略的模型（AKS、Q-Frame、LongVT、Video-CCAM、TimeChat）的准确率都在14.42%到20.51%之间，处于所有测试模型的最低档，甚至不如普通视频模型。这说明艺术理解的瓶颈不在于"找到哪几帧最重要"，而在于对视觉语言和文化背景的深层理解。即使你精准定位到了最关键的画面，如果没有相应的艺术知识储备，也无法读懂那个画面的意义。
关于多选题行为，模型在多选题上的F1分数普遍高于精确匹配率，且精确率高于召回率。用更直白的话说：AI倾向于"只选最显眼的那个正确答案，而忽略其他同样有效的解读"。就像一个学生面对"请列出这幅画的所有构图策略"时，只写了最明显的一个就停了。这种行为模式在几乎所有测试模型中都一致存在，表明当前AI在多维度艺术分析方面存在系统性局限。值得注意的是，Video-R1是唯一在多选题上召回率超过精确率的模型，说明它更倾向于"宁可多选、不要漏选"，但精确率较低说明它同时也选进了一些错误选项。
关于模态贡献，研究团队对VideoLLaMA2和Qwen2.5-Omni-7B进行了模态消融实验，分别测试了纯文字、音频加文字、视频加文字、以及视频加音频加文字四种输入条件。结果显示，加入视频流带来最大的单次提升，而单独加入音频对得分几乎没有影响。但在视频基础上再加入音频，还能带来额外的小幅提升。这说明视觉信息是艺术理解的主要载体，但音频确实提供了某些视觉无法单独传达的补充信息。
关于选项位置偏差，在有5个及以上选项的单选题中，正确答案在A到E位置的分布是相当均匀的（各占约15.9%到18.2%）。但模型的预测分布严重偏向前面的选项：仅选项A就占了所有模型预测的30.9%，是其实际正确率的近两倍。这种偏向在开源模型中尤为突出，开源模型选A的比例比其应有比例高出19个百分点；而商业模型虽然也有偏差，但程度较轻，只高出约6.5个百分点。由于MUSEBENCH对所有题目的选项顺序进行了随机化处理，这种偏差反映的是模型内在的位置偏好，而不是题目设计的问题。换句话说，当模型对视觉和文化证据没有足够把握时，它倾向于回退到"选第一个"这个默认策略。
十一、MUSEBENCH与其他测试有什么不同？
将MUSEBENCH与现有视频理解测试做个对比，可以更清楚地看出它的独特之处。现有大多数测试，从早期的MSRVTT-QA、MSVD-QA，到近年的MVBench、EgoSchema，主要测试日常活动的事实性理解，既不要求领域专业知识，也不刻意控制视觉依赖性（很多问题其实不需要看视频也能回答）。Video-MMMU是少数要求专业知识的测试，但它测的是STEM学科的讲座视频，本质上是知识迁移而非艺术解读，而且同样没有严格要求视觉依赖。
MUSEBENCH是目前唯一同时满足四个条件的测试：涵盖多个专业艺术子领域、包含字幕和音频、要求领域专业知识、以及明确要求答案必须来自视觉证据而非文字推断。
十二、这告诉我们什么，以及接下来怎么办？
这项研究揭示的核心问题不是AI的感知能力或定位能力不够，而是它的"艺术词汇"和"文化先验知识"严重不足。电影摄影、舞台设计、游戏视觉语言——这些需要深厚领域背景才能解读的符号系统，在当前主流AI的训练数据中严重欠缺，或者即便有，也缺乏意图层面的分析和注释。
这也意味着，单纯扩大训练数据的规模或优化模型架构，并不能直接解决这个问题。需要的是更丰富的艺术分析监督信号——即训练数据中不只包含"这里有什么"，还要包含"为什么这样做、产生了什么效果"的专业解读。
研究团队也诚实地指出了MUSEBENCH的局限性。目前的测试只涵盖了四类艺术形式，而音乐、建筑等同样重要的艺术领域尚未包含。视频评论文章这个数据来源虽然质量高，但在不同艺术形式和语言间的覆盖度不均衡。此外，多项选择题的格式本身也无法完全捕捉真正开放性的艺术解读——未来的测试可能需要引入开放式问答和更细粒度的部分分评分机制。
归根结底，这项研究让我们看到了AI与真正理解艺术之间的具体距离，并提供了一把量尺来持续测量这个距离。艺术是人类表达最复杂情感和思想的方式之一，而AI要真正理解这种表达，或许还需要走很长一段路——但至少现在我们知道路有多长，以及在哪里应该用力。
Q&A
Q1：MUSEBENCH测试的是什么样的艺术理解能力，和普通视频理解测试有什么区别？
A：MUSEBENCH专门测试的是"意图层面"的艺术理解，也就是要求AI回答"为什么"而不是"是什么"。普通视频测试通常问视频里发生了什么事，而MUSEBENCH问的是导演为什么选择对称构图、为什么在某个时刻让画面沉默、游戏设计师为什么用某种光影风格——这需要深厚的领域知识和对创作意图的推断，远比描述画面内容难得多。
Q2：为什么游戏艺术是所有AI模型共同的软肋？
A：研究团队认为，核心原因是游戏特有的视觉语言——比如实时摄像控制、交互式关卡设计、风格化渲染效果——在现有AI的训练数据中严重缺乏。现有模型的训练素材大多来自电影、图片和日常视频，游戏艺术分析类的专业内容覆盖远远不足，导致模型面对游戏画面时缺乏读懂其设计意图所需的"词汇"和背景知识。
Q3：MUSEBENCH的题目是怎么保证不能靠猜测或读文字就答对的？
A：研究团队采取了多重措施。题目必须能仅凭去掉解说的视频画面来回答，不能是复述解说词内容的题。干扰选项用七种不同策略设计，每个选项对没看过视频的人都显得同样合理，必须真正看懂画面才能区分。同时，正确答案必须先于干扰选项生成，避免因语言风格差异产生可被识别的线索。视频本身也去掉了解说员的声轨，防止模型通过语音内容直接得出答案。
热门跟贴