你有没有想过,为什么现在这么多实验室还在靠人盯着人学操作?
明明AI已经能写代码、能规划实验方案,甚至能跟你聊化学反应机理聊得头头是道,可一到真正动手做实验这件事上,它却几乎插不上手。
答案很简单:机器人在真实实验室里干不了精细活。
试管要怎么拿才不会洒,移液枪的按压力度该多大,天平归零的那个按钮藏在哪个角度才能看清,这些事情对人类来说是肌肉记忆,对机器人来说却是一道道几乎过不去的坎。于是现实变成了这样,AI负责"想",人负责"做",人类暂时还得当那个连接AI大脑和物理世界的手。
这就带来一个新问题:既然人还要上手操作,那怎么把"该怎么做"这件事,讲清楚、讲明白,讲到让一个没见过这个实验的人也能照着做对?
文字说明当然可以写,但实验室里的动作往往极其依赖空间感和时序感。比如"把移液枪放到多孔板左上角的孔位,按下活塞,松开",这句话读起来没问题,可"左上角"具体是哪个孔?按压的力度和时长呢?松开的时机对不对?文字在这里开始变得模糊。
这时候,视频生成模型进入了视野。
给AI一张实验台的照片,配一句操作指令,它就能生成一段演示视频,告诉你手该往哪移、东西该怎么拿、最后变成什么样子。这听起来像是解决了"怎么讲清楚"这个问题的终极答案。
问题是,这些生成出来的视频,真的靠得住吗?
一、看起来对,不代表真的对
来自中南大学、新加坡国立大学等机构的研究者们做了一件挺较真的事情:他们找来8个目前最前沿的图像到视频生成模型,让这些模型根据一张实验室场景图和一句操作指令,生成演示视频,然后拿204个来自真实实验室的任务去逐一检验这些视频到底靠不靠谱。
这个检验工作被打包成了一个叫做LabInstruct的基准测试集。
image to video model(图像到视频生成模型):这类AI模型能根据一张静态图片和一段文字描述,生成一段连贯的动态视频,是本文评测的核心对象。
研究团队发现了一件挺扎心的事情,生成的视频往往画面流畅、物体清晰、手部动作看起来也很自然,可仔细一对照操作要求,经常是干了别的事。
论文开头那张示意图特别有意思:指令是"把移液枪放到多孔板左上角的孔位,按下活塞,再松开"。生成的视频里,移液枪的样子对,多孔板也在,手部动作也挺流畅,可移液枪根本没放对位置,而且压根没按活塞。
画面上的一切看起来都没毛病,但整个操作其实是错的。
这就是这篇论文想要戳破的那个假象:视觉上的逼真和程序上的正确,根本是两件事。一个视频可以每一帧都美得像摄影作品,但如果它漏了一步操作、搞错了对象、顺序乱了,或者该出现的状态变化没出现,它作为"教学视频"就是废的。
这个发现,其实也呼应了一个更大的问题。这些年视频生成模型发展得特别快,从早期的模糊闪烁到现在接近真实拍摄的效果,大家关注的几乎全是"像不像""美不美""物理规律对不对"(比如水会不会往上流,球会不会穿墙而过)。但很少有人问过一个更朴素的问题:这个视频,到底有没有把该做的事情做对?
二、204个任务,是怎么挑出来的
要回答"做对了没有",首先得有一套靠谱的"正确答案"。
研究团队从Bilibili、YouTube,以及两个现成的科研数据集FineBio和ExpVid里,收集了大量实验室操作视频。
FineBio:一个专门记录生物实验操作的细粒度视频数据集,视角以第一人称为主。
ExpVid:源自专业拍摄的JoVE实验演示视频的基准数据集,内容结构化程度高,适合多步骤实验流程。
这些视频拿来不是直接用的,得先过筛子。筛选标准有四条:视角要能看清操作区域和相关物体(允许第一人称或近距离旁观视角)、必须是真实完整的实验过程而不是动画或日常活动、画面要清晰稳定没有大幅剪辑或遮挡、不能涉及违反安全规范的操作。
这套筛选挺严格的。81个来源视频,最终切出来204个任务片段,平均下来每个来源视频只贡献2.5个片段左右。这不是在凑数量,而是在保证质量。
这204个任务被分成两个难度等级。Level 1叫"单步实验操作",包含1到3个紧密相关的动作,比如调节天平、打开样品瓶,目标生成时长大约4秒。Level 2叫"短流程实验任务",包含4到10个有先后依赖关系的动作,比如先打开容器盖、再吸取液体、再滴入试管,目标生成时长大约12秒。
这个分级设计背后藏着一个很朴素的考虑:简单动作和连续流程,对AI来说完全是两种难度。就像让你写一个字和写一句完整的话,看似都是"写",难度却天差地别。写一个字,顶多笔画错位;写一句话,你得记住开头说了什么,结尾才能呼应得上,中间任何一个字出错,整句话的意思都可能全变。
任务覆盖了5个学科:物理学73个任务、化学51个、生物学44个、农学23个、材料科学13个。操作类型也分了7种,仪器操作、液体处理、固体处理、容器操作、测量、加热冷却、过滤分离,仪器操作和液体处理是最常见的两种。
每一个任务,除了那段参考视频,研究者还手工构建了一份结构化的"任务说明书",里面写清楚了:场景里有哪些物体、它们的空间关系是什么、每一步动作的执行者是哪只手、动作的目标对象是谁、接触方式是什么(手碰工具、手碰物体、工具碰物体……)、动作前后分别是什么状态。
这份说明书的构建用了Qwen3.6-27B这个大语言模型先打草稿,再由人工专家逐条核实修正。核实的时候,专家会特别注意一件事:参考视频里的某些细节,比如用的是左手还是右手、动作走的具体路径,这些属于"偶然性"的执行细节,不是完成任务所必须遵守的硬性要求。最终呈现给生成模型的指令,会把这些偶然性细节剥离出去,只保留"必须做对"的核心要素,物体是谁、动作顺序是什么、接触方式是什么、最终状态是什么。
这个设计有个很聪明的地方:它承认了"正确执行"不止一种方式。你完全可以用左手拿移液枪完成任务,这不该被判错,只要移液枪真的碰到了该碰的地方,液体真的转移到了该去的地方。这就跟评判一道数学题一样,解题步骤可以不同,但答案和逻辑必须对。
三、怎么判断一段视频做对了没有
有了任务和参考视频,接下来最关键的问题是:怎么给生成的视频打分?
研究团队设计了一套相当精细的评分体系,分成六个维度,物体一致性、动作忠实度、状态正确性、物理合理性、场景一致性、视觉安全性。前四项合起来叫"核心视觉质量",后两项叫"有效性约束"。
object consistency(物体一致性):评估任务相关的物体在整段视频中是否保持同一个身份和外观,不会突然变形、消失、合并或变成别的东西。
action fidelity(动作忠实度):评估要求的动作是否真的在正确的目标上被执行,并且顺序正确。
state correctness(状态正确性):评估预期的可观察状态变化和最终状态是否实现,比如液体是不是真的从一个容器转移到了另一个容器。
physical plausibility(物理合理性):评估物体之间的交互和材质表现是否符合物理常识,比如固体不会穿墙而过。
每个任务都配了一套检查清单,平均每个Level 1任务有13个检查项,每个Level 2任务有18.6个检查项,总共3229条。这些检查项先由DeepSeek-v4-flash这个大模型根据任务指令自动生成,再经过人工专家审核确认,这个过程完全不看生成的视频,保证检查清单是"提前定好"的,不会因为看到某个模型生成得好或差而放水或刻意刁难。
检查项的回答只有三种:是、不是、无法判断。无法判断用在画面被遮挡、物体离开画面、动作太快看不清这些情况,它不等于默认判对或判错,而是一种诚实的"证据不足"。
这里有个设计特别值得说一说:不同检查项的重要程度是不一样的。研究者给每一项标注了重要等级:关键、标准、补充,权重分别是1、0.5、0.25。打分的时候,一个关键项的违规,相当于两个标准项违规,或者四个补充项违规。这个权重设计用了一种"边际效应递减"的思路,第一次违规最伤分,后面重复类型的违规扣分效果会递减。
这就像考试扣分规则:如果你把一道大题的核心步骤写错了,这一个错误造成的扣分,可能比后面好几个小的书写瑕疵加起来还重。考官不会因为你犯了十个小错误就把分扣到负数,但犯一个要命的大错误,足够让这道题基本拿不到分。如果不这样设计权重,所有违规一视同仁地扣分,那一个模型哪怕漏掉了最核心的那个动作,只要别的细节处理得干净,照样能拿高分,这显然不合理。
最后,所有核心维度的得分会用几何平均数合并,场景一致性和视觉安全性则是二元的"通过/不通过"门槛,只要有一项被判定明确违规,整段视频的最终分数直接清零。
这个"一票否决"的设计也挺有意思。研究者的逻辑是:在这套图生视频的设定里,输入的那张初始图片已经基本锁定了场景布局,指令里也排除了危险操作,所以一旦生成结果出现场景跳变或者明显的安全问题,这不是正常质量波动,而是模型出了严重故障,不该用加权打折的方式轻轻放过,得直接判零分。
四、八个模型,谁更靠谱
研究团队测试了8个主流的图像到视频生成模型,包括开源的Wan 2.2、LTX 2.3、Cosmos3 Nano、Cosmos3 Super、LingBot Video、MiniMax H3,以及商业模型Seedance 2.0和Wan 3.0。所有模型拿到完全一样的初始画面和经过验证的指令,确保比较是公平的。
结果用两套评判系统交叉验证:一套是用大模型GPT-5.6 Sol自动打分,另一套是找了四位硕士和博士研究人员进行人工打分。
先看自动评分的结果。在物体一致性和物理合理性这两个维度上,大多数模型表现都还不错,画面不糊、物体不乱变形。但动作忠实度和状态正确性这两项,尤其是到了Level 2多步骤任务,分数就开始明显往下掉。拿MiniMax H3举例,它在Level 1的动作忠实度得分是69.2,到了Level 2直接掉到61.2;而完成度这项指标掉得更惨,Level 1是58.4,Level 2只剩45.6。
这个规律在几乎所有模型身上都能看到。表现较弱的模型,这个落差更夸张。Cosmos3 Nano在Level 1的完成度是25.2,到Level 2直接跌到17.9;LTX 2.3更明显,从27.2掉到25.2左右浮动。
这说明了什么?说明步骤越多、依赖关系越复杂,模型越容易在中途"掉链子"。这跟人记一长串电话号码的感觉有点像:记7位数字你大概率不会错,但要记一个15位的银行卡号,中间某几位记混的概率明显上升,而且前面记对了不代表后面不会出错,反而越到后面越容易因为"认知负荷"累积而翻车。
人工评分的结果和自动评分的大趋势一致,但更严格。拿LTX 2.3来说,GPT-5.6 Sol给它的综合得分是22.1,人工评分只给了3.0,差了快20个点。Cosmos3 Nano也类似,自动评分19.4,人工评分5.8。
这说明自动评估的大模型评委,对表现较弱的模型往往"手下留情",可能是因为它更容易被表面上流畅的画面和合理的物体外观所迷惑,而忽略了深层的程序性错误。这就跟老师批改作业时的两种状态很像:如果只是扫一眼版面工整不工整、字写得好不好看,那很容易给出偏高的印象分;但如果真的逐步核对解题过程中每一步逻辑是否成立,很多看起来"工整漂亮"的答案,其实步步都是错的。
不过好消息是,无论用哪套评分系统,最强的那三个模型始终如一:MiniMax H3、Seedance 2.0、Wan 3.0。这三者的具体排名顺序会在不同条件下轻微波动,但它们稳稳占据了第一梯队,和剩下五个模型拉开了明显的差距。
研究者还专门做了一个"重新抽样三次,选最好的那次"的实验,这个实验挺耐人寻味。MiniMax H3在三次独立生成中,原始那次样本在95%的任务里都已经是三次里最好的,说明它的输出相对稳定。但Seedance 2.0和Wan 3.0就不一样了,如果给它们三次机会选最好的结果,综合得分能分别提高14.0分和11.1分,远远超过MiniMax H3那点可怜的2.5分提升。
这个结果提醒我们一件事:单次抽样下谁排第一,不代表这个模型就是"最强"的,它可能只是运气比较稳定,而另一个模型可能潜力更高但偶尔手气不好。这跟抽卡游戏有点像:有的角色是保底就能拿到不错的结果,稳定但上限有限;有的角色全靠运气,抽十次可能有九次很一般,但只要抽中一次SSR,爆发力能把前者远远甩在后面。只看一次结果,根本看不出谁的"真实水平"更高。
五、不同模型,各有各的强项
研究团队进一步按操作类型和学科领域拆解了结果,发现这几个头部模型之间不是谁全面碾压谁,而是各有专精。
MiniMax H3在仪器操作、固体处理、农学和化学任务上表现突出。Wan 3.0在液体处理、测量和物理任务上领先。Seedance 2.0则在容器操作、加热冷却和材料科学方面占优。而在过滤分离这个相对冷门的领域里,反而是综合排名靠后的Wan 2.2拿到了最高分42.7。
这个"没有全能王者"的局面,其实揭示了一个挺有意思的现象:视频生成模型的能力分布,很可能和它训练数据里各类场景、各类动作的覆盖密度直接相关。一个模型如果在训练阶段多看了很多倒液体的视频,它处理液体操作自然更擅长;如果多看了组装设备的画面,组装类任务就会表现更好。这跟一个厨师擅长做川菜还是粤菜很像,并不是厨艺高低决定的,而是他过去练得最多的是哪一类菜系。
视角差异也很有趣。研究把任务分成第一人称视角和近距离旁观视角两类,这两类的任务数量分别是67个和137个。在旁观视角下,MiniMax H3排第一;但切换到第一人称视角,排名第一的变成了Wan 3.0,MiniMax H3反而掉到了第三。这说明一个模型"全能"的印象,很可能只是在某种特定条件下测出来的,换个角度看待世界,排名就能大洗牌。
六、问题到底出在哪里
研究团队没有止步于打分,还专门去看了那些失败案例,归纳出三种最常见的问题类型。
第一种叫程序性遗漏和顺序错乱。模型会漏掉某个该做的动作,或者把动作顺序搞反,或者对错了目标物体,而且这种错误经常发生在画面看起来完全正常、没有任何破绽的情况下。论文里有个很典型的例子:天平调节任务,Cosmos3 Super在视频里压根没完成那个核心的调节动作,但整段视频拍得挺"像那么回事"。
第二种叫状态实现不完整。模型做了一个动作,但没有产生该有的可观察结果。比如液面该升高却没升高,仪器读数该变却没变,最终物体该呈现的摆放方式没呈现出来。这种错误往往是前面动作本身没做对导致的连锁反应,也可能是模型在处理精细的定量或定位结果时力不从心。
第三种叫物体漂移。任务相关的物体会出现变形、消失、融合,或者变得难以分辨。这种错误相对少见,但只要发生,照样能毁掉一段看起来还算流畅的视频。
论文里给出了几个具体对比视频的截图很直观。substrate frame组装那个任务里,Cosmos3 Super和Wan 3.0都出现了物体漂移和状态缺失的问题,最终呈现出来的组装结果是错的,而MiniMax H3完整正确地走完了全程。另一个移液管吸取液体的任务里,情况反过来了,Cosmos3 Super做对了,MiniMax H3和Wan 3.0各自漏掉了不同的关键动作。这进一步说明,没有一个模型能保证"每次都对",每个模型都有自己的失手时刻,只是失手的场景不太一样。
七、换个评委会不会结果就变了
研究者还挺谨慎的,他们担心自己选用的评判大模型GPT-5.6 Sol本身存在偏好,于是又请了另一个大模型Gemini 3.7 Flash来重新评一遍全部204个任务。
结果显示,两套评委给出的绝对分数不太一样,比如最高分模型在Gemini 3.7 Flash下能到60.1分,在GPT-5.6 Sol下只有46.3分。但更重要的事情是,无论换哪个评委,排在后面的那五个模型,综合得分始终都低于30分,顶尖的那三个模型始终稳稳占据第一梯队。
这个结果挺关键的,它说明评分标准可能会影响"具体打多少分",但不会影响"谁强谁弱"这个大结论。这就跟不同老师批改同一份试卷,给的具体分数可能有五六分的出入,但谁的卷子答得明显更好、谁明显答得稀烂,这个判断是不会轻易变的。
研究者还测试了另一个变量,给评委大模型看视频时的采样帧率。用2帧每秒、4帧每秒、8帧每秒分别测试,发现帧率越高,给出的分数普遍越高,尤其对GPT-5.6 Sol这个评委影响更明显,从2帧的22.6分平均分涨到8帧的35.2分。但即便如此,顶尖那三个模型的领先地位始终没有被撼动。研究者最终选择了4帧每秒作为默认设置,算是在评判精细度和计算成本之间找了个平衡点。
八、人类评委和AI评委,到底有多一致
既然自动评分存在"偏爱弱模型"的倾向,那人工评分和自动评分到底能不能互相印证?
研究团队做了个相关性分析。把所有模型的整体得分放在一起比较,人工评分和GPT-5.6 Sol评分之间的皮尔逊相关系数达到0.980,这是个相当高的数值,说明两者的整体趋势高度一致。
但是把分析颗粒度缩小到单个任务层面,情况就没那么乐观了。逐个任务去比较两个评委给出的模型排名,平均的斯皮尔曼相关系数只有0.364,两边一致认定"谁更强"的比例大概是72.9%。
这个落差告诉我们一件挺现实的事情:评估方法在宏观层面(比如整个基准上哪个模型总体更强)是可信的,但要是指望它精确预测某一个具体任务上哪个模型表现更好,可信度就要打个折扣了。这有点像天气预报:说"这个月降雨量比去年多"大概率是准的,统计规律摆在那里;但要是精确预测"下周三下午三点那一分钟会不会下雨",误差就会明显放大。宏观趋势稳,微观个例飘,这是统计规律本身的特性,不是方法出了问题。
写在后面
读完这篇论文,一个挺触动我的地方是,它其实在给整个"AI生成教学视频"这件事,做了一次挺扎实的"打假"。
我们这些年看过太多AI生成视频的演示,画面流畅、细节丰富,配上点悬浮感的音乐,确实很容易被唤起"哇AI好厉害"的感觉。但这篇论文用204个真实实验室任务,硬生生地证明了一件事:好看和好用,中间隔着一条看不见但很深的沟。
更有意思的是那个重新抽样的实验结果。MiniMax H3稳,但天花板有限;Seedance 2.0和Wan 3.0不那么稳,但只要给它们机会多试几次,爆发力惊人。这让我想到一个问题,如果未来真的要用这类模型给实验室出教学视频,是不是应该设计一套"自动筛选最佳生成"的机制,而不是只看单次生成的结果?毕竟真实使用场景里,没人会只生成一次就直接拿去用。
论文里还有个细节我觉得值得单独说说,研究者特意强调,参考视频不是唯一的"标准答案",只是"一种可行的执行方式"。这个设计思路其实很克制也很诚实,他们没有要求生成的视频必须和参考视频长得一样,而是只要求它满足核心的程序要求。这种"允许多样性,但守住底线"的评估哲学,放在很多其他AI评测场景里,其实都值得借鉴。
那204个任务,终究只是真实实验室世界的一个极小切片。物理、化学、生物、农学、材料科学,每个学科里真正复杂、真正危险、真正需要精细操作的那些场景,可能还远远没被这个基准触及。
如果有一天,AI真的能生成完全可靠的实验教学视频,那个视频里,手该停在哪一毫米,液体该滴几滴,会不会比今天任何一个真人演示都更精确?
Q&A
Q1:LabInstruct是什么?
A:LabInstruct是一个评测基准,用来检验AI视频生成模型能不能可靠地生成真实实验室操作的教学视频,包含204个来自真实实验室的任务,覆盖5个学科领域,并配有真实参考视频和结构化标注。
Q2:为什么视频生成模型画面逼真却评分不高?
A:因为画面逼真只代表视觉质量过关,但实验室教学视频还要求动作忠实度、状态正确性和完成度,很多生成视频会漏掉关键步骤、搞错操作对象或者顺序错乱,这些问题即便画面流畅也会被判定为程序性失败。
Q3:目前哪些视频生成模型表现最好?
A:根据LabInstruct的测试,MiniMax H3、Seedance 2.0和Wan 3.0这三个模型表现最突出,稳定排在第一梯队,但它们各有专长,没有哪一个模型能在所有任务类型上全面领先。
热门跟贴