把 AI 视频真正带进工业生产。
作者|连冉
编辑|靖宇
今年以来,视频生成模型的进步肉眼可见,AI 短剧、换脸、场景合成在各个平台越来越多,但一个现实问题始终存在:生成一条满意的视频,往往要反复「抽卡」,算力和时间成本都不低;而一旦进入专业影视管线,今天的模型能承担的工业级工作仍然有限。
关于这个问题,行业有两种思路。一种堆参数、扩算力,相信通用大模型终会跨过工业门槛;另一种扎进真实片场,从具体需求自下而上生长。达瓦科技走的是后一条路径。
达瓦科技总部位于重庆永川,团队从 2014 年开始运营科技影视片场,2023 年成立达瓦科技,转向 AI 模型,今年已连续完成 Pre-A 轮、A 轮融资,累计融资约 5 亿元人民币。
他们选择的路线是「重控制、轻渲染」:自研控制层基座模型 Latent Stage,把对人物、动作、镜头、灯光、场景的理解和控制单独做成一层,再交给渲染层出画面。围绕这条路线,公司有两款产品:面向专业内容团队、做离线生成的 FilmOS,以及在单张消费级显卡上就能实时运行的世界模型 Scenes AI。
这套架构的底气来自数据。达瓦在真实片场中积累了约 180TB 的结构化「过程数据」,记录的不只是成片画面,还有从剧本、机位、灯光到动作捕捉的完整拍摄过程。
以下为极客公园创始人张鹏与达瓦科技 CTO 朱子威和 CPO 李宗兴对谈实录,由极客公园整理。
01
从科技片场出发,做「控制层」
张鹏:过去一年视频生成模型进步很快,大家都能刷到 AI 短剧,很多人也开始自己生成视频玩。但成本一直很高,对算力需求大,真正放进专业影视工业,能发挥多少作用,还是个问题。
今天我们就看看,在主流的视频大模型之外,有没有别的技术路线。先请宗兴介绍一下达瓦科技。
李宗兴:达瓦科技最早是一家科技影视公司。可以讲个故事:1975 年卢卡斯想拍《星球大战》,发现很多电影技术实现不了,就创办了工业光魔,专门去解决这些技术问题。需求会推动技术发展,就像游戏玩家推动了 GPU 的进步。
我们的片场经常给技术团队提真实的问题,比如导演只想改画面里的一小部分,为什么要重新拍整个镜头?能不能只保留这个人物、这个动作,只改其他部分?在这些需求推动下,我们走向了控制层,做一个控制层基座模型,让视频真正可编辑、可理解。
我们有两款核心产品。一款是 FilmOS,一个 AI Agent 影视创作平台,基于一句话的目标就能生成高质量画面,得益于控制模型,它可以让你少抽卡就能拿到合适的画面。另一款是正在研发的实时世界模型 Scenes AI,基于稀疏扩散自回归架构和世界模型,能把摄像头画面实时演化、编辑,是一个 Physical AI 产品。公司财务口径上,我们一年的 ARR 大概在 1 亿美元左右。
张鹏:收入很可观。你们本质上是在控制层做模型,解决的就是「少抽卡」——哪不行就局部改,不用整条重拍。
02
控制层像导演,渲染层像相机
张鹏:「少抽卡」的目标,要用什么技术实现?你们的架构和路线是什么?
朱子威:先分层看。渲染层像相机,负责把画面拍出来,渲染层越好,画面效果越好,比如英伟达的 DLSS 5,用神经网络把老游戏渲染出很真实的效果,对应视频模型里的 DiT 扩散部分。控制层更像导演,决定场景里有哪些物体、演员从哪走到哪、有什么道具和交互、时序上怎么变化。渲染层像相机,控制层像导演。
可以把它理解成一个虚拟空间,里面的桌子、凳子、人物、机位都真实存在,只是肉眼看不见。控制层根据导演的需求把这些要素匹配进去,再把结果交给渲染层,得到一个不用再花大力气修改的结果。它符合真实物理环境下该有的拍摄逻辑,也不会出现抽卡常见的穿帮——比如人走过去一扭头,门口的人突然坐到沙发上了。
张鹏:这里有个关键区别:你们是一个基座模型,不是一个视频 Agent。这两者怎么理解?
朱子威:Agent 解决的是信息差。很多人拿到视频模型不会用,会写提示词、懂升格、推拉摇移、zoom in/zoom out 这些术语的人,结果就能逼近模型上限,Agent 是帮人补上这个信息差。控制层解决的是认知差:模型能不能理解一个完整的物理片场。Agent 解决信息差,控制层解决认知差。
张鹏:比如这盏灯突然灭了,空间里会发生哪些连锁反应,这就是认知。我调暗一个灯光,这一个输入应该带来一串输出的变化。
朱子威:对。Agent 遇到这种情况,可能会重新生成一堆图片,再想办法交给视频模型,中间走很多弯路,每次处理都在增加不必要的信息熵,最后拿不到高维认知下直接控制的结果。控制层是在渲染之前就把这些问题解决掉,像一个全知的导演助手,在你花大价钱渲染之前先把事办好。
03
多一层计算,为什么反而更省钱
张鹏:搞基座模型肯定要花钱。作为一家做模型的公司,现在融资情况怎么样,有多少弹药?
李宗兴:我们最近连续完成了 A 轮和 Pre-A 轮融资,大概 5 亿元人民币。现阶段肯定够用,因为我们训的不是特别大的模型,而是控制基座。在我们看来,控制层会革新内容形态的交互,是特别值得投入的方向。
张鹏:投资人主要看重什么?
李宗兴:核心有两点。第一,我们有真实业务收入,不是完全靠外部融资推动,商业飞轮已经在转,我们不是一家还在找 AI 场景的公司。
第二,我们在解决影视行业的真实需求:现在做任何小修改都要重新生成整个画面,而我们用局部控制大幅降低抽卡次数。行业往往只算单次生成的成本,但水下有很多隐性成本——一个镜头到底要抽多少次卡?把抽卡次数降下来,才是真正降低影视生产的成本。
另外,我们能基于一张消费级显卡做实时内容,比如把会议室铺满海浪、把衣服实时换成汉服或钢铁侠。如果要靠数百万、上千万的 GPU 集群实现,就没有经济适用性;一张一两万的显卡能做到,落地的可能性就很大。未来还能把画面推到 AR 眼镜里,整个房间都能被重新渲染。
张鹏:你们衡量的不是单次抽卡成本,而是完成一次有效交付的系统成本。那我再问一个技术问题:你们等于在原有模型之外又加了一层,为什么两层运算反而更划算?
朱子威:首先是一致性。控制层让结果更符合创作意图,大家抽卡时其实每 15 秒镜头画面质感都不差,问题是 60 分钟、100 分钟之后,内容不按你的方向走,我们的可控,是在完整内容的一致、可控。
其次是精准度。做出来之后,我要改怎么办,渲染层是一坨像素,改掉这个杯子,重新生成就全乱了。我们控制层,能实现指哪打哪,其他要素完全不变。
大家说的抽卡,本质是「不可控」。通过我们的控制模型,原来要抽十次、二十次,现在三到四次,总体成本能下降 50%—60%。
张鹏:就像便宜炮弹要打一万发才能炸掉碉堡,而一发精准制导导弹虽然贵,总体账反而更划算。
李宗兴:对,就是精准制导。
张鹏:再聊聊数据。你们做控制模型,数据是怎么来的?什么数据对这个模型最重要?
朱子威:主流视频模型更像用眼睛看视频学炒菜,我们的过程数据是真正「进过厨房」。一个电影级片场,从怎么备菜、选料、用什么厨具、什么火候,全部能量化。
我们会把片场里所有要素的状态——摄影机画面、机位、灯光、道具摆放、场务移动——放在同一时间轴上记录,很多硬件上打了信标、有专用跟踪设施,还用英伟达 Omniverse 搭建仿真环境,本质是数字孪生。自研的无标记动捕也起了很大作用。
张鹏:就是把拍片从剧本到成片的全过程,全部向量化。
朱子威:对,全部记录下来,再做大量仿真和变体。真实项目数量有限,我们就通过仿真和剧本调整去扩展数据,一生二、二生三,最后拿去做控制。
李宗兴:我们的模型不是拿 LLM 改的,LLM 只是很小的部分。它按要素组拆解片场,人物动作、镜头、灯光每个要素都有专门的专家,整体是一个 MoE。模型 34B 参数,每个专家权重差距不大,因为几乎没有纯像素数据,数据压缩做得比较好,在剧集和非超大制作的动作戏范围内,已经展现出很强的控制力。
张鹏:这个数据飞轮具体怎么转?
李宗兴:我们的片场从 2014 年做到现在,下一阶段它的定位会从收入来源变成一个「数据工厂」,把制片过程沉淀成世界模型的训练数据。
现在已经有 180TB 结构化的世界状态数据,训练出基座模型,再通过 FilmOS、Scenes AI 回到真实生产,生产又持续产生新数据,这是达瓦独特的商业飞轮。
我们还采购了英伟达 Omniverse 和 Cosmos 的企业授权,批量生成带物理约束的仿真数据,比如火焰怎么蔓延、种子怎么长成大树、积雪怎么融成水。
04
不是垂直模型,
是通向 Physical AI 的世界模型
张鹏:当年大模型落地时,有一派讲「垂直模型」。投资人会不会也问你们,这是不是个垂直模型?
朱子威:控制层并不只能用于视频生成。今年我们在苏州和英伟达方面做过很长的闭门沟通,结论是控制层是通向 Physical AI 不可或缺的部分,它本身有泛化性,只是我们现在的数据集偏垂直。偏垂直的好处是先在一个领域打出可用性和商业价值,反过来证明这条路是对的。
张鹏:所以它不是垂直模型,更像世界模型的一种,代表对世界逻辑关系的理解,未来甚至能用于机器人训练。你们现在聚焦片场,是因为算力有限,先把一点打穿、做到正向利润。
朱子威:对,什么都做等于什么都不做。先把一点打穿,拿到实打实的商业回报。
张鹏:宗兴,主流做视频大模型的人相信只要持续 scaling,这些问题都能解决。你们是本来就在产业里的人,片场真实的痛点是什么?
李宗兴:片场每天都会提一些当下技术看似解决不了的问题。比如一个一镜到底的长镜头,整体都很好,只出现一个小瑕疵,导演说「再保一条」,这一条就是经费在燃烧。这正是把我们推向控制端的原因——对一个镜头做局部修改。
再比如一盏灯从面前移过,不只是改一个灯光参数,它会让所有人脸的明暗、对比都发生变化,所以我们加了大量 Physical AI 的物理约束。观众判断画面真假,往往就看空间关系和物理细节对不对。
张鹏:任何技术领域都有客户需求带来的「不可能三角」。你们的不可能三角是什么?
朱子威:是算力预算、生成时间、分辨率或质量,三者要取舍。
李宗兴:客户经常问,能不能在手机上跑?我们的模型 34B、单次激活 4B,为了实时和低算力已经做了大量取舍。传统扩散模型计算下一帧要把整个画面重新算一遍,需要 GPU 集群,但你不可能让客户买一台几百万的机器放家里。
我们的解法是「稀疏扩散自回归」。真实世界里真正发生变化的区域只有 10%—20%,比如现在我们三个人在聊天,墙壁、地板、天花板都没变,就可以把这些稳定区域的前空间状态直接复用,把算力集中到变化的部分。这套架构能把 GPU 消耗降低约 60%,推理速度提升 3 到 5 倍。目前我们能在 720P 上做到每秒 30 帧。
张鹏:现在很少有人有顶级算力,公司能配一张 5090 就已经不错了。
李宗兴:所以第一阶段肯定先用在能支付得起硬件的商业环境。我们还会在同一帧里用不同的推理精度和步长,像做游戏优化一样管理每一帧的预算,未来希望能压到 4090、4080 这些显卡上。产品只有落到客户能承受的范围,才不是空中楼阁。
一张普通消费级显卡,就能实时把人变成蜘蛛侠、钢铁侠,把场景里的椅子变成冰封王座,还能交互,不穿模、不露线。世界模型会先理解空间,判断寒冰会影响哪些范围、对空间温度有什么变化,这本质还是 Physical AI 的物理推理问题。
05
从项目交付,到「世界登录器」
张鹏:除了影视和广告,这些新能力有没有带来新场景?
李宗兴:有很多真实需求。比如直播电商,卖羽绒服可以实时把场地变成玉龙雪山,雪落在肩膀上还能拍掉;卖香薰的客户,就把办公室变成玫瑰森林,让人一上来就身临其境。还有游戏大厂,想用它做宝可梦、游戏王那种实时对战,扔出精灵球就能生成角色,这是传统 AR 做不到的。戴上眼镜,所见的空间都能被重新渲染。我们自己都有点担心,因为未来可能分不清真假。
张鹏:《黑镜》里早就有一集,眼前看到的一切都是重新渲染过的。当时我们觉得算力肯定不够,现在芯片和模型正在双向靠近。
朱子威:专用芯片会出现,我们也在和芯片厂商做比较深入的合作。如果用专用 TPU,性能会比通用显卡高很多。
张鹏:主流大厂也在加强控制层,而且他们资金充足。你们怎么看这种竞争,核心价值在哪?
朱子威:首先是数据领先。视频基座模型做得越大,对我们反而是好事,因为我们的上限会被抬高,现在有些视觉效果受限,其实是渲染的锅,不是控制的锅。我们的真实业务、对数据的理解、现有的数据优势会持续存在。
要复制一套完整片场数据,需要大量硬件、时间和项目投入,而真实实拍项目越来越少,这个时间差就是壁垒。
张鹏:数据资产不像石油,卖了就没了,复制一份还在,真有飞轮就不是坏事。
李宗兴:大厂也会算投产比,砸钱也要看能占领多少市场、图什么。
张鹏:从商业模式看,达瓦科技接下来会怎么做?
李宗兴:现在的收入偏内容制作,客户批量采买 Token、调 API,本质还是一个个项目。未来我们希望把实时世界模型部署到客户设备上,只收定期的 license 费用,让它成为人们进入虚拟世界、电影世界的登录大门——打开电脑、戴上眼镜就能进入一个完全仿真的世界。
张鹏:FilmOS 和 Scenes AI 分别对应什么场景?
李宗兴:FilmOS 专注离线内容生成,给影视、广告、短剧团队一个稳定、可交付的答案,客户不用等各家模型发版,就能明确知道抽多少次卡能满足交付,我们卖的是结果,不是过程。Scenes AI 面向未来,解决人怎么实时进入电影世界,可能会革新交互形态。
张鹏:下一个阶段,你们的核心目标是什么?
朱子威:技术上要把控制层 scale 出去,从传统影视扩展到更多环境,比如直播就是一个已经被我们踢开门的新边界;同时往更物理、更复杂的方向走,未来甚至能让机器人理解更复杂的变化。
李宗兴:业务上,2027 年先推进直播场景,年中希望和合作伙伴一起推出游戏化产品。过去 AR 游戏里大量内容都要提前生产,现在 AI 可以实时生成,AI 宠物、精灵可以随时陪伴、随时变化形态。
张鹏:今天我们理解了什么是控制层——它既降本增效,又打开想象空间。达瓦是一个很典型的样本:有传统业务、有健康收入,再把业务变成「矿」,迈向新时代。给大家的启发是,哪怕不是每家公司都能做模型,也应该从现在开始有计划地收集数据,这才是上个时代留给你、进入下一个时代的资本。
朱子威:越难收集的数据,越有价值。
张鹏: 感谢两位的分享。
*头图来源:极客公园
本文为极客公园原创文章,转载请联系极客君微信 geekparkGO
极客一问
如果 AI 视频告别反复抽卡,
会先改变影视还是直播?
热门跟贴