让林黛玉喝咖啡、马斯克拍合影！视频大模型Vidu首发新功能：锁定角色形象，任意生成场景|vidu|埃隆_马斯克|大模型|林黛玉

智东西
作者 ZeR0
编辑漠影

智东西9月11日报道，今日，国内知名AI视频生成模型Vidu在全球首发一项重要功能——「主体参照」（Subject Consistency）。

用户上传任意主体的照片，Vidu就能锁定这一主体的形象，根据输入的描述词任意切换场景，输出主体一致的视频。主体可以是人物、动物、商品、动画角色、虚构角色。

比如生成林黛玉在现代咖啡馆喝咖啡的视频：

如果使用以前的「角色一致性」功能，可以保持人物面部特征的一致性，但难以保证整体形象的稳定，因此生成的画面是林黛玉穿着现代装喝咖啡。

而Vidu的「主体参照」功能不仅能保持面部一致，也能保持人物整体形象的高度一致，根据输入的文字描述来灵活输出目标场景，因此可以生成保留原图形象的林黛玉在现代场景中喝咖啡的视频，画面效果自然、真实，角色造型高度一致。

再比如上传这张马斯克的照片：

使用「主体参照」功能后，生成视频的场景想怎么切换就怎么切换，人物造型都与原图一致。

Vidu是全球首个支持这项能力的视频大模型。「主体参照」功能能够实现对任意主体的一致性生成，让视频生成更加稳定、可控。该功能已面向用户免费开放，注册即可体验。

体验地址: www.vidu.studio

今年4月底，由生数科技和清华大学联合研发的国内首个纯自研原创视频大模型Vidu面向全球发布。7月底正式上线后，Vidu凭借在高动态性、精确语义理解、动漫风格、快速推理等方面的亮点，产品表现位列全球视频大模型的“第一梯队”，并在TikTok等海外社交媒体平台上掀起多种AI视频主题玩法的热潮，如“跨越时空的拥抱”等。

生数科技联合创始人兼CEO唐家渝说，几乎全球做动漫视频都会首选Vidu，因为它在整体流畅度、人体自然度等方面显著领先，而且视频生成速度快，30秒内就能生成单个片段。

打造Vidu的生数科技成立于2023年3月，目前团队规模逾100人，已完成数亿元融资（最新公开为Pre-A轮），投资方包括启明创投、北京人工智能产业投资基金、蚂蚁集团、百度、达泰资本、BV百度风投、哈勃投资、锦秋基金等知名机构。

今日生数科技还推出了合作伙伴计划，邀请广告、影视、动漫、游戏等行业的机构加入，共同探索新的视频创作模式，在内容共创、技术支持、市场拓展等方面展开合作。

首批合作伙伴包括开心麻花、猫眼娱乐、巨人网络、美克家居、融创文化、河南省非物质文化遗产保护和智慧中心、李可柒画院等知名企业与机构。

一、全球首发主体参照功能，让指定形象的角色在不同场景中动起来

生数科技今日推出「主体参照」的功能，是视频生成领域的一大创新，可基于一张任意主体的图片，根据描述词切换场景，输出主体一致的视频。

无论是人物、动物、商品，还是动漫角色、虚构主体，都能确保其在视频生成中的一致性和可控性。

进行人物角色的“主体参照”，无论是真实人物还是虚构角色，Vidu都能保持其在不同环境中、不同镜头下的形象连贯一致。

例如，上传这张人物图片：

用Vidu可以生成她在不同场景中的视频。

上传动物图片，Vidu同样能实现其在不同环境下、大幅运动状态中细节特征保持一致。

以商品为主体，商品的外观和细节在不同场景中保持高度一致。

针对动漫角色或者虚构的主体等，Vidu同样可以保持其高度一致。

此前视频大模型已有的「图生视频」、「角色一致性」等能力在生成效果上存在明显不足，比如图生视频基于首帧画面的连续生成，无法直接输出目标场景，限制了视频内容的多样性和场景的自由度；角色一致性只限于人物面部特征的一致性，难以保证人物整体形象的稳定。

相比之下，「主体参照」不局限于人物，面向任意主体，在人物主体下可选择保持面部一致，也可选择保持人物整体形象的高度一致，通过输入文字描述灵活输出目标场景。

二、打破视频模型的局限性：可控性不足

视频大模型普遍存在着一个核心问题——可控性不足，或者叫一致性的不足。

在实际视频创作中，视频内容往往围绕特定的对象展开，可以是角色或特定物体，这些对象在视频中的形象需要保持连续一致。

现有的视频模型往往难以实现这一点，常常是主体在生成过程中容易崩坏。生成视频连续性弱，无法保证每次生成视频时主题、场景、风格等的一致性，尤其涉及复杂交互的情况下尤为明显。

此外，视频模型的输出结果有较大的随机性，需要不断生成尝试，对于镜头运用、光影效果等细节的控制也不够精细准确。

所以现阶段的视频模型虽然在画面表现力、物理规律、想象力等方面取得一定突破，但可控性不足限制了它们在创作连贯、完整视频内容方面的应用。目前大多数的AI视频内容还是基于独立视频素材的拼接，情节的连贯性不足。

为了解决这一问题，业界曾尝试采用“先AI生图、再图生视频”的方法，通过AI绘图工具如Midjourney生成分镜头画面，先在图片层面保持主体一致，然后再将这些画面转化为视频片段并进行剪辑合成。

这种方式的问题是，AI绘图的一致性并不完美，往往需要通过反复修改和局部重绘来解决。而且实际的视频制作过程中涉及众多场景和镜头，在处理多组分镜头的场景时，生图的工作量巨大，能占到全流程的一半以上，最终视频内容也会因为过分依赖分镜头画面而缺乏创造性和灵活性。

Vidu的「主体参照」功能没有用传统的分镜头画面生成步骤，而是通过“上传主体图+输入场景描述词”的方式，直接生成视频素材，能够大幅减少了工作量，并打破了分镜头画面对视频内容的限制。

这使得创作者能够基于文本描述，发挥更大的想象力，创造出画面丰富、灵活多变的视频内容，为视频创作带来更大的自由度和创新空间。

三、加速视频创作：3张定妆照完成故事短片，6小时搞定一支视频广告

「主体参照」功能通过锁定角色或物体的形象，一方面让故事情节更具连贯性，另一方面让创作者能够更自由地探索故事的深度和广度。

光驰矩阵的发起人、青年导演李宁正在打造中国首部AIGC院线电影《玄宇》。他利用Vidu预创作了一段男主的视频片段，其中所有人物画面仅通过男主近景、中景、远景三张定妆照生成。

据李宁分享，之前AI电影创作采用传统的文生图、图生视频流程，在分镜的连贯上很难掌控，人物的整体造型很难保持一致，前期需要耗费大量的精力去调试图片，同时画面还容易产生镜头光影失控、图像模糊甚至变形等一系列问题，且随着视频篇幅的增加，这些问题被进一步放大。

他发现Vidu「主体参照」功能让人物的整体一致性显著提升，不再需要前期生成大量的图片，人物运动和画面过渡也更加自然，极大助力了长篇叙事的创作。

中央广播电视总台导演、AIGC艺术家石宇翔（森海荧光）创作了一条动画短片《夏日的礼物》。他分享说，与基础的图生视频功能相比，「主体参照」功能摆脱了静态图片的束缚，生成的画面更具感染力和自由度，让创作的连贯性大大提升，还帮助他节约7成左右的生图工作量，让他能够将更多精力放在故事内容的打磨上，而非生成图片素材上。再叠加上Vidu的复杂动作处理能力和多元素的理解能力，他觉得Vidu就像是一位真人助理“动画师”在辅助创作。