打开网易新闻 查看精彩图片

今年春节,Seedance 2.0成为全球最扛打的视频模型后,社交媒体上一度流行Seedance的各种邪修玩法。有灰模/白模玩法,复杂的运镜复刻,黑场压缩成本,还有低清生成、高清修复的综合大法。

人们辗转在不同的软件里,试图探索寻找一条更高效、更低成本的视频生成路径。

而当创意变得更复杂,问题也越来越多。参考素材变多了,场景、角色容易混乱,一个镜头出现了问题,整个视频都得推倒重来,视频生成成本愈发昂贵。模型越强,对创作者来说,越需要把这些零散的邪修玩法,整合到一个完整的工作流。

近期,Seedance2.5的上线,让这件事变得更为迫切。我们试着用同样的提示词,在Seedance 2.0和Seedance 2.5跑了一条三花小奶猫网红自拍视角的小短剧。

2.0人像生成稳定,但是搞错了主体关系,从牵着小香猪变成牵着猫咪。光影处理也不如2.5自然。

2.5对猫咪自拍,阿姨和猫咪的互动关系理解更准确,最后猫咪大笑的细节也很真实。

Seedance2.5,除了生成能力很明显更强了,一次还可以调用50个图片、视频和音频参考,直出30秒视频。越来越强大的模型,也对创作者要求更高了,怎么管理越来越多的角色和素材,如果有两秒穿帮,要不要重新整条抽卡。

围绕创作者的这些问题,8月7日,LibTV围绕Seedance 2.5做了一次针对专业创作流程的更新。接入Seedance 2.5模型的同时,还上线了逐帧拉片、智能引用、片段重拍、素材混剪,以及最长5分钟的视频创作流程,让Seedance 2.5的能力充分释放。

01

50个参考素材,AI来解决

Seedance 2.5这次一个很大的升级,是把多模态素材参考的上限拉到了50个,图片、视频、音频都可以往里塞。

这个数字看起来很爽,真正做视频时很快就会碰到另一个问题,模型能吃50个参考,但人手动整理50个参考实在是效率不高。

尤其是短剧、广告这种稍微复杂一点的项目,一张画布里可能同时放着男女主的人设图,不同场景、服装、道具、运镜参考和音乐,素材越丰富,模型能力确实越容易发挥出来。但花在找素材上的时间也随之增加了。

所以这一轮,我们专门测试了LibTV围绕“参考”做的几项新功能。

我们上传了大火的动画《铃芽之旅》的施法片段。2分钟的视频,差不多20分钟后,它把视频拆成了一组组分镜。每个镜头都截出了关键画面,同时标上了景别、镜头方向、运镜和人物主要动作。

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

除了拆分镜之外,它还会尝试提取画面风格、关键帧、叙事节奏、时间戳和音乐,然后自动整理成参考素材组,方便创作者下一次直接用,关键是完全不消耗算力。

我们直接连接Seedance 2.5,让它模仿生成一段和原版差不多一镜到底变装视频。

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

耗时不到半小时,效果可以说很惊艳。

我们又试了一下AutoLink功能。在对话框里输入角色名字,对应的人物图片就会自动出现在后面。

打开网易新闻 查看精彩图片

我们决定用之前手搓出的原创人物来试一下。之前因为素材太多太混乱,一直没有动手给她做角色PV。

提示词粘贴到输入框后,会出现素材的自动关联,我们按Tab就可以确认关联。

打开网易新闻 查看精彩图片

为了提升难度,我们给LibTV的要求是,将我们的原创人物角色按照最近大热的动画电影《八仙》的风格做角色PV,拖入八仙宣传片后,看看LibTV是不是能准确理解要求。

最终生成的视频片段如下。

以前画布里人物素材一多,要在列表里不停翻找。所以尽管Seedance 2.5的参考已经有50个,为了减少混乱,创作者常用的也不过20个左右。现在,省时省力了不少。

02

把剧本扔进去,AI当导演

这一轮测试里,我们最先想试的,是用LibTV生成超长的AI短剧。

原因也很简单。现在很多AI视频产品都在比“单次能生成多长”,Seedance 2.5迭代后,已经把单次生成时长拉到30秒了,但真正做短剧的人并不会只生成一条30秒视频。

一个完整项目里,前面还有人物设定、场景设计、分镜拆解,后面还有素材筛选、镜头衔接和剪辑。如果能一次性出片,当然是最节省精力和成本的。目前,LibTV把一次性生成时长最高拉到了5分钟。

打开网易新闻 查看精彩图片

之所以敢测长视频一口气生成,也是因为LibTV还推出了Seedance 2.5 720p限时58折的活动,算下来制作成本能压到0.4元/秒(最高赠送60条免费生成),大大压低了这次的测试成本。

于是,我们直接把一份1900多字,有两场戏的古风短剧剧本丢给了LibTV。要求风格参考那种冷峻、有武侠风的古装权谋美学,讲述一位流落民间的孤女重返京城复仇的故事。

这种风格既要有正剧的庄重,又不能少了爽剧的快节奏,一集里需要能够表达人物情绪的面部特写,还要用压抑的色调和飞雪的场景来烘托气氛,再要搭配缓慢的镜头运动和人物互动来递进情节。

这也是考验AI video Agent能力的地方。AI需要在理解复杂的视觉风格的同时,把这种风格在分镜逻辑、人物表演和场景氛围的控制流程里贯彻下来。生成的时间越长,越考验AI video Agent的稳定性。

也正是在这个过程,我们发现用LibTV和单纯让模型一次生成视频,其实是两回事。

LibTV会把故事拆成大量短视频节点,用Agent负责管理。它生成完一部分之后会自己检查有没有漏掉的分镜,有缺失就继续补。

如果告诉它某张图没有生成,它也会自己在画布里找到对应节点,而不是让人在几十个节点里翻来翻去。视频素材生成完,它还会继续完成剪辑。

这一条的角色和剧情更复杂得多,从确定细节并跑完所有分镜最终花了1个小时,加上对分镜逐一调优精修,最终,这一集1分钟的短剧我总共花了2小时10分。即使不懂分镜逻辑、打光设计、节奏控制的创作者,只要懂故事,完全可以驾驭复杂的电影级叙事。

03

AI视频开始进入“生成后”

做过AI视频的人,大概都有过这种崩溃时刻。当一条视频整体生成效果已经很好了,人物、光影、运镜都对,偏偏中间一两秒出了问题。可能是手上多了一根手指,也可能是一个道具突然消失了。

最常见的解决办法,就是重新抽卡。也有人为了节省成本,把其中错误的几秒单独截出来修改,费时费力不说,还涉及到流畅度和画面衔接的问题。

Seedance 2.5把单次视频长度拉到了30秒之后,对于专业的创作者来说,其实后续的善后工作并没有变少。现在一次性生成30秒甚至更长,想要让画面更精致,要抠的细节更多,返工的精力消耗也不少。有时,30秒只错2秒,就要犹豫到底要不要因为一个镜头重新花钱生成一次。

LibTV也为Seedance 2.5匹配了一个片段重拍的功能。如果需要对某个镜头进一步的修改,可以切换到工作流视图,单独对其调整,比如修改提示词、增加特效、调整运镜或者优化提示词,再最后合成视频。

打开网易新闻 查看精彩图片

我们用前面生成的1分钟爆款女频短剧做了测试。第一次生成时,画面整体能用,但其中有个镜头有些穿帮了。上一个镜头,男主和女主距离一米,位于女主身后,下一个镜头开始,就应该只有女主的背影,男主不该离她这么近,但现在的镜头却是男主站在女主身边。

现在,只需把开头这里的站位错误直接圈出来,单独改动这个镜头,重新生成后,其余部分不用跟着重做,修改过的片段再被替换回完整视频里。

这个片段重拍的功能,让创作开始有了一点Premiere、剪辑台的感觉。使用下来,不仅省了几次重新生成的精力和成本,还还原了创作者的真实工作流程。

每次AI短剧创作完成后,都需要剪辑出一个有钩子、有爆点的短视频做宣传素材,这项工作之前很少交给AI。

一方面,这类视频涉及到大量的竖屏快切、静景特写、全景交替、慢推镜头和人物互动,模型很难像一个熟练的短剧创作者很快消化这些内容。另一方面,涉及到的素材太多,包括男女主的爆点镜头,场景镜头,大量的成片素材,很也少有工具能消化得顺畅。

这次,LibTV新出的素材混剪Clip Remix功能,已经基本上可以实现这一点。比如,为一个AI短剧做一个模仿拍摄花絮vlog风格的宣传片。

生成的宣传片

和前面一样,我们把参考视频上传,告诉它生成类似风格的宣传片。然后,LibTV开始用角色图,生成了这两个古风角色现代装造的新形象。

打开网易新闻 查看精彩图片

LibTV还根据需求生成分镜规划和视频提示词,像编导一样构思剧情。

打开网易新闻 查看精彩图片

让我们很惊喜的是,一开始,以为它只会一次性生成视频内容,可能需要手动制作添加旁白。但后来发现,Agent自己开始思考旁白内容,随后生成了旁白语音,直接添加到了剪好的成品里。

打开网易新闻 查看精彩图片

有了Seedance 2.5能力更强的模型,Libtv在视频创作的道路上,可以让优质的视频创作变得更容易了。专业创作者完全不用找各种邪修玩法,在Libtv里可以畅玩。

还有一点跟创作者利益相关的是,现在使用Libtv,可以以最低0.4元/秒的价格,使用最顶级的模型Seedance 2.5。Libtv推出Seedance 2.5 720 P限时5.8折,最高赠送60条免费生成。

文|马舒叶