打开网易新闻 查看精彩图片

总有人说我是个AI视频博主,但其实我不喜欢做视频。

之前在剪映的AI产品工作,模版、编辑器、多轨道、画布……等等的创作模块,很熟悉,但又让人皮质醇上升。

就好像,视频相关的都成了工作,总和压力、琐碎有关。

我在想,是时候用AI,找回玩视频的快乐了!

我喜欢刷一些搞怪、模仿、动作的视频,特别有意思。

拿LibTV复刻了一下,在TikTok随手一发,居然流量还特别好!

之前特别严肃认真去拍视频、做内容,结果太过用力,效果也不好。

也许从当牛马的惯性里跳出来,就把AI当玩具、把视频当娱乐,拿邪修的方式,反而会更好。

今天说说我在LibTV的两个新玩法,玩了以后感觉自己年轻了10岁。

打开网易新闻 查看精彩图片

官网:https://www.liblib.tv/

01深度动作捕捉,看我直接演给AI看

玩视频的,大家可能尝试过换脸,或者视频参考。

之前说让AI参考一段视频,里面其实混着两类信息。

一类是想留下的:动作怎么发生,人物站在哪里,镜头朝哪边走,前后景怎样变化。

另一类反而会限制新视频:原视频里的人物是谁,穿了什么,身后的环境长什么样,整段片子的颜色和质感又是什么。

模型通过提示词,只能自己猜该学多少。但问题是,复杂动作和运镜,很难用文字说准。

打开网易新闻 查看精彩图片

LibTV的深度动作捕捉,这次是把视频里的动作、走位、运镜和空间关系,提取成一个深度参考,也就是那种黑白灰的深度视频。

给大家看一下,前面那个街舞视频是怎么做的。

打开网易新闻 查看精彩图片

先右键点击,选择上次,上传一个原始视频,作为研究的对象。

然后单击视频,顶部工具栏,选择【逐帧拉片-深度动作捕捉】,就可以自动完成动作的分析,480p会更快,720p细节更丰富。

然后就可以得到一个这样的灰色动态影分身。

人物和环境按远近和轮廓分层,谁站在前面,什么东西在后面,人物怎么移动,镜头怎样跟……相关信息都能透过颜色的深浅轮廓呈现出来。

但原人物的五官、服装纹理和场景色彩已经看不到了。

这个灰的深度信息视频,会以节点形式呈现在画布上,直接接到后面的视频生成节点就行。

打开网易新闻 查看精彩图片

我这里参考了一张自己的照片,一个舞台的背景,作为新的视频节点的生成参考。

迈克尔·杰克逊的太空步,还原度还是挺高的。

给大家对比原始版本,和不同背景的我的跳舞来看一看。

如果让我用提示词描述太空步,哪只脚先动、脚尖怎样支撑、另一只脚什么时候向后滑、身体重心怎么换,很难说清楚。

但现在这个版本,深度动作捕捉生成的脚步向后滑动、身体重心的变化,整个表演节奏都挺流畅。

同样的思路,还试了一个扣篮大赛冠军的360转体飞扣。

打开网易新闻 查看精彩图片

拿了我朋友,和我自己的照片,作为参考,也体验一下超高难度扣篮动作的快乐。

原视频是下面这样,运镜很丰富,动作也复杂。

深度动作捕捉之后的影分身版本,长下面这个样子。

然后就轮到我们表演真正的技术了:

不同角度的镜头下,面部看起来都挺像我们本人,正脸以及多张图,能让还原度更高。

是不是很好玩?

电影特效、极限运动、明星热舞……还有动漫里一些夸张的动作,想复刻的都可以精准还原。

02剪口播,跟AI聊就行

做视频还有另一件麻烦事,剪辑,尤其是口播类内容。

像我自己的很多视频,都是口播为主,穿插一些素材展示等等。

经常会有卡壳、重复、口癖的片段,都要剪掉,有时候我能一条内容剪一天。

打开网易新闻 查看精彩图片

LibTV的【智能剪辑-口播创作】功能,感觉就是口播界的新邪修。

把多段原始素材上传上去,系统会自动完成转录、删除废话口癖重复、节奏压缩,最后输出完整的成片。

试了一下整个流程,还是拿我的老照片。

打开网易新闻 查看精彩图片

在画布上添加智能剪辑节点,点击选择口播视频。

打开网易新闻 查看精彩图片

然后上传原始素材片段,包括口播的A-roll和素材画面的B-roll,在提示词里输入希望怎么剪辑,设置目标时长提交。

我上传的是类似这样的口播视频:

LibTV会先唤起剪辑子Agent理解原始素材、自动编排并进行粗剪。

确认粗剪没问题后,在对话框里点击确认,剪辑子Agent会进行精剪包装。

支持的功能挺全的。

素材理解层面能做到毫秒级视频内容理解。

粗剪阶段能自动标记并去除忘词卡壳、口水词,自动拼接及结构重排。

比如说,开头钩子、结尾CTA这些社媒视频的结构特点,都可以给设计好。

精剪包装阶段有人物画中画、高亮文字贴画动态上屏、自动字幕智能断句分行、自动添加上屏音效、根据口播内容适配BGM。

最后还有自动审片,识别并修正编排逻辑、漏剪口误、字幕错字、黑帧闪帧等问题。

打开网易新闻 查看精彩图片

打开智能剪辑,很多视频细节也可以调整。

还有我很喜欢的是自然语言修改。

不满意的地方,可以通过和Agent对话重新修改,比如改字体、元素上屏时间、剪辑起始点等等。

很多时候就是觉得布景、灯光、妆造麻烦,剪辑更麻烦,所以不想搞视频,现在看其实完全可以用LibTV换种思路了。

03更可控、更好玩
看到很多国外的朋友,也已经把这些邪修功能玩起来了,创意还有很多。

会觉得,当AI视频创作的可控性提高以后,以前觉得遥不可及的影视飓风、何同学一样的剪辑,用LibTV已经可以部分实现了。

动作、运镜与空间关系,已经能完成很好。

口播剪辑的工作流,也有了进一步精品化的能力。

今天是创作者竞争最激烈的一个时代,

今天也是创作者最有生产力、最有可能性的一个时代。

我也只是一个AI视频领域很小的博主,但在这些创作的时间里,收获了很多朋友和快乐。

也许,这就已经值得。

如果你也想试试做AI视频,这里,有更好玩的邪修办法,可以更简单、更快开始。

打开网易新闻 查看精彩图片

官网在这里:https://www.liblib.tv/

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

朋友圈会发一些具体的案例和商业化日常~