「指点江山吧」
打开网易新闻 查看精彩图片
「指点江山吧」

其实视频Agent的产品逻辑很简单,就是让后台越来越复杂,前台越来越简单。

TapNow之前更新CreativeOS,主要就是把画布藏起来,藏到对话框里,让用户不用在那当纺织工,纯靠打字也能做片子。

当时我觉得这应该就是视频Agent在交互逻辑上的终点了,毕竟确实很难想出来还有什么比打字更方便。

结果最近他们更新了一个CreativeOS 2.0,直接把对话框也藏起来了,用户也不用打字了,纯靠说话口嗨就能当导演了。

打开网易新闻 查看精彩图片

纯纯的返璞归真,毕竟你真去北电中戏中传学生剧组混几天,就发现大多数真人导演的核心能力就是张嘴说梦话。

而且这波是真切合AI用户的实际需求了,即当爹当老板使唤下人的需求,有事没事按个空格骂Agent两句,多少钱的年费会员他们也觉得值了。

从这个角度讲TapNow也可以自称Personal agent了,毕竟干的都是秘书的活。

扯远了。那这个CreativeOS 2.0效果实际如何呢?

以及他们同期推出的3D世界引擎Cinemap、AI剪辑系统Monta和针对Code video的Agent——Fable 5.2 lab,我们也都顺便测了下⬇️

CreativeOS 2.0

最近《赛博朋克:边缘行者2》一经上架就广受恶评,所以我准备用TapNow制作一个二创版。

剧情是:大卫是夜之城的外卖员,他当力工赚钱只为了和露娜去月球,但他送得太慢老被扣钱,所以去义体诊所装备了斯安威斯坦,成为了夜之城单王,把钱全都上供给了露娜,结果最后露娜自己去月球了。

于是我直接按住空格,对TapNow口述了我的想法⬇️

我说的时候也没过脑子,纯粹梦到那句说那句,自己回味起来都不知道自己想表达啥。

但过了一会,TapNow直接把片子的提案、画风、场景和角色的参考都给我准备好了⬇️

打开网易新闻 查看精彩图片

我确认了人物的形象和故事主线之后,分镜头也有了⬇️

打开网易新闻 查看精彩图片

这分镜表看着复杂,其实相当简单。

因为自从有了Seedance 2.5之后,归功于其本身很强的理解和执行能力,以及30秒的最高支持时长,一组镜头完全可以靠一整句提示词一口气生成。

所以TapNow其实只需要把故事写好就行,分镜的事大可以交给模型。而把故事写好也正是TapNow所擅长的。

这个分镜我也没怎么改,直接让TapNow进入到了视频生成阶段。

但在这个阶段出现了一个问题:有一个镜头视频频频报错,无法生成,我也找不到任何原因。

毕竟Seedance 2.5雷点太多,我很难分清问题到底出在大卫的胸肌、露娜的后腰还是天台的扶手。

此时我把一切交给CreativeOS 2.0,让它发挥主观能动性,必须找出到底是有什么问题。

谁曾想,这CreativeOS 2.0直接化身做题家,发起了一场控制变量的对照实验:根据有无大卫、有无露娜、切换场景、切换台词等不同条件,排列组合出不同的提示词并进行视频生成测试,看看到底是谁拖了大家的后腿。

疯狂的实验啊,把我积分耗光了我才发现⬇️

打开网易新闻 查看精彩图片

但还真把结论给找到了,说是画风太像原作了,Seedance 2.5有风骨,不做侵犯版权之事。

第一次见到会自查自纠的Agent于是我调整了画风,然后确实就能正常生成了

而且TapNow这头忙着做实验,那头生成视频也没耽误——他们这画布上是多Agent协同办公,一人一个山头互不耽搁⬇️

打开网易新闻 查看精彩图片

视频都生成好之后,我想要对其中一组镜头连接进行指导性意见,比较复杂,大意是让前一个镜头的结尾和后一个镜头的开头实现背景不同、主体相同的「相似蒙太奇」,完成丝滑转场。

但这太难描述了,我相信读者看到上面这一长串也不知道我要表达什么。

好在TapNow的CreativeOS 2.0可以通过一边说话一边在画布上做标注、拉箭头来表达需求,字面意义上的指点江山,甚至支持开黑搞群口相声,口嗨体验感拉满。

总之,我就靠这种手语把意思给传达出去了⬇️

结果CreativeOS 2.0听完我这一段狗屁不通的要求,还真把这个镜头给做出来了

打开网易新闻 查看精彩图片

我感觉这理解能力超群了啊,建议TapNow深耕toB业务,转型去给沙东国企老板做陪伴机器人得了

Cinemap和Monta

当然,有一些视频,由于运镜过于复杂,光靠我纯说话,CreativeOS 2.0也听不明白。

好在TapNow最近还上线了一个Cinemap世界引擎——你可以在一个3D空间里搭建城市,设置角色,编排镜头,然后生成可供CreativeOS 2.0参考的白模视频。

于是我先在Cinemap搭建了一个我想象中的赛博朋克城市⬇️

打开网易新闻 查看精彩图片

然后又把男主大卫扔进城市,给他设计了一条复杂的送外卖路线。

接着把他送外卖的白模视频拖进CreativeOS 2.0,让CreativeOS 2.0参考白模,根据整个故事的画风,还原实景视频。be like⬇️

最后CreativeOS 2.0还真根据这白模视频把这雷霆送外卖过程给复刻出来了⬇️

打开网易新闻 查看精彩图片

这样所有的镜头素材都齐活了,只剩下剪辑了。

正巧TapNow也上线了一个内部的AI剪辑工具,叫Monta,使用逻辑和CreativeOS 2.0差不多,纯靠口嗨和划线。

打开网易新闻 查看精彩图片

于是我把拼接好的成片发给Monta,让它自行把这个片子剪得节奏更紧凑一点。

Monta就开始逐帧看视频,分析各个镜头的调度和内容,然后重新进行剪辑和整体的排列⬇️

这剪起来比我熟练多了。

只能说从Cinemap到CreativeOS 2.0到Monta,TapNow把视频生成前后的流程给做了一个闭环,保证在每个环节都是AI native的,纯打通了

最后成片如下⬇️

这发红果上力工兄弟们不得看的一把鼻涕一把泪的

Code video

TapNow此次更新的另一个重点,就是他们给Code video做了一个Agent。

Code video其实也火挺久了,毕竟每次大模型一换版本就有人在那测鹈鹕骑自行车,最近Claude的几轮专门针对Code video的训练更是直接把这玩意弄成AI博主必修课了。

尤其是之前Code video主要还是用来做一些数据新闻视频和MG动画,自从Fable 5.2出来之后,基本上只要是个视频就能靠模型写代码来做,扩散模型不存在了。

所以TapNow赶在此时发布Code video的Agent,确实是蹭上热乎的了。

名字倒也很直给,就Fable 5.2 Lab。

打开网易新闻 查看精彩图片

我用这个Fable 5.2 Lab做了两个案例,一个是数据动画:用科普视频的风格呈现美国中期选举共和党落败的原因。

把提示词发给它之后,没一会就做好了。

然后我发现视频开头有个问题,「特朗普没参选」几个字盖住了美国地图,不符合人民第一性原理⬇️

打开网易新闻 查看精彩图片

于是我把修改的需求发给Fable 5.2 Lab,它立刻开始修改。

而且由于这是一条Code video,所以根本不需要使用视频模型,直接从代码层面精细化施工就可以。

打开网易新闻 查看精彩图片

既能确保准确性,又省token,这Code video确实太伟大了。

最后成品如下,从画面到配乐都是Fable 5.2 Lab一手完成的⬇️

当然做数据动画有点简单和常规了,Code video逆向视频和白模搭建的能力也很强,所以我也从这个角度测一下Fable 5.2 Lab的水平。

于是我把一段猫女戏耍蝙蝠侠的抖音混剪视频发给TapNow,让它使用Fable5.2 lab功能,通过three.js把原视频逆向为3D白模视频,然后通过白模参考功能复刻原视频的机位、动作和剧情,完成二创。

这个原视频的剧情是猫女偷走了蝙蝠侠祖上的项链然后逃之夭夭,我的二创逻辑很简单,就是把项链换成了显卡,蝙蝠侠换成了穿皮衣的黄先生。

TapNow先是把我上传的原视频切成数个单一镜头,然后对每个镜头进行逆向和白模搭建⬇️

打开网易新闻 查看精彩图片

搭建好之后,TapNow又设计了角色和二创剧情,撰写提示词,然后通过白模参考功能生成新视频。

经过一番调试,成品如下,我放一个对比视频⬇️

只能说分毫不差啊,安妮海瑟薇看了也得报警。

最后我想说,TapNow这更新确实是从用户体验出发,传统的画布堆技能堆模版好无趣好无聊,TapNow的画布则是一套全新的交互逻辑,配得上言出法随四个字。

而且说句实在的,画布就摆在明面上,是比较好抄。现在TapNow更新的CreativeOS 2.0、Cinemap和Monta,以及针对Code video的Agent,操作逻辑大多在水下,抄袭难度嗖一下就上来了,我替LibTV感到担忧啊。

还有就是TapNow蹭热点是真快,Fable 5.2刚上,哥们就整了个Fable 5.2 lab。我又瞅了眼它们的应用市场,属于火啥上啥,太会上火了。

打开网易新闻 查看精彩图片

但同时我也想说,Anthropic都已经Code2video证明代码都吞噬一切了,现在还帮Code video做agent真有意义吗,这条链路不早晚被达里奥叔叔给吞噬了吗。

不禁感慨,AI应用厂做产品真就是现代意义的龟兔赛跑,想到一个idea跟做出来赚钱的时间窗口其实非常窄。

就像上半年有人炒Vibe motion,下半年Claude就一键生成了,抖音上AI知识科普视频都泛滥成灾了;去年有人炒Vibe gaming,做一些一句话生成小游戏的产品,结果现在ChatGPT网页生成的在视觉上都堪比3A了。

属于是你找到好的应用方向也没用,模型厂只是不想理不是不会做,哪天闲下来就能在解数学题的闲暇之余把你给吞噬了,然后你生意就黄了。

至于TapNow的CreativeOS 2.0会不会被吞噬,我倒觉得思考这个也没意义。反正桌面端先用着,等它快被吞噬的时候,可能哥们都开发出脑机接口CreativeOS 3.0创意直连了

⬇️

欢迎订阅我们的Substack

funeralai.substack.com