其实视频Agent的产品逻辑很简单,就是让后台越来越复杂,前台越来越简单。
TapNow之前更新CreativeOS,主要就是把画布藏起来,藏到对话框里,让用户不用在那当纺织工,纯靠打字也能做片子。
当时我觉得这应该就是视频Agent在交互逻辑上的终点了,毕竟确实很难想出来还有什么比打字更方便。
结果最近他们更新了一个CreativeOS 2.0,直接把对话框也藏起来了,用户也不用打字了,纯靠说话口嗨就能当导演了。
纯纯的返璞归真,毕竟你真去北电中戏中传学生剧组混几天,就发现大多数真人导演的核心能力就是张嘴说梦话。
而且这波是真切合AI用户的实际需求了,即当爹当老板使唤下人的需求,有事没事按个空格骂Agent两句,多少钱的年费会员他们也觉得值了。
从这个角度讲TapNow也可以自称Personal agent了,毕竟干的都是秘书的活。
扯远了。那这个CreativeOS 2.0效果实际如何呢?
以及他们同期推出的3D世界引擎Cinemap、AI剪辑系统Monta和针对Code video的Agent——Fable 5.2 lab,我们也都顺便测了下⬇️
CreativeOS 2.0
最近《赛博朋克:边缘行者2》一经上架就广受恶评,所以我准备用TapNow制作一个二创版。
剧情是:大卫是夜之城的外卖员,他当力工赚钱只为了和露娜去月球,但他送得太慢老被扣钱,所以去义体诊所装备了斯安威斯坦,成为了夜之城单王,把钱全都上供给了露娜,结果最后露娜自己去月球了。
于是我直接按住空格,对TapNow口述了我的想法⬇️
我说的时候也没过脑子,纯粹梦到那句说那句,自己回味起来都不知道自己想表达啥。
但过了一会,TapNow直接把片子的提案、画风、场景和角色的参考都给我准备好了⬇️
我确认了人物的形象和故事主线之后,分镜头也有了⬇️
这分镜表看着复杂,其实相当简单。
因为自从有了Seedance 2.5之后,归功于其本身很强的理解和执行能力,以及30秒的最高支持时长,一组镜头完全可以靠一整句提示词一口气生成。
所以TapNow其实只需要把故事写好就行,分镜的事大可以交给模型。而把故事写好也正是TapNow所擅长的。
这个分镜我也没怎么改,直接让TapNow进入到了视频生成阶段。
但在这个阶段出现了一个问题:有一个镜头视频频频报错,无法生成,我也找不到任何原因。
毕竟Seedance 2.5雷点太多,我很难分清问题到底出在大卫的胸肌、露娜的后腰还是天台的扶手。
此时我把一切交给CreativeOS 2.0,让它发挥主观能动性,必须找出到底是有什么问题。
谁曾想,这CreativeOS 2.0直接化身做题家,发起了一场控制变量的对照实验:根据有无大卫、有无露娜、切换场景、切换台词等不同条件,排列组合出不同的提示词并进行视频生成测试,看看到底是谁拖了大家的后腿。
疯狂的实验啊,把我积分耗光了我才发现⬇️
但还真把结论给找到了,说是画风太像原作了,Seedance 2.5有风骨,不做侵犯版权之事。
第一次见到会自查自纠的Agent于是我调整了画风,然后确实就能正常生成了
而且TapNow这头忙着做实验,那头生成视频也没耽误——他们这画布上是多Agent协同办公,一人一个山头互不耽搁⬇️
视频都生成好之后,我想要对其中一组镜头连接进行指导性意见,比较复杂,大意是让前一个镜头的结尾和后一个镜头的开头实现背景不同、主体相同的「相似蒙太奇」,完成丝滑转场。
但这太难描述了,我相信读者看到上面这一长串也不知道我要表达什么。
好在TapNow的CreativeOS 2.0可以通过一边说话一边在画布上做标注、拉箭头来表达需求,字面意义上的指点江山,甚至支持开黑搞群口相声,口嗨体验感拉满。
总之,我就靠这种手语把意思给传达出去了⬇️
结果CreativeOS 2.0听完我这一段狗屁不通的要求,还真把这个镜头给做出来了
我感觉这理解能力超群了啊,建议TapNow深耕toB业务,转型去给沙东国企老板做陪伴机器人得了
Cinemap和Monta
当然,有一些视频,由于运镜过于复杂,光靠我纯说话,CreativeOS 2.0也听不明白。
好在TapNow最近还上线了一个Cinemap世界引擎——你可以在一个3D空间里搭建城市,设置角色,编排镜头,然后生成可供CreativeOS 2.0参考的白模视频。
于是我先在Cinemap搭建了一个我想象中的赛博朋克城市⬇️
然后又把男主大卫扔进城市,给他设计了一条复杂的送外卖路线。
接着把他送外卖的白模视频拖进CreativeOS 2.0,让CreativeOS 2.0参考白模,根据整个故事的画风,还原实景视频。be like⬇️
最后CreativeOS 2.0还真根据这白模视频把这雷霆送外卖过程给复刻出来了⬇️
这样所有的镜头素材都齐活了,只剩下剪辑了。
正巧TapNow也上线了一个内部的AI剪辑工具,叫Monta,使用逻辑和CreativeOS 2.0差不多,纯靠口嗨和划线。
于是我把拼接好的成片发给Monta,让它自行把这个片子剪得节奏更紧凑一点。
Monta就开始逐帧看视频,分析各个镜头的调度和内容,然后重新进行剪辑和整体的排列⬇️
这剪起来比我熟练多了。
只能说从Cinemap到CreativeOS 2.0到Monta,TapNow把视频生成前后的流程给做了一个闭环,保证在每个环节都是AI native的,纯打通了
最后成片如下⬇️
这发红果上力工兄弟们不得看的一把鼻涕一把泪的
Code video
TapNow此次更新的另一个重点,就是他们给Code video做了一个Agent。
Code video其实也火挺久了,毕竟每次大模型一换版本就有人在那测鹈鹕骑自行车,最近Claude的几轮专门针对Code video的训练更是直接把这玩意弄成AI博主必修课了。
尤其是之前Code video主要还是用来做一些数据新闻视频和MG动画,自从Fable 5.2出来之后,基本上只要是个视频就能靠模型写代码来做,扩散模型不存在了。
所以TapNow赶在此时发布Code video的Agent,确实是蹭上热乎的了。
名字倒也很直给,就Fable 5.2 Lab。
我用这个Fable 5.2 Lab做了两个案例,一个是数据动画:用科普视频的风格呈现美国中期选举共和党落败的原因。
把提示词发给它之后,没一会就做好了。
然后我发现视频开头有个问题,「特朗普没参选」几个字盖住了美国地图,不符合人民第一性原理⬇️
于是我把修改的需求发给Fable 5.2 Lab,它立刻开始修改。
而且由于这是一条Code video,所以根本不需要使用视频模型,直接从代码层面精细化施工就可以。
既能确保准确性,又省token,这Code video确实太伟大了。
最后成品如下,从画面到配乐都是Fable 5.2 Lab一手完成的⬇️
当然做数据动画有点简单和常规了,Code video逆向视频和白模搭建的能力也很强,所以我也从这个角度测一下Fable 5.2 Lab的水平。
于是我把一段猫女戏耍蝙蝠侠的抖音混剪视频发给TapNow,让它使用Fable5.2 lab功能,通过three.js把原视频逆向为3D白模视频,然后通过白模参考功能复刻原视频的机位、动作和剧情,完成二创。
这个原视频的剧情是猫女偷走了蝙蝠侠祖上的项链然后逃之夭夭,我的二创逻辑很简单,就是把项链换成了显卡,蝙蝠侠换成了穿皮衣的黄先生。
TapNow先是把我上传的原视频切成数个单一镜头,然后对每个镜头进行逆向和白模搭建⬇️
搭建好之后,TapNow又设计了角色和二创剧情,撰写提示词,然后通过白模参考功能生成新视频。
经过一番调试,成品如下,我放一个对比视频⬇️
只能说分毫不差啊,安妮海瑟薇看了也得报警。
最后我想说,TapNow这更新确实是从用户体验出发,传统的画布堆技能堆模版好无趣好无聊,TapNow的画布则是一套全新的交互逻辑,配得上言出法随四个字。
而且说句实在的,画布就摆在明面上,是比较好抄。现在TapNow更新的CreativeOS 2.0、Cinemap和Monta,以及针对Code video的Agent,操作逻辑大多在水下,抄袭难度嗖一下就上来了,我替LibTV感到担忧啊。
还有就是TapNow蹭热点是真快,Fable 5.2刚上,哥们就整了个Fable 5.2 lab。我又瞅了眼它们的应用市场,属于火啥上啥,太会上火了。
但同时我也想说,Anthropic都已经Code2video证明代码都吞噬一切了,现在还帮Code video做agent真有意义吗,这条链路不早晚被达里奥叔叔给吞噬了吗。
不禁感慨,AI应用厂做产品真就是现代意义的龟兔赛跑,想到一个idea跟做出来赚钱的时间窗口其实非常窄。
就像上半年有人炒Vibe motion,下半年Claude就一键生成了,抖音上AI知识科普视频都泛滥成灾了;去年有人炒Vibe gaming,做一些一句话生成小游戏的产品,结果现在ChatGPT网页生成的在视觉上都堪比3A了。
属于是你找到好的应用方向也没用,模型厂只是不想理不是不会做,哪天闲下来就能在解数学题的闲暇之余把你给吞噬了,然后你生意就黄了。
至于TapNow的CreativeOS 2.0会不会被吞噬,我倒觉得思考这个也没意义。反正桌面端先用着,等它快被吞噬的时候,可能哥们都开发出脑机接口CreativeOS 3.0创意直连了
⬇️
欢迎订阅我们的Substack
funeralai.substack.com
热门跟贴