智东西2月10日报道,字节跳动AI视频模型Seedance2.0,自2月7日开启灰度测试以来讨论热度不减。
连国际知名投资机构a16z的合伙人Justine Moore用Seedance2.0制作出了一段奥运会女子平衡木决赛的镜头,并感叹说:“我们刚刚通过了AI视频模型的图灵测试。Seedance2.0简直不可思议。”
▲Justine Moore体验帖(来源:X)
区块链及数字资产交易公司Binance联合创始人兼首席客户服务官Yi He发推说,Seedance2.0发出后,有朋友制作了有她肖像的短剧视频,并要借此开展一个“六大门派围攻光明顶”的AI自制短剧比赛。
▲Yi He发帖(来源:X)
与光同弛AI创始人、导演刘驰在小红书上发布了其Seedance2.0的体验感受,她说她只用了两张场景图和一张本人的照片,就做出了电影感极强的视频片段,“全程被惊掉下巴”。
▲导演体验帖子(来源:小红书)
小红书AI产品体验博主摸鱼小李发帖称其在1小时内做出了9条可以直接用的TVC。
▲小红书博主发帖(来源:小红书)
一位学习了7年数字电影制作的网友在体验后说,这个模型(Seedance2.0)是唯一一个让他感到害怕的模型,电影行业的所有岗位几乎都要消失了。90%他所学习到的技能,Seedance2.0都能实现。
▲数字电影制作学习者评论(来源:X)
游戏科学创始人兼CEO、《黑神话·悟空》制作人冯骥在体验了Seedance2.0后还专门发了微博,称赞该模型为“当前地表最强的视频生成模型。”并且很庆幸今天的Seedance2.0来自中国。但他也从其中看出了假视频泛滥与信任危机,因为“逼真的视频将变得毫无门槛。”
▲冯骥微博(来源:新浪微博)
但是Seedance2.0也并不完美,在字节Seedance团队发出的飞书文档《Seedance2.0使用手册》中,有用户在评论区中反映,使用同样的提示词和素材,生成的视频在精细化控制上却不太行。
▲飞书文档用户评论(来源:飞书)
并且在一个官方案例中,Seedance2.0生成视频的中文字幕还是会出现老生常谈的中文乱码情况。
▲官方案例错误(来源:飞书)
Seedance2.0在物理规律、动作表现和指令理解等核心能力上较上一代模型有所提升,支持混合输入文本、图片、视频和音频等至多15个参考素材,用户通过自然语言指令即可控制视频的生成。
它不仅能复刻参考素材的构图、细节等,可以实现镜头规划和特效,还支持视频的平滑延长、镜头衔接以及角色替换等编辑功能,不过目前为保护隐私,暂不支持处理真实人脸素材。
智东西第一时间体验了Seedance2.0,Seedance2.0所生成的视频的场景和人物的一致性较高,模型可以主动添加运镜和剪辑,但偶尔会出现“凭空出现”等破绽。(“强到可怕!”字节Seedance2.0灰度测试爆火,黑悟空老板:AIGC的童年结束了)
体验地址:
https://jimeng.jianying.com/ai-tool/home
一、“发朋友圈90%的人都认不出是AI”,从写脚本到出片不到三个小时
自2月7日开放测试以来,有很多网友们都亲自动手体验了Seedance2.0模型。
小红书AIGC博主明義发布了一个由Seedance2.0生成的视频短片,时长1分钟。短片中两个长相相同的的女孩子对向而坐,穿黑色西装的女孩化了精致的妆,语气咄咄逼人。另一个女孩则面色憔悴,透露着害怕的情绪。Seedance2.0很精准地分辨出了两个女生不同的气质、情绪和语气,明義补充说这则短片从写脚本到生成不到三个小时。
接着,明義直接用Seedance2.0生成了一个自己”出镜“介绍上一段视频制作过程的视频,并附上了提示词。网友们乍一看还以为是博主真人出镜,但明義在评论区中回复称,其实连素材都是AI生成的。
播客“三五环”和“半拿铁”的主持人刘飞也在小红书上发布了他用Seedance2.0生成的短剧,剧情为男孩用山东省公务员录取通知回击女朋友父亲。
视频中”父亲“的前后神情和动作都很自然,公务员录取通知文件上面的字也生成准确,没有乱码。刘飞感叹称,Seedance2.0简直是“短剧杀手”。
▲刘飞制作短剧片段(来源:小红书)
微博上,汽车博主滑布李用朋友家的猫咪照片作为首尾帧,分别用视频模型3.5 Pro和Seedance 2.0生成了两段猫咪后空翻的视频。
对比效果显示,老版视频模型3.5 Pro所生成的视频丢失了后空翻细节,没有分镜,睡觉部分猫咪出现穿帮,人类配音也很生硬。
▲视频模型3.5 Pro生成效果(来源:微博)
而Seedance 2.0生成的视频中,有两段猫咪后空翻的镜头,且猫咪在空中翻转、落地的身体形态都没有发生畸变,Seedance 2.0还根据猫咪的习性,添加了猫咪蹭沙发的镜头,让视频更加自然、真实。
滑布李评价Seedance 2.0生成的视频是“发朋友圈90%的人都认不出是AI的程度”。
▲Seedance 2.0生成效果(来源:微博)
AIGC创作者DynamicWang用Seedance2.0制作了一个模仿Nike品牌广告风格的短片,短片中共出现了四位不同族裔的女性,每一位角色的身材和肌肉线条都很符合其所进行的运动的标准,且镜头角度变动后,角色的脸部特征依旧保持一致。
短片中的运镜也十分自然,没有拼接痕迹,慢动作、角度移动的位置都很准确,符合剧情需要。
从第一位体操女孩流畅的翻转跳跃可以看到,Seedance2.0直接攻破了“AI生成不了体操视频”这个难题。拳击女生和跑步女生的汗水以及游泳女生溅起的水花,都没有了此前AI生成的“黏腻感”。
▲DynamicWang制作视频
自媒体博主冰河用Lovart的Skill生成分镜故事板,直接复制到Seedance2.0中,他说该模型所生成的视频比他用ComfyUI做的还细致。
▲自媒体博主冰河制作视频片段(来源:X)
在小云雀App中,也有不少用户都上传了自己用Seedance2.0生成的视频片段。
有李小龙对战日本武士:
▲用户体验案例(来源:小云雀App)
真人版七龙珠:
▲用户体验案例(来源:小云雀App)
还有仙侠竹林对决:
▲用户体验案例(来源:小云雀App)
二、智东西体验:能自动添加运镜,但仍有凭空出现破绽
智东西上手体验了Seedance2.0模型,主要考察模型的自运镜、角色场景一致性和角色替换方面的能力。
Seedance2.0所生成的视频画风、场景和人物的一致性较高,不会发生畸变现象。模型可以根据其自己对剧情的理解添加运镜和剪辑,声效上也可以实现提示词和参考素材的要求。但其所生成的视频还是会偶尔出现“凭空出现”等破绽。
在设置界面,用户可以自行选择所生成视频的比例和时长。Seedance2.0提供中文和英文两种语言,用户还可以选择普通话、东北话、河南话、港台腔、陕西话、粤语和四川话等不同的方言,视频风格、人物形象、音色风格和视频情绪都可以自由选用。
首先我们来试试Seedance2.0在广告片生成上的表现。我们上传了一张可口可乐蜜桃味的海报,输入提示词:
【@图1】中的可口可乐饮料,360度高速旋转2圈后,突然停住蓄力分裂成了3个部分进行展示。随后分解后的可口可乐饮料罐的上中下三部分快速向内旋转合成,一罐完整的可口可乐饮料,3D渲染产品展示特效,动感产品特效展示。
Seedance2.0生成的视频如下:
▲可口可乐广告片(来源:智东西体验)
Seedance2.0所生成的广告片基本符合提示词要求,视频中的可乐罐与素材几乎丝毫不差。但仔细看,视频还是可以看出破绽,比如这一帧有一部分瓶身凭空出现。
▲出现破绽
接下来,我们来试试该模型生成数字人的效果。由于平台合规要求,Seedance2.0目前暂不支持上传包含写实真人脸部的素材,图片和视频素材均不行。
我们不提供素材,仅输入提示词:
特写,焦距50mm,扎马尾的女生坐在窗边,微笑时有梨涡,在咖啡厅的桌面上的笔记本上写着什么,偶尔有思考的停顿,背景虚化呈现,咖啡馆的木质桌沿,柔光打在面部,突出轻松的氛围,咖啡厅中放着钢琴曲。
Seedance2.0生成的视频如下:
▲咖啡厅女孩生成片段(来源:智东西体验)
在生成速度上,Seedance2.0生成一段10秒的视频需要5分钟左右。从视频的画面上来看,在提示词没有说如何运镜的情况下,该模型自动在开头加了一个渐进的运镜,让画面剧情更加自然和流畅。在渐进的过程中,画面中的人物、场景都没有发生畸变,保持了一致性。
最近,一个韩国AI小狗接受采访的视频非常火,我们将视频截图发给Seedance2.0,让它将原图中的小狗换成小猫。
▲AI小狗视频截图(来源:小红书)
可以看到,Seedance2.0生成的视频很完整地保留了参考素材的风格,给小猫穿上了睡衣,并且让小猫双手张开,并不是简单地换头,小三花猫没有被睡衣覆盖的肚子部分也还原了真实小猫崽肚子的质感。
而且,在音频上,Seedance2.0也准确地实现了提示词中所说的25岁女记者和小孩的声线。
▲AI小猫生成片段(来源:智东西体验)
结语:Seedance2.0体验热情依旧高涨,创意的重要性日渐显现
从周末的灰度测试到今天的正式发布,网络上有关Seedance2.0的讨论话题逐渐从其所生成视频的惊艳效果,逐渐转为对影视行业下一步该怎么走的思考。
即使Seedance2.0目前所生成的视频还是会有一些小破绽,彻底改变影视界还言之过早,但Seedance2.0的出现,无疑降低了专业表达的门槛,让更多人有工具可以将想法可视化。
简单来说就是,做视频的门槛,变低了。以往需要一个视频团队所做的工作,如今一个人一台电脑或一部手机就可以完成。
而这时,创意就成了AI时代的重中之重。
热门跟贴