打开网易新闻 查看精彩图片

作者|冰拿铁

编辑|星奈

媒体|AI大模型工场

从今年2月OpenAl Sora发布演示视频开启视频大模型时代起,视频领域AI产品呈雨后春笋之势,全面爆发。 不同于至今没有下文、对外仍“犹抱琵琶半遮面”的Sora,国产AI视频大模型及产品却“轻舟已过万重山”,在落地实践中不断打磨、升级,从而达到技术上的“next level”,频频带来新惊喜。

11月8日,即梦AI全量上线视频模型S2.0,速度上,S2.0模型具备高效生成能力,生成5秒视频仅需60秒,相对市面上其他需要3-5分钟的同类模型,让网络梗“零帧起手”照进现实,演绎速度与激情。

效果上,S2.0模型更为稳定,能做到高速交卷的同时“稳定发挥”,动作更流畅自然、画质高度保持。而在定价上,即梦AI也更为实惠,还有免费额度提供。此外,据业内人士表示,近期即梦还有更大的更新动作,P模型或将全量上线。

更快速度、更优画质、更低价格“三管齐下”,无疑将更好地服务视频创作,点燃AIGC爱好者的热情:在过去,即梦就在公共平台掀起“AI创作热”,网友们纷纷出动,从整活到艺术创作,把即梦AI玩出了花——从玩甄嬛传热梗到绘制“AI×红楼梦,AI×敦煌飞天,AI×24节气”作品,打开创意新世界的大门,将AI时代的想象力发挥得淋漓尽致。

那么,这次更新具体带来了哪些新惊喜?一起来看看吧!

一、即梦Show time:速度更快,动作更流畅自然、画质高度保持!

在过去,一众“AI梦想家”早已对即梦的使用方法熟稔于心,并用其制作出众多专业高效的“AI大片”:输入简单的文案或图片,即可生成效果连贯性强、流畅自然的优质视频片段。而多方实测显示,在同类型产品中,即梦AI一直保持领先的生成效果,速度更快,生成的画质也更高清。

此次更新后,即梦在视频分辨率、画质清晰度、流畅性效果等维度均进一步提升,能够生成幅度更大的动作,且动作效果更加自然流畅,细节更丰富,还可以生成生动的微表情、自然的服饰头发等细节。

比如,喂给即梦AI一张妆容和打扮都颇具未来感、科技感的闭眼电子女歌手图片,并输入指令“看向镜头”,考考即梦AI对赛博朋克场景的驾驭能力。

打开网易新闻 查看精彩图片

生成结果可见,女歌手的眼睛炯炯有神,好像在与镜头前的观众互动——这种对眼神的强表现力不仅增强了画面的互动性,也使人物形象更加立体、饱满。同时,女歌手的动作十分流畅自然,无论是头部的转动还是身体的微妙摆动,都十分协调,使得整个视频真实、生动,放在《赛博朋克2077》或同类动画中也并不违和。

这背后的“艺考考点”,则是视频大模型在人物眼神、动作掌控等方面的技术实力。得益于即梦AI在细节捕捉等方面的不断提升,生成结果在情感表达上也更加细腻、真挚。

打开网易新闻 查看精彩图片

接下来,输入一张更具现实感的小姐姐图片,加上提示词“微风吹过发间,并看向远方”:

打开网易新闻 查看精彩图片

从结果来看,小姐姐发丝飘动的效果逼真自然,仿佛真的有一阵风吹过,配上类似“就是这样自信,发动,心动,飘柔”等洗发水广告词也并不违和。这背后是即梦AI在动态效果呈现上的表现实力,使得画面在视觉上充满了动感和活力。同时,在真实人物场景中,发丝随风飘动,精致、细腻,呈现出不同的形态和角度,使视频更具质感。

值得一提的是,站台的背景虚化也较为得当,使人物放到画面场景中同样“不出戏”,形成了一种和谐统一的视觉效果,也让即梦AI在氛围营造方面的技术水平得到了充分展现。

打开网易新闻 查看精彩图片

再接下来,喂给即梦一张小孩哥图片,配上指令“小朋友模仿世界名画”:

打开网易新闻 查看精彩图片

眼熟不?世界名画《呐喊》有Q版了,不能说十分相像,只能说一模一样!

打开网易新闻 查看精彩图片

结果可见,即梦AI在文化底蕴和创意构思方面均展现出了不错的水平,瞬间心有灵犀地get到了小朋友托腮动作和《呐喊》的相似性,并在此基础上“借题发挥”,使得这个案例不仅复刻了名画《呐喊》,也在视觉上呈现出新鲜感和趣味性。

首先,这幅名画的“灵魂”是圆圆的嘴和困惑的表情,而即梦生成的视频中,小朋友“小小的脑袋充满大大的疑惑”,逐渐张开小嘴,表情和动作充满了童趣,一整个“萌萌哒”既视感,真实可爱,不仅增强了画面的感染力,也使得整个场景更具真实感,像是在看自家侄子拍的短视频。同时,即梦AI在捕捉和呈现人物情感方面的技术提升,使得生成的小孩哥在情感表达上更加纯真、自然。

打开网易新闻 查看精彩图片

接下来是“上难度”的一个考题,也是我个人非常喜欢的一个案例——输入提示词“女人,微笑,黑色长卷发,绿皮火车,靠窗,阳光照耀在身上,颜色丰富”,让即梦生成一段具有胶片感的唯美风视频。

打开网易新闻 查看精彩图片

这个案例中,即梦AI在画面质感维度一如既往稳定发挥:女人的黑色长卷发在阳光照耀下呈现出细腻的光泽,既真实又富有艺术性。绿皮火车的质感同样出色,车窗上的斑驳水渍被细腻地呈现出来,细节感、真实感和电影感max。

同时,视频非常流畅自然,女孩的微笑温暖而真挚,仿佛正在享受这难得的宁静时光,与阳光照耀在身上的温暖氛围相得益彰,可见即梦AI在捕捉和呈现人物情感方面展现出了出色的“控场力”。从色彩上来看,画面色彩丰富和谐,从女人身上的服饰到绿皮火车的颜色,再到窗外的远景,都形成了和谐的色彩搭配,不仅增强了画面的视觉冲击力,也使得整个场景更加生动、立体。

打开网易新闻 查看精彩图片

那么,是哪些技术内核支撑即梦AI保持连续、高水准发挥?让我们一起来揭秘吧!

二、技术流、易上手、专业高效:即梦成艺术家“想象力搭子”!

事实上,即梦AI的高速生成与优质画质,离不开其背后的“技术底座”,即豆包视频生成模型依托字节跳动自主研发的DiT(Dynamic Integration Transformer)架构。

在DiT之前,视频界的主流是U-Net架构,存在诸多局限,各个视频模型支持的生成时间大部分为3s~6s,而DiT架构可以生成5s~10s的时长,理论上可以支持更长时间,上限更高。

不止于此,通过高效的DiT融合计算单元,即梦AI实现了视频在大动态场景与多样运镜之间的无缝切,突破赋予了视频变焦、环绕、平摇、缩放、目标跟随等多镜头语言能力,让视频创作更加自由灵动,视觉表达next level。

那么,高性能是不是意味着更高定价?答案是否定的。即梦定价同样实惠,更具“质价比”——用户每天可享有免费生成机会,免费额度用尽后,可选择付费继续使用,且费用比市面其他同类产品更低。

更快速度、更高画质、更优价格下,即梦在应用上更易上手,符合实操场景,正成为艺术家想象力变现的“创意搭子”。在公众平台上,很多用户发帖,表示具体上手应用中时,即梦具备“隐藏菜单”,有其他平台不具备的优势。

首先,有很多设身处地为用户考虑的贴心功能,比如支持首尾帧功能以更可控地维持前后画面一致性,同时提供调整运镜及运动速度参数,最大限度照顾到了实操场景。同时,即梦AI提供故事创作模式,支持一站式生成故事分镜、镜头组织管理、编辑等功能,更为灵活多面,轻松提升创作效率。

而对一个人创作时缺乏灵感的用户来说,还可以在即梦 AI 创意社区结识同好,与其他梦想家共同探索无限的影像灵感,让创意在相互碰撞中激发。

基于此,即梦正不断扩展想象力边界,成为艺术家的灵感搭子。正如此前,即梦 AI 及剪映市场和运营负责人陈欣然所言,AI 进行创作的过程,与传统创作工具体验存在很大区别。AI 创作是动态的过程,过程中由于生成式 AI 本身的随机性,往往会带给创作者惊喜和启发,在激发更多灵感的同时,拓展想象力的边界,成为创作者和艺术家的智能伙伴。

而在更广阔的市场空间,即梦也受到了影视行业的认可。

今年7月初,全国首部AIGC生成式连续性叙事科幻短剧集《三星堆:未来启示录》在抖音上线,即梦作为首席AI技术支持方出现;在和博纳影业合作推出《三星堆:未来启示录》的过程中,即梦AI改进了“视频生成”功能,包括支持24fps、30fps、60fps的补帧以及二倍超分的能力,新增镜头水平移动、上下移动,支持镜头移动的方向和幅度控制等。

不止于专业团队,在当下,即梦AI的风靡,也正推动AI普惠下的全民AI视频热。

三、创意点亮未来:即梦掀起“全民AI热”

2024可以说是AI落地元年,短短一年间,AI正以前所未有的速度渗透到我们生活的方方面面,特别是在艺术创作领域,AI正逐步展现出其强大的“推动力”,让众多艺术爱好者的创作梦想“即刻成真”。

前不久,即梦 AI 联动剪映共同举办了名为“未来影像计划”的短片大赛,大量新时代 AIGC 热爱者云集于此,并涌现了海量奇思妙想。

在此过程中,AI 极大降低了创作门槛。以往,此类创意短片视频往往需要5-10人团队进行协作,且制作周期可能长达1-2个月,在即梦 AI 以及剪映的帮助下,大部分创作者可以独立完成视频的创作,制作时间也缩短至1-2周,能够更为高效地呈现出自己的创意。

这正是AI视频产品的意义和想象空间所在——创作不应该受限于制作成本、风格或者文化背景,而是成为热爱者平淡生活中的英雄梦想。基于此,即梦为创作者提供了探索全新未来世界的有力工具,希望能够成为创作者们最喜欢和信赖的生成式 AI 工具及内容平台,为所有人提供有趣的、快乐的、自由的创作体验,以更广阔的创作空间和灵感启发,帮助用户打开连接现实世界和想象世界的大门。

百尺竿头,更进一步,如今,即梦的升级也将进一步激发全民AI创作热情,让更多金点子落地,以热爱为名,共同拥抱AIGC的星辰大海。心动不如行动,快来上手体验吧!

打开网易新闻 查看精彩图片