打开网易新闻 查看精彩图片

新智元报道

编辑:定慧 KingHZ

【新智元导读】把创作玩成了魔法,SkyReels新版重构AI创作生态:无限画布融合图片、音频、视频,一键啃下多主体互动的硬骨头,让创意无限延展。

如果年老的乔布斯碰到年轻的乔布斯,他们会说什么?

这就是爆火的AI数字人视频制作~

不管是制作商业视频,还是影视级制作,或者二创视频,AI已经彻底颠覆了过去的生产体系。

上面视频效果令人惊讶,角色的口型和发音完美同步,毫无违和感。

而下面这种电影级别的多人多轮对话已经几乎看不出AI的痕迹,太自然了!

以上就是我们用SkyReels最新版制作的多人多轮对话视频。

2024年7月上线后,SkyReels迅速风靡海外,这次发布的是最新版本,使用后的感受只有两个字:强大。

作为业内首个支持单镜头多人多轮对话的数字人模型,SkyReels在识别主体人物、角色一致性等能力都来到新的高度。

你甚至可以直接用SkyReels「拍一部」MV。

就在不到一个月前的国庆期间,OpenAI发布了他们最新的AI视频生成产品Sora 2,着实让AI视频又火了一把。

AI视频生成,已经不是什么新鲜事。

但是如何在最真实、最高频的场景需求中,普通人轻松创作出高质量内容,才是核心竞争力

这次SkyReels新版本重构了用户——AI——作品三者之间的关系,让每个人都能更好地塑造和表现自我。

一句话简单说就是:这次SkyReels打通「图片—音频—视频」全栈,把多主体、多人对话、电影运镜这三个「硬骨头」同时啃到行业第一。

一张画布,无限可能

本次SkyReels更新后,全部的AI功能和多个全球顶尖AI模型都集成于同一个创作空间。

一张画布即是所有工具,一张画布融合图片、视频、音乐等多模态。

在无限画布上,你看到的每一个内容,都是一个活的、可交互的积木——

所见即所得,效果实时呈现。

SkyReels的这种全新的交互模式,让创作告别线性步骤,用户直接进行网状探索。

比如,你只需在同一张画布内,就可以完成上述乔布斯跨时空对话视频的制作。

打开网易新闻 查看精彩图片

一站式创作体验

如何将AI创作体验集成到一起,融为一体,而不是割裂的AI生成内容、生成图片、生成视频?

SkyReels在一张画布中集成了灵感、模板、图片、视频和音频所有功能。

先对话碰撞灵感,再出图,然后直接把图片传入Avatar中实现最终效果。

打开网易新闻 查看精彩图片

SkyReels会自动上传图片中的人物,准确定位角色位置。

打开网易新闻 查看精彩图片

然后就可以给每个角色分配他们「要说的话」,在分配前,你还可以选择角色的配音音色。

打开网易新闻 查看精彩图片

值得一提的是,SkyReels数字人的强大之处在于,你可以选择13个国家的语言,包括了:

汉语、英语、法语、德语、意大利语、日语、葡萄牙语等。

还可以选择性别、年龄和语言风格,比如:

冷淡的/高傲疏离的、亲切的/友善的、迷人的/富有魅力的、优雅的/高雅的、幽默的/诙谐等。

打开网易新闻 查看精彩图片

通过头像、对话提示词和配音三管齐下,SkyReels可以精确控制每个角色的说话时机与节奏,让多角色互动自然流畅,具备真实的对话感。

在这种精确控制下,不管是影视级对话场景、电商双人口播或者二创影视和游戏素材,都变得简单,普通人也可以打造出作品。

除了选择配音,还可以选择录音等自制音频文件,这样生成的视频更具个性化及真实感。

打开网易新闻 查看精彩图片

除了可以用Avatar让角色进行对话。

SkyReels也可以让静态的梵高的名画《星月夜》动起来:

打开网易新闻 查看精彩图片

看到别人的新创意,但苦于自己没有灵感,不知如何创作出类似的视频?

对话「Chat」功能内置超级智能体「SuperAgent」,用AI激发新灵感。

支持图像、视频等多模态输入,比如输入《星月夜》原图和已有视频:

智能体从主题、设定、构图、色彩等多角度思考,生成了另一个版本的《星月夜》:

事实上,与其他AI视频工具定位不同,SkyReels更聚焦工作场景、更加简单易用。

多种方式,真AI生成力工具

针对自媒体、市场营销、电商推广、教育宣传等工作场景,SkyReels集多模态于一身、以AI为先。

他们背后有哪些考量?他们认为,

视觉/音频等GenAI工具还会保持高速发展,而创意永远是连接人与AI的桥梁。

与此同时,创意工具产品复杂度会进一步降低,自然语言与编辑工具会更加无缝融合。

他们希望用户无需学习AI,而只需要使用AI

SkyReels将复杂的模型调用、参数设置都装入了简单的操作,甚至只需点击,就能完成创作。

除了图像变视频、让图中人物开口说话外,在画布中还可以音乐转画面、图像风格迁移、给视频中人物配音。

而且整个工作流是流动的,多种素材、多种需求,一张画布,全部满足。

比如,想做一个「游戏世界观预告」,但现在只有一张概念图:

直接和AI对话,让SkyReels给出建议:

这是一张游戏概念图,如何基于这张图制作「游戏世界观预告」?

在SkyReels的引导下,几乎只要确认一下是否满足需求,就能生成预告:

打开网易新闻 查看精彩图片

此外,还可以生成环境音。

音效+视频一结合,效果一下出来了:

图像生成、音频生成、视频生成……一张画布集成了多种功能,使用体验对小白来说相当丝滑:

打开网易新闻 查看精彩图片

Web端功能更加丰富易用

除了对模型底层能力的升级,这次SkyReels的全面升级带来了全新的Web端UI设计,使用更加方便和快捷。

上面提到的无限画布就是其中一项,SkyReels还提供了丰富的模板和智能体。

专业的事,交给专业的智能体

创作没有思路,怎么办?

针对28个应用场景,SkyReels推出了专家智能体(Expert Agent),只要根据智能体的提示,输入自己的需求,就能得到最终的创意结果。

比如,新店开业,需要一套宣传物料,直接使用「创意活动」(Campaign Creatives),即可快速设计营销活动宣传材料。

打开网易新闻 查看精彩图片

比如,下列3种类型的海报:

打开网易新闻 查看精彩图片

28位专家Agent,精准聚焦高价值的市场营销 、电子商务、创意故事、虚拟形象等领域。

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

比如,电子商务智能体,直出可商用的广告:

打开网易新闻 查看精彩图片

生成故事情节也不在话下:

每个Agent内置专业领域知识库和成熟工作流程,能深度理解行业术语,提供可执行的专业方案。

无需学习复杂提示词,你只需补充关键信息、设定限定条件,如目标受众、视频比例、风格偏好等。

在每个专家场景中,Agent可自动执行多步骤任务,一键生成可直接交付的完整成果,告别零散半成品。

每个Agent都经过深度优化,专注高价值领域,让你:

✔ 无需浪费时间调试通用工具

✔ 开箱即用,精准高效

✔ 显著提升任务效率与质量

专业的事,交给专业的Agent。

如果需求较为明确,SkyReels让内容生产更简单——

得益于AI驱动的视觉内容引擎,无论是智能海报、商品B-Roll,还是音画同出的广告大片,在SkyReels模板中可一键生成。

海报、服装图、视频广告 , AI一键直出

针对功能海报设计、电商服装图制作、商品演示视频以及数字人口播讲解等主流应用场景,SkyReels模板库提供了近10个大类、150余种模板,支持图片与视频的快速生成

打开网易新闻 查看精彩图片

SkyReels横跨图片与视频,专为提升产品的营销转化率与品牌表现力而设计。

图片功能主要为一键「AI海报」和「AI试穿」。

「AI商品海报」可直接复用流行的、高转化的爆款海报,一键套用。

而且和常见的其他模型不同,SkyReels可修改文字——

标题、卖点、价格等文字,均可编辑,完美贴合新需求,灵活调整营销节点。

而「AI试穿」功能,不变形、不失真。不仅效果行业顶尖, 而且支持多件服饰同时试穿——

AI自动推荐「套装」,买家远程即可体验穿衣效果,有效提升客单价。

打开网易新闻 查看精彩图片

AI数字人、动态展示视频、电影级创意广告等商业需求,SkyReels一站全搞定。

此外,SkyReels还提供辅助创意工具箱,让创意不受限制。

一些常用的PS功能,比如商品换背景(智能抠图)、图片风格转换等直接可用。

打开网易新闻 查看精彩图片

不止是PS,利用AI还能自动生成特写、环绕镜头、视频特效(添加滤镜、转场)。

打开网易新闻 查看精彩图片

SkyReels一站式制作商业广告

由于可以对角色视频和音频的精确控制,这给很多商业场景带来无限想象力,比如广告制作。

想象一个场景,让擎天柱为我们推销一款汽油。

首先,使用SkyReels的生图功能生成一系列素材图片。

打开网易新闻 查看精彩图片

在画布中,你可以设置图片比例,还能设置图片风格。

打开网易新闻 查看精彩图片

值得一提的是,在全新的SkyReels上,集成了全球顶尖的AI模型,比如在文生图上就可以调用谷歌最新的Nano Banana模型。

在视频生成模块就可以直接调用Sora 2,还能调用Sora 2 Pro;还有谷歌最新的Veo 3.1等等。

打开网易新闻 查看精彩图片

然后,就可以直接在数字人制作Avatar中直接在生成素材中选择合适的图片,无需脱离当前工作流,操作非常方便。

这就是SkyReels全新升级的无限画布功能,之前已介绍过。

打开网易新闻 查看精彩图片

最终,只需要通过两段提示词+几次鼠标点击,就可以制作一个非常像样的商业化广告。

以上只是一个快速的流程演示,还可以根据需求,在画布上继续微调。

除了多人多轮对话,针对单人的视频也做到极致的控制。

更夸张的是,SkyReels提供了32个运镜组合与镜头运动选项。

打开网易新闻 查看精彩图片

一键延长视频和风格化转换

SkyReels这次更新充分考虑了创作者的诸多创作痛点。

无限画布让我们无需开启多个对话打断思路,而且点击图片和视频结果时,顶部都会出现不同的快捷功能栏。

打开网易新闻 查看精彩图片

可以一步直达所需功能,比如图片可以扩充、移除背景等,下面就是一键将1:1的照片扩充为16:9的照片。

SkyReels会主动理解图片内容,并进行补全。

打开网易新闻 查看精彩图片

而视频则可以继续延长,或者换一个风格,也就是风格化。

打开网易新闻 查看精彩图片

此次SkyReels模型不再局限于「单镜头」的拉长模式,而是基于视频语义和用户 Prompt,智能预测下一个镜头的合理延续与场景内容

比如原视频为1秒的视频,使用提示词「固定镜头,聚焦女人的面部,抬头面无表情地看着镜头」来进行视频延长。

打开网易新闻 查看精彩图片

经过导出后的视频,就具备了电影级别的运镜效果。

打开网易新闻 查看精彩图片

风格化功能,则可以一键将视频的风格转化为辛普森风格、动森风格、乐高风格或者剪纸风格等,满足多样化创作需求。

比如先制作一个身穿粉色披风的蝙蝠侠骑机车的镜头。

打开网易新闻 查看精彩图片

一键就可以把他转变为乐高风格。

打开网易新闻 查看精彩图片

还可以转变为梵高风格。

打开网易新闻 查看精彩图片

或者是剪纸风格。

打开网易新闻 查看精彩图片

还能转化为辛普森风格。

打开网易新闻 查看精彩图片

创作体验非常亦可赛艇,丝般顺滑~

昆仑万维的愿景

当最后一帧画面渲染完成,当普通人也能用自然语言导演「大片」,当创意不再被技术门槛束缚。

这一刻,昆仑万维的愿景已悄然照进现实:未来,无论是个体创作者,还是千行百业,只需轻点鼠标,就能调用AI的无穷算力,让灵感即刻成片,让故事全球同步。

SkyReels认为每个人都能更好地塑造自我,表达自我。

这也是昆仑万维的使命,在All in AGI与AIGC去实现通用人工智能的同时,依然不忘记让每个人更好地塑造和表现自我。

参考资料:

https://www.skyreels.ai/home