视频生成有个老难题:角色一致性

这个问题,之前一直没被很好的解决,直到 Sora 2 推出了 Cameo,才算是有个被认可的东西

比如下面这个,Sam 禅位 CEO 给我

12月16日,阿里发布万相 2.6,支持了角色扮演
从模型的角度,是目前最接近 Cameo 的

同一时间,千问集成了万相

 社区上,出现了很多「角色扮演」的成片 角色扮演
打开网易新闻 查看精彩图片
社区上,出现了很多「角色扮演」的成片 角色扮演

万相2.6 把这个能力叫「角色扮演

123

给模型一段参考视频,它能提取里面的角色外观、音色、动作特征,然后按照你的描述生成新视频

角色在新视频里保持一致

同时支持多人合拍:两个角色在同一个视频里互动,各自保持一致

还支持智能分镜:输入一段描述,自动拆成多个镜头,镜头之间角色、场景、氛围保持统一

角色扮演:潮酷女在咖啡厅说「周末不用上班真舒服」

多镜头叙事:香水广告,三个镜头切换,主体一致

基于这个,模型现在可以生成连贯的多镜头叙事,角色从头到尾是同一个人。当然,除了视频,万相也能生图:

打开网易新闻 查看精彩图片

万相生图:8-bit像素艺术风格,复古街机美学 , "通义万相" 字体 ,游戏UI界面构图 ,鲜艳RGB高亮色,CRT屏幕颗粒质感,80年代怀旧游戏场景

现在,万相2.6 已上线万相官网和阿里云百炼 API

千问 App 是 C 端首发

千问首发

万相2.6同步上线了千问App,功能叫「AI小剧场

把专业能力封装成了产品:
选模板选角色输入描述生成视频

 千问App界面,左下角是AI小剧场入口
打开网易新闻 查看精彩图片
千问App界面,左下角是AI小剧场入口

支持和朋友合拍、和IP合拍、一键翻拍别人的视频,这里放几个我做的,给大家看看效果

林黛玉:葬不了花

陈浩南:出不了门

当然,你也可以搞个这个,hhhhh

免费,1080P,最长15秒,昨天上线

万相和千问

万相是阿里的视觉生成模型,来自通义实验室

今年 9 月,万相 2.5 发布
这是国内首个音画同步的视频生成模型
LMArena评测图生视频国内第一

 万相2.5,发布于云栖大会
打开网易新闻 查看精彩图片
万相2.5,发布于云栖大会

千问 App 是阿里的 C 端 AI 助手
虽然叫千问,但背后调用的不只是千问模型
万相、百聆(语音)都接进来了

 千问App
打开网易新闻 查看精彩图片
千问App

阿里的模型,在在语言和视觉上都挺能打的。现在 APP 也开始大力搞了,模型+应用端其发力,未来可期

以及...千问、万相、百聆...这些名字,很有节奏

体验入口:千问App → 左下角「AI小剧场」

万相官网:tongyi.aliyun.com/wan