昆仑万维宣布,旗下AI短剧平台SkyReels将于12月10日正式在美国上线。这标志着昆仑万维在全球AI娱乐市场的进一步扩张,同时也将为北美观众带来全新的智能短剧体验。

今年8月19日,昆仑万维发布全球首个集成视频大模型与3D大模型的AI短剧平台SkyReels。SkyReels对视频内容创作流程进行全面颠覆,让创作者从繁琐、复杂的制作流程中解放出来,专注于创意实现与灵感表达,让“一人一剧”的梦想真正成为现实。

SkyReels平台集成了昆仑万维自研剧本大模型SkyScript、自研分镜大模型StoryboardGen、自研3D生成大模型Sky3DGen,以及业界首个将AI 3D引擎与视频大模型深度融合的创新平台WorldEngine。

在过去的几个月中,SkyReels取得了多项突破性的进展。

剧本生成方面,SkyReels丰富了海量的爆款创意模板。其中剧本大模型生成能力大幅提升,尤其是优化了短剧的爽点生成能力,当前生成效果平均在人工剧本评级中可达到A甚至S的评级。

打开网易新闻 查看精彩图片

图丨(部分展示)SkyReels向用户提供的剧本生成库(来源:昆仑万维)

在角色生成方面,研发团队增加了海量的AI演员库,写实逼真。同时构建了细粒度的演员属性标签,基于多模态大模型能力,智能帮助用户找到最适合剧本人物的形象。

打开网易新闻 查看精彩图片

图丨(部分展示)SkyReels向用户提供的角色生成库(来源:昆仑万维)

分镜生成方面,我们将分镜师的专业经验输入至分镜生成大模型,大幅提升了分镜连贯性和故事呈现能力。此外,也基于上下文增强的分镜图像生成,提高了分镜人物一致性。

在视频生成方面,SkyReels基于对分镜内容的精细化理解,构建了更加智能的视频生成智能体,不同镜头类别调度使用不同参数量级的视频生成模型,视频生成成功率大幅提升21%;5s 30fps的视频生成时长从平均5分钟降至平均2分钟级别;精准运镜控制能力得到了大幅增强。

在BGM和TTS匹配方面,我们构建了海量带情感的演员音色库以及短剧BGM库,并基于多模态大模型和我们构建的细粒度标签体系,让匹配精准度提升了35%。SkyReels致力于让每一个演员、每一个视频片段,都能实现更加合理的音色和BGM的匹配。

在视频内容创作过程中,生成速度是影响用户体验非常重要的因素。为了让用户有更流畅的创作体验,SkyReels团队进行了大版本的迭代:实现了10分钟可以完成一键从剧本到角色、到分镜生成和完整的两分钟短剧生成。

此外,还新增3D交互编辑、AI全身动辅、演员教学库、演员衣橱、人物定制能力等特色功能:

•3D 交互编辑:实现在web端实时3D交互,进行分镜画面和人物的精细编辑和生成。

•AI全身动捕:区别于传统的3D动捕,不依赖任何3D模型,我们支持用户使用任意摄像头或者视频,驱动视频中AI演员的头部表情和口型和全身,让创作者可以精细的教AI演员表演。

•演员教学库:内置了海量的高质量影视演员面部表演和肢体表演的动作库,基于多模态大模型支持智能剧本表演要求,从库中匹配对应的肢体动作和面部表情;也支持用户自定义动作库,实现更加可控的表演生成,让AI演员的表演不再僵硬。

•演员衣橱:基于虚拟试衣的底层技术,我们大胆创新并改造为支持分镜生成,支持用户自定义分镜中演员的服装造型,在分镜中支持服装造型的统一。

•人物定制能力:新增了人物的lora模型定制,实现在分镜和视频中的人物一致性大幅增强。

SkyReels AI短剧平台不仅为专业内容创作者提供了强大的创作工具,更极大地降低了AI短剧创作的门槛,使得非专业用户也能轻松上手。AI视频和短剧的生产形式已经得到了市场的验证,拥有巨大的商业想象空间。

SkyReels AI 短剧平台计划在未来几个月内,通过与北美当地的内容创作者和制作团队合作,进一步丰富内容,提升用户体验。同时,平台也将积极探索与北美各大媒体平台的合作机会,以实现更广泛的市场覆盖。

昆仑万维作为一家领先的人工智能公司,一直致力于利用先进的AI技术为全球用户提供高效的AI产品。SkyReels AI短剧平台12月的北美上线,不仅是公司全球化AI战略的重要一步,也是对北美娱乐市场的一次重要布局。我们期待与北美观众共同开启一段精彩的短剧之旅。