12月16日,阿里发布新一代通义万相2.6系列模型,该模型面向专业影视制作和图像创作场景进行升级,新增角色扮演功能,支持音画同步、多镜头生成及声音驱动等特性。
据了解,万相2.6已同步上线阿里云百炼平台及万相官网,企业用户可通过API调用,个人用户也可直接在线体验。此外,据悉该模型也计划近期在千问APP中上线。
据介绍,万相2.6是国内首个支持角色扮演功能的视频生成模型,能够参考输入视频中的角色外观、音色及情绪特征,按照提示词生成单人、多人或人与物合拍的视频内容。该模型在分镜控制方面具备高层语义理解能力,可将用户输入的简单提示词转换为包含多镜头切换的连贯叙事视频,并确保主体、场景等关键信息的一致性。
在技术层面,通义万相2.6通过多模态联合建模技术,对参考视频中的视觉与声学特征进行提取和学习,在生成过程中作为控制条件,实现画面与声音的全感官一致性。此外,该模型单次生成视频时长可达15秒,适用于广告设计、短剧制作等专业场景。
据了解,目前,通义万相模型家族已涵盖文生图、图像编辑、文生视频、图生视频、人声生视频、动作生成、角色扮演及通用视频编辑等10多种视觉创作能力,应用于AI漫剧、广告设计、短视频制作等领域。(袁宁)
热门跟贴