本文转载自阿里云
刚刚，阿里云通义万相迎来重磅升级，推出万相2.1视频生成模型，在大幅度复杂运动、物理规律遵循、艺术表现等方面全面提升，并在权威评测榜单VBench中登上榜首。
VBench是视频生成领域的权威评测集，它一共有16个评分维度，从整体一致性、动作流畅度、画面稳定性等方面对模型进行全方位评估。VBench榜单显示，通义万相在运动幅度、多对象生成、空间关系等关键能力上拿下最高分，并以总分84.7%的成绩斩获第一。
精准理解和模拟物理世界是当下视频生成模型的核心难题，现有模型生成的视频在大幅运动、物理复杂场景表现较差，容易生成肢体扭曲、违背物理定律的视频。针对这一难题，通义万相团队采用自研高效的VAE和DiT架构，有效增强时空上下文关系建模能力。
在全新架构下，通义万相在大幅度的肢体运动和肢体旋转场景的视频生成上表现更稳定，即便是花样滑冰、游泳、跳水等运动视频也能保持肢体协调并符合正常运动轨迹。通义万相在文字视频生成上实现了突破，成为首个支持中文文字生成能力、且同时支持中英文文字特效生成的视频生成模型，可满足广告设计、短视频等领域的创作需求。
用户输入：“以红色新年宣纸为背景，出现一滴水墨，晕染墨汁缓缓晕染开来。文字的笔画边缘模糊且自然，随着晕染的进行，水墨在纸上呈现“福”字，墨色从深到浅过渡，呈现出独特的东方韵味。背景高级简洁，杂志摄影感。”
用户输入：“平拍一位女性花样滑冰运动员在冰场上进行表演的全景。她穿着紫色的滑冰服，脚踩白色的滑冰鞋，正在进行一个旋转动作。她的手臂张开，身体向后倾斜，展现了她的技巧和优雅”
在DiT的设计中，全新通义万相使用时空全注意机制，这一机制让模型能够更准确地模拟现实世界的复杂动态；团队还引入了参数共享机制，不仅提升了模型的性能，还有效降低了训练成本；此外，针对文本的嵌入进行优化，实现更优的文本可控性的同时也减少了计算需求。
用户输入：“远景拍摄，塞纳河畔，绚烂的烟花在空中绽放，烟花形成了粉色数字“2025”时镜头拉近特写，然后逐渐消散”
在视频VAE方面，通义万相设计了一种创新的视频编解码方案。通过将视频拆分成若干块（Chunk）并缓存中间特征的方式，代替直接对长视频端到端的编解码过程，实现显存的使用与原始视频长度无关，从而能够支持无限长1080P视频的高效编解码，这一关键技术为任意时长视频的训练提供了新的路径。
用户输入：“一只绵羊正低头在河边饮水。平拍近景下，这只羊有着蓬松的白色羊毛，耳朵垂下，嘴巴轻轻触碰水面。镜头缓缓推进，展示它喝水时的宁静姿态，背景是缓缓流动的河水和远处的绿色草地。”
用户输入：“在餐厅里，一个人正在切一块热气腾腾的牛排。在特写俯拍下，这个人右手拿着一把锋利的刀，将刀放在牛排上，然后沿着牛排中心切开。背景是虚化的，有一个白色的盘子，里面放着黄色的食物，还有一张棕色的桌子。”
目前该模型已全面开放，用户可在通义万相官网直接免费使用，个人开发者和企业用户还可在阿里云百炼调用通义万相API，进一步创造更丰富的AI工具和应用。
版块介绍 —产业之声
紧跟产业发展脉搏，我们汇集行业领袖与企业的真实声音，在算力基础设施的规划与布局、能耗优化、大模型能力发展、大模型评测体系、产业应用案例深入研究、新技术与应用趋势前瞻探索等方面，剖析成功案例背后的逻辑与挑战，并提供基于产业深度洞察的策略建议。同时，我们依托于阿里巴巴集团在人工智能领域的全面布局，分享阿里的AI产业生态和应用的实践落地，探讨技术如何重塑产业格局并推动社会经济的转型升级。
Reading
1、
2、
3、
4、
5、
6、
7、
8、
9、
10、
11、
12、
13、
14、
15、
16、
17、
18、
19、
20、
21、
22、
23、
24、
25、
26、
28、
29、
30、
31、
32、
热门跟贴