ECCV2026 | 换个角色也能跟着跳：RASA 把「空间对齐」和「动作语义」拆开做 | GAIR Paper 134|eccv|动作|时序|模态|神经网络

所参考即所动：参考图换角色，驱动不必再做人肉对齐。

编辑丨岑峰

「跨身份、大动作、结构错位、单人驱动多人时，RASA 仍能稳住身份与动作。」

一张参考图、一段驱动视频——听起来简单，但只要角色体型、站位、骨骼比例对不上，生成结果就容易肢体拉伸、人飘出画面，甚至把参考角色的脸和衣服「拧坏」。智象元一（HiDream.ai）提出的RASA，正是冲着跨身份角色动画里这类结构失配问题来的。

核心想法很干脆：把「空间结构对齐」和「运动语义建模」解耦——生成早期先做空间校准，去噪过程中再持续注入与身份无关的三维运动约束。

论文链接：https://arxiv.org/abs/2608.28219

项目主页：https://hidream-ai.github.io/RASA/

现有做法卡在哪

当前主流方案大致两类：一类主要靠二维关键点驱动，实现简单，但跨身份时不显式处理尺度、位置、骨骼比例差异，容易比例失衡、空间偏移、动作发僵；另一类引入 SMPL 等三维参数，动作更合理一些，却常把三维引导和二维渲染捆得太死，早期缺少结构校正，模型也更重。

体感上常见四类翻车：

1.空间结构失配→ 肢体畸变、身份特征被「校准」掉

2.二维姿态有投影歧义→ 穿模、关节别扭、时序抖

3.结构校准和画视频搅在一起→ 偏差越积越大，系统还更复杂

4.评测不够「真」→ 同一人随机扭姿态，测不出真实换角色难度

RASA 要解决的，就是在跨身份前提下，同时稳住身份、结构和动作。

方法：两个模块，两个阶段

图：RASA 总览：SPC 做空间校准，IMG 注入身份无关运动

▎空间先验校准模块（SPC）

不把对齐甩到生成末尾补救，而是在特征进入 DiT 之前，先完成驱动姿态到参考角色结构空间的映射：用帧级空间交叉注意力，把人物尺度、空间位置、骨骼比例自动校准后，再注入视频噪声特征。训练时还会对驱动姿态做平移、缩放、骨骼比例扰动，模拟真实错位。参考图采用 Reference-as-Frame，挂在时序首位，专门负责身份与外观。

▎内在运动引导模块（IMG）

二维关键点说不清朝向、旋转和体积。IMG 从驱动视频恢复 SMPL 参数，去掉体型参数 β，只留运动相关量，编成身份无关的三维运动语义，再分层注入 DiT 中间层。姿态管「大概怎么摆」，IMG 管「关节怎么转、体积和时序怎么跟」。

整体在流匹配（Flow Matching）视频生成框架上训练与推理。

评测与效果

跨身份错位这件事，很多现成评测并不「真」。有的只是在同一人身上随机仿射变换姿态，和真实「换角色」还有距离。团队为此构建了面向真实结构失配的跨身份评测集CIM-Bench：多样化参考角色（写实 / 动漫等风格）与真实动作视频配对，专门考「换身份后还能否对齐、跟动、保脸」。

图：面向真实结构失配的跨身份同动作评测集 CIM-Bench

▎定性对比

图：和其他方法的定性对比图

▎定量对比

在 CIM-Bench 上，相对 Animate-X 等代表性方法：

视频质量 FVD：约 1313 →668
身份一致性 Sim-Arc：0.51 →0.72
面部 Face-FID：约 147 →91
推理时延：约 109s →61s

TikTok 数据集自驱动设定上，图像指标亦整体领先；SPC + IMG 额外参数不到约 1.3B 骨干的 1.52%，开销很小。

图：CIM-Bench 定量对比

图：TikTok 自驱动定量对比

写给创作者

对数字人、虚拟制作、互动内容来说，价值很直接：参考图换角色，驱动不必再做人肉对齐。作为可控角色动画方向的一步，它更接近「所参考即所动」——先摆正，再跟动。

边界也如实说：更适合有清晰人体部位对应的角色；极端非人形拓扑仍难；手部与表情仍较多依赖二维姿态。后续会向更细的手部 / 表情与更广拓扑延伸。

更多结果演示：https://hidream-ai.github.io/RASA/

▎ECCV 现场，团队在 poster 前

ECCV 2026 现场，RASA 团队在 poster 前交流。欢迎扫码或点进项目页查看更多结果。

智象元一，是全球领先的多模态生成式人工智能创新企业，也是国内最早布局多模态生成式 AI 的企业之一，致力于打造下一代原生全模态世界模型，持续向世界模型领域的全球领先企业迈进。

为了方便大家抱团交流、互通会议消息，我们专门建了IROS2026参会交流群！进群你会解锁这些「福利」

会议情报站：投稿 DDL、格式规范、评审进度……关键节点第一时间送达，再也不怕错过 deadline，投稿准备稳稳的。
同行茶话会：天南海北的同行都在群里，聊心得、碰思路、攒人脉，科研路上我们同行。
前沿补给站：最新研究成果、热点方向实时同步，结合会议主题帮你捋清投稿脉络，给论文灵感加满油。
现场后援团：（会议期间专属开启）：到了会场也不用慌——
路线导航：场馆分布、报告厅怎么走，群里随时问；
议题共读：热门 session、Keynote 探讨，错过也能追；
Poster 汇编：现场海报精华整理，一键收藏不遗漏；
约局广场：约饭局、采访局、交流局……想唠嗑、想合作、想面基，群里发起就成。