Talk预告 | 苏黎世联邦理工学院蒋佳熹：EgoExoMoCap - 基于智能眼镜的轻量化高精度全身动捕数采|egoexomocap|信号|动捕|智能眼镜|机器人|苏黎世联邦理工学院|蒋佳熹

本期为TechBeat人工智能社区第796期线上Talk。

北京时间9月30日(周三) 20:00，苏黎世联邦理工学院博士生蒋佳熹的Talk将准时在TechBeat人工智能社区开播！

他与大家分享的主题是：EgoExoMoCap - 基于智能眼镜的轻量化高精度全身动捕数采。届时他将从 AvatarPoser 出发，介绍 EgoExoMoCap 如何融合第一人称追踪与第三人称视觉，利用两副智能眼镜实现轻量化全身动捕，并讨论其在具身智能数据采集与人形机器人全身遥操作中的应用。

Talk·信息

主题：EgoExoMoCap - 基于智能眼镜的轻量化高精度全身动捕数采

嘉宾：苏黎世联邦理工学院·博士生- 蒋佳熹

时间：北京时间9月30日(周三) 20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

Talk·介绍

具身智能正在面临一个与大语言模型截然不同的数据难题：互联网拥有海量文本，却没有同等规模的真实世界人类交互数据。如何摆脱动捕实验室和专业设备，低成本采集高质量人体运动？EgoExoMoCap 让两位智能眼镜佩戴者互相观察，融合第一人称追踪与第三人称视觉，仅用轻量可穿戴设备实现高精度全身动捕，探索具身智能时代可规模化的人类数据采集方式。

Talk大纲

1. 从“Avatar没有腿”开始：如何用稀疏信号恢复全身运动

从 AvatarPoser 出发，介绍如何仅利用 VR/智能眼镜提供的头部和双手 6DoF 信号恢复全身动作，以及 EgoPoser、MANIKIN 等后续工作如何进一步提升真实场景中的鲁棒性与运动合理性。

2. 从“生成合理动作”到“记录真实动作”

稀疏头手信号可以很好地推断不可见的身体运动，但本质上仍存在歧义：模型生成的动作可以很合理，却未必是人真正做出的动作。另一方面，纯视觉方法在人体可见时准确，却容易受到遮挡和出视野影响。高质量数采需要解决两类方法各自的局限。

3. EgoExoMoCap：两副智能眼镜组成一个移动动捕系统

介绍 EgoExoMoCap 的核心思路：两位佩戴智能眼镜的人既记录自己，也观察对方。自身的 egocentric tracking 提供连续稳定的运动信号，另一位佩戴者的视角提供视觉观测，两种信息互补，实现无需固定外部相机和动捕服的全身运动捕捉。

4. 如何融合 Ego Tracking 与 Exocentric Vision

介绍 EgoExoMoCap 中的关键技术，包括第一人称信号引导的人体定位、跨视角人体表示、可见性感知以及时空信息融合，并结合实验展示系统在遮挡、出视野和复杂真实环境下的表现。

5. 从人体动捕到具身智能数据基础设施

讨论这类技术如何从 VR Avatar 控制进一步走向真实世界人类数据采集，以及在人形机器人全身遥操作等方向的应用。随着智能眼镜和手环逐渐普及，探讨能否让日常可穿戴设备成为具身智能时代低成本、可规模化的数据采集基础设施。

Talk·预习资料

[1] EgoExoMoCap: Distributed Ego-Exo Human Motion Capture 论文链接： https://arxiv.org/abs/2607.15868 代码链接： https://github.com/eth-siplab/EgoExoMoCap 项目主页： https://siplab.org/projects/EgoExoMoCap

[2] A Mobile Robot Hand-Arm Teleoperation System by Vision and IMU 论文链接： https://arxiv.org/abs/2003.05212 代码链接： https://github.com/Smilels/multimodal-translation-teleop 项目主页： https://smilels.github.io/multimodal-translation-teleop/

[3] AvatarPoser: Articulated Full-Body Pose Tracking from Sparse Motion Sensing 论文链接： https://arxiv.org/abs/2207.13784 代码链接： https://github.com/eth-siplab/AvatarPoser 项目主页： https://siplab.org/projects/AvatarPoser

[4] EgoPoser: Robust Real-Time Egocentric Pose Estimation from Sparse and Intermittent Observations Everywhere 论文链接： https://arxiv.org/abs/2308.06493 代码链接： https://github.com/eth-siplab/EgoPoser 项目主页： https://siplab.org/projects/EgoPoser

[5] MANIKIN: Biomechanically Accurate Neural Inverse Kinematics for Human Motion Estimation 论文链接： https://static.siplab.org/papers/eccv2024-manikin.pdf 代码链接： https://github.com/eth-siplab/MANIKIN 项目主页： https://siplab.org/projects/MANIKIN

Talk·提问交流

在Talk界面下的【交流区】参与互动！留下你的打call和问题，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

Talk·嘉宾介绍

蒋佳熹

苏黎世联邦理工学院·博士生

蒋佳熹，苏黎世联邦理工学院计算机科学博士候选人，导师Christian Holz。研究方向为第一人称视觉、人体运动建模与具身智能，关注如何利用智能眼镜等轻量化可穿戴设备感知和理解人的全身运动以及在具身智能领域的应用。早期工作探索利用视觉与 IMU 实现机器人手臂和灵巧手的实时遥操作（IROS 2020），此后的代表工作 AvatarPoser（ECCV 2022）首次通过学习式方法，仅利用 VR 设备提供的头部与双手追踪信号，在世界坐标系下恢复全身运动，无需额外腿部传感器即可驱动全身 Avatar，为 VR/元宇宙中“Avatar 没有腿”的问题提供了解决方案。该方向随后延伸至 EgoPoser、MANIKIN 等工作。AvatarPoser 也被EgoExo4D、Nymeria 等大规模Ego数据集采用为基线，其定义的VR控制全身运动的范式如今也被应用于人形机器人全身遥操作。在 Meta Reality Labs Research 实习期间，他进一步开展 EgoExoMoCap（ECCV 2026 Oral）研究，将第一人称运动追踪与第三人称视觉观测结合，希望利用日常智能眼镜实现轻量化、高精度、可规模化的真实世界人体运动采集，为具身智能提供高质量的人类交互数据。