近日,具身智能真实数据采集技术取得重要突破。由蚂蚁数科天玑实验室团队研发的AoE(Always-On Egocentric)持续性第一人称视频采集框架,提出了一种轻量化且低成本的具身数据采集方案。通过一台手机和一个低于 20 美元的颈挂式支架,就可以替代动辄数万美元的专业设备,实现具身智能的高质量数据采集。该技术方案的提出,有效化解了具身数据采集成本高、规模化难的困局。目前,这一技术论文已经在 Arxiv 发布。
随着基础模型持续演进,模型的泛化能力和跨场景适应能力,越来越依赖真实世界交互数据的规模、质量与覆盖范围。AoE的核心突破在于将“人+手机”转化为可持续运行的数据节点,其载体是一款符合人体工学的颈挂式支架,通过机械夹具、磁吸等方式能将手机稳固于胸前,持续采集贴近用户视角的第一人称画面,从而完整记录自然交互过程。
该方案在保持毫米级轨迹精度和90%以上手部关键点识别准确率的同时,实现了数千台设备并发采集与云端自动化处理。实测表明,针对Unitree G1机器人的关电脑任务,仅靠50条遥操作数据时成功率为 45%,而引入200条AoE数据后,成功率跃升至95%。在数据匮乏时,AoE承担了“启动学习”的关键补位角色。
低成本采集只是起点。据论文介绍,蚂蚁数科攻克了“长视频转化为训练数据”的技术难题:该方案通过端侧轻量级视觉模型自动识别手物交互并触发录制,利用大语言 - 视觉模型将连续视频切分为带语义标签的原子动作片段,最终经云端自动标注、过滤与清洗,让手机录制的视频自动转化为高质量、标准化的训练数据。
此外,AOE 还构建了一套端云协同的方案,实现了采集、预处理、清洗、筛选和调度的自动化处理,在降低人工介入的基础之上,提升了整体吞吐量。
记者注意到,蚂蚁数科正大力投入 AI toB。以 AI 落地产业为方向,旗下天玑实验室重点布局 AI+数据,AI+安全,AI+金融及AI+具身智能等领域,加速技术成果转化和应用。2026 开年以来,蚂蚁数科 AI 动作频频,此前宣布成立“大模型技术创新部” ,并计划推出企业级大模型产品。
热门跟贴