编辑|+0
近期,具身智能领域俨然是神仙打架。
先是 Generalist AI 发布 GEN-1 引发行业震动,以极高的数据效率和闭环控制能力刷新了各项操作纪录。
两周之后,具身赛道的另一位重量级玩家 Physical Intelligence 也发布了新模型 π 0.7,主打「组合与泛化」,实现了对 VLA 架构的进一步升级。
尽管两者的技术哲学迥异,但它们都在试图解决同一个核心痛点:数据。
在语言模型的发展历程中,GPT-2 之所以成为关键里程碑,是因为它让语言模型不再依赖少量高质量标注数据,进入了持续 Scaling 的时代。
但在具身智能领域,这个问题尚未被真正解决:机器人,该怎么把这些乱糟糟的真实世界数据「吃」进去?
就在这一背景下,银河通用联合清华北大英伟达等众多机构联合发布了跨本体「隐式世界-动作基础模型」LDA-1B,将目光投向了具身智能 Scaling Law 的这个终极命题:如何让模型有效利用互联网规模的异构数据。
简单来说,LDA-1B 是一个在隐式空间中统一世界模型与 VLA 的基础模型,凭借对异构数据的全面整合,它处理了超过 3 万小时的各类具身数据,最核心的突破在于:无论是虚拟与现实的数据(虚实共融),人类操作与机器采集的记录(人机混合),优质示范与低质量的「脏数据」(质量参差),甚至是有无动作标签的素材,它都能实现统一且有效的利用。
换句话说:一个模型,开始能够「充分利用全部数据,并让所有数据各尽其用」。
LDA-1B 核心架构总览:通过统一的隐空间动力学,实现对 3 万小时海量异构数据的通用摄取。
在 RoboCasa-GR1 基准测试中,LDA-1B 以 55.4% 的成功率超越 GR00T-N1.6(47.6%)和 π 0.5,并在真实世界灵巧操作与长程任务中展现出显著优势。
值得一提的是,该研究论文已成功被机器人领域顶级会议 RSS 接收(今年仅有 210 篇录用),目前该模型代码已正式开源。
- 论文标题:LDA-1B: Scaling Latent Dynamics Action Model via Universal Embodied Data Ingestion
- 论文地址:https://arxiv.org/abs/2602.12215
- 项目链接:https://pku-epic.github.io/LDA/
- 代码地址:https://github.com/jiangranlv/LDA-1B
喂什么,怎么喂?
要理解 LDA-1B 的突破,首先要看它吃下了什么。
长期以来,真实机器人数据规模有限,人类视频缺乏动作标注,而仿真数据又面临真实性约束,导致不同类型的数据彼此割裂。
这次银河通用的突破,离不开其构建的完整数据基础设施——银河星数(AstraData)。基于这一体系,他们搭建了一个「五层数据金字塔」:囊括了互联网数据(底层)、人类行为数据(次底层)、多本体合成仿真数据(中间层)、真实遥操数据(高层)以及真机自主运行数据(顶层)。
为了支撑这个 1.6B 参数的基础模型,研究团队基于这套体系构建了极具规模的通用具身交互数据集EI-30K
但在把数据喂给模型之前,有两个棘手的问题必须解决。
第一个问题是格式与动作对齐。
机器人数据和人类数据来自不同设备,执行器更是五花八门(夹爪、灵巧手、吸盘)。团队不仅将其全部转换成标准的 LeRobot 格式,更首次系统性地提出了「统一末端执行器动作空间」的跨本体解决方案。
对于机器人,这被定义为 6-DoF 末端执行器位姿加上夹爪宽度或灵巧手关节;对于人类,则是 6-DoF 手腕位姿和完整的 MANO 手部参数。
这使得模型不再需要去死记硬背「某台机器人的关节怎么动」,而是将所有动作统一映射到「手如何与物体发生作用」的物理本质上,为跨本体泛化扫清了障碍。
第二个问题是,数据质量良莠不齐,怎么用?
传统做法是只用专家数据,把低质量的直接丢掉。LDA-1B 的选择不一样,它采用按质分配,让每一类数据做它最适合的事:
高质量带动作数据:全面参与策略学习和动力学训练,享有最高权限。
次优 / 嘈杂动作数据:不参与策略学习,专门用于动力学和视觉预测训练。动作做错了没关系,杯子掉在地上、重力导致的碰撞等物理规律是真实可靠的。它通过动力学分支从这些低质量数据中汲取有效信息,实验显示,加入 30% 的低质量轨迹后,模型任务成功率反而提升了 10%。
无动作纯视频:主要是人类第一视角视频。它们全被投入到视觉预测任务中,让模型在没有动作标签的情况下,纯靠「看」来吸收关于物理世界如何自然演化的视觉先验。
这带来的变化非常大:低质量数据不再是废料、无标注视频也能直接参与训练。
正是这种最科学的数据分工,让具身智能的数据规模得以直接放大,也真正在逻辑上为通用机器人走向零售拣选、工业搬运和家庭服务等大规模商业部署铺平了道路。
VLA 和世界模型,能不能不二选一?
有了海量数据,接下来就是用什么模型来消化它们。
过去几年,主流答案是前文 π 0.7 所代表的 VLA:看图、听指令、输出动作,链路干净,响应也快。但它本质上是在做海量数据的模式匹配,缺乏真正的物理常识。一旦遇到重心偏移、摩擦力突变等没见过的物理边界情况,就极易翻车。
另一条路是世界模型。它不急着输出动作,而是先在脑子里预测未来:如果我这么做,世界会怎么变?但在「如何表征这个世界」上,大多世界模型主要侧重像素级视频的生成,虽然视频逼真,但物理动力学并不是学习的重点
LDA-1B 的思路,是干脆别选了,直接在隐空间里深度融合。
它引入了将 World Model 与 Action Model 统一的WAM框架。虽然这一方向如今已是大热点,但早在 2025 年 3 月,银河通用就发表了论文,在全球范围内首次对 WAM 的概念进行了结构化定义。
LDA-1B 正是这一前瞻路线的自然延伸,它让模型在统一框架下同时学习四类能力:策略学习、前向动力学、逆向动力学、视觉预测。
从命名就能看出这一点——Latent Dynamics Action Model:隐空间中建模世界的状态变化,同时直接输出可执行的动作策略。
怎么实现「一个模型,四种能力」?
具体到执行层面,LDA-1B 是如何让一切运转起来的?答案在于三个统一。
第一步:统一任务形式
在 LDA-1B 里,策略学习、前向动力学、逆向动力学与视觉预测全部被改写成同一种形式:预测未来的状态 + 预测未来的动作。
为了在同一个网络里搞定这件事,模型引入了「任务嵌入(Task Embedding)」和「寄存器 Token(Register Token)」机制 。
通过激活不同的 Task Embedding,模型可以在四种模式间灵活切换 。比如专心做「策略控制」时,就用一个视觉 Register Token 占住未来画面的坑位,全力推演动作;做「视觉预测」时则反过来 。
这也就是说,模型不再死板地划分「控制」和「建模」。通过巧妙的 Token 切换,所有的任务都被转化成了同一道「填空题」的不同变种,在同一套网络底层里自如流转。
第二步:统一表征空间
统一任务之后,还有一个问题:在哪个空间里统一?
LDA-1B 的选择是:不用像素,用 DINO latent。
传统的像素级模型或使用 VAE 重构的隐空间,很容易将物体的几何结构、外观和动态变化糅合在一起(比如把算力浪费在预测背景墙纸的光影变化上),导致大规模训练效率极低。
DINO 特征的特点是:对杂乱背景不敏感,但对物体的语义和空间几何结构极度敏感。这让模型在推演物理规律时,能专注于「物体的交互与状态改变」,而不是外观本身。
换句话说:LDA-1B 不是在「看世界」,而是在「理解结构化的世界」。这一步从根本上决定了它为什么能 Scale。
第三步:统一模型架构
统一任务 + 统一表征之后,最后一步:用什么模型去学?
LDA-1B 选择了多模态 Diffusion Transformer(MM-DiT)。它同时处理两条流:动作序列和未来视觉,通过共享注意力机制让两者互相影响。
一句话总结就是:动作和视觉是分开的,但「思考过程」是共享的。
这带来一个很关键的效果:模型在预测动作时,会参考「未来世界会变成什么样」;在预测世界时,也会考虑「动作会带来什么影响」。
其本质就是:把因果关系写进了注意力结构里。
三步加在一起——统一任务形式、统一表征空间、统一模型架构——让模型在同一套框架里,同时学会「怎么动」和「世界会怎么变」。此时,它才真正拥有了一个统一的「大脑」:既能做敏锐的行动者,又能化身精准的预测家。
理论讲完了,看看实战效果
在实验部分,LDA-1B 在多个维度上展现了这种一体化架构带来的降维打击。
得益于这种结构化隐空间带来的一体化架构,LDA-1B 无论是在任务成功率还是泛化表现上,都以极具说服力的数据,直接秒杀了包括大参数 GR00T 、π 0.5 在内的一众现有模型。
团队做了个消融实验:把 LDA-1B 里的 DINO 隐空间,换回传统的 VAE 像素级重构,其他什么都不动。结果:成功率从 55.4% 跌到 20.0%,直接腰斩。所以 DINO 隐空间不是加分项,它是 Scaling Law 能在具身智能上跑通的前提。
走进工厂与家庭
到了真实世界(Galbot 和 Unitree 机器人),LDA-1B 在真实场景中所展现出的「灵性」,才是其最具震撼力的地方。
通过演示视频的,我们可以清晰地看到该模型如何突破传统具身智能的瓶颈,真正解决商业落地的痛点。
面对此前从未出现在预训练数据集中的 Galbot 机器人,LDA-1B 展现了极强的少样本跨本体泛化能力,这改变了以往机器人换个底座就要重新训练周期的困境。
LDA-1B 仅需约 1 小时的后训练数据,就能迅速理解新硬件的动力学特性。这种极高的适配效率,是模型能够从实验室走向零售门店、物流仓库等多元环境的基础。
在典型的长程任务中,机器人需要应对严格的步骤依赖:
接到指令后,机器人必须按序完成叠放、转移、摆盘与加料,任意一步抓取或放置失误都会导致后续全乱;用户改变指令以后,也能理解意图变更并实时调整动作序列,自主纠偏完成新目标。
同时,在高自由度灵巧手方面,面对摩擦力极度复杂的「翻牛排」任务,LDA-1B 凭借对物理常识的深刻理解,实现了超高成功率,证明它不是单纯的动作模仿,而是真正掌握了接触性任务的物理逻辑。
将一排杯子精确叠成金字塔形,每一层的堆叠都依赖上一层的稳定,对双臂协同与力控提出极高要求。
传统模型常因单步误差累积导致全盘失败,而 LDA-1B 凭借在隐空间进行的动力学推演,能够预测动作的物理后果并实时纠偏。
结语
回头看这一波具身智能的浪潮,轨迹和 LLM 的发展惊人地相似。
最早大家手工写规则;后来发现大力出奇迹,开始用海量数据做行为克隆;而现在,单靠模仿已经摸到了物理常识的天花板。银河通用的 LDA-1B 给出了一种很有意思的思路:通过一个统一的模型,把所有异构数据都用好,既能「深思熟虑」,又能「说动就动」,终于能像语言模型一样,从海量异构数据中持续学习世界本身。
目前,银河通用已将 LDA-1B 的核心算法与代码体系全面开源,希望推动行业从封闭优化走向开放共建。更重要的是,这一能力并非孤立存在,它将作为核心的通用数据吞吐与跨本体学习能力,快速汇入银河通用的全人形通用基础模型——「银河星脑(AstraBrain)」中。
在未来的路线图里,团队已经明确了几个关键的进化方向:首先是尝试将视觉表示与隐空间动力学进行端到端的联合学习,不再受限于固定特征;其次是引入更丰富的感知模态,并探索如何自动优化不同质量数据在训练中的分工角色。
文中视频链接:https://mp.weixin.qq.com/s/ShFejS4jjsPwuUME9KYKnw
热门跟贴