IT时代网7月15日消息,小米正式发布并开源Xiaomi-Robotics-U0,一个拥有380亿参数的多模态自回归具身生成基础模型,打通了机器人图片和视频数据的生成与编辑全链路,让具身训练数据进入大规模生成时代。

Xiaomi-Robotics-U0是具身领域首个统一覆盖四类核心任务的生成模型:具身场景生成、具身迁移、机器人交互视频生成以及通用文生图和图像编辑。过去具身生成往往"一个任务一个模型",各模型相互割裂难以规模化应用。U0采用统一的多模态自回归框架,可根据文本描述为指定机器人本体生成多视角初始场景,将已有轨迹迁移到新环境,还能基于初始观测和操作指令生成后续视频。

为保证生成质量,小米设计了五维解耦结构化控制范式,从工作区、前景操作物体、前景无关杂物、光照、背景五个维度实现精准可控生成,确保多视角几何一致性、机械臂位姿不因背景替换而错位。当前支持方舟无限、智元G1、智元G2、松灵PiPER四种机器人本体

在效率方面,通过FlashAR+推理加速方案,生成效率较原始自回归范式提升近83倍。在WorldArena评测基准上,Xiaomi-Robotics-U0在全球126个参评模型中位列第一。真机评测中,在未知光照、陌生背景等分布外场景下,使用U0扩增数据训练的策略任务完成进度显著提升。

相关代码与模型权重已全量开源,开发者可通过小米机器人官网获取。该模型使规模化生成具身训练数据有了可控且高效的解决方案,覆盖危险、极端、长尾等真机难以触达的环境。

打开网易新闻 查看精彩图片

图:小米开源Xiaomi-Robotics-U0宣传海报

注:本文中包含AI辅助创作的内容。