Riemann-1.0,一个机器人模型,靠观看大量人类第一视角干活视频,掌握了做家务的本事。

它的训练分两步:先在20万小时的人类日常活动视频上进行了大规模预训练,再拿少量机器人数据微调。结果在RoboCasa-365家庭任务基准测试中,Riemann-1.0把准确率推到了62.6%,达到当前最优水平。

打开网易新闻 查看精彩图片

这项工作的关键发现是,人类视频显著放大了机器人的泛化能力。模型在训练中见过各类家庭的真实动作,即便面对没有在机器人数据里出现过的场景,也能比较从容地完成任务,而不是只会复现固定的动作序列