一款新型机器人基础模型只需看一次持续3到12秒的演示,就能学会执行实体操作任务,然后无需任何梯度更新或微调,就能直接尝试做这个任务。
GEN-1.5 由 Generalist AI 研发,它的设计目标是直接从真实物理示例中学习,无需工程师针对每个新任务重新训练模型。该公司表示,该模型能通过一段简短的感知—运动演示,推断出自己该做什么,然后马上自己上手尝试。
在10项实体操作任务的测试里,只给它看一次演示时,GEN-1.5 的平均成功率达到59%。再用上5分钟针对该任务的数据、跑10个梯度步骤后,其平均成功率提高到83%。
这些任务故意设计得很简单、很短。这些任务包括:拧开玻璃罐盖子、从钱包里拿钱、摞杯子、扫垃圾、翻开书、拉开笔袋拉链,还有把真空吸盘取下来。
机器人靠物理提示学习
GEN-1.5 是一个大型多模态模型,能处理视频,以及传感器数据、语言数据和本体感觉数据。它能在上下文中保留最近 30 秒的信息,并以每秒 100 次的频率生成动作轨迹。
演示本身,就是 Generalist AI 所说的“物理提示”。这种演示可以由人使用手持夹爪来做,也可以由机器人完成任务来产生。把示例放进模型的上下文窗口后,机器人不用先经过训练,就能试着完成这个任务。
该公司表示,他们并没有专门训练 GEN-1.5 去做上下文学习。公司也没有做架构改动、没有加元学习循环,也没有设置旨在让模型即兴发挥的额外目标。
这就让报告中的结果跟传统机器人训练不太一样:传统训练里,一个新任务可能需要大量针对具体任务的数据,还得反复优化。
GEN-1.5 还能把物理提示组合起来。在一次演示中,模型分别看到了两个示例:一个是拉开笔袋拉链,另一个是从里面取钱。然后它把这两个动作串成一段连续动作,中间还生成了重定位(调整位置)和恢复动作,而这些动作在两个示例里都没有出现。
一次演示,多种解法
这个模型还显示出能举一反三的迹象——不只是照搬它见过的具体动作。在仿真环境里录下的一段演示,也能用来引导真实机器人,尽管模型预训练时压根没用过仿真数据。机器人最后做出来的动作,还能适应不同的手型,以及物体位置和大小的变化。
在另一项测试中,有人亲手演示了一项任务,机器人的摄像头能清楚看到整个过程。随后,机器人用自己的机械手照着做了一遍。
Generalist AI 还测试了模型只用少数几个梯度步骤微调时表现如何。GEN-1.5 只用一到五分钟的数据,就能在 1 到 10 步内适应新任务,差不多相当于 10 到 50 次示范。
这个模型有时还能举一反三,做出示范里没教过的动作。它学会用刷子把积木块扫进碗里后,给它一根香蕉,它就拿香蕉当临时刷子用。给它一个簸箕,它又想出了另一招:用簸箕把积木块铲起来,再倒进碗里。
这家公司说,这些行为体现了一种不同的机器人编程思路。以后用户不用给每个新任务写详细指令,只要示范一下自己想要的效果,让机器人自己去琢磨具体动作细节。
热门跟贴