取下手柄、接住咖啡粉、布粉、压粉、锁紧手柄、放杯、启动萃取,再到出杯、清理粉渣、冲洗手柄、器具归位——一杯咖啡从制作到清洁,机械臂全程自主完成。
这是仙工智能展示的截至目前最长程、步骤最多的机器人咖啡制作任务,全程无需人工参与。它没有将复杂流程拆成孤立的单项动作,而是保留了从准备、制作到清洁的完整过程。
做咖啡不是简单的动作叠加。手柄是否安装到位、咖啡粉是否压实、杯子是否放在合适的位置,都会影响后续操作。机器人既要完成抓取、对准、压粉等高精度动作,也要根据任务进度与当前场景,持续作出下一步决策。
这考验的是具身智能的长程任务能力:将多个前后关联的操作连接起来,从第一步持续执行到最后一步,而不是只完成某个预设动作步骤越多,任务状态的变化与动作之间的衔接就越复杂。
用「实操课」教给模型
教机器人做咖啡,不是写一份几十页的操作说明书,也不是为每个动作设定一组固定坐标,仙工智能的答案是通过真实设备上的操作示范,为模型提供学习素材,更像上「咖啡师实操课」。
先在真实的咖啡机和器具前完成示范,系统同步记录机器人「看到了什么」和「应该怎么动」——相机画面、任务指令、机械臂的位置、运动轨迹,以及抓取和放置动作,都成为训练数据。
在此基础上,仙工智能使用少量真实操作数据,对自研 VLA(视觉-语言-动作)模型进行微调,使模型能够结合当前画面与任务要求,输出相应的动作决策。
训练完成后,还需要在真实设备上反复验证。杯子位置发生变化怎么办?器具没有完全对准怎么办?真机操作中暴露的问题,会用于补充训练数据、迭代模型,逐步提升任务执行能力。
整个过程可以简单概括为:人类示范→数据采集→模型训练→真机测试→补充数据→再次训练
这套方案的另一项看点,是模型面对真实场景变化时的适应能力。机械臂使用通用型夹爪,而非咖啡专用夹具;面对位置和高度不同的咖啡杯,模型需要重新识别场景、判断动作,而不是简单复现固定轨迹。
从真实操作数据中学习,再通过真机验证与迭代,模型逐步获得完成长程任务所需的连续决策能力与场景适应能力。
机器人大脑:从模型决策到机器人真实操作
全自动咖啡制作任务的完成,关键在于机器人大脑——由它将这些决策转化为真实动作。
仙工智能机器人大脑由模型、小脑、神经构成:模型负责看懂场景、理解任务并作出决策;小脑负责运动规划和动作执行;神经通过统一接口与协议连接传感器、关节及执行器。三者协同,让模型的决策落实为机械臂连贯、精准的实际操作。
一杯咖啡看似日常,背后是对长程记忆、高精度操作、全自主执行与场景适应能力的综合考验。从压粉、锁紧到萃取、清洗,咖啡任务展示的不只是机械臂完成了多少动作,更是具身智能如何将场景理解、连续决策与精准执行连接起来,完成一项完整的长程任务。
从单个动作走向完整任务,是具身智能进入真实服务场景的重要一步。
热门跟贴