智猩猩AI整理
编辑: 没方
国庆前类Jev快速决策模型特别火,OpenAI 也推出了相似功能的Decisions API,让快速决策再次成为焦点。
那能不能把 Jev 的快速决策能力用到具身智能上,让 AI 真正操控机械臂?
最近,一个名为EmbodiedJev(中文名:行知)的具身智能实验项目开源了,把 Jev 等大模型接入机器人仿真环境,让 AI 在电脑上控制机械臂完成抓取、搬运、堆叠等任务。
该项目不用购买真实机械臂,也不用提前训练机器人模型。开发者只需在本地安装并启动项目,就能通过浏览器操作仿真机械臂。
01
让Jev控制仿真机械臂,
抓方块、叠积木、绕障碍
给 AI 一个任务:把红色方块抓起来,放进蓝色托盘里。
听起来很简单,但对机器人来说,需要完成一连串操作。
系统先获取红色方块的位置,再让模型选择动作,由控制程序驱动机械臂靠近方块、闭合夹爪,将方块抬起并移动到托盘上方,最后松开夹爪。
EmbodiedJev 就是让 Jev 等模型参与这些动作的决策。整个过程可以在浏览器中看到,机械臂如何移动、夹爪什么时候闭合、物体有没有成功放进托盘,都能直观观察。
项目准备了三个任务。
第一个,抓取搬运。让机械臂抓起桌上的红色方块,再把它放到蓝色托盘里。
第二个,方块堆叠。让机械臂把一个方块放到另一个方块上面,就像小时候玩积木一样。但光放上去还不够,还要检查方块是否稳定。
第三个,越障放置。这次难度升级,机械臂不能直接把物体送到目标位置,而是要先抬高,绕过障碍物,再完成放置。
这三个任务,基本覆盖了机械臂操作中的抓取、移动、避障和放置等动作。
项目底层使用 MuJoCo 物理仿真引擎,搭配 Franka Panda 机械臂模型。
所以,这不是简单播放一段预先制作好的动画,而是在物理仿真环境中执行动作。机械臂能不能抓住方块、物体会不会掉落、堆叠是否稳定,都需要经过仿真环境的检验。
02
Jev怎么指挥机械臂?
可能有人会好奇,Jev 毕竟是一个决策模型,又不是专门训练出来的机器人模型,它怎么控制机械臂?
其实,EmbodiedJev 采用了一种比较巧妙的方式:让 Jev 等模型根据环境状态选择下一步动作,再由底层控制程序驱动机械臂执行。
例如,机械臂需要抓起一个方块。
系统会先把当前环境状态告诉模型,包括机械臂的位置、方块的位置,以及夹爪的状态。
需要注意的是,Jev 目前不能直接读取相机拍摄的原始图像,而是通过结构化文本获取环境信息。比如,系统会把方块的位置、机械臂的状态等信息整理好,再交给 Jev 做决策。
模型根据这些信息,判断下一步应该靠近方块、调整位置,还是闭合夹爪。
程序收到决策后,控制机械臂执行动作,再把最新状态反馈给模型。
如此循环,直到完成任务或者达到执行限制。
这就像玩游戏一样,AI 不需要一次性规划好全部操作,而是根据每一步的结果不断调整。
为了让开发者体验不同的控制方式,项目还提供了三种模式。
(1)直接选择预设技能。程序提前准备好一些动作技能,模型只需要判断当前该使用哪一个。
(2)逐步控制移动。模型可以选择机械臂沿 X、Y、Z 哪个方向移动、移动多远,以及什么时候打开或闭合夹爪。
(3)分层决策。模型先确定当前的小目标,例如靠近方块、抓住方块或者移动到托盘,再决定具体动作。相比直接让大模型生成复杂的机器人控制代码,这种方式把决策和底层控制分开,更方便观察模型的实际表现。
项目还支持接入 GPT、Claude 等模型。开发者可以让不同模型执行相同任务,看看谁的决策更快、动作更合理,以及调用成本有什么差异。
03
不用买机械臂,
电脑上就能体验
对于普通开发者来说,EmbodiedJev 比较吸引人的一点,就是不需要购买机器人硬件。
(1)下载项目
cd embodied-jev(2)安装并启动
macOS / Linux:
embodied-jev serve --port 8090Windows PowerShell 命令:
embodied-jev serve --port 8090访问 http://127.0.0.1:8090,运行第一个实验。
如果暂时没有模型 API Key,也可以先使用项目提供的规则基线,体验完整的仿真流程。
想让 Jev、GPT 或 Claude 真正参与决策,再配置相应的模型接口。项目还支持本地 MiniCPM5-2B 模型。
不过,目前 EmbodiedJev 还是一个具身智能实验项目,主要在仿真环境中验证不同模型的决策能力,并不意味着 Jev 已经可以直接控制现实中的机器人。
大家可以点击评论区的项目链接在自己的电脑上动手试一试。
关注+星标,获取AI前沿进展与开源一线动态
热门跟贴