新智元报道
真正有记忆力的机器人VLA模型,是什么样子?
先不卖关子了,让我们直接看几个看似很简单的演示。
比如,先盖住不同颜色方块后 ,让机械臂以红绿蓝顺序揭开。
或者,试试它是否可以精准按下不同次数的按钮?
图中的机械臂,全部做到了!
看似简单的能力,其实难倒了业界不少机器人。真正的困难,藏在一个看不见的地方——记忆。
原因就在于,很多机器人根本不记得自己按了几次。
而上图演示中这种原生上下文的能力,当前主流基于单帧反应式的VLA是做不到的。
好在,就在刚刚,面壁智能把具身智能的这块致命短板,补上了!
7月19日,WAIC现场,面壁智能开源了首个具身智能系列模型成果MiniCPM-Robot,包含2个模型:MiniCPM-RobotManip(通用VLA模型)、MiniCPM-RobotTrack(跟踪导航模型)。
其中的MiniCPM-RobotManip,在专门考虑机器人模型的上下文记忆能力RMBench榜单上,达到53.5分的水平,而美国知名 VLA 模型pi0.5只有10.4。
GitHub链接:https://github.com/OpenBMB/MiniCPM-Robot
Hugging Face链接:
https://huggingface.co/openbmb/MiniCPM-RobotManip
https://huggingface.co/openbmb/MiniCPM-RobotTrack
性能比肩行业顶尖
机器人不会5次按钮,因为目前的绝大多数VLA模型,都只有「单帧反应」的能力。
现在大部分团队的做法,是让机器人只根据眼前的这一帧画面来决定动作。
这就导致在「按5次按钮」的任务中,当机器人按完第1次,准备进行下一次推理时,它的大脑是完全空白的。
为什么不给机器人加上「上下文历史记忆」呢?
答案是,算力根本扛不住。
如果要让模型记住历史画面,计算量会呈指数级爆炸。大部分团队无法对视觉Token进行高效压缩。如果强行加上记忆,机器人就会变成「树懒」,动作开始卡顿。
而这,恰恰是面壁智能的统治区。
在考验机器人模型上下文记忆的RMBench上,出现戏剧性的一幕:专用明星模型π0.5,惨遭滑铁卢,得分只有10.4分;而MiniCPM-RoboManip,却一举拿下53.5分,直接碾压。
在LIBERO等传统主流榜单上,MiniCPM-RobotManip同样跻身第一梯队,性能比肩行业顶尖。
面壁智能到底做对了什么?答案是:「视觉Token的极致压缩」。
这款1.5B参数规模的VLA模型,继承了面壁智能在今年5月发布的最新多模态大模型MiniCPM-V 4.6的核心技术优势。
MiniCPM-V 4.6这款模型开源不到2个月,下载量即突破200w+,在多模态基础模型社区十分火爆。
面壁智能学术合伙人、多模态智能首席科学家姚远
通过极致的视觉压缩技术,面壁将VLA模型从「算力饥饿」中解放出来,让机器人在真实物理世界中以更低的成本「跑起来」。
机器人场景下,VLA模型每次推理需处理三路相机画面(双腕部+主视角)加文本指令,并输出动作。若处理过慢,机器人便出现肉眼可见的卡顿,而在物理世界中,这种延迟是致命的。
视觉Token压缩,本质是做精准的「减法」。不经过处理的多路图像会生成海量Token,直接拖垮推理速度。高效压缩能用更少Token承载同等视觉信息,就像高清图转高质量JPEG——画质不减,体积锐减。
数据最直观:MiniCPM-RobotManip单步决策仅需120ms,而pi0.5需234ms——后者时长几乎是前者的2倍。
在处理上下文记忆时,Token的极致压缩让MiniCPM-RobotManip计算成本也大幅下降。
无历史帧输入的pi0.5,算力固定在5.0 TFLOPS,但代价是放弃了历史记忆,模型「忘记过去,只管当下」。
而MiniCPM-RobotManip(流式推理+子任务生成):算力从0.1 TFLOPS起步,随历史帧增加仅缓慢爬升至1.3 TFLOPS(对应120帧)。即便在60秒、1fps的长期记忆场景下,算力也仅约3.3 TFLOPS,始终低于pi0.5的5.0 TFLOPS。
因此,它用超低成本,实现了「带脑子、带记忆」的高级推理。
这就是为什么,它可以让机器人连贯地完成「做三明治」,不卡顿、不遗忘,跟人类一样丝滑。
更妙的是,在处理「上下文记忆」时,它的计算成本几乎不增加。
MiniCPM-RobotManip通过视觉Token极致压缩,让「有记忆」的推理成本和「无记忆」的推理成本基本持平。
拔掉网卡,
这只机器狗还能「死死咬住」你?
在WAIC期间,面壁智能还开源了一个追踪导航模型——MiniCPM-RobotTrack。
面壁的一个真机demo case演示令人印象深刻:一只宇树Go2机器狗紧紧跟随一名指定人员。
接着,工作人员走上典型的无网环境电梯——这几乎相当于直接拔掉了机器狗身上的网卡,没有Wi-Fi。
最后,机器狗和工作人员一起做电梯,达到另一个软网环境:地下车库。
这是业内首个提供真实本地纯无网部署的跟踪模型,而且开箱即用!并且原生适配宇树Go2 Edu机器狗。
可以在开放环境下零样本指令跟随,并且抗各类人物穿梭干扰,同时可以在无网/弱网环境(电梯/停车场)下流畅跟随。
这个仅有0.9B参数规模的模型,基于MiniCPM4-0.5B训练完成,在同类开源模型中性能稳居第一。
在三大典型真实场景维度测试中:它达到以下结果。
STT(单目标追踪):追踪率达到89.81。
DT(干扰追踪,即多目标交叉干扰):追踪率达到73.38。
AT(模糊追踪,指令意图模糊或目标信息不全):追踪率达到80.35。
它不仅全面碾压了开源的OpenTrackVLA,甚至在STT和AT任务上,领先了闭源的、动用了四路视觉且经过RL训练的TrackVLA++ four-view惊人的7.11和16.55个百分点!
一个0.5B的轻量级单视角模型,凭什么能超越前辈大模型?
秘诀在于面壁智能构建的「自进化数据管线(DAgger)策略」。
他们系统化清洗原始数据,剔除仿真器早期产生的异常轨迹、错误动作等脏数据,保障训练数据质量。
在此基础上,首次提出面向具身追踪的DAgger策略:模型先在大规模通用场景上预训练,再持续部署至仿真与真实环境中交互,主动暴露长尾薄弱场景。
系统自动识别短板,定向采集薄弱数据,经专家策略与规则纠偏后迭代训练。闭环迭代不断强化低频复杂场景,显著提升模型在动态环境中的追踪与泛化能力。
只需几分钟,一台刚开箱的宇树Go2 Edu机器狗,跑上一段面壁的一键部署脚本,就能瞬间获得纯视觉、纯本地的自然语言指令跟踪能力,能够在机器狗原生本地算力条件下稳定达到5+ FPS,端到端响应时延约180毫秒。
这是首次实现基于纯视觉方案的本地自主指令追踪。
当下,已验证适用于楼宇巡检、人员陪护、园区安防等结构化环境,证明其可靠性与泛用性。
未来突破,凭借弱网/断网下的自主决策能力,瞄准灾害救援(地震/火灾)与特种作业(对抗/侦察)。在这些高风险场景中,180ms的低延迟是决定搜救效率与生存概率的核心生存力。
从模型到推理框架
面壁这两个模型的推理效率,也得到了推理框架PhyAI的帮助。
推理框架PhyAI是由明体科技(MemBodied)联合北京邮电大学、北京大学共同研发的端云一体、全栈优化的具身智能模型推理建构。
如果说模型是大脑,推理框架就是让大脑高效运转的操作系统。
PhyAI面向VLA(视觉-语言-动作)模型与世界模型(WAM),榨干硬件潜力——
与模型官方仓库相比,PhyAI在NVIDIA GeForce RTX 5090上运行π0、π0.5和GR00T时,分别实现了约2.85倍、1.82倍和2.28倍加速;GR00T在NVIDIA Thor和RTX PRO 6000上也分别实现约1.40倍和4.31倍加速。
通过简洁的API,PhyAI在发布首日即完成了对MiniCPM-Robot的适配支持,并使用CUDA Graph 进行加速,推理帧率从10.20 Hz提升至33.2Hz。
同时,团队还采取了算子融合的方法,将其在NVIDIA H20上的推理帧率进一步提升至36.77Hz。
此次开源的不仅是模型权重,而是完整的技术栈:模型+推理框架+部署方案。
对于开发者来说,这意味着拿到手就能用,不需要重新搭建复杂的感知、规划和控制系统。
对行业来说,这意味着具身智能的研发门槛被大幅拉低了。
下半场才开始,
具身智能是AGI终局的必需品
面壁智能为何布局具身智能?
这不是偶然。AI竞赛下半场的主题之一,是让AI拥有身体,进入物理世界。
面壁智能、智谱等纷纷布局具身智能,是行业趋势。
目前大模型公司都在追求语言层面的通用智能,但物理层面的通用智能才刚刚开始。只有语言层面与物理层面的通用智能同时实现,才能实现真正的AGI。
面壁是一家追求通用人工智能的大模型公司,并选了一条区别于云侧的路线:端侧。终端包括手机、汽车、机器人等等。所以面壁智能布局具身智能,是情理之中。
在WAIC上,面壁智能还展示了与乐聚机器人、吉利汽车等伙伴的产业落地案例——展厅导览、园区巡检、仓储物流……端侧能力在这些场景里不是「加分项」,而是「入场券」。
展馆、园区、厂区的很多角落存在信号盲区。为了保证机器人在任何网络环境下都能稳定干活,恰恰要靠强大的端侧模型来兜底。
这是端侧AI的独特价值:隐私安全、低延迟、无网可用。
此外,得益于过去的基础模型训练经验与技术积累,面壁还有独特的优势:
追求通用智能,而非专用skill;
多模态技术积累深厚,技术底气足。
面壁智能坚持以通用智能为起点,让机器人处理更普适、更流水线、更长程的任务。MiniCPM-RobotManip正是这一理念的产物:先打造通用大脑,再适配多元场景。这与多数具身团队从特定场景出发、由点及面地打磨专用技能的路径不同。
具身智能天然依赖视觉、语言等多模态信息的融合,而这面壁有浓厚的多模态技术积累。
自研多模态模型MiniCPM-V/O系列已迭代两年半,开源下载量突破2500万;MiniCPM-V 4.6开源不到2个月下载量突破200w,在国内外社区影响力广泛。
正是这份多模态家底,让面壁能够快速切入机器人赛道,用视觉Token极致压缩解决了机器人的「金鱼脑」记忆短板。
这家公司用自己的节奏,走出一条独特的端侧AGI之路。
机器人真正「好用」的关键,往往藏在看不见的地方——比如,记得住自己按了几次按钮。
看着能优雅做出三明治的机械臂,我们有理由相信:属于中国机器人的AGI时代,已经开启。
面壁智能具身智能团队热招VLA、世界模型、硬件相关研究及工程岗位,可通过以下二维码投递:
热门跟贴