2026年,从PMTalk出发,我现在带着团队做人形机器人以及脑机接口,利用vision Pro这类空间计算设备,每一次都是感受到了这几年前的科技进步与不可思议。

我们这一代人越来越幸福,可以在空间计算下完成系统程序开发,做一些非常有价值的产品。

相较于普通的App应用,空间计算应用看得见摸得着,并且还能够互动,通过AI模型还能够让这些所谓的虚拟化有生命。

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

我身边的计算机博士生,都开始躺平了

在最近,我越来越感觉现在人类的学习进度已经跟不上AI的发展了,你越花时间学习的东西,AI都可以短短时间超越过你,我身边的计算机博士师兄越发觉得做科研没意义,做出来的东西要么就是没用,要么就是AI就会。

比如我的博士研究是RAG,而3年的博士生涯,RAG从刚出现到现在发展为agent,已经让单模态的甚至是多模态的RAG都变得非常尴尬。

唯一现在AI模型的RAG还能够发挥价值的是在垂直行业领域

但这一点都在被通用模型利用C端的侵入逐步打破。因为通用模型通过人形机器人也在渗透。

一个MR眼镜操作人形机器人的开源框架

今天推荐的这个开源框架是基于MR眼镜来操作人形机器人的系统,是MIT开源的,支持商业化使用,虽然仅支持vision Pro与人形机器人和互动,可以完成机器人的头部追踪、手势追踪完成机器人与人类同步。

打开网易新闻 查看精彩图片

目前开源框架支持下面3个能力

1.真实世界远程

通过支持声音、视频操作,来完成真实世界的远程操作,可以远程操作机器人的手势、与头部姿势。

2.机器人与人类同步操作

让机器人和vision Pro完成同步操作,跟着人类的手势、头部姿势完成行为动作。

3.空间视频存储与直播

通过直播与录播空间视频,完成机器人视野数据录制与直播,随时了解远方情况

打开网易新闻 查看精彩图片

完全自主的人形机器人最难的是物理规律模型:每个物理规律都是一个大模型

相较于自动化驾驶,人形机器人主要是要掌握物理世界这些所有规律,从风速、气压、重力、再到压力、硬度等,这些每一个物理规律都可以作为一个模型,要想机器人在现实世界实时互动,那这些都必须要解决。

否则机器人就像一个纸飞机,只能做一些外部环境固定的场合,而这个就很难通用起来,因为你几乎找不到像自动化驾驶汽车一样有各种交通规则通用的地方,并且道理很简单就是不要触碰到任何真实物体。

而机器人是需要去操作触碰任何物体

MR眼镜加人形机器人加空间AI模型,几乎是唯一的一个过渡方式,全自动化的机器人的通用模型就算可以训练出来,但是要达到亚毫秒级别的延迟,但是通过人类驱动的机器人则是可以达到这种水平,而人类操作机器人最好的终端不是遥控器,而是MR眼镜。

通过共享视野以及共享操作,再加上非常低的网络延迟,就可以实现机器人像人一样的行为动作操作。

今天的分享就到这里

开源地址,在公众号后台留言回复:visionPro,将获得这个开源框架。

题图来自 Unsplash ,基于 CC0 协议, 如有侵权,请联系pmtalk123删除

“分享产品经理改变世界的点滴”

产品顾问| 产品咨询|培训合作

请添加微信PMxiaowanzi

最近我的原创

每日案例拆解库,AI等产品打卡群

我创建的产品设计打卡社群,加入后365天,每天体验一款APP。提升产品设计能力,同时有1300份体验报告帮助你找到竞品

在这里你可以随时查询到你想找的各类竞品行业APP,无须自己亲自下载就可以马上得到APP的一手产品优化、交互设计、功能描述信息。

从优化&建议、商业模式、运营、功能描述、交互设计、产品定位至少6个维度,体验一款应用。

平均1天1块钱,扫码购买即可加入

连续体验48款应用,通过后原路退回

报名后添加星球助理

PMTalk123