就在前段时间 分享了一个针对元宇宙Meta更新的新算法,其叫做3DSAM,支持人像以及现实中任意物体的分割,这项算法可以成为元宇宙与真实世界的底座。

对于做机器人的产品经理,任何机械臂、肢体等,这些要想和真实物理世界能够联动,首先就要把数字世界与真实世界的物品与人物、甚至是物理都一一搬运到数字世界里去。

而现在物品与人物动作等,这些都可以在虚拟世界,通过游戏或者AI合成视频。

合成视频是利用所谓的世界模型来完成视频生成技术,所以现在还在依赖传统机器人训练数据的公司可能会倒闭了

因为对于真实场景产生数据,从而将其数据来分析作为机器人的训练这个方式几乎就是代表着高成本、低效率、并且准确率极高。

如下是现在在大厂楼下,经常有机器人团队与产品经理在楼下 做机器人的各类姿势训练,甚至是还有动作捕捉等,这些就可以完成机器人动作训练所需要的数据采集与测试。

打开网易新闻 查看精彩图片

而其实数据采集的本质数据就是video视频类数据,有空间维度的3D视频,这些视频现在全部都可以通过高斯溅射这类相关技术完成生成。

如下是李飞飞的marble,可以生成世界模型

打开网易新闻 查看精彩图片

如下是字节跳动更新的depth anything3,将其视频可以生成3D

打开网易新闻 查看精彩图片

如下是EMU3.5 ,可以生成任何步骤

打开网易新闻 查看精彩图片

以上这类技术,让现在还在做机器人数据采集不需要再花时间拍摄就可完成机器人动作训练了,因此机器人产品经理的数据训练将会有巨大的变化。

也就是用生成数据完成机器人动作模型需要的训练,从而不需要再去录制任何视频。

在游戏世界里,利用Yolo这类视觉完成人体动作捕捉方案

如下是利用高斯溅射与unity合成的游戏画面,除了合成数据可以用于机器人训练,利用游戏的人物动作来完成机器人的动作训练也是一样的。

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

Yolo这类视觉方案就是将其人类的特有的点位进行特征化,从而得到机器人动作所需要的数据集

所有物理世界所需要的数据最终都会用“数字孪生”的概念来解决, 现在特斯拉已经利用生成真实世界画面完成了各类场景的自动化模型训练,其模型不仅是适用于车本身,还有机器人都可以适用。

特斯拉的自动驾驶还是人形机器人,这些数据都可以通过生成来完成,只要数据符合物理学定律,就可完成。

自己训练自己,人类的自身数据还不能

而现在唯一还不能生成训练的就是人体的数据了,这些具有生理反应与生理化指标的数据,需要采集数据的同时,还需要了解人当时的各类反应,比如我们做脑机接口数据采集,生成的都是脑电数据,而仅仅有脑电数据是无法训练模型的,需要知道这个时候用户在想什么、甚至是在做什么动作,才能得到想要的波形,进行降噪干预。

不过有一些医学数据已经可以达到自己训练了,比如患者的影像数据与诊断报告,两者可以合并就可用让模型自己训练自己,通过将图像数据给模型进行训练 ,模 型通过诊断报告来做数据模型的结果验证,从而完成自己监督学习。

这也是现在在医学领域使用无监督学习方式

如下是现在无监督学习训练医学模型的常见方式,也就是针对人类数据的训练就既需要采集的数据,还需要当时数据的诊断(标注),同时还需要有标准的诊断报告,报告不能是随意或四分五裂的。

打开网易新闻 查看精彩图片

左边是病历数据,获取了之后拿到对应的医学影像以及电子病历,通过模型来识别影像比对电子病历诊断结果完成训练。

在做脑电数据上,就可以采用这种方式来,比如BIDS-EEG,用于诊断癫痫、P300、ERP,他们有标准的数据采集格式与报告。

利用这些数据才能够完成所谓“无监督学习”,让机器自己学习数据,自己训练自己。

以上就是未来的数据训练方式,从需要人参与、录制视频完成的

今天的分享就在这里。

“关注我,一个产品经理的创业故事”

我最近的精选原创

和我一起每日拆解AI产品APP

我创建的产品设计打卡社群,加入后365天,每天体验一款APP。提升产品设计能力,同时有1300份体验报告帮助你找到竞品。

在这里你可以随时查询到你想找的各类竞品行业APP,无须自己亲自下载就可以马上得到APP的一手产品优化、交互设计、功能描述信息。

从优化&建议、商业模式、运营、功能描述、交互设计、产品定位至少6个维度,体验一款应用。平均1天1块钱,扫码购买即可加入,连续体验48款应用,通过后原路退回。

报名后添加星球助理

PMTalk123