打开网易新闻 查看精彩图片

一家激光雷达公司,如今想把现实世界搬进电脑,再让它千变万化。

作者 | 吴雨晴

编辑 | 田 哲

2016年10月,禾赛科技手搓了公司第一台激光雷达,仅仅只能连续工作十分钟。

为了不在展会上掉链子,介绍过程中有人负责把观众的注意力吸引到一边,一旁工作人员趁机把刚修好的雷达换上去,再把出问题的那台拿回酒店。修好一台、换下一台,就这样来回轮转,撑完了禾赛第一次工博会。

十年后的新品发布会上,禾赛科技联创兼CEO李一帆回忆往昔,只是这一次,禾赛带来的不止是一台激光雷达。

近日,禾赛科技推出三维世界数据引擎Kosmo,产品共分为两部分。硬件产品Kosmo One负责把真实空间扫描下来,软件平台Kosmo World则把这些信息加工成可理解、可编辑、可训练的3D资产。

从让机器感知世界,到理解世界,禾赛科技也不再只是一家激光雷达公司。

PART 1

15分钟复制一间房 造出虚拟训练场

车载激光雷达解决的是机器怎么看路的问题,Kosmo想解决的问题是把一个真实空间,完整地搬进数字世界。

Kosmo One承担的就是这个搬运过程的第一步,其集成激光雷达、影像系统和IMU,同时采集空间几何、纹理和设备位姿。

激光雷达负责把空间的骨架量出来,摄像系统补上颜色、材质和光影,两套信息再通过3DGS技术重建成一个可以自由查看的三维场景。

按照禾赛给出的数据,Kosmo One可以做到毫米级几何精度,普通100平方米的室内空间,大约15分钟就能完成扫描。

打开网易新闻 查看精彩图片

过去想把一个真实空间搬进电脑,往往需要摄影、测绘、建模等多个环节,最终再由人工一点点还原。禾赛科技联创兼CTO向少卿在发布会现场举例,在Sharpa机器人的DQ门店项目中,如果沿用传统建模方式,搭出一个可用场景大约需要300个小时,而Kosmo完成采集只需要15分钟。

扫描下来还只是第一步,如果Kosmo One是一台现实世界的扫描仪,那么Kosmo World就类似一台编辑器,能把扫描结果从一份只能观看的3D模型继续变成可以加工的数据。

打开网易新闻 查看精彩图片

比如,一个房间被扫描之后,系统可以识别出里面的沙发、桌子和其他物体,再把它们单独分割出来。原本被沙发挡住、没有扫描到的地毯区域,也可以根据材质和周围信息进行补全。之后,用户还可以移动物体、改变摆放方式,甚至通过提示词把某件物品单独提取出来。

Kosmo还可以同步输出3DGS、mesh和depth等数据,三类数据来自同一个场景并彼此对齐,让机器人看到的、测到的和用于交互的,是同一个世界。

这一步也让Kosmo从复制空间进入了机器人训练。一个真实房间被数字化以后,不再只能被观看,还可以通过改变物体位置、布局和任务条件,反复生成不同的训练场景。

对机器人来说,这类数据恰好是目前稀缺的一环。互联网里有海量图片、视频和文本,但机器人真正进入现实世界后,需要知道的远不止面前的物体是什么,它还要知道物体位置、距离、能否交互,以及周围空间如何分布。

现有几种数据来源,各有短板:二维图片和视频容易获取,但缺少深度、位姿和真实空间关系;纯仿真数据可以大规模生成,却很难把材质、摩擦、形变这些现实细节完整还原;真机遥操作数据最真实,但成本高、效率低,很难快速放大。对行业来说,高质量、大规模、低成本,至今很难同时满足。

打开网易新闻 查看精彩图片

按照禾赛公布的数据,Sharpa机器人在使用相关训练环境后,失败案例降到原来的十分之一,任务成功率提升到99%。

Kosmo提供的信息,可以给世界模型一个现实参照。基于同一个三维空间,还可以继续生成大量训练轨迹。禾赛称,相比真机采集单条高质量轨迹,在同等成本下,这种方式的数据获取效率可以提升百倍以上。

PART 2

从激光雷达 到Physical AI基础设施

如果Kosmo只是服务机器人训练,它仍然只是禾赛从激光雷达延伸出来的一款新工具。但从禾赛给出的合作名单看,它显然想把Kosmo的应用边界画得更广阔。

皮克斯创意负责人曾用Kosmo扫描皮克斯总部广场,再把得到的3D数据接入Houdini和RenderMan。之后相关数据甚至被皮克斯做成了官方教程,供创作者使用。

影视制作需要它,高精度地图和空间服务也可以使用它。禾赛与高德的合作中,首批三维重建的美术馆、画廊已经进入“飞行街景”。

打开网易新闻 查看精彩图片

于是,Kosmo的生意一头仍然是卖软硬件一体化产品,面向机器人、影视、文旅等行业。另一头,则是直接给世界模型和物理AI公司提供规模化的真实世界空间数据。

禾赛把自己过去积累的能力归纳为光机电一体化、自研芯片和大规模精密制造等,而Kosmo想验证的是这套能力能否从汽车供应链继续向外复制。

不过,从激光雷达到物理AI基础设施的距离,并不是简单的几个产品。

禾赛接下来真正要验证的,是这些零散需求能不能汇成一个足够大的市场,以及自己能不能像过去把激光雷达从30多万元做到几百美元一样,再把高成本、低效率的真实世界数据采集变成一件可以规模化复制的生意。

如果这个商业闭环跑通,Kosmo的意义才会真正超过一台新型空间相机,它会成为禾赛从卖传感器走向生产真实世界数据的关键一跃。