我们日常使用的手机、相机都是 2D 成像,只能捕捉平面画面;如今常见的 3D 成像技术,比如人脸识别、扫地机器人的避障系统,能感知物体的远近和立体形状,但却少了关键的动态感知能力。就像扫地机器人能看清地上的拖鞋,却未必能及时判断滚过来的篮球速度,容易出现 “慢半拍” 的碰撞。
近日,总部位于瑞士苏黎世的 Pointcloud 公司的科研团队在 Nature 发表成果,他们成功开发出一款 4D 成像传感器,除了知道物体的位置,它还能测出物体的速度。
更重要的是,它像 CMOS 相机芯片一样实现了高度集成,让曾经昂贵笨重的 4D 成像技术,有望走进普通生活。
Pointcloud 由前英特尔光子学专家雷穆斯·尼古拉埃斯库(Remus Nicolaescu)创立,目标是将激光雷达(LiDAR)从笨重设备压缩成芯片级高性能 4D 成像解决方案。
五年间,Pointcloud 的成果两度登上 Nature 杂志,2021 年与南安普顿大学合作,首次展示硅光子通用 3D 成像传感器。随后稳步推进工程样品,2024 年发布 192×64 像素短中距样品,并推出开发套件;2025 年升级到更高像素阵列。目前,该公司已获百度风投等多家机构注资。
要理解这个成果之前,我们得先聊聊机器是怎么“看”世界的。
为了让机器像人类一样感知世界,最初是通过我们最熟悉的摄像头。摄像头本质上是在拍照片,它捕捉的是光影和颜色。虽然机器通过人工智能可以识别出那是“红绿灯”或者“行人”,但在它眼里,世界是“扁平”的。它很难准确判断车辆离自己到底是 5 米还是 5.5 米。这种模糊的深度感知,正是自动驾驶早期在面对静止障碍物时频发事故的主因——因为它“看”到了物体,却“感觉”不到距离。
为了解决距离问题,工程师给机器装上了激光雷达(LiDAR)。它像蝙蝠一样,通过向外发射激光并接收回波,计算光速往返的时间来测量距离。这一跃迁让机器拥有了“深度”,世界在它眼中变成了由无数点云组成的 3D 雕塑。但仍存在致命硬伤:它看不出“动态”。
如果你想知道前面那辆车跑得有多快,系统必须像做物理题一样,连续拍下两组 3D 数据,通过计算物体在两次扫描间的位移差,去“猜”对方的速度。这种靠计算得出的结论存在微小的延迟,但在时速百公里的高速路上,零点几秒的延迟往往就意味着生与死的差别。
这项研究所展示的 4D 成像技术,引入了物理学中的“多普勒效应”。简单说,就是当激光射向一个移动物体时,反射回来的光波频率会发生变化。这块芯片在抓取 3D 空间坐标的同时,能瞬间读出这个频率变化,从而直接“看”出物体的瞬时速度。
目前的 4D 成像传感器研发主要包括两条技术路线:4D 毫米波雷达,以及 4D 激光雷达。
在汽车领域,博世(Bosch)、大陆(Continental)、采埃孚(ZF Group)以及以色列的 Arbe 等巨头,都在主推 4D 毫米波雷达。
这种雷达是在传统雷达的基础上增加了“高度”信息,且具备一定的测速能力。它不惧风雪雾霾,且成本已经控制到了几百美元,正大规模装载在 2025-2026 年推出的中高端车型上。但毫米波雷达的分辨率较低,看世界就像隔着一层毛玻璃,能看到有东西在动,却看不清那是谁。
相比雷达,激光(光子)的波长更短,这意味着它能看清极其细微的细节,比如路面上一个小小的石块,或者行人的手势。此前的激光雷达(LiDAR)虽然清晰,但非常“娇气”且笨重。包括谷歌旗下的 Waymo、通用的 Cruise 等都在死磕“固态激光雷达”。大家的目标只有一个:把一整套雷达系统塞进一块芯片里。
这也正是这项研究最令人惊叹的方面,研究人员把超过 60 万个光学元件+电子元件都集成在一块芯片上,体积和普通 CMOS 相机芯片差不多。而且核心是 352×176 的像素阵列,总共约 6.2 万个像素,是之前同类技术的 5 倍。
在设计上,研究团队用了几个 “巧招” 让传感器又强又实用。
单像素 “收发一体”。每个像素又能发射激光,又能接收反射光,不用单独装发射器和接收器,既省空间又避免了光线错位的问题。
硅光子+CMOS 混合集成:用成熟的硅光子工艺做光学部分,再跟标准 CMOS 电子工艺无缝对接。所有驱动、校准、数字接口全长在芯片上,不需要外部一堆分立元件。
智能光开关控制。不能所有 6 万像素同时发激光,那芯片会烧掉。他们在芯片上做了热光开关,像流水线一样轮流给不同像素组发光。而且开关速度超快,不影响帧率。
团队在多种环境中测试了这款传感芯片,以考察其处理不同距离和运动的能力。在扫描场景后,它能将场景重构为由数千个数据点组成的 3D 数字地图。该系统成功绘制了 6-11 米距离内的室内房间地图。
为测试其测距范围,科学家将其对准 65 米外的一栋建筑,其成像能力足以捕捉到窗户和阳台等细节。此外,最高能达到 15 帧/秒,相当于每秒拍 15 张 4D 画面,能实时捕捉运动的物体,比如旋转的圆盘、移动的汽车,不会出现 “拖影” 或数据滞后。
而且激光功率特别低,完全不会伤眼睛,适合装在汽车、手机、机器人上。
目前,研究团队仍需进一步完善这款芯片。比如,引入氮化硅材料,解决硅的功率限制,将单个像素功率提升 10 倍;结合噪声优化,探测距离将从 65 米飙升至 200 米以上,满足高速自动驾驶的核心需求;以及将开关移出阵列,消除画面缝隙,让机器拥有丝滑、全无死角的高清 4D 电影视野。
1.Settembrini, F.F., Gungor, A.C., Forrer, A. et al. A large-scale coherent 4D imaging sensor. Nature 651, 364–370 (2026). https://doi.org/10.1038/s41586-026-10183-6
运营/排版:何晨龙
热门跟贴