公众号记得加星标⭐️，第一时间看推送不会错过。
未来的相机传感器可能不再是被动成像设备。一项由Meta公司支持的最新研究项目提出了一种截然不同的图像采集方法，该方法基于一种三层堆叠式计算传感器，能够在将图像处理直接集成到传感器内部的同时，实现接近20档的动态范围。尽管原型尺寸很小，但其对电影摄影机、计算摄影和人工智能成像系统的未来影响可能非常巨大。
这篇题为“A 400×400 3.24µm 117dB Dynamic Range 3 Layer Stacked Digital Pixel Sensor”的论文在ISSCC 2025上发表，ISSCC是全球最重要的半导体会议之一。该研究由Brillnics公司与Meta公司合作完成，揭示了未来成像的发展方向，在这个方向上，图像传感器和图像处理器之间的界限将逐渐消失。
一种不同类型的图像传感器
乍看之下，这款传感器本身似乎并不特别出彩。原型机的分辨率仅为 400×400 像素，像素间距为 3.24µm。然而，真正的突破并非在于分辨率，而在于其架构。该传感器结合了数字像素传感器设计、三层堆叠结构以及集成的片上图像信号处理器 (ISP)。这意味着传感器不再局限于简单的光线捕捉，而是在信息离开芯片之前，便已在内部主动处理图像数据。这与现代相机中使用的传统成像流程截然不同。如今的系统通常按以下顺序运行：传感器 → ISP → CPU/GPU。这项研究预示着未来传感器内部各环节的边界将日益融合。
为什么 117 dB 动态范围如此重要
论文中最引人注目的规格是其宣称的 117 dB 动态范围。换算成摄影档位，这大约相当于 19.4 档的理论动态范围。1176.02≈19.4档。与大多数现代电影摄影机相比，这个数字非常惊人。然而，更重要的细节在于该传感器是如何实现如此高性能的。研究表明，该架构支持单次曝光 HDR 拍摄，而非完全依赖传统的多帧 HDR 合并。这种区别对于运动成像至关重要。多帧 HDR 系统在快速运动过程中通常会引入重影、滚动不一致性和运动伪影。单次曝光 HDR 架构对于电影和机器视觉应用来说更有价值，因为它能够保持帧内的时间一致性。
传感器本身正在成为处理器
这项研究最重要的方面之一是集成片上图像信号处理器（ISP）。多年来，成像行业一直在逐步向计算摄影和人工智能辅助成像方向发展。智能手机已经高度依赖软件处理流程，但这种架构将计算功能直接集成到传感器内部。未来的发展方向越来越清晰。未来的传感器可能不再仅仅是捕获光子，它们甚至可以在图像到达主处理器之前，对视觉信息进行分析、优化、压缩、色调映射和智能处理。该论文还提到了稀疏数据传输和像素数字处理功能，这两者都与未来的人工智能成像系统和边缘计算架构密切相关。这一发展方向有望显著降低带宽需求、功耗、延迟和发热量。
Meta的参与
Meta公司的参与立即将这项研究的重要性提升到学术半导体工程之外的更高层次。该公司持续大力投资AR眼镜、空间计算、可穿戴人工智能系统以及全天候机器视觉技术。这些未来的设备需要成像系统能够同时提供高动态范围、低功耗、紧凑尺寸和集成计算处理能力。这款传感器似乎完美契合了这一未来发展方向。其功耗表现尤其令人印象深刻。据报道，整个系统在30帧/秒的帧率下仅消耗2.45毫瓦，对于一款能够实现117分贝动态范围的传感器架构而言，这是一个极低的功耗。如此高的效率表明，该传感器更适用于可穿戴设备和边缘人工智能应用，而不仅仅是传统的相机产品。
400×400 的超小分辨率乍看之下似乎对专业成像应用而言无关紧要。但实际上，许多突破性的传感器技术最初都是在小型实验阵列中出现，最终才扩展到更大的商业系统中。背照式传感器、堆叠式 DRAM 架构、先进的 HDR 系统以及全局快门技术都遵循着类似的研发路径。这款原型机的目的显然是为了验证其架构本身，而非与商用相机传感器竞争。关键问题不在于这款传感器是否会被应用到电影摄影机中，而在于其底层架构最终能否扩展到更大的成像系统中。尽管这项研究可能主要针对增强现实 (AR)、人工智能 (AI) 和机器视觉系统，但它对电影技术的影响却令人着迷。未来的电影传感器最终可能会将实时 HDR 处理、计算色调映射、AI 辅助降噪、高级运动分析以及低延迟图像优化等功能直接集成到传感器堆栈内部。但这并不意味着大型传感器的物理特性就此变得无关紧要。传感器尺寸仍然在聚光能力、噪声性能、深度渲染和电影渲染特性等方面发挥着至关重要的作用。然而，成像技术的未来似乎越来越依赖于计算而非光学。索尼、佳能和三星已经积极推进堆叠式传感器架构。这项由Meta支持的研究表明，下一个重大发展方向可能是将传感器作为智能成像系统而非被动式光捕获设备。我们认为，未来相机传感器可能不再仅仅是传感器，而是整个成像流程的核心。
（来源：编译自ymcinema）
*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。
今天是《半导体行业观察》为您分享的第4403内容，欢迎关注。
加星标⭐️第一时间看推送
求推荐
热门跟贴