你可试过用手机拍月亮？月亮一直是中国人核心的审美意象，古人在饮酒赏月中抒怀，留下千古名篇。只可惜当时相机尚未发明，不然我想李白杜甫们一定也很有雅兴将相机记录下来，古今同赏一轮月。
以下三幅图是笔者拍摄的月亮，使用的设备分别是2011年的某中古机型、2019年的某标准版机型和今年最新的某旗舰摄影手机。三幅图从模糊到清晰，从抽象到具体，体现了显像技术的飞速发展。
左右滑动可以查看不同清晰程度的月亮~
Hold on！这里有一个问题：大家不觉得最后一张月亮的照片“清晰”过头了吗？从环形山到陨石坑，月亮的阴影纹路看得一清二楚，几乎已经达到了价值数万元的长焦镜头相机的摄像效果。这是因为手机成像硬件方面的巨大进步，还是另有玄机？
相机：束缚重重的“黑箱”
为了搞清楚这个问题，我们得回到相机工作的基本原理上来。关于相机成像质量好坏的判断标准有很多，但在本文中，我们先聚焦在一个指标：分辨率。相机拍出来的照片画质是否细腻，取决于在单位面积内有没有足够多的“色块”来展现拍摄物体的复杂细节。分辨率越高，同时没有各种“噪声”来捣乱，你拍出来的照片就越清晰。
在大家的一般理解中，相机就是一个接收光线的“黑箱”：拍摄物体的光线通过相机镜头收集起来，成在底片上。然后我们只要把底片收集起来，让它“显影”就好了。这样一个基于19世纪技术的关于相机“黑箱”的想象大体上仍然是正确的。它暗示了想要最终获得一张照片所必需的两个环节：一个是成像，一个是显影。前者和光线和透镜组本身的物理性质有关，对应着光学分辨率；后者则涉及光信息的收集和呈现方式，对应着图像分辨率。二者共同决定了成像系统的解析力。
这个比喻唯一不足的地方在于，我们已经不再利用化学试剂，在一个昏暗的厢房里“洗照片”。现代相机往往利用CMOS或者CCD收集光强信号。你可以把它想象成一个格子组成的阵列，光子打到每一个格子上后，光子被吸收，转化为电子的跃迁。这样，光强信息就转化为了每一个格子上的电流信号。我们再通过模数转换器将电信号化为数字信号，成为手机可以理解的“语言”，一张照片才最终呈现在我们的手机屏幕上。
很自然地想到，只要我们把传感器的阵列做的够密，每一个单位面积上都有很多个像素点来接收光的信息，那最后呈现的照片不就可以有超高的分辨率了嘛! 没错，提升传感器的图像分辨率的确是提升最终成像质量的最关键因素之一。手机广告词里常说的“xx万镜头像素”指的实际上就是传感器的图像分辨率，全画幅、半画幅”等专业相机的指标也是基于传感器的面积和密度区分的。
但是手机镜头发展到今天，图像分辨率和画质的提升已经越来越难，几乎到达了瓶颈。这其中的原因是多方面的。首先最现实的因素是，目前的探测器尺寸已经接近物理极限，通过减小元尺寸和增加阵元数量的方式提高分辨率已经十分困难。特别对于某些特殊波段的探测器，如红外探测器，受制作工艺、工作条件、功耗成本等因素的限制，阵列规模仍然较小、像元尺寸较大无法完整记录光学图像的全部信号，从而难以满足对远距离弱小目标精准探测/识别所需要的成像分辨率的需求。
好吧，那我们先退一步。假设半导体工艺足够强，我们能把像素点做的更多更密，是不是成像质量就一定提高呢？也不行，因为每一个“格点”做小了，光打到每一个接收器的信号就变弱了，相应地，噪声就会凸显出来，也就是我们常说的信噪比变低。这也就是为什么使用同样的相机，你夜间拍摄的图片似乎比白天要更“糊”。此外，高密度的探测器阵列会引入光电串扰问题，使得图像质量进一步恶化。
我们再退一步，假设有一些神奇的设计和算法，能让我们的探测器集成的越来越密，同时不发生信噪比降低和串扰，是不是我们的成像就能“无限”地好下去呢？此刻我们发现了一堵高墙，一个受物理法则支配、几乎无法逾越的极限：光学衍射极限。
衍射极限：不可逾越的高墙？
上面的讨论集中在探测器的图像分辨率上，但是相机毕竟首先是一个光学成像系统，它受着物理定律的支配。在大部分时间里，对于日常的摄影光学，你可以放心地将光视作一条条射线经过透镜成像。空间中每一个几何物点对应一个几何像点，而几何像点在概念上，是没有面积的——它可以无限小。
但不幸的是，随着成像分辨率越来越高，以至于和光的波长量级接近的时候，光的波动性开始显现。以至于即使是对于一个理想物点，经过一个没有任何像差的完美透镜成像，也得不到一个理想的几何像点，而一定是一个光斑——这就是艾里斑。艾里斑的直径可以由如下公式表达：
其中
是光的波长，
表示镜头的光圈值。
物理学家瑞利勋爵（Lord Rayleigh）由此提出：当一个艾里斑的边缘与另一个艾里斑的中心恰好重合时，此时对应的两个物点刚好能被人眼或光学仪器所分辨，这就是著名的瑞利判据：
简单的计算便可知，取绿光波长λ=520nm、镜头光圈值F#=1.4，δ=0.89μm；而取F#=5.6时，δ=3.56μm。
此时你会发现，将传感器的像素越做越小的动力消失了——因为传感器像素的大小至少要大于瑞利判据，你才能分辨出空间两点的成像，否则即使像素再密，你得到的也只是一团重叠的、“糊掉”的光斑。而目前的手机像素传感器，实际上已经达到甚至超过了这个极限。以今年发布的某款手机为例，其ISOCELL传感器已经达到了4800万像素，每个像素的尺寸小到了0.8μm，与上面计算的瑞利判据非常接近。可以说，手机摄像的硬件传感器已经基本走到了极限。
(a) 艾里斑的形成 (b)-(d) 瑞利判据的可视化表达
（图片来源：参考文献[1]）
计算成像：是辅助工具，
还是突破极限的“神剑”？
结合以上知识，这里可以回答文章最开始的问题了：受限于手机相机的像素尺寸、调焦的范围，以及光学衍射极限的限制，我们几乎不可能用传统技术拍出纹理都显示得一清二楚的月球照片。
那么难道手机拍出的超高清月亮是“假”月亮？这就涉及到一个富有争议的话题：有没有可能打破光学衍射极限，使得小小的手机也能进行超分辨成像？
超分辨成像一直是科研界非常关心的一个方向。小到药物分子的输运，大到恒星之间的合并，科学家们常常需要在极端条件下获得高清的图像，理解现象背后的机制。美国及德国三位科学家Eric Betzig、Stefan W. Hell和William E. Moerner就因为发明受激辐射损耗（Stimulated Emission Depletion，STED）显微镜以及单分子荧光定位技术获得2014年诺贝尔化学奖。由于他们的贡献，我们可以利用光学显微镜对纳米世界一探究竟。这是通过设计新颖的光与物质相互作用的方法“绕过”光学衍射极限，因此是在底层物理上实现的“真正”的超分辨成像。
STED显微镜的基本结构和工作原理图
（图片来源：参考资料[3]）
然而，小小的手机上很难加装如此庞大、复杂的科研设备。实际上，手机的超分辨成像走的是另外一条路——算法，尤其是基于深度学习和AI的算法。
我们从一个最直观，也是最广泛应用的例子谈起。如果单张照片拍出来不够清晰，或者是因为手抖，或者是因为特定的拍摄角度导致部分信息的缺失，或者是夜间光通量较少等各种原因，那么多拍几张不就得了！获取多个图像后，再把每一张中有用的信息都提取出一点，最后“合成”在一张照片上，那么这张照片所包含的信息，不就远远超过单张照片所包含的信息量了？我们日常手机拍摄的照片中，很多都有这种“多帧合成”算法的影子。
用深度卷积神经网络（SRCNN）重建单帧图像
（图片来源：参考资料[4]）
随着算法不断改进，现在甚至只需要一张照片就能进行超分辨重建。用通俗的语言来说，算法首先将待重建的图像放大，再利用卷积神经网络学习图片的不同特征，建立从低分辨率图像到高分辨率图像的关系。最后，在每一个局部都通过拟合将低分辨率的图像映射到高分辨率的图像，这样就完成了超分辨图像的“重建”。
然而，算法带来了清晰的图像，却也模糊了“真”和“假”的界限。算法生成的图像不是光学上真实捕捉到的图像，而是一种“合理的想象”。如果我们要记录一个确定已知的事物，同时有丰富的高清素材库来预训练神经网络，那么任何输入进网络的图片，都能“自动”补齐它其实根本没有捕捉到的细节。换言之，给一张低分辨率的图片补充太多的先验知识，它就会“有一个锤子，就看什么都像锤子”。即使是一只足球，经过算法处理后，也许也能呈现出月亮的模样。
当照相机第一次被发明时，人们确信自己找到了忠实记录光与影的方法；而在AI算法深度参与成像的今天，真实与虚构的界限再次变得模糊。李白的月亮有李白的情调，杜甫的月亮有杜甫的风雅，而现代人拍摄的月亮出奇的高清，却也可能走向越发的一致。
参考文献：
[2] 熊娅维, 王安志, and 张凯丽. '基于深度学习的光场超分辨率算法综述.' Laser & Optoelectronics Progress 61.18 (2024): 1800003-1800003.
[3] Paës G, Habrant A, Terryn C. Fluorescent nano-probes to image plant cell walls by super-resolution STED microscopy[J]. Plants, 2018, 7(1): 11.
[4] Shi, Wenzhe, et al. 'Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network.' Proceedings of the IEEE conference on computer vision and pattern recognition. 2016.
作者：陈明远
作者单位：南京大学
文章首发于科学大院，仅代表作者观点。
科学大院是中国科学院官方科普微平台，致力于最新科研成果的深度解读、社会热点事件的科学发声
主办机构：中国科学院学部工作局
运行机构：中国科学院计算机网络信息中心
技术支持：中国科普博览
特别声明：本文经上观新闻客户端的“上观号”入驻单位授权发布，仅代表该入驻单位观点，“上观新闻”仅为信息发布平台，如您认为发布内容侵犯您的相关权益，请联系删除!
热门跟贴