【元宇宙】深度学习驱动的端到端超透镜成像

简介

超表面透镜（metalenses）的最新进展显示出在紧凑型成像、摄影、光检测和测距（LiDAR）以及虚拟现实/增强现实应用领域开启新时代的巨大潜力。然而，宽带聚焦效率和工作带宽之间的根本权衡限制了宽带超透镜的性能，导致色差、角度像差和相对较低的效率。提出了一种基于深度学习的图像恢复框架来克服这些限制并实现端到端的超透镜成像，从而实现了直径为 10 毫米的量产超透镜的无像差全彩色成像。神经网络辅助的超透镜成像实现了与地面真实图像相当的高分辨率。

1.介绍

光学成像系统对小型化和性能增强的不懈追求，促使人们探索超越传统几何透镜系统的创新技术。虽然这些系统是现代光学的基础，但它们也面临着固有的局限性，例如色差和球面像差、阴影效应、体积大、和高制造成本。7 超越这些障碍的追求催化了超镜头的出现，这是一项突破性的发展，有望重新定义光学工程的格局。

超镜头的特点是其超薄膜上遍布精心排列的亚波长结构（称为元原子），它作为一种革命性的替代品出现，克服了传统镜头的缺点。最近的一项研究表明，深紫外浸没式光刻与晶圆级纳米压印光刻相结合，可以大规模生产低成本、高通量大口径超镜头，从而促进其商业化。这类新型镜头还有望解决上述传统光学器件中存在的问题，开启紧凑、高效成像系统的新时代。超镜头的核心吸引力在于它们可以作为传统光学元件的最佳替代品，从而彻底改变广泛的应用范围。这不仅包括光学传感器、智能手机摄像头 和无人机光学器件 18-20 功能的增强，还包括增强现实和虚拟现实设备促进的用户体验的转变。即使在高数值孔径范围内，超轻、超紧凑的尺寸也能实现无与伦比的衍射极限聚焦潜力，这是传统元件无法实现的，这是推动这些进步的关键因素。

尽管取得了这些进步，但对宽带超透镜的追求揭示了聚焦效率、透镜直径和光谱带宽之间的多方面权衡，其中光谱带宽受到色差的显著影响。这种相互作用凸显了优化这些透镜的固有复杂性，其中一个方面的改进可能会导致其他方面的妥协。此外，基于超原子的超透镜表现出较窄的视场 (FoV)，这是由于基于超原子的设计固有的角度色散所致。因此，目前，报道的宽带超透镜在大带宽内表现出色差 或低聚焦效率角度像差成为一项相当大的挑战，从而大大限制了超透镜的性能和潜在应用范围。即使对于理想的超透镜，由于物理上限的原因，它也可能无法同时满足宽带操作和大直径。此外，传统设计方法固有的局限性使有效解决超透镜开发中的这些挑战的努力变得复杂。

平面透镜技术的最新进展显著改善了对色差的控制，而色差是全色成像的关键因素。Zhang 等人提出的频率合成相位工程技术29使用级联胆甾型液晶层来实现 RGB 消色差聚焦。然而，虽然这种方法很有前景，特别是在 RGB 光的单焦平面聚焦方面，但它并没有解决实际应用中的可扩展性和大规模生产的挑战。

为了直接应对这些挑战，我们推出了一种创新的、深度学习驱动的端到端集成成像系统。通过将专门设计的大面积量产超透镜与定制的图像恢复框架相结合，我们提出了一种全面的成像解决方案，旨在取代传统的基于几何透镜的系统。所提出的系统不仅有效地解决了上述像差问题，而且还利用了大面积量产超透镜的固有优势，朝着高质量、无像差图像迈出了重要一步。此外，我们的方法通过提出一种超透镜图像恢复框架而脱颖而出，该框架可以适用于任何存在像差或效率低下的超透镜。此外，假设量产超透镜的质量均匀，优化的恢复模型可以应用于采用相同工艺制造的其他超透镜。所提出的成像系统可能为下一代紧凑、高效且商业上可行的成像系统铺平道路。

其他近期研究也探索了解决色差和其他光学挑战的新方法。Tseng 等人开发了一种神经纳米光学系统，该系统将元光学设计与深度学习相结合以增强图像重建。他们的完全可微分框架优化了超透镜的物理设计和随附的图像处理算法，在视场和色彩一致性方面表现出显着改善。同样，Maman 等人和 Dong 等人32采用双曲面超透镜结合深度学习实现 RGB 消色差成像，为像差校正和光学性能提供了详细的见解。这些研究标志着传统消色差透镜设计取得了实质性进展，推动了色差校正领域的发展。最近的一项研究33还介绍了一种由计算后处理促进的端到端超透镜设计方法，为学习过程与超透镜设计方法的集成提供了宝贵的见解。

与这些最新方法相比，我们的系统利用了量产的超透镜，同时结合了基于深度学习的图像恢复框架，为全彩色成像提供了可扩展且高性能的解决方案。通过补偿像差和效率损失，我们的系统确保了在各种成像应用中的广泛适用性。此外，我们的方法通过使用位置嵌入技术展现出独特的优势，能够恢复由复杂像差引起的高度模糊的图像。这使我们的工作成为现有解决方案的重大进步，并有可能彻底改变光学成像技术。

总之，这项工作将超透镜技术推向了新的高度，并强调了深度学习在启动光学成像范式转变方面的变革潜力。通过我们的端到端成像框架，我们不仅展示了一条克服传统光学限制的可行途径，而且还为紧凑高效的成像解决方案的新时代铺平了道路。这一突破有可能彻底改变光学工程领域，激发新的研究和创新途径。

2.方法

图 1 显示了我们的端到端集成成像系统的示意图。该系统结合了基于超透镜的成像系统和随后的图像恢复框架。前者负责获取图像，而后者负责恢复捕获的图像。当定制为自动恢复超透镜成像系统生成的图像时，该框架可以独立生成与地面真实图像质量非常接近的输出图像。

图1超透镜成像系统示意图。

本工作中设计的超透镜由具有任意旋转角度的纳米结构阵列组成，以这种方式设计的超透镜被称为基于 Pancharatnam-Berry (PB) 相的超透镜。 尽管这些基于 PB 相的超透镜能够实现衍射极限聚焦，但它们并非没有挑战。 超原子的色散会引起色差，这种特性在衍射透镜中也有观察到。 人们已经做出大量努力，通过超原子色散工程、伴随优化、和许多其他方法来实现消色差超透镜。 单频超透镜相比，所得超透镜的效率仍然相对较低。 此外，基于 PB 相的超透镜同时容易受到来自赛德尔像差3和超原子角度色散的角度像差的影响。 28这些因素的结合使我们的全彩色高分辨率成像有别于传统的恢复任务，38 , 39从而大大增加了将超透镜捕获的图像恢复到原始状态的任务的复杂性。 因此，我们的框架使用定制的深度学习方法解决和纠正了超透镜的像差问题。

具体来说，在训练之前，我们收集了超透镜成像系统捕获的数百张异常图像，我们将其称为“超透镜图像”。然后使用展示超透镜物理缺陷的超透镜图像来训练图像恢复框架。结果，紧凑型超透镜成像系统生成的图像质量得到显著提高。此过程中采用的框架由两个主要阶段组成。在第一阶段，对框架进行优化，以减少其恢复模型的输出与真实图像之间的差异。接下来，利用结合辅助鉴别器的对抗性学习方案来增强图像恢复模型恢复丢失信息的能力。

通过将我们的恢复框架与由我们量产的超透镜组成的成像系统连接起来，我们构建了一个可提供高质量紧凑成像的集成成像系统。该系统可扩展到更大的孔径和不同的波长，从而为新型微型成像方案提供最佳解决方案。重要的是，成像系统和恢复框架的可重复性不仅增强了该集成系统的商业可行性，而且还表明超透镜的商业应用可能在不久的将来成为现实。在以下章节中，我们将详细介绍集成系统的构建，从超透镜到图像恢复框架。

2.1. 超透镜成像系统

超透镜是通过纳米压印光刻和 随后 的原子层沉积制成的。 纳米 压印光刻具有低成本大规模生产和产品均匀性的优势。 因此 ，我们使用压印超透镜来广泛影响我们在基于深度神经网络 (DNN) 的 超 透镜成像系统商业化方面的工作。 图 2(a)显示 了通过纳米压印光刻和随后的薄膜沉积制造的 10毫米直径的量产超透镜二氧化钛2 TiO 2 ；制造过程的细节在补充材料 中给出 。 如图 2（b） 所示，我们的超透镜由具有任意旋转角度的纳米板组成，作为基于 PB 相的超透 镜。它在 532 nm 波长下具有 55.6% 的相对高效率，但表现出严重的色差。如图 2（c） 所示，波长为 450、532 和 635 nm 时的焦距分别为 29.0、24.5 和 20.5 mm。13这种与波长相关的焦距 会 导致横向轴向色差 (TAC)，可表示为

等式（1）

TAC = | f − f 0 | D 2 f , " role="presentation">交通行政执法局=|f−f0|德2f， TAC = | f − f 0 | D 2 f ,

在哪里f f 是单一波长的入射光的焦距，f0 f 0 是超透镜和图像传感器之间的距离，德 D 是超透镜的直径。当f f 不同于f0 f 0 ，入射光形成一个类似于顶帽的点扩展函数 (PSF) 轮廓，其半径等于 TAC 的半径。26鉴于此，可见光波段中整体 TAC 的降低对于高质量超透镜成像非常重要，因为图像的模糊度会随着 TAC 的增加而成比例地增强。因此，我们选择f0 f 0 聚焦绿光以最小化整体 TAC。当我们从远场聚焦绿光 (532 nm) 时，红光 (635 nm) 和蓝光 (450 nm) 比绿光更散焦，TAC 分别为 0.98 毫米和 0.78 毫米。

图2

(a) 在 4 英寸玻璃晶片上量产的 10 毫米直径超透镜的照片。红框中的插图显示了超透镜的放大图像。(b) 扫描电子显微镜 (SEM) 图像显示了组成超透镜的超原子。比例尺为3μ米 3    μ m 。（c）波长为 450 nm（蓝色）、532 nm（绿色）和 635 nm（红色）的超透镜焦距。虚线表示线性拟合结果。（d）零视角下红、绿、蓝光的 MTF。（e）不同视角（0 度、5 度、10 度）下红、绿、蓝光的 PSF。比例尺为 1 毫米，表示图像传感器上的距离。（f）超透镜图像（左）及其子集图像，显示红色、绿色和蓝色通道。（g）相应的地面真实图像（左）及其子集图像，显示红色、绿色和蓝色通道。

超透镜成像系统受到色差和角度像差以及由于制造不完整而导致的表面缺陷的影响。为了量化这些影响，我们测量了 PSF 并根据测量的 PSF 计算了调制传递函数 (MTF)。PSF 是响应单点光源获得的二维 (2D) 强度分布， 是 评估成像系统质量的关键指标，因为它与图像形成直接相关。使用测量的 PSF 计算出的 MTF 描述了分辨率和对比度方面的成像质量。 我们 使用超透镜成像系统捕获来自红色、绿色和蓝色发光二极管 (LED) 的准直光束图像来测量 PSF，然后根据 PSF 计算 MTF。PSF 测量及其成像设置在 补充材料中的图 S2 中进行了详细说明，MTF 计算方法也在 补充材料 中进行了详细解释 。

图 2（e） 显示了红、绿、蓝 LED 的 PSF我 i 'th 各种视角（0 度、5 度、10 度）。红光和绿光 LED 的 PSF 轮廓呈现宽盘状，而绿光 LED 的轮廓呈现不规则的火花状，暗示了 TAC 的影响。因此，如图 2（d） 所示，在所有空间频率下，红光和蓝光的 MTF 都严重低于绿光的 MTF。此外，0 度视角的 PSF 轮廓呈现出非理想的圆非对称形状，这可以归因于由于制造不完善导致的超透镜缺陷。由于角度像差，包括赛德尔像差 3 和超原子的角度色散，PSF 轮廓的形状也会随着视角而改变。 红光 和绿光 LED 的 PSF 轮廓随着视角的增加向水平方向拉伸，而蓝光的轮廓则收缩。此外，超表面在制造过程中的不均匀性可能导致具有复杂轮廓的 PSF 与瑞利-索末菲衍射公式中的 PSF 不匹配。因此，这些因素的组合会生成随视角变化的复杂 PSF 轮廓，并进一步使图像恢复任务复杂化。

通过将超透镜图像与真实图像进行比较，可以显示色差和角度像差对超透镜图像的影响。 图 2（f） 和 2（g） 显示了超透镜图像、相应的真实图像以及描绘红色、绿色和蓝色通道的子集图像。超透镜图像的红色和蓝色通道与 TAC 相比严重模糊，难以识别任何物体。此外，与 PSF 测量不同，由于数据采集的光学设置，蓝色通道看起来比红色通道更模糊，如 补充材料 中图 S1 所示。超透镜图像的绿色通道在中心显示出相对较高的分辨率，由于较高视角下的角度像差，随着视角的增加（例如，图像的外部区域），分辨率逐渐降低。

2.2. 图像恢复网络

计算图像修复已成为增强非理想图像（例如噪声 44 或模糊的图像）的一种流行方法。 经典 的图像修复方法依靠线性反卷积方法（例如应用维纳滤波器）实现更高的分辨率。 反 卷积是卷积运算的逆运算，它有助于从与 PSF 卷积的图像中恢复原始图像。反卷积过程的性能取决于两个因素：PSF 在整个 FoV 上的空间不变性和 PSF 倒数的低条件数。 然而 ，对于 PSF 随视角变化的成像系统（例如超透镜成像系统 36 和显示屏下摄像头） ，维纳滤波器的修复质量有限。

另一种恢复方法是利用基于 DNN 的图像恢复。基于 DNN 的恢复模型 在去噪、 去模糊、超分辨率 和 光增强等专门任务中表现出比传统方法更优异的性能 。 此外，它们还适用于具有复杂和组合退化的成像系统，例如显示屏下摄像头和 360 度 FoV 全景摄像头。 然而 ，传统的 DNN 方法无法学习位置变化的图像退化（例如，超透镜的位置相关像差），因为这些方法使用从全分辨率图像中随机裁剪的块来训练模型，导致位置相关信息的完全丢失。

为了应对这些挑战，我们提出了一种端到端图像恢复框架，专门针对超透镜成像系统进行量身定制，以解决波长和视角上的非均匀像差。与典型的图像恢复任务中需要恢复的图像相反，我们的超透镜图像表现出更强烈的模糊和明显的颜色失真。因此，超透镜图像的恢复构成 了 一个严重不适定的逆问题。为了解决这个严重不足的问题，我们采用了强正则化。也就是说，我们对清晰数据的特征和模式进行建模，在傅里叶空间中进行对抗性学习以训练数据分布。因此，恢复模型f（是） f ( y ) 通过最小化

等式（2）

L ( x , y , f ) = E ( x , f ( y ) ) + λ Φ ( f ( y ) ) , " role="presentation">大号（十，是，f）=埃（十，f（是））+λφ（f（是）），

在哪里埃（十，f（是）） E ( x , f ( y ) ) 是近似恢复的超透镜图像的图像保真度项f（是） f ( y ) 根据真实图像十 x ， 和φ（f（是）） Φ ( f ( y ) ) 是限制空间的正则化项f（是） f ( y ) 。随后，我们应用位置嵌入来学习超透镜成像的角度像差。由于所提出的方法利用了随机裁剪的斑块的绝对坐标信息，因此该模型可以有效地训练高度空间变化的退化。

2.2.1. 网络架构

我们的图像恢复框架的架构如图 3 所示。我们的框架将现有的 DNN 架构与我们提出的方法相结合。训练阶段涉及利用从全分辨率图像中随机裁剪的块，具体来说1280×800 1280 × 800 在本研究中。随后，在推理阶段，对整个图像进行分析，其原始分辨率为1280×800 1280 × 800 。然而，我们观察到全分辨率图像推理过程中存在统计上的不一致，如 补充材料 中的图 S3 所示。为了克服这种不一致，我们在测试阶段应用了测试时间局部转换器 (TLC) ，从而显著提高了性能。详细结果在 补充材料 中的表 S1 中给出。

图3提出的图像恢复框架。该框架由一个图像恢复模型组成，并使用裁剪块的坐标信息对输入数据进行随机裁剪和位置嵌入。为了解决将退化图像恢复为潜在清晰图像的欠约束问题，通过 FFT 应用频域中的对抗性学习（

F " role="presentation">F F ）。 x ^ " role="presentation">^十 x ^ 和 x " role="presentation">十 x 分别表示重建图像和真实图像。该框架的细节在第 2 节中。

我们研究中使用的超透镜表现出强烈的色差和角度像差，导致用它捕获的图像中信息严重丢失。因此，我们根据底层干净图像中发现的特征和模式训练模型，以有效地恢复各种空间频率并限制潜在的地面真实图像的空间。由于生成模型可以从给定的数据集中学习复杂的高维数据分布， 54 我们利用对抗性学习方案（生成学习方法之一）通过引入辅助鉴别器来有效地学习潜在清晰图像的分布。我们最初在 RGB 空间中应用对抗性学习，但观察到在 RGB 和傅里叶空间中都出现了明 显的模式伪影（ 补充材料中的图 S4）。这些与周期性模式相关的伪影在傅里叶域中比在 RGB 空间中更清晰可见，因为它们与光谱成分有深度联系[ 补充材料 中的图 S4(c) 和 S4(d) ]。由于傅里叶空间提供了这些光谱成分的更明确表示，因此我们能够更好地识别和解决伪影的来源。因此，我们将每个 RGB 通道的数据转换为傅里叶空间以进行对抗性学习。然后将这些傅里叶空间数据用作鉴别器的输入。

训练损失由两个不同的项组成：峰值信噪比 (PSNR) 损失大号峰值信噪比 L PSNR 重建图像之间^十 x ^ 以及真实图像十 x 和对抗性损失大号一个 L a 之间F（^十） F ( x ^ ) 和F（十） F ( x ) 。PSNR损失表示图像保真度损失，对抗损失表示先验正则化损失。因此，总损失函数大号全部的 L Total 是

等式（3）

L Total = L PSNR + λ L a , " role="presentation">大号全部的=大号峰值信噪比+λ大号一个， L Total = L PSNR + λ L a ,

在哪里λ λ 是平衡的超参数大号峰值信噪比 L PSNR 和大号一个 L a 。大号峰值信噪比 L PSNR 计算如下：

等式（4） 大号峰值信噪比（^十，十）=−10日志R2微分方程（^十，十）， L PSNR ( x ^ , x ) = − 10   log R 2 MSE ( x ^ , x ) ,

在哪里^十，十 x ^ , x ， 和R R 分别表示重建图像、真实图像和真实图像的最大信号值。MSE 是重建图像与真实图像之间的距离，公式为微分方程（^十，十）=1否∑否n=1（^十n−十n）2 MSE ( x ^ , x ) = 1 N ∑ n = 1 N ( x ^ n − x n ) 2 。

对于对抗性学习，我们构建了一个额外的鉴别器，并应用了谱归一化55来提高训练稳定性。此外，我们采用基于铰链损失56的 GAN 训练方案来增强对抗性训练的稳定性。对抗性损失大号一个 L a 鉴别器（德 D )和图像恢复模型（格 G ） 是

等式（5） 大号德一个=埃十[最大限度（0,1−德（F（十）））]+埃^十[最大限度 L a D = E x [ max ( 0,1 − D ( F ( x ) ) ) ] + E x ^ [ max ( 0,1 + D ( F ( x ^ ) ) ) ] , （0,1+德（F（^十）））]，

等式（6）

L a G = − E x ^ [ D ( F ( x ^ ) ) ] , " role="presentation">大号格一个=−埃^十[德（F（^十））]， L a G = − E x ^ [ D ( F ( x ^ ) ) ] ,

L a G = − E x ^ [ D ( F ( x ^ ) ) ] , " role="presentation">

在哪里F F 指快速傅里叶变换（FFT）。其中，埃十[⋅] E x [ · ] 和埃^十[⋅] E x ^ [ · ] 分别是表示给定小批量中地面实况和重建图像的平均值计算的运算符。图像恢复模型和鉴别器分别试图最小化大号格一个 L a G 和大号德一个 L a D ， 分别。

由于角度像差，超透镜图像外部区域的退化比中心区域更明显。这一观察结果表明，位置信息对于理解超透镜成像系统的退化至关重要。然而，训练方法使得模型无法学习位置信息，因为我们的框架在训练期间通过随机补丁进行学习，并在推理期间恢复全分辨率图像。

为了解决这个问题，我们根据全分辨率图像的坐标获取每个像素的坐标值，并通过 1 × 1 " role="presentation">1×1 1 × 1 卷积层。此过程在为全分辨率图像生成随机块时将它们转换为适当的空间。处理后的坐标信息与对应于该信息的元透镜图像连接在一起。得到的连接数据用作输入数据。这种方法使模型能够有效地学习和利用位置信息，从而提高其恢复全分辨率图像的性能。

2.2.2. 数据采集

超透镜成像系统的训练数据是通过捕获 85 英寸显示器上显示的真实图像获得的（ 补充材料 中的图 S1 ）。对于训练，我们使用了 DIV2K 数据集。51 该 数据集包含各种对象的 2K 分辨率图像，从而提供了环境多样性。用于训练的真实图像是通过裁剪数据集图像的中心获得的 1280 × 800 " role="presentation">1280×800 1280 × 800 分辨率以确保地面真实图像适合超透镜成像系统的视场范围。

为进行有效训练，对超透镜图像和对应的真实图像中的物体位置进行匹配。原始超透镜图像 5472 × 3648 " role="presentation">5472×3648 5472 × 3648 分辨率被旋转，裁剪为 5328 × 3328 " role="presentation">5328×3328 5328 × 3328 分辨率，并调整大小为 1280 × 800 " role="presentation">1280×800 1280 × 800 分辨率以匹配相应的地面真实图像。优化旋转角度和裁剪参数以最大化超透镜图像和相应的地面真实图像之间的结构相似性指数测量（SSIM）。最后，我们将数据集分为 628 和 70 张图像分别用于训练和测试。

2.2.3. 培训详细信息

如网络架构部分所述，训练是使用从全分辨率图像中随机裁剪的块进行的。虽然更大的接受场提供了更全面的语义信息，但也增加了训练时间和计算复杂度。因此，为了在所提出的模型中平衡性能和训练时间，我们将块大小设置为 256 × 256 " role="presentation">256×256 256 × 256 并且批量大小为16。此外，随机应用水平和垂直翻转和转置等变换，然后在这些配置下加载补丁的坐标信息。

本文使用的模型可分为两个部分，第一部分是图像恢复模型。网络的起始层宽度设置为32，随着网络的深入，每个连续层宽度加倍。网络的编码器和解码器各由四层组成。为了解决训练和测试之间的不一致，在测试阶段采用TLC。网络的输入和输出通道数 1 × 1 " role="presentation">1×1 1 × 1 处理坐标信息的卷积层都设置为 2。第二部分是鉴别器，其宽度设置为 64，所有层的宽度相同。鉴别器由五个块组成。此外，还应用了光谱归一化 来稳定学习过程。我们的架构的其他信息和配置在补充材料 中的表 S3 和图 S5 中提供 。

训练分为两个阶段进行。第一阶段，使用图像恢复模型将超透镜图像恢复为干净图像；第二阶段，通过快速傅里叶变换 (FFT) 在空间频率域中表达恢复图像和真实图像后，使用鉴别器进行对抗学习。由于通过 FFT 转换的空间频率域数据是复数（包含实部和虚部），因此将这些部分表示为二维向量。这使得空间频率域中的数据可以表示为实向量，然后将其用作鉴别器的输入。

训练过程中迭代次数设置为30万次，图像修复模型采用AdamW作为优化器，学习率初始设置为 3 × 10 − 4 " role="presentation">3×10−4 3 × 10 − 4 并逐渐减少到 10 − 7 " role="presentation">10−7 10 − 7 遵循余弦退火方案；beta 值为 [0.9, 0.9]。对于鉴别器优化器，使用 Adam，学习率设置为 3 × 10 − 4 " role="presentation">3×10−4 3 × 10 − 4 ，与恢复模型相同，但 beta 值设置为 [0.0, 0.9]；NVIDIA RTX 4090 24 GB 用作本次训练的计算资源。

2.2.4. 统计详情

使用 Python 中 SciPy 库的统计函数对 70 张测试图像进行了统计假设检验。双侧配对 t " role="presentation">吨 t - 测试用于比较模型在 P < 10 − 4 " role="presentation">磷<10−4 P < 10 − 4 重要性水平。

3.结果

在本研究中，我们引入了一种由深度学习驱动的端到端集成成像系统。现在，我们从各个角度评估其将超透镜图像恢复到干净状态的能力，解决大面积量产超透镜中固有的严重色差和角度像差。为了比较我们的框架生成的图像和用超透镜捕获的图像，我们将总共 70 个超透镜图像恢复到未失真的状态。给定这些图像对，我们对我们的系统在图像恢复方面的功效进行了全面的评估，并使用针对每个感兴趣的评估类别量身定制的一套全面的性能指标。我们还将我们的框架与最先进的模型进行了比较，包括自然图像的恢复模型（MIRNetv2、 HINet、NAFNet ）。此外，我们对新收集的户外图像进行了训练和推理，以验证我们框架的学习能力（补充材料中的图 S7 和 S8 ）。有关户外图像恢复的详细信息请参阅 补充材料。

补充材料中的图 4和 S6 通过比较地面实况、超透镜和系统结果图像，全面展示了我们的集成成像系统的定性恢复结果。值得注意的是，超透镜捕获的图像受到明显的色差损坏，表现为红色和蓝色成分与绿色相比清晰度明显不同，从而造成严重的模糊。此外，这种像差伴随着高频信息的丢失，导致原始图像中存在的精细细节的侵蚀。与图 4 中的中心区域（用红色框突出显示）相比，在外围区域（用黄色框标记）中可以观察到这种退化的特别明显的表现，其中图像表现出增强的模糊性，导致清晰细节消失和特定色调占主导地位。

图4(a) 真实图像，(b) 超透镜图像，(c) 由我们的模型重建的图像。这些图像与测试集数据有关。图像的中心（红色）和外部（黄色）区域被放大，以分别访问高视角和低视角下的超透镜图像的恢复。超透镜图像的外部区域（黄色框）被成功恢复，尽管由于高视角下的角度像差，这些外部区域比内部区域（红色框）退化更严重。

相比之下，利用我们提出的框架重建的图像在外围和中心区域都表现出与地面实况的惊人保真度，证明了该框架在恢复色差抹去的细节方面的能力。这样的结果强调了我们的框架能够克服高度不规则的 PSF 所带来的复杂挑战，从而显著增强了各种场景中的成像性能。这表明我们在减轻与像差引起的退化相关的复杂性方面取得了重大进展，预示着使用超透镜的成像系统的保真度和质量将有所提高。

尽管超透镜本身存在物理限制，无法仅通过传统制造工艺克服，但我们通过深度学习的应用，实现了超越超透镜物理性能极限的成像能力。这种创新方法有效地弥补了固有物理限制与所需成像结果之间的差距。

在以下部分中，我们将基于测试数据集进行比较统计分析，以评估图像恢复的质量。该分析进一步说明了我们的深度学习增强框架不仅可以弥补超透镜的物理限制，还可以显著提高整体图像质量。

3.1. 图像恢复质量

图 5全面展示了通过将超透镜图像和我们框架重建的图像与地面真实图像进行比较计算得出的 PSNR、结构相似性指数测量 (SSIM)、RGB 空间中的学习感知图像块相似性 (LPIPS) 以及幅度的平均绝对误差 (MAE) 以及傅里叶空间中的余弦相似性 (CS) 的结果。每个框中的红色水平线代表中位数，框从第一四分位数延伸到第三四分位数。晶须跨越第一和第三四分位数的四分位距的 1.5 倍。我们进行了统计假设检验，以确定观察到的结果是否表现出统计上的显着差异。这是通过使用双面配对吨 t -测试评估超透镜产生的图像与所提出的框架重建的图像之间的性能差异。显著性水平为磷=10−4 P = 10 − 4 已为测试过程做好准备。

图5使用测试数据集对提出的模型和超透镜成像结果进行比较统计分析。（a）–（e）通过将超透镜图像和我们框架重建的图像与地面真实图像进行比较，计算出 RGB 空间中的 PSNR、SSIM、LPIPS 以及傅里叶空间中幅度的 CS、MAE 的结果。通过双侧配对进行统计假设检验吨 t -对元透镜图像和我们框架重建的图像之间的性能差异进行测试[显着性水平磷=10−4 P = 10 − 4 ，（一） 1.055×10−三十九 1.055 × 10 − 39 ，（二） 3.886×10−三十五 3.886 × 10 − 35 ，（三） 1.363×10−四十八 1.363 × 10 − 48 ，（四） 2.311×10−三十五 2.311 × 10 − 35 ，以及（e） 2.150×10−三十八 2.150 × 10 − 38 ]。

在本分析中，结果表明所有评估指标都存在统计学上的显著差异，如图 5所示。这些指标是使用包含 70 个数据点的测试集进行评估的。此外，表 1显示了超透镜成像系统、我们的框架和各种指标的最新模型的定量结果。下面将详细说明从每个图表中得出的含义和定量结果的重要性，从而对数据及其与研究目标的相关性进行全面分析。

表 1

使用测试图像集（n=70）对各种模型的定量评估进行比较。每列的第一个值和第二个值分别代表指标的平均值和标准差。最佳分数标记为粗体。

图像质量指标 频域评估 模型 峰值信噪比 同步同步信号 低密度聚乙烯 平均动脉介入 CS 超透镜图像 14.722/1.328 0.431/0.157 0.788/0.112 3.281/1.089 0.922/0.045 MIRNetv2 18.507/1.893 0.556/0.134 0.559/0.098 2.240/0.900 0.967/0.020 旧金山网络 18.223/1.727 0.567/0.129 0.519/0.095 2.194/0.837 0.965/0.020 HI网络 21.364/2.333 0.641/0.121 0.456/0.097 1.851/0.800 0.982/0.013 北美航空网络 21.689/2.382 0.642/0.120 0.440/0.097 1.817/0.801 0.983/0.013 我们的框架/2.423/0.114/0.096/0.779/0.012

为了进一步了解我们的框架对图像恢复保真度的影响，我们研究了 PSNR 和 SSIM，它们是基础指标。前者是图像恢复质量的定量度量，计算为信号（图像）的最大可能功率与影响其保真度的破坏噪声功率之间的对数比。较高的 PSNR 值表示重建图像的质量更好。后者 SSIM 评估图像的三个特征的视觉影响：亮度、对比度和结构，从而更准确地反映感知的图像质量。

图 5展示了通过超透镜捕获的图像与通过我们的框架恢复的图像的 PSNR 和 SSIM 值的统计分析。如表 1所示，该框架展示了图像保真度的显著改善，与原始超透镜图像相比，PSNR 提高了 7.37 dB，SSIM 提高了 22.5%p。这些增强功能凸显了我们的框架在减轻超透镜像差造成的保真度损失方面的能力，从而显著提高了重建图像的质量，使其更接近其基本事实。

虽然 PSNR 和 SSIM 有利于评估图像保真度和感知质量，但它们在评估结构化输出方面往往存在不足。这种限制源于它们无法完全捕捉人类视觉系统对各种图像失真的敏感性，特别是在纹理或细节区域。为了弥补这一差距，采用 LPIPS 60来评估图像的感知质量。LPIPS 利用预训练的深度学习网络（例如 AlexNet）来评估感知相似性，提供与人类对图像质量的感知更接近的细微测量。较低的 LPIPS 值表示更好的感知质量。

表 1表明，我们的框架将 LPIPS 降低了 35.6%p，表明重建图像与原始图像的感知相似性有了显著增强，这在图 5（c）中也可以观察到。该指标凸显了所提出的框架不仅可以提高图像的客观质量，还可以提高其主观感知质量。我们还将我们的框架与最先进的模型进行了比较，包括自然图像恢复模型（MIRNetv2、57 HINet、NAFNet ）。如表 1所示，我们的框架在 PSNR、SSIM 和 LPIPS 方面远远超过了这些最先进的模型。此外，我们还进行了进一步的实验来测量和比较空间和光谱变化退化的恢复性能（ 补充材料中的表 S4 和 S5 ）。这表明，与用于恢复自然图像的传统模型（例如 DIV2K 数据集中的模型）相比，我们的框架更适合元透镜图像恢复任务。51

图 1(d)中测量的超透镜 MTF和图 4(b)中的定性结果表明，在高空间频率下，超透镜的性能会大幅下降。因此，在超透镜图像恢复任务中恢复空间频率信息至关重要。必须承认，空间频率可以表示为幅度和相位分量，后者在信号处理领域通常被认为很重要。61我们利用两个指标来评估傅里叶变换重建图像的幅度和相位。在评估重建图像的保真度时，特别是关于其频率相关属性，采用了两个指标：MAE 用于评估相对于原始图像的幅度差异，CS 用于衡量与真实图像的相位一致 性。这些指标是通过在不同模型恢复的图像上应用 FFT 得出的。随后的 MAE 和 CS 指标强调了图像质量的显着提高，如图所示。5（d）和5（e）以及表 1。如这些图所示，我们的框架展示了 MAE 和 CS 相对于超透镜成像系统和频域中几种最先进的图像恢复模型的卓越性能。我们的框架在 MAE 方面实现了超透镜成像系统性能的两倍左右，在超透镜图像的 CS 方面实现了约 14%p。

为了直观地展示模糊和色彩失真的恢复，我们使用 1951 年美国空军分辨率测试图表图像（USAF 图像）测试了我们的成像系统。图 6（a）和6（b）显示了超透镜成像系统捕获的单色白色和黑色 USAF 图像。这些图像表现出严重的模糊和强烈的色彩失真，特别是在白色图案中显示出绿色色调。如图6（c）和6（d）所示，恢复的图像表明图案的颜色比超透镜图像更接近白色和黑色。此外，图像的中心区域表现出高清晰度，而受损图像在这些区域严重模糊。因此，我们的框架通过实现显着的色彩保真度和清晰度，在提高整体图像质量方面表现出卓越的优势。

图6(a) 和 (b) 分别为超透镜成像系统捕获的白色和黑色 USAF 图像。(c) 和 (d) 分别为我们的框架恢复的白色和黑色 USAF 图像。红色框中的图像显示了红色框所示的中心区域的放大图像。原始图像和放大图像中的比例尺分别为 3 毫米和 0.5 毫米，表示图像传感器上的距离。

3.2. 物体检测性能

我们还通过过渡到实际应用领域之一——物体检测，评估了集成系统在图像质量增强之外的实用性。为了验证我们的框架在恢复图像上进行物体检测的性能，我们首先使用整个 PASCAL VOC2007 数据集 (n=4952 n = 4952 ）。该数据集包含 4952 幅图像，其中包含属于 20 个不同类别的实例的对象位置和边界框注释信息。然后，我们使用针对 PASCAL VOC2007 预先训练的单次多框检测器 (SSD) 来检测给定图像的边界框。特别地，我们引入平均精度 (AP) 来评估对象检测结果。AP 测量模型在预测图像中对象存在和正确定位的准确性。它提供了对不同精度和召回率阈值的检测性能的全面评估，使其成为评估对象检测算法的标准基准。具体而言，AP 是使用 0.5 到 0.95 之间的 IoU 阈值在多个尺度上计算的。术语“美联社 AP 50 “ 和 ”美联社 AP 75 ”分别代表IoU阈值设置为0.5和0.75的测量结果。

图 7显示了使用 SSD 进行物体检测的示例。检测器将整个区域（红色框）预测为物体，因为它无法识别超透镜图像中的细节特征 [图 6（b） ]。另一方面，检测器准确地预测了恢复图像中所需物体的边界框，因为与原始 PASCAL VOC2007 相比，恢复图像的质量具有竞争力 [图 6（a）、6（d）和6（c）、6（f） ]。我们的美联社，美联社
AP , AP 50 在恢复的图像上∼三十四％页 ∼ 34 % p 并且比超透镜图像高出 56%p。它们是∼86％ ∼ 86 % 88% 的 AP，美联社50 AP 50 真实情况（ 补充材料中的表 S2 ）。与原始超透镜图像相比，我们的框架恢复图像的 AP 分数有所提高，这表明了恢复的实际意义。我们的框架恢复图像的 AP 分数更高，表明该模型有效地从像差超透镜图像中恢复了足够的细节和结构，从而实现了准确的物体检测，与真实图像上的性能非常接近。这种增强对于自动导航、监视和增强现实中的应用尤其重要，因为精确的物体检测至关重要。

图7使用预训练的 SSD 模型对 (a)、(d) 原始图像、(b)、(e) 元透镜图像和 (c)、(f) 由我们的框架恢复的图像进行对象检测的结果。预训练的 SSD 模型无法准确检测元透镜图像中的任何对象；然而，它成功地捕获了由我们的框架恢复的图像中的多个类和对象。

4.结论

在本研究中，我们展示了基于 DNN 的大面积量产超透镜图像恢复框架。我们的方法有效地缓解了大面积宽带超透镜固有的严重色差和角度像差，这一挑战长期以来一直阻碍着超透镜的广泛应用。此外，假设量产超透镜的质量均匀，优化的恢复模型可以应用于以相同工艺制造的其他超透镜。通过在傅里叶空间中采用对抗性学习方案并结合位置嵌入，我们超越了传统的限制，能够恢复高空间频率信息，并通过量产超透镜实现无像差、全彩色成像。我们的研究结果具有深远的意义，为开发超紧凑、高效、无像差的成像系统开辟了一条商业上可行的途径。

免责声明：

本文所发布的内容和图片旨在传播行业信息，版权归原作者所有，非商业用途。如有侵权，请与我们联系。所有信息仅供参考和分享，不构成任何投资建议。加密货币市场具有高度风险，投资者应基于自身判断和谨慎评估做出决策。投资有风险，入市需谨慎。

交流更多AI/Web3/Meta相关知识

⬇️点击下图⬇️

关注我们，一起探索AWM！

2024-11-11

2024-11-20

2024-11-19