Nature Biotechnol | 李栋/戴琼海团队开发合理化深度学习超分辨显微成像方法

点评 | 徐涛/纪伟（中国科学院生物物理所）、田捷（北京航空航天大学）

光学显微成像技术的发展为人类打开了认识微观世界的大门，也成为了当今细胞生物学、发育生物学、神经科学等生命科学领域的重要研究工具。长期以来，活体显微成像所追逐的目标是以对生物样本最低的侵入性来获取最多的样本时空信息。但现有超分辨显微成像技术在提升空间分辨率的同时，往往需要牺牲其他对于解析生命过程同样重要的成像指标，如速度、时程或视野。近年来，以深度学习为代表的计算超分辨方法能够在不损失其他成像性能的前提下，提升显微图像分辨率或信噪比，表现出巨大的应用前景。然而，针对生物医学研究必需高保真度、可定量分析的图像要求，目前深度学习显微成像方法存在以下三大共性问题：

（1）受限于深度学习内秉的频谱频移（spectral-bias） 问题，输出图像分辨率无法达到真值 （ground truth） 水平；

（2）受限于超分辨重建以及去噪问题的病态性（ill-posed problem） 和神经网络模型的不确定性（model-uncertainty） ，重建或预测结果的真实性无法得到保障；

（3）深度神经网络的训练需要大量数据，高质量训练数据的采集在许多应用场景下极其困难、甚至无法实现。

由于以上瓶颈，尽管目前深度学习显微成像方法的研究和发展如火如荼，并且表现出了超越传统成像性能极限的巨大潜力，但上述瓶颈问题阻碍了现有深度学习超分辨或去噪方法在生物显微成像实验中的广泛使用。

2022年10月6日，中国科学院生物物理研究所李栋课题组与清华大学自动化系、清华大学脑与认知科学研究院、清华-IDG/麦戈文脑科学研究院戴琼海课题组，联合美国霍华德休斯医学研究所 （HHMI）Jennifer Lippincott-Schwartz博士在Nature Biotechnology杂志以长文 （Article） 形式发表题为Rationalized deep learning super-resolution microscopy for sustained live imaging of rapid subcellular processes的论文，提出了一套合理化深度学习（rationalized deep learning，rDL）显微成像技术框架，将光学成像模型及物理先验与神经网络结构设计相融合，合理化网络训练、预测过程，从而实现了高性能、高保真的显微图像去噪与超分辨重建，并结合实验室自主研发、搭建的多模态结构光照明显微镜 （Multi-SIM） 与高速晶格光片显微镜 （LLSM） ，将传统TIRF/GI-SIM、3D-SIM、LLS-SIM和LLSM的成像速度/时程提升30倍以上，实现了当前国际最快（684Hz）、成像时程最长（最长可达3小时、60,000时间点以上） 的活体细胞成像性能，首次对高速摆动纤毛 （>30Hz） 中转运蛋白 （IFT） 的多种运输行为以及完整细胞分裂过程中核仁液液相分离 （liquid-liquid phase separation） 过程进行快速、多色、长时程、超分辨观测。Nature Biotechnology杂志针对这一工作同时发表了Research Briefing文章进行评述。

图1 | 合理化深度学习超分辨显微成像神经网络架构

具体而言，李栋/戴琼海研究团队提出的合理化深度学习结构光超分辨重建架构 （rDL SIM） 不同于现有超分辨神经网络模型的端到端 （end-to-end） 训练模式，而是采用分步重建策略，首先利用所提出的融合成像物理模型和结构光照明先验的神经网络对原始SIM图像进行去噪和高频信息增强，然后再通过经典解析算法进行SIM重建以获得最终的超分辨图像。相比于该团队去年在Nature Methods杂志上提出的超分辨重建神经网络模型DFCAN/DFGAN （详见BioArt报道：）【1】，rDL SIM可将超分辨重建结果的不确定性降低3~5倍，并实现更高的保真度和重建质量；相比于其他去噪算法 （如CARE【2】） ，rDL SIM可完美恢复出调制在原始图像中的莫尔条纹，并将高频信息增强10倍以上。

图2 | rDL SIM与CARE-SIM对比

此外，针对晶格光片显微镜、共聚焦显微镜等宽场照明或点扫描成像模态，该研究团队提出了一种可学习的傅立叶域噪声抑制模块（FNSM） ，该模块可以利用OTF信息对显微图像中的噪声进行自适应滤除。然后，他们以此构建了嵌入FNSM的通道注意力去噪神经网络架构，并基于显微成像数据本身的时空连续性，提出了时空交织采样自监督训练策略（TiS/SiS-rDL） ，无需额外采集训练数据、亦无需保证时序数据具有时间连续性，即可实现媲美监督学习效果的去噪神经网络的训练，解决了实际生物成像实验中高质量训练数据难以获取的难题。

图3 | 合理化深度学习超分辨显微成像方法应用概览

合理化深度学习超分辨显微成像方法能够适用于包括2D-SIM、3D-SIM、LLSM等在内的多种显微成像模态，提供高分辨率、高保真的显微图像重建性能，相较于传统方法大幅提升成像时程和速度。借助rDL成像技术，研究团队进行了诸多过去的成像手段无法开展的超分辨活体成像实验，并与HHMI Lippincott-Schwartz博士，中科院分子细胞科学卓越中心朱学良研究员、中科院遗传发育所何康敏研究员一起深入探讨了其潜在的生物学意义，包括：

（1）对滴落在玻片上的U2OS细胞贴壁生长过程进行了双色、长时程 （1小时以上） 、超分辨 （97nm分辨率） 观测，清晰、真实地记录了细胞粘附和迁移的动力学现象，而不会干扰这一漫长、脆弱的生命过程；

图4 | 利用rDL TIRF-SIM对细胞贴壁生长进行观测

（2）对高速摆动纤毛以当前最快的684Hz成像速率进行了长达60,000个时间点的连续超分辨观测，过程中无明显光漂白或细胞活性损伤，并对纤毛摆动模式和频率进行了统计分析；

（3）对摆动纤毛及纤毛内转运蛋白 （IFT） 进行了超快、超分辨双色成像，首次揭示了IFT在行进途中碰撞、重组、掉头等多种新行为；

图5 | 利用rDL GI-SIM对内质网等结构进行动态观测

（4）通过对cCAS-DNA与ER进行双色、长时程、超分辨成像，观测到cGAS-DNA在保持与ER持续接触过程中的定向运动、转向或扩散等行为，拓展了对膜性细胞器与无膜细胞器相互作用机制的认知；

（5）对HeLa 细胞分裂过程中的核仁磷酸蛋白 （NPM1） 、RNA聚合酶I亚基RPA49以及染色质 （H2B） 进行超长时程 （12秒采集间隔，2.5小时以上） 的三维超分辨活体成像，首次实现了对完整有丝分裂过程中NPM1与RPA49两种结构形态变化的三维超分辨活体连续观测，揭示了细胞有丝分裂过程中核仁形成以及NPM1、RPA49两种无膜亚细胞结构的相变、互作规律；

图6 | 利用TiS-rDL LLSM对高尔基体进行高速三维观测

（6）以10Hz的全细胞体成像帧率对高尔基体进行了长达10,000时间点的连续拍摄，并实现了对完整细胞分裂过程内质网、溶酶体、线粒体等亚细胞结构的三色、高速（秒量级）、超长时程（小时量级，>1000个时间点）三维观测，深入探究了细胞有丝分裂过程中细胞器在子代细胞中的均匀分配机制。

综上所述，李栋/戴琼海合作团队通过人工智能算法与光学显微成像技术的交叉创新，提出了一种合理化深度学习超分辨显微成像框架，解决了现有深度学习成像方法分辨率损失、预测不确定性、训练集不易采集等难题，能够为多种活体显微成像模态提供30倍以上的成像速度与时程的提升，为细胞生物学、发育生物学、神经科学等领域的发展提供了重要的研究工具，而该研究团队所坚持和倡导的人工智能算法与光学成像原理交叉创新、软硬结合的研究思路也为现代光学显微成像的发展开辟了新的技术路径。

清华大学自动化系博士后乔畅、中国科学院生物物理所正高级工程师李迪、助理研究员刘勇、张思微为该论文共同第一作者，中国科学院生物物理所研究员李栋、清华大学自动化系教授戴琼海和霍华德休斯医学研究所研究员Jennifer Lippincott-Schwartz为共同通讯作者。

专家点评

徐涛/纪伟（中国科学院生物物理所）：

在2014年获得诺贝尔化学奖后，超分辨显微成像技术已经成为研究细胞生物学、发育生物学等生命科学领域不可或缺的重要研究方向。结构光照明超分辨显微成像技术 （SIM） 在提升显微成像分辨率的同时，依然能够保持高成像速度和低光毒性，非常适合进行活体超分辨显微观测。李栋/戴琼海合作团队曾在去年提出傅立叶注意力神经网络和生成对抗网络，在低信噪比条件下相较于传统SIM取得了显著的重建效果提升，从而拓展了超分辨成像的应用范围 （报道链接： ）【1】。但对于端到端训练的深度神经网络来说，无论是图像去噪还是超分辨重建，二者均为欠定问题 （ill-posed problem） ，这也为深度神经网络的输出结果带来了不确定性 （uncertainty） ——一个在生命科学研究中不能被忽略的问题。此外，神经网络学习过程中的频谱分量偏倚 （spectral bias） 特性，也使得神经网络无法充分重建出超分辨图像的高频细节，无法达到真值（GT-SIM）图像的空间分辨率。

为解决上述问题，李栋/戴琼海合作团队“另辟蹊径”，将低信噪比条件下的SIM超分辨重建拆分为两个子任务：保留调制信息的原始图像去噪以及去噪后图像的超分辨重建。对于第一个子任务，提出了一种SIM成像物理模型启发的合理化深度学习图像去噪算法 （rDL SIM） ，在去噪的同时增强调制在低频空间中的样本高频信息；对于第二个子任务，则使用经典的解析算法将SIM图像中高频成分精确重建至正确频域位置。这一重建方案的核心在于，神经网络只需要对原始图像进行去噪而无需进行超分辨信息的预测，因而显著降低了任务欠定性，同时由于去噪是在低频空间中完成，避免了神经网络训练中的频谱分量偏倚问题。该技术的另一关键之处在于光学成像模型和成像先验信息的引入——借助SIM成像的物理模型巧妙地将结构光调制图案和光学传递函数 （OTF） 等先验信息融入到神经网络的预测和推断过程，从而指导神经网络给出符合实际结构光调制规律的去噪输出。上述软硬件深度融合的技术方法，使得rDL SIM技术可在低信噪比下获得高质量超分辨图像，可用于生物问题的定量分析。借助所提出的rDL SIM技术，合作团队实现了目前最快且成像时程最长的超分辨活细胞观测：684Hz超分辨成像速度和超过60,000个时间点的成像时程，并且对多种细胞生物学现象进行了快速、长时程、超分辨活体观测与定量分析，证明了rDL SIM发现全新生物规律的潜力和在生命科学领域的广阔应用前景。

此外，基于合理化深度学习概念中以物理和数据先验指导深度神经网络的思路，该合作团队还提出了时空交织采样自监督去噪方法 （TiS/SiS-rDL） ，并应用于自主开发的高速晶格光片显微镜 （LLSM） ，利用生物数据自身的时空连续性，以待去噪数据本身完成神经网络的训练，这在实际生物成像实验中可以极大程度地降低深度学习方法的使用成本。在细胞分裂过程中，内质网、染色体等亚细胞结构会发生巨大的形态变化，因此很难采集到适配整个过程的理想训练集，而合作团队借助所提出的TiS/SiS-rDL LLSM技术巧妙地克服了这一难题，成功实现了对HeLa细胞有丝分裂过程中多种亚细胞结构的高速、长时程、高分辨、多色成像，使得生物学家在更加精细的时空尺度下分析这一重要生命过程成为可能。TiS/SiS-rDL LLSM有望打破传统成像技术和深度学习方法的使用局限，大幅拓宽光学成像技术在生命科学研究中的应用范围。

整体而言，rDL SIM与rDL LLSM共同构成的合理化深度学习超分辨显微成像技术（rDL-SRM）是超分辨活体显微成像领域又一突破性进展，它的出现将为细胞生物学、发育生物学等领域的研究创造更多可能性。

专家点评

田捷（北京航空航天大学医工交叉创新研究院）

自17世纪列文虎克利用自己组装的复式显微镜为人类打开微观世界大门之后，显微成像领域已经发生了深远的变革。近年来，以深度学习为代表的人工智能发展为传统显微成像领域带来新的技术进步契机，深度学习与光学显微成像的交叉方向也成为领域内的一大研究热点。自2016年以来，深度学习越来越多地被用于对生物显微图像进行去噪、超分辨预测或重建，以较低的采集代价来获取更高信噪比或分辨率的图像，从而提升整体成像速度与时程，帮助生命科学家以更高的时空分辨率和更广的时间窗跨度来研究细胞生物学、发育生物学和神经科学问题【2】。但与此同时，科学成像是一项追求真实和严谨的任务，所谓“眼见为实”，成像数据的真实性对于生命科学研究来说至关重要，而不能仅仅追求图像视觉效果的提升。这也为深度学习在光学显微成像中的结合与应用带来更严苛的标准和更大的挑战。

李栋/戴琼海合作团队在这一问题上态度非常严谨，该研究团队为系统测评现有基于深度学习的超分辨成像方法的性能极限，曾在2021年利用自主搭建的多模态结构光照明显微镜 （multi-SIM）【3, 4】构建了生物结构的超分辨显微图像的公开数据集BioSR （DOI：10.6084/m9.figshare.13264793） ，并提出了矩阵测评分析方法 （assessment matrix） ，将现有典型超分辨神经网络的重建结果与传统SIM重建进行系统比较与分析，标定出深度学习超分辨方法的适用成像范围【1】。但即使是在适用条件范围内，现有基于深度学习的超分辨算法依然存在输出不确定性、高频细节模糊与训练集难以采集这三大困境。为此，该研究团队在最新发表的NBT文章中提出一套融合光学成像物理模型的神经网络架构，命名为合理化深度学习 （rDL） 显微成像方法，利用特定成像模态的系统和数据先验，指导神经网络的训练和预测过程，从而实现弱光条件下对于SIM图像的高质量、高保真超分辨重建，以及对于多种模态成像数据的完全自监督去噪。利用rDL方法和自主搭建的显微成像仪器，该团队开展了包括TIRF/GI-SIM、LLS-SIM、LLSM等多种模态下的快速、长时程、高分辨活体成像实验，验证了所提出rDL成像方法的有效性和其在生命科学研究中的巨大应用前景。

最后需要指出的是，当今深度学习算法在计算机视觉等领域发展迅速，但简单地将深度学习算法搬移至显微成像领域无法从根本上促进显微成像技术的发展。在这一点上，rDL成像方法的巧妙之处在于充分利用了光学成像的物理模型和相关先验信息来构建深度神经网络架构、启发神经网络的训练与推理策略，从而实现了仅凭深度学习算法或成像硬件改进无法完成的成像性能提升，是人工智能与光学显微成像技术交叉创新的典型成功范例。在未来，人工智能技术与光学显微成像学科交叉、软硬件深度融合的创新思路将有望引领新一轮显微成像技术的变革。

参考文献

1. Qiao, C. et al. Evaluation and development of deep neural networks for image super-resolution in optical microscopy.Nature Methods18, 194-202 (2021).

2. Weigert, M. et al. Content-aware image restoration: pushing the limits of fluorescence microscopy.Nat Methods15, 1090-1097 (2018).

3. Li, D. et al. Extended-resolution structured illumination imaging of endocytic and cytoskeletal dynamics.Science349, aab3500 (2015).

4. Guo, Y. et al. Visualizing Intracellular Organelle and Cytoskeletal Interactions at Nanoscale Resolution on Millisecond Timescales.Cell175, 1430-1442 e1417 (2018).

https://doi.org/10.1038/s41587-022-01471-3