戴琼海教授是中国人工智能学会理事长、中国工程院院士、清华大学信息科学技术学院院长与CAAI Fellow。戴琼海教授曾主持承担了国家科技部重大基础研究973项目和国家基金委重大仪器项目，是我国人工智能立体视觉和计算摄像技术的开拓者之一。他致力于开展多维多尺度计算摄像仪器的研究，包括超分辨计算显微技术，旨在提供从亚细胞、组织到器官的多尺度动态观测数据，试图突破百万级脑神经连接的观测，揭示神经系统结构和功能等脑科学规律，为创建新一代人工智能提供支撑。

习近平总书记视察清华大学成像与智能技术实验室

超分辨显微图像重建技术在医学影像处理、压缩图像增强等方面具有广阔的应用前景，近年来一直是深度学习研究的热门领域。近年来，基于卷积神经网络（Convolutional Neural Network，CNN）的深度学习算法在单张自然图像超分辨（Single Image Super Resolution，SISR）领域取得了巨大的进展，可将输入的低分辨率模糊图像上采样为细节清晰的高分辨率图像。目前，这些深度学习超分辨算法正快速运用到显微成像领域，例如：将单张宽场荧光显微图像作为超分辨神经网络的输入，即可得到突破衍射极限分辨率的超分辨图像输出。

然而，对于这种深度学习模型在何种成像条件下能生成优于超分辨率(SR)显微镜的图像，相关研究还很薄弱。与自然图像超分辨任务有所区别的是，超分辨荧光显微成像需要的不仅是视觉效果上的提升，更重要的是超分辨重建的结果必须保真、可信，才能服务于生物医学研究。具体而言，面对复杂度多样的生物结构，以及不同信噪比和分辨率的显微成像条件，现有超分辨神经网络模型与传统超分辨成像方法相比孰优孰劣？以及在不同成像条件下，生物学家在多大程度上能够信任这些模型的输出结果？是否可以利用显微成像的特点进一步提升超分辨神经网络的性能？以及这些超分辨神经网络是否能应用到生物医学研究中，并发现新现象？这些基本问题在这一新兴领域依然处于未知。

戴琼海教授课题组长期致力于人工智能计算成像方法的研究，近期在与中科院李栋课题组在《自然•方法》（Nature Methods）联合发表的论文——《光学显微成像中超分辨卷积神经网络的测评和发展》（Evaluation and development of deep neural networks for image super-resolution in optical microscopy）中，作者综合测评了现有超分辨卷积神经网络模型在显微图像超分辨任务上的表现，提出傅立叶域注意力卷积神经网络（DFCAN, Deep Fourier Channel Attention Network）和傅立叶域注意力生成对抗网络（DFGAN，Deep Fourier Generative Adversarial Network）模型，在不同成像条件下实现最优的显微图像超分辨预测和结构光超分辨重建效果，并观测到线粒体内脊、线粒体拟核、内质网、微丝骨架等生物结构的动态互作新行为。

图1. 深度学习超分辨显微成像方法观测细胞骨架的交错结构

为测评现有多种超分辨神经网络在显微图像超分辨任务中的表现，以及建立基于深度学习的显微图像超分辨算法研究生态，联合课题组首先利用自主搭建的整合了全内反射结构光照明显微镜（TIRF-SIM）、非线性结构光照明显微镜（Nonlinear-SIM）【Science，2015】和掠入射结构光照明显微镜（GI-SIM）【Cell，2018】等多种超分辨成像模态的多模态结构光超分辨显微镜系统对不同生物结构进行成像，建立了一个包含四种不同复杂度的生物结构、九种不同信噪比，以及提高2倍（Linear-SIM）、3倍（Nonlinear-SIM）分辨率的高质量超分辨显微成像公开数据集，命名为BioSR。以此为基础，该团队测试了多个现有超分辨神经网络模型的性能，并提出测评矩阵（assessment matrix）方法，将超分辨神经网络模型与传统线性结构光照明超分辨技术（Linear-SIM）和非线性结构光照明超分辨技术（Nonlinear-SIM）的效果进行比较，得到了不同模型的优越区域（priority region），即给出了不同模型实现足够好的超分辨成像效果、能够用于日常生物成像实验的成像条件。

但通过分析评测矩阵结果发现，现有超分辨神经网络模型的优越区域主要集中在低复杂度生物结构和提升2倍分辨率（即Linear-SIM）的成像条件下，而在生物成像实验通常使用的中、高信噪比条件下的性能则低于传统超分辨成像方法。为进一步拓展卷积神经网络在显微图像超分辨中的适用范围，提升超分辨成像和重建效果，戴琼海/李栋联合课题组基于高、低分辨率图像频谱覆盖范围的显著差异，提出了傅立叶域注意力卷积神经网络模型（DFCAN）和傅立叶域注意力生成对抗网络模型（DFGAN），实现了比其他现有卷积神经网络模型更鲁棒的显微图像超分辨预测效果，依据测评矩阵结果，其优越区域可以拓展至中高信噪比，可在实际生物成像实验中替代现有超分辨成像方法，应用场景得到较大程度的拓展。

图2. 傅立叶注意力机制和基于傅立叶域注意力卷积神经网络（DFCAN）、傅立叶域注意力生成对抗网络（DFGAN）结构光超分辨重建的活细胞成像

应用傅立叶域注意力卷积神经网络（DFCAN）和傅立叶域注意力生成对抗网络模型（DFGAN）单张显微图像超分辨率预测和结构光照明超分辨重建方法，研究人员能够以更低的激光功率、更快和拍摄速度、更长的拍摄时程和超越衍射极限和分辨率来观测亚细胞尺度的生物结构互作。例如：
 （1）细胞中的线粒体内膜和线粒体拟核之间的相互作用，成像时程（>1200张超分辨图像）达到传统活体超分辨成像方法的10倍以上，观察到伴随着线粒体内脊形变的拟核分离和聚合现象；
 （2）细胞中环形线粒体的行为，观察到环形线粒体会在细胞质流的推动下进行双向旋转，表明除植物细胞外，动物细胞一定程度上也用涡旋细胞质流来调节胞内稳态；
 （3）细胞内吞过程中细胞微丝（F-actin）和网格蛋白小窝（CCPs）的相互作用，观察到在内吞过程伊始时细胞微丝与网格蛋白小窝接触较少，而在内吞即将结束时细胞微丝频繁接触网格蛋白小窝，以帮助其脱离细胞膜；
 （4）细胞中线粒体和内质网之间的相互作用，观察到线粒体的分裂和融合往往发生在其与内质网的接触位点附近。

研究人员在使用结构光照明超分辨显微镜(SIM)的基础上，首先，采用了LR-SR图像对的广泛数据集，并根据结构复杂性、信噪比和升级因子评估深度学习SR模型；之后，设计了深度傅立叶域注意力卷积神经网络 (DFCAN，Deep Fourier Channel Attention Network)和傅立叶域注意力生成对抗网络(DFGAN，Deep Fourier Generative Adversarial Network)模型，该网络利用不同特征之间的频率内容差异来学习有关不同生物结构的高频信息的精确层次表示；最后，证明了DFCAN的傅里叶域聚焦能够在低信噪比条件下对SIM图像进行重构。研究表明，在多色活细胞成像实验中，DFCAN在10倍长的时间内获得了与SIM相当的图像质量，揭示了线粒体嵴和类核的详细结构以及细胞器和细胞骨架的相互作用动力学，并观测到线粒体内脊、线粒体拟核、内质网、微丝骨架等生物结构的动态互作新行为。

基于上述超分辨重建方法，研究人员能够以更低的激光功率、更快和拍摄速度、更长的拍摄时程和超越衍射极限和分辨率来观测亚细胞尺度的生物结构互作。

戴琼海，1964年12月生。清华大学信息科学技术学院院长、中国人工智能学会理事长、北京信息科学与技术国家研究中心主任。中国工程院院士。长江学者特聘教授。曾获国家技术发明奖一等奖、国家科学技术进步奖二等奖等。长期从事人工智能、视频处理及通信、光场与计算摄像学等领域研究并取得世界领先成果。2020年7月被聘任为国务院参事。