近日，南京理工大学陈钱、左超教授课题组提出了一种基于集成学习的单帧复合结构光照明超分辨显微成像技术（edl-csim）。该方法通过六光束干涉复合照明策略将超分辨信息调制集成至单帧图像中，从而显著降低了成像所需帧数与光照剂量；在此基础上引入集成学习技术实现了横向分辨率达100nm的单帧高质量超分辨图像重建。edl-csim在成像速度、重建质量及环境鲁棒性等方面均优于传统物理驱动的重建方法，且在多种样本类型与结构特征下展现出良好的泛化性。该技术已成功应用于活体亚细胞结构的动态观测，为实现快速、长时程超分辨显微成像提供了有力支撑。相关研究成果以“ensemble deep learning-enabled single-shot composite structured illumination microscopy (edl-csim)”为题发表于 photonix 期刊，论文第一作者为南京理工大学博士后钱佳铭，硕士生王春耀为共同第一作者，通讯作者为南京理工大学左超教授、陈钱教授及吴洪军讲师。
主要研究内容
传统sim技术面临两大核心挑战：一方面需要采集多帧不同调制方向的原始图像，显著制约了时间分辨率；另一方面在低信噪比环境下易产生重建伪影，严重影响了成像质量。为解决上述问题，研究人员从编码方案和重建算法两个层面进行了创新突破：在照明编码方面，设计了一种基于六光束干涉的复合结构光照明策略，利用多角度空间频率调制模式的并行编码实现了超分辨信息在单帧图像中的高效集成调制，将光子效率提升至传统编码方案的9倍。在图像重建方面，构建了融合transformer模块的集成神经网络架构，通过多模型协同学习策略，从单帧复合图像中重建出横向分辨率达100nm的高质量超分辨图像。实验结果表明，edl-csim在多种生物样本（如bpae细胞、蛔虫切片、植物茎横截面等）和亚细胞结构（如线粒体、微管、肌动蛋白等）成像中均展现出卓越的重建性能和优异的泛化能力。在活体cos-7细胞线粒体的成像中，该方法成功捕捉到线粒体融合与分裂的动态生物学过程，为深入研究线粒体动态平衡及其在各种疾病发病机制中的作用提供了强有力的新型观测工具，展现出在活细胞超分辨成像领域的广阔应用前景。
技术突破与创新
在典型的sim光学系统中，照明光场由准直激光经空间光调制器产生的±1级衍射光干涉而产生。在该模式下，单次照明仅能调制与条纹方向正交的频谱分量。为实现各向同性的横向超分辨，需采集三个方向（间隔120°）的照明场
图2(a)和2(b)
，导致对样品运动较为敏感并制约了成像速度。为突破这一限制，本研究提出了一种基于六光束干涉的复合结构光照明策略。该方案的核心在于将时序域的多方向照明压缩至空间域，通过同时产生六个不同方向的衍射光束，取代传统的两光束干涉模式
图2(c)和2(d)
。具体实现上，研究人员采用三个方向标准光栅图案的叠加照明，在保持原有光学装置不变的前提下，通过单次曝光实现了对样品全场超分辨信息的有效调制
图2(e)-2(g)
。针对复合照明调制下超分辨重建的病态逆问题，研究人员引入集成学习策略，通过多模态特征融合构建复合图像与超分辨图像间的伪映射关系。同时，采用部分卷积和跨层连接等策略提升网络效率，在保持高质量重建性能的基础上，推理速度提升40%以上。
图2 六光束干涉复合结构光照明的原理示意图。(a) 用于滤出±1级衍射光的的掩模板；(b) 基于双光束干涉的经典照明方案；(c) 基于六光束干涉的复合照明方案；(d) 在样品表面发生的六光束干涉；(e) 叠加三个方向标准光栅图案的复合照明图案；(f) 原始照明图像的频谱信息；(g) 采用复合结构光照明方案的sim系统。
为验证edl-csim的重建性能，研究人员开展了集成学习策略的消融实验。结果表明，该策略通过融合多源特征显著提升了图像保真度
图3(a)-3(g)
。尤其在低信噪比区域，edl-csim有效抑制了传统方法中因失焦背景产生的伪影，实现了更高质量的超分辨重建
图3(e)与3(f)
。在推理速度方面，经轻量化后的集成网络将单次预测时间从4.95秒降至2.54秒，降幅达48.89%，而训练时间仅比单网络增加23.68%
图3(h)和3(i)
图3 基础网络与集成网络对bpae细胞线粒体图像的预测结果。(a) 复合照明图像与宽场图像间的对比；(b)-(d) 基础网络1-3的预测结果；(e) 集成网络的预测结果；(f) 使用pca-sim7从9张常规照明图像中获取的真值图像；(g) 不同网络的预测结果沿e中浅蓝色线的强度分布曲线；(h) 基础网络与集成网络在轻量化前后进行一个epoch的训练时间及模型预测时间；(i) 不同基础网络和集成网络的损失函数收敛曲线；(j) 对集成学习策略的消融实验结果。
研究人员进一步对比了edl-csim与两种先进的方法（apcan10和festn8）在sim重建中的性能。如图4所示，面对复合图像中严重的频谱混叠问题，apcan和festn的重建质量受到影响，而edl-csim能够预测出更高质量的超分辨图像。定量分析表明，edl-csim在图像保真度和空间分辨率方面均优于对比方法
图4(d)和4(e)
。在cos-7细胞微管、蛔虫样本等未见数据的测试中，edl-csim仍然获得了最佳的重建质量和保真度，验证了其良好的泛化能力和环境鲁棒性。
图4 使用不同的深度学习方法对bpae细胞进行的对比实验。(a) 复合照明图像、宽场图像及edl-csim获得的超分辨图像间的对比；(b), (c) 通过不同方法（festn8、apcan10、edl-csim和pca-sim7）获得的(a)中白框及黄框区域的宽场图像、复合照明图像和超分辨图像；(d) 不同方法获得的超分辨图像与真值间的ssim分布；(e) 不同方法获得的超分辨结果分别沿(b)、(c)中浅蓝色线的强度分布曲线。
图5 使用不同的深度学习方法对cos-7细胞微管及蛔虫样本进行的对比实验。(a) cos-7细胞微管的宽场图像与edl-csim获得的超分辨图像间的对比；(b), (c) 通过不同方法（festn8、apcan10、edl-csim和pca-sim7）获得的(a)中黄框及白框区域的宽场图像、复合照明图像和超分辨图像；(d) 不同方法获得的超分辨结果沿(b)和(c)中黄线和蓝线的强度分布曲线；(e) 不同方法获得的超分辨结果与真值间的ssim和psnr分布；(f) 蛔虫样本的宽场图像和edl-csim获得的超分辨图像间的对比；(g), (h) 不同方法获得的(f)中黄框和白框区域的宽场图像、复合照明图像和超分辨图像；(i) 不同方法获得的超分辨结果沿(g)和(h)中黄线和蓝线的强度分布曲线；(j) 不同方法获得的超分辨结果与真值间的ssim和psnr分布。
单帧成像特性与高质量重建性能使edl-csim特别适用于活细胞的超分辨动态观测。为了验证这一点，研究人员将其应用于对活体cos-7细胞线粒体的成像，并捕捉到线粒体融合与分裂的精细动态过程。这些动态事件为研究线粒体动态行为及其在神经退行性疾病、糖尿病和肿瘤等人类疾病中的作用提供了重要线索。
视频1 edl-csim对活体cos-7细胞线粒体的动态超分辨重建结果。
观点评述
本研究提出了一种基于集成学习的单帧复合结构光照明显微成像方法（edl-csim），通过六光束干涉复合照明实现了各向同性频谱调制，并借助融合多源特征的集成神经网络，有效解决了单帧图像重建所面临的病态逆问题。该方法将成像速度提升至传统sim的9倍，在不同样本类型中均展现出优异的重建质量和泛化性能。未来，edl-csim可通过迁移学习与数据增强，拓展至更多样本类型与显微成像平台。进一步结合物理模型约束与网络轻量化策略，有望构建实时、稳定且泛化性强的单帧sim超分辨成像系统，为活细胞动态研究与前沿生物医学应用提供更具潜力的成像方案。
附注
本文提供了edl-csim网络代码、相关数据及用户指南，请阅读论文原文及相关补充材料以获取有关本文更多的详细内容。
1. gustafsson, m. g. l. surpassing the lateral resolution limit by a factor of two using structured illumination microscopy. j. microsc. 198, 82–87 (2000).
2. rust, m. j., bates, m. & zhuang, x. sub-diffraction-limit imaging by stochastic optical reconstruction microscopy (storm). nat. methods 3, 793–796 (2006).
3. klar, t. a., jakobs, s., dyba, m., egner, a. & hell, s. w. fluorescence microscopy with diffraction resolution barrier broken by stimulated emission. proc.natl. acad. sci. 97, 8206–8210 (2000).
4. li, d. et al. extended-resolution structured illumination imaging of endocytic and cytoskeletal dynamics. science 349, aab3500–aab3500 (2015).
5. chen, x. et al. superresolution structured illumination microscopy reconstruction algorithms: a review. lightsci. appl. 12, 172 (2023).
6. müller, m., mönkemöller, v., hennig, s., hübner, w. & huser, t. open-source image reconstruction of super-resolution structured illumination microscopy data in imagej. nat. commun. 7, 10980 (2016).
7. qian, j. et al. structured illumination microscopy based on principal component analysis. elight 3, 4 (2023).
8. wu, h. et al. single-frame structured illumination microscopy for fast live-cell imaging. apl photonics 9, 036102 (2024).
9. qiao, c. et al. evaluation and development of deep neural networks for image super-resolution in optical microscopy. nat. methods 18, 194–202 (2021).
10. fan, j. et al. high-fidelity reconstruction of structured illumination microscopy by an amplitude-phase channel attention network with multitemporal information. ieee trans. instrum. meas. 72, 1–13 (2023).
主要作者介绍
钱佳铭，南京理工大学电光学院博士后，入选博士后创新人才支持计划。研究方向为结构光照明计算成像。近年来在elight、light等国际光学期刊发表sci论文20余篇，成果入选2023年中国光学十大社会影响力事件。主持国家自然科学基金青年项目等4项项目。获中国光学学会“王大珩光学奖”、中国光学工程学会技术发明一等奖、日内瓦国际发明展金奖等。
南京理工大学智能计算成像实验室（scilab：www.scilaboratory.com）隶属于南京理工大学光学工程国家一级重点学科带头人陈钱教授领衔的“光谱成像与信息处理”教育部长江学者创新团队、首批“全国高校黄大年式教师团队”。实验室学术带头人左超教授为教育部长江学者特聘教授、国际光学工程学会会士（spie fellow）、美国光学学会会士（optica fellow）、英国物理学会会士(iop fellow)，入选科睿唯安全球高被引科学家。实验室致力于研发新一代计算成像与传感技术，在国家重大需求牵引及重点项目支持下开展新型光学成像的机理探索、工程实践以及先进仪器的研制工作，并开拓其在生物医药、智能制造、国防安全等领域的前沿应用。研究成果已在sci源刊上发表论文270余篇，其中46篇论文被选作photonix、light、optica、lpr等期刊封面论文，25篇论文入选esi高被引/热点论文，论文被引近2万次。获中国光学工程学会技术发明奖一等奖、江苏省科学技术奖基础类一等奖、日内瓦国际发明展“特别嘉许金奖”等。培养研究生6人获全国光学工程优秀博士论文/提名奖，5人获中国光学学会王大珩光学奖，10人入围light全国光学博士生学术竞赛全国百强，获“挑战杯”、“创青春”、“研电赛”全国金奖十余次，“互联网 ”全国总冠军。师生双创事迹得到央视《焦点访谈》、人民网、新华网、光明日报、中国教育电视台等百余家媒体报道，社会辐射影响广泛。
本文出处