基于数字微镜器件的快速超分辨晶格结构光照明显微研究*

杨浩智 聂梦娇 马光鹏 曹慧群 林丹樱 屈军乐 于斌†

1) (深圳大学物理与光电工程学院,光电子器件与系统教育部/广东省重点实验室,深圳 518060)

2) (深圳大学化学与环境工程学院,深圳 518060)

超分辨结构光照明显微成像技术(super-resolution structured illumination microscopy,SR-SIM)具有时间分辨率高、光漂白和光毒性低和对荧光探针的要求少等优点,适用于活细胞的长时程超分辨成像.采用二维晶格结构光作为照明光,可以实现更快的成像速度和更低的光毒性,但同时也增加了系统的复杂性.为了解决此问题,本文提出了一种基于数字微镜器件的快速超分辨晶格结构光照明显微成像方法(digital micromirror device-based lattice SIM,DMD-Lattice-SIM),通过同步分时触发DMD 和sCMOS 相机的方式实现二维正交晶格结构光的产生,且只需要采集5 幅相移原始图像即可重构出超分辨图像,相比于传统SR-SIM需要9 幅相移原始图像的方法,图像采集时间减少了约44.4%.同时,在基于空域和频域联合的SIM 重构算法(joint space and frequency reconstruction method-SIM,JSFR-SIM)的基础上,本文还发展了用于Lattice-SIM 的JSFR 超分辨图像重构方法(Lattice-JSFR-SIM),先在频域对原始图像进行预滤波处理;然后,在空域对滤波后的图像进行超分辨重构处理.与传统频域图像重构处理对比,该方法在512 ×512 像素数的成像视场下重构时间减少了约55.6%,对于实现活细胞实时超分辨成像具有重要意义和应用价值.

1 引言

近年来,超分辨显微成像技术(super-resolution microscopy,SRM)快速发展,达到了纳米量级的空间分辨率,在生命科学、生物医学等领域获得了广泛的应用.目前,典型的SRM 主要包括受激辐射损耗(stimulated emission depletion,STED)显微成像技术、单分子定位显微成像技术(single molecule localization microscopy,SMLM)和超分辨结构光照明显微成像技术(super-resolution structured illumination microscopy,SR-SIM)等.STED 采用点扫描的成像方式,通过一束激光激发荧光分子,另一束环形空心损耗光抑制荧光发射,从而缩小点扩散函数实现超分辨,其横向分辨率可以实现50 nm 以内,并且不需要后期图像处理,但需要特定的荧光标记和高功率的损耗光,不适合活细胞样品的长时间观察.SMLM 通过稀疏激发荧光分子,并对每个荧光分子的位置进行拟合定位,通过重复数千次甚至数万次这个过程实现样品的超分辨重构,成像速度慢,不适合活细胞样品成像.SR-SIM 通过在样品面产生一系列的结构光照明图案,把样品处于衍射极限外的高频信息编码到衍射极限内;然后,通过算法后处理将高频信息解调出来并移动到真实位置,从而实现超分辨成像.由于照明图案的空间频率也受到显微物镜衍射极限的影响,因此,相比宽场显微,SR-SIM 的理论横向分辨率最多只能提升一倍,结合优化算法等,分辨率可进一步提高.总之,SR-SIM 具有时间分辨率高、光漂白和光毒性低,以及对荧光探针的要求少等优点,适用于活细胞的长时程超分辨成像.

传统SR-SIM 通常需要采集3 个不同方向和相位的至少9 幅结构光照明图像,基于频域Wiener解卷积架构以实现超分辨图像重建[1],且超分辨图像重建质量依赖于对结构光照明参数如频率、相位的精确估计,否则会产生明显的图像伪影.多帧成像特性和频域去卷积重建涉及复杂耗时的照明结构光参数精确估计制约了SR-SIM 的原始图像采集速度与超分辨图像重建效率,是其应用于活细胞实时成像时所面临的主要挑战.为了进一步提高SR-SIM 的成像速度,研究人员发展了多种形式的结构光照明及超分辨图像重构方法[2].为避免机械驱动光栅带来的不稳定性和速度慢,利用空间光调制器[3](spatial light modulator,SLM)或数字微镜器件[4-6](digital micromirror device,DMD)产生数字光栅,提高了结构光照明的切换速度,进而提高了SR-SIM 成像速度.研究人员在照明模板上进行一些改进,如表1 所列.Mudry等[7]提出的blind-SIM 使用随机散斑照明,在没有照明模式的先验前提下即可计算超分辨图像.Heintzmann[8]提出使用二维图案照明用于饱和图案激发显微技术(saturated patterned excitation microscopy,SPEM),在保持高时间分辨率的同时,实现比传统SPEM 更高的空间分辨率.蔡司公司利用二维光栅生成晶格照明,并通过解卷积算法实现了60 nm的空间分辨率[9].Zheng等[10]提出大视场Lattice-SIM,利用二维光栅产生结构光,使用SLM 实现结构光的相移,并且通过控制光的偏振,避免两个正交方向上光束的干涉,只需采集五张原始图像即可重构出超分辨图像.然而,为了产生Lattice-SIM所需要的结构光,需要同时使用物理光栅和SLM,并且需要在光路中加入特定的偏振片,增加了系统的复杂性.除了在照明模板上进行改进,研究人员在重构算法上也取得一些重要进展,如表2 所列.Huang等[11]利用生物结构的连续性作为先验知识,有效地减少了SIM 重构过程中产生的伪影.在此基础上,进一步将生物结构的稀疏性[12]也纳入先验知识范畴,在高帧速的情况下达到约60 nm的空间分辨率.Wen等[13]使用点扩散函数改造方法优化频谱,无需进行复杂的参数调整.上述几种方法都是在频域进行重构,不可避免地涉及多次傅里叶变换和傅里叶逆变换,增加算法复杂度,图像处理速度相对较慢.为了进一步提升SIM 图像的处理速度,Tu等[14]和Dan等[15]分别提出两种直接在空域进行处理的超分辨重构算法,超分辨重构速度分别比传统在频域中快约5.4 倍和7 倍.Wang等[16,17]提出联合空域和频域重构的算法(joint space and frequency reconstruction,JSFR-SIM),先在频域滤波,然后在空域重构,获得光学切片的超分辨图像.Wen等[18]提出先在空域重构,然后在频域优化频谱,速度比Wiener-SIM 快约2 倍,并且能够在没有照明模式的先验知识的情况下,也能抑制伪影的产生.然而,目前还没有针对Lattice-SIM 的空域重构算法.

表1 不同照明图案的SIM 对比Table 1. Comparison of SIM with different illumination patterns.

表2 不同重构算法的SIM 对比Table 2. Comparison of reconstruction algorithms.

为了简化Lattice-SIM 的成像装置,同时缩短原始图像的采集时间和算法后处理时间,进一步提升SR-SIM 的时间分辨率,实现实时超分辨显微成像,本文提出了一种基于DMD 的快速晶格结构光照明显微成像方法(DMD-based lattice SIM,DMDLattice-SIM),该方法采用高速DMD 和相机同步分时触发来实现二维晶格照明,只需采集5 幅原始图像;同时,在JSFR-SIM 的基础上,发展了Lattice-JSFR-SIM 超分辨图像快速重构方法,并进行了理论推理、仿真和实验验证.通过固定细胞微管成像实验,验证了系统的分辨率和算法的可行性;通过活细胞线粒体动态超分辨成像实验,进一步验证了该系统实时成像能力.

2 DMD-Lattice-SIM 系统与方法

2.1 系统设计与搭建

图1 为DMD-Lattice-SIM 的系统光路示意图.一台波长为532 nm 的激光器(Sapphire 532-200CW CDRH,相干,美国)发出的一束激光经过由透镜L1 (f=10 mm)和透镜L2 (f=150 mm)组成的扩束系统扩束15 倍后,经反射镜M 反射后照射在DMD (DLP 6500FLQ,微镜数为1920×1080,微镜尺寸为7.56 μm×7.56 μm,德州仪器,美国)上,通过控制微镜的“on”和“off”状态调控入射光场分布以产生特定的照明光栅;入射光束经处于“on”状态的微反射镜反射后进入由透镜L3 (f=250 mm)和透镜L4 (f=250 mm)组成的4f滤波系统,在4f系统的频谱面放置滤波掩模板,仅让±1 级衍射通过,然后,在透镜L4 的像方焦面处形成正弦光栅;最终,正弦光栅经过透镜L5 (f=300 mm)、二向色镜DM 和物镜(60×,NA=1.49,尼康,日本)缩小90 倍成像在样品面.样品产生的荧光被同一个物镜收集,经过管镜TL (f=200 mm)成像在科学级互补金属氧化物半导体(sCMOS)相机(ORCA-Fusion BT,像素数为2304 ×2304,像素尺寸为6.5 μm×6.5 μm,滨松,日本)上.其中,DM 的作用是使激光反射进入物镜,同时使样品的荧光信号透射进入相机.

图1 DMD-Lattice-SIM 系统光路示意图Fig.1.Schematic diagram of DMD-Lattice-SIM system.

2.2 二维晶格结构光的产生

二维晶格结构光可以看作是两个正交的一维光栅的非相干叠加,一维光栅可以通过DMD 加载相应的模板然后滤波得到,使用Labview 通过数据采集卡(NI,USB-6363)控制DMD 和相机同步分时触发,实现两个光栅的非相干叠加,产生晶格结构光.图2(a)为数据采集卡输出的信号,利用DMD快速切换的特性,可以在相机一次曝光的时间内,DMD 依次加载两个正交方向的一维光栅,相机连续收集如图2(b)和图2(c)所示的两个方向的光栅激发的荧光信号,最终得到图2(d)的荧光图像.由于两个方向的光栅是分时触发的,这种方法可避免两个光栅之间的干涉串扰,不需要考虑激发光偏振方向的影响,并且DMD 加载二进制图片的切换速度高达9500 Hz,不会影响相机最终的采集速度.

图2 产生晶格结构光照明的原理示意图(a) 数据采集卡的控制信号;(b) DMD 加载第一张模板时相机采集的模拟数据;(c) DMD加载第二张模板时相机采集的模拟数据;(d) 相机在一次曝光时间内采集的模拟数据;(e)—(g) 图(b)—(d)的傅里叶频谱Fig.2.Schematic diagram of the principle of generating lattice structured illumination: (a) Control signal of the data acquisition board;(b) analog data collected by the camera when the DMD loads the first template;(c) analog data collected by the camera when the DMD loads the second template;(d) analog data collected by the camera within one exposure time;(e)-(g) frequency spectra of panel (b)-(d).

2.3 超分辨图像重构方法

传统SR-SIM 重构算法通过测量计算照明结构光频率、相位等照明参数,然后把原始图像进行傅里叶变换转换到频域,求解线性方程组得到样品的低频信息和高频信息,再把每个分量信息移动到其真实的位置上,相加后转化为空域得到超分辨图像.JSFR-SIM 利用照明参数构造参数矩阵,先在频域进行滤波,抑制离焦背景,然后在空域中把滤波后的图像与对应的参数矩阵进行点乘,相加后即可得到超分辨图像.本文所使用的超分辨重构算法是在JSFR-SIM 的基础上,提出Lattice-JSFR-SIM,用二维正交光栅照明代替一维光栅条纹照明,对参数矩阵进行修改,具体原理如下.

在SIM 中采用二维光栅照明,照明光场的强度分布可以表示为

其中r是二维空间的位置矢量;I0是均值照明强度;m1和m2,ω1和ω2,φ1,i和φ2,i分别是两个正交条纹的调制度、频率矢量和初相位;i表示第i张照明模板.样品受到二维光栅的照明激发出荧光,由于光学显微成像系统具有低通滤波的特性,sCMOS相机检测到的荧光信号强度分布可以表示为

其中O(r) 表示样品荧光分布,H(r) 表示显微系统的点扩散函数,⊗表示卷积运算.与JSFR-SIM 类似,假设存在c1(r),c2(r),c3(r),c4(r),c5(r),使得下式对于任何O(r)和H(r) 恒成立,则系统的有效点扩散函数可以通过将宽场点扩散函数乘以调制函数2+cos(ω1r)+cos(ω2r) 得到:

把(1)式和(2)式代入(3)式,并利用卷积公式分别得到下列两个式子:

由于(4)式和(5)式相等,通过比较得出下列关系:

根据三角函数公式对上述式子左右两边进行展开,得到:

由于三角函数具有正交性,并且ω1和ω2是正交的频率矢量,上述式子对于任意r′恒成立,则(7)式中常数项、cosω1r′、sinω1r′、cosω2r′和sinω2r′的系数分别相等,满足下列方程组:

写成矩阵运算的形式:

由于照明光的频率、相位、调制度均可以通过计算得到,只要选择适当的φ1,i和φ2,i,使得矩阵M可逆,则可以通过下列式子得到ci(r),再通过(3)式得到超分辨重构图像.

DMD 加载不同的光栅图片,可以实现不同的相位变化.采用φ1,i ∈{0,π/2,π,π,π} ,φ2,i ∈{0,0,0,π/2,π}的两个方向条纹的相移量组合,根据(1)式和(2)式可以得到宽场图像的荧光信号强度分布为

Lattice-JSFR-SIM 的重构过程如图3 所示.其重构过程如下: 首先,根据原始图像计算出照明晶格的频率、相位和调制度;其次,根据(10)式得到系数矩阵ci(r) ;然后,将原始图像转换到频域进行滤波、再转换到空域与系数矩阵进行点乘、叠加等操作;最终得到超分辨图像.

图3 Lattice-JSFR-SIM 重构过程Fig.3.Lattice-JSFR-SIM reconstruction process.

3 实验结果与讨论

3.1 数值仿真实验

首先,使用模拟数据验证算法的可行性.生成一个1000 ×1000 像素数的星状测试图像,像素大小为10 nm ×10 nm,如图4(a)所示.模拟的荧光发射波长为600 nm,物镜的数值孔径NA为1.49,由阿贝衍射极限公式计算可知,宽场图像分辨率rWF=≈201 nm .使用±45°两个正交方向的正弦光栅作为照明晶格,光栅周期dG为300 nm,根据理论公式可以得到超分辨图像分辨率为rSIM=120 nm .为进行对比,使用传统正弦条纹作为照明光源,条纹方向与上述晶格方向相同,分别为45°和-45°,相位为φ ∈{0,2π/3,4π/3},使用开源算法fairSIM[19]进行重构.图4(b)是衍射受限的宽场图像,图4(c)是条纹照明fairSIM 重构图像,图4(d)是晶格照明Lattice-SIM 重构图像,图4(e)是晶格照明Lattice-JSFR-SIM 重构图像.图4(f)所示为曲线所截取的切面强度分布对比.从图4 可以看到,Lattice-JSFRSIM 处理后的图像能够分辨相邻约145 nm 的条纹,与理论计算的结果接近,并且与开源算法fairSIM处理的结果接近.

图4 模拟数据重构结果(a) 真实图像;(b) 宽场图像;(c) fairSIM 超分辨重构图像;(d) Lattice-SIM 超分辨重构图像;(e) Lattice-JSFR-SIM 超分辨重构图像;(f) 图(b)—(e)中曲线的切面强度分布Fig.4.Reconstructed results of the simulated data: (a) Ground truth;(b) wide-field image;(c) fairSIM super-resolution reconstructed image;(d) Lattice-SIM super-resolution reconstructed image;(e) Lattice-JSFR-SIM super-resolution reconstructed image;(f) intensity distribution of the profile in panel (b)-(e).

接下来,对算法运行速度进行统计分析.在对样品进行长时间观测记录时,每个照明周期对应的照明参数(如频率、相位等)可以认为是相同的.因此,在统计算法运行速度时,无需考虑计算照明参数的时间,只需计算超分辨重构所需的时间.使用的电脑配置如下: Intel(R) Core(TM) i5-10500 CPU@3.10 GHz,DDR4 2133 MHz 16 GB,NVIDIA Ge-Force GTX 1050Ti,Netac NVMe SSD 512 GB,Windows 10 专业版,MATLAB R2021a.每个算法分别重复运行5000 次,记录每次运行超分辨处理的代码所需的时间,得到平均值和标准差.结果如表3 所列.在处理前,先对图像进行插值缩小一倍像素大小,以满足分辨率要求.采集时间根据相机对应尺寸下最快帧速与采集张数的乘积得到,传统频域算法是Zheng等[10]提供的开源算法.从结果可以看出,空域重构算法的速度是传统频域算法的2 倍多,结合使用GPU 重构,可以进一步地降低重构时间.空域重构算法通过避免多次傅里叶变换和傅里叶逆变换的操作,极大地减少了重构时间.同时,采用晶格照明只需采集5 幅原始图像,不仅减少了采集时间,而且图像数量的减少也会相应地缩短了重构时间.

表3 算法运行速度对比Table 3. Comparison of algorithm running speed.

3.2 固定细胞微管样品的超分辨成像

在前期的研究工作中,本课题组[20]合成了一种用于超分辨成像的InP/ZnSe/Zns 量子点,利用该量子点标记非洲绿猴肾细胞(BSC-1)微管样品,进行了系统的分辨率标定,以验证所搭建的Lattice-JSFR-SIM 系统的超分辨成像能力.使用5 个不同的晶格模板进行照明,并采用上述方法对采集到的图像进行超分辨重构.结果如图5 所示,其中图5(a)是宽场图像,图5(b)是超分辨重构图像,图5(c)和图5(d)分别是图5(a)和图5(b)中所选区域的放大图,图5(g)是划线区域的切面强度分布对比.由图5 可以看出,经过超分辨重构后的图像能够区分宽场图像无法区分的微管,并且具有更高的信噪比.进一步利用自适应去相关分辨率估计方法[21]计算了宽场图像和超分辨重构图像的分辨率,如图5(e)和图5(f)所示,得到的图像分辨率分别是317 nm 和135 nm.

图5 固定细胞微管实验结果(a) 宽场图像;(b) 超分辨图像;(c) 图(a)中所选区域的放大;(d) 图(b)中所选区域的放大图;(e) 图(a)的去相关分辨率估计;(f) 图(b)的去相关分辨率估计;(g) 图(c)和图(d)中划线位置的切面强度分布Fig.5.Experimental results of fixed cell microtubules: (a) Wide-field image;(b) super-resolution image;(c) magnification of the selected area in panel (a);(d) magnification of the selected area in panel (b);(e) corresponding decorrelation analysis of panel (a),C.c.,cross-correlation;(f) corresponding decorrelation analysis of panel (b);(g) intensity distribution of the profile at the line position in panel (c) and (d).

3.3 活细胞线粒体样品的动态超分辨成像

为了验证该系统的快速成像能力,使用Mito-TrackerTMOrange CMTMRos标记BSC-1活细胞线粒体样品进行动态成像.相机的采集频率为100 Hz,DMD 的切换频率为200 Hz,利用Labview控制相机和DMD 实现连续同步分时采集.结果如图6 所示,图6(a)是连续采集数据中第一张宽场图像,图6(b)是对应的超分辨重构图像.利用自适应去相关分辨率估计方法计算宽场图像和超分辨重构图像的分辨率,如图6(c)和图6(d)所示,得到的图像分辨率分别是373 nm 和138 nm.图6(e)是图6(b)中所选区域的放大图,该采集时序以0.5 s 为间隔进行展示.在该序列中,可以清晰地看到箭头所指的线粒体的动态过程: 在第1 s 时线粒体分裂成两段,在第3 s 时融合成一段,在4.5 s 时又分裂成两段.为了更清晰观察线粒体的动态过程,把该动态过程以0.05 s 为间隔,从第3.5 s 开始进行展示,如图6(f)所示,该时序可以更清楚地看到线粒体的分裂过程,充分说明了所提出的系统具备快速成像的能力,对监测活细胞动态变化具有重要意义.

图6 BSC-1 活细胞线粒体动态实验结果(a) 宽场图像;(b) 超分辨图像;(c) 图(a)的去相关分辨率估计;(d) 图(b)的去相关分辨率估计;(e) 图(b)中所选区域放大图,时间间隔为0.5 s;(f) 图(b)中所选区域放大图,时间间隔为0.05 sFig.6.Experimental results of BSC-1 live cell mitochondria dynamics: (a) Wide-field image;(b) super-resolution image;(c) corresponding decorrelation analysis of panel (a);(d) corresponding decorrelation analysis of panel (b);(e) magnification of the selected area in panel (b) with a time interval of 0.5 s;(f) magnification of the selected area in panel (b) with a time interval of 0.05 s.

4 结论

本文提出和搭建了基于DMD 的超分辨晶格结构光照明显微成像系统,通过DMD 和相机同步分时触发的方式生成晶格结构光照明,仅需5 张原始图像即可重构出超分辨图像,简化了系统,提升了采集速度.同时,该系统采用了联合空域和频域的重构方法,进一步提高了重构速度.最后,通过在该系统上进行微管和活细胞线粒体实验,验证了该方法具备超分辨实时成像的能力,为进一步实现超分辨实时成像打下基础.本文所提出的方法可以帮助研究人员更好地在实验过程中寻找感兴趣区域,并提供实时的反馈信息,使得研究人员能够及时调整实验条件、干预过程或触发特定事件,对于实验控制和优化非常有用.在本文工作的基础上,还可以结合高保真SIM 重建算法[13,17]把有效点扩散函数设计成理想形式,进一步优化频谱以减少重建伪影,提升成像质量.