用于多通道单分子定位的高精度图像配准方法*

林丹樱 龚振权 黄黎琳 聂梦娇 于斌 屈军乐

(深圳大学物理与光电工程学院,光电子器件与系统教育部/广东省重点实验室,深圳 518060)

单分子定位技术可以绕过光学系统的衍射限制,在生物样品的单粒子追踪和超分辨显微成像中得到了广泛应用.多通道单分子定位采用多个成像通道,可以实现对不同目标的同时追踪或多色超分辨成像,也可以提升单粒子追踪的轴向深度或实现更高的定位精度和密度.但各通道图像间的差异会影响协同定位或定量分析,因此图像配准是其图像数据预处理的关键环节;且由于单分子定位精度高,其对多通道图像配准精度的要求也很高.现有技术一般采用基于控制点的配准方法,且多采用复杂而精密的方式来获取基准物网格图像用于定位得到控制点对,以实现高精度图像配准,对样品或实验设备要求高,难以直接推广.为此,本文基于局部非线性变换和误匹配点剔除,发展了一种可以直接采用随机分布荧光珠样品作为基准物的高精度图像配准方法,通过在特征匹配和变换模型参数估计的过程中对控制点进行监测和迭代筛选,以剔除因单分子定位不准确或精度差而导致未精确匹配的控制点对,从而消除以随机分布荧光珠样品作为基准物时对于控制点准确获取和精确匹配所带来的不良影响,同时采用基于局部加权平均的二阶多项式拟合进行变换模型参数估计,以更好地适用于不同通道间存在局部非线性形变的情形.结果表明,采用该方法只需要3 次迭代,就可以将未准确定位和精确匹配的控制点对找到并剔除,从而实现更准确的变换模型参数估计,将配准精度提高一个数量级,在图像局部非线性形变情况严重的正交像散双通道单分子定位成像系统中实现了约6 nm 的配准精度.

1 引言

单分子定位技术利用高灵敏图像探测器记录单个荧光分子的像斑并利用算法确定其几何像点,可以绕过光学系统的衍射限制实现对单个荧光分子的准确定位[1],早期被应用于生物样品中的单分子检测和单粒子追踪研究[2,3],近十几年来被成功应用于超分辨显微成像[4–6],成像分辨率可达几十纳米,远高于传统光学显微镜的200—300 nm 分辨率极限.多通道单分子定位是指在进行单分子定位时涉及多个成像通道的情形.例如,在单粒子追踪应用中采用多个通道提升追踪的轴向深度[7]或实现对不同目标的同时追踪[8],在基于单分子定位的超分辨显微成像中采用多个通道实现多色超分辨成像[9,10],或实现更高的定位精度或定位密度[11–13].各通道图像通常需要用于协同定位或分析,而光路搭建时由于光学元器件的位置、距离、角度等的误差而引入的像差、多色成像通道中存在的场曲和色差、因波长不同或有意引入像散等因素导致的放大倍率差异等因素[12],使得多通道图像之间往往存在不能严格匹配的情况,从而影响协同定位和分析.因此,图像配准是多通道单分子定位图像数据预处理的关键环节.而且,由于单分子定位精度一般在15—50 nm,这就要求多通道图像配准精度至少要控制在10 nm 以内[14],其中旨在提高定位精度的多通道单分子定位系统对图像配准的要求还要更高.

由于单分子定位处理的图像数据主要为分散的单分子像斑,其图像配准通常采用基于控制点的方法,且其控制点的获取一般通过对较亮的基准物进行成像和定位来得到[1].在这类方法中,控制点的准确获取和精确匹配,以及控制点的数量和分布情况是影响配准精度的关键因素[15].因此,Churchman 等[16]在其利用多色单分子定位测量分子内生物大分子距离随时间变化的工作中,采用纳米精度的位移台以500 nm 的间距分别沿x,y方向移动一个固定在盖玻片上的直径100 nm 的荧光珠并拍摄其双通道图像序列,构造一个基准物网格图像,以获取能够均匀铺满视场的控制点对,实现了约4 nm 的配准精度;Gahlmann 等[17]在其对细菌中的蛋白质进行三维定量多色超分辨成像的工作中利用了类似的方法,将30 μm × 30 μm视场范围内的15 个荧光珠在1.5 μm 深度范围内分别沿x,y,z三个方向平移来构造一个三维基准物网格图像,以获得高密度控制点对,实现了约8 nm 的配准精度;Min 等[12]在其结合像散和双焦面方法实现高密度三维单分子定位的工作中,则采用一个刻有宽200 nm、间距2 μm 的方形阵列小孔的纳米网格金属膜作为基准物,但由于该纳米网格没有荧光,基准物图像只能在明场照明模式下采用透射成像方式获得.采用这些技术虽然能够获得较高的配准精度,但其对基准物及其图像采集的要求之高使它们难以被直接推广到其他多通道单分子定位系统中.其中,通过平移荧光珠样品采集基准物网格图像的方法除了需要使用纳米精度的位移台外,平移过程中由于长时间采集导致的荧光珠光漂白和横向漂移等问题,还会影响荧光珠的精确定位,从而影响图像配准精度[17].而采用纳米网格作为基准物的方法则不仅成本高,还需要系统带有明场照明模式.直接采用随机分布的荧光珠样品作为基准物进行多通道成像和定位来获取控制点对,可以大幅降低对样品及实验设备的要求.但相比规则分布的基准物网格图像,随机分布的荧光珠图像可能存在部分重叠或超出视场边缘等情况,导致荧光珠几何像点定位不准确,从而影响控制点的准确获取和精确匹配,限制了图像配准精度的提高[8].

本文针对多通道单分子定位成像的需求,基于局部非线性变换和误匹配点剔除,发展了一种可以直接采用随机分布荧光珠样品作为基准物的高精度图像配准方法.该方法通过在特征匹配和变换模型参数估计的过程中对控制点进行监测和迭代筛选,以剔除因单分子定位不准确或精度差而导致未精确匹配的控制点对,从而消除以随机分布荧光珠样品作为基准物时对于控制点准确获取和精确匹配所带来的不良影响,同时采用基于局部加权平均的二阶多项式拟合进行变换模型参数估计,以更好地适用于不同通道间存在局部非线性形变的情形,在图像局部非线性形变情况严重的正交像散双通道单分子定位成像[13]系统中实现了约6 nm 的配准精度.

2 方 法

2.1 正交像散单分子定位及其图像配准需求

本文以图像局部非线性形变情况严重的正交像散单分子定位成像[13]为例,发展适合多通道单分子定位的高精度图像配准方法.图1(a)为正交像散单分子定位成像光路示意图,其基本原理是将荧光信号均分为两束并分别经过两个聚焦方向相互正交的柱透镜,之后成像于同一探测器的不同区域实现双通道成像.该系统对处于特定轴向位置的物点的响应呈现为一组像散图像对(图1(b)),这一组图像对被用于三维定位,相比利用单个柱透镜产生的单个像散斑[18],或双焦面探测产生的一对圆对称像斑进行三维定位,由于不同像散图像对之间具有更低的相关性[13],可实现更准确的定位,且离焦程度越大时两个像斑的形状差异越大,这种准确定位的优势就越明显,因此采用这种方法可在无需牺牲成像深度的前提下显著提高离焦荧光分子的三维定位精度,理论分析和数值模拟都很好地说明了这一点[13].

图1 正交像散单分子定位及其图像配准需求示意图 (a)正交像散系统光路;(b)不同轴向位置物点对应的像散图像对;(c)正交像散导致的双通道图像形变及预期配准效果.ND,衰减片;L,透镜;M,反射镜;DM,二向色镜;OL,物镜;F,滤光片;A,光阑;BS,分束器;CL,柱透镜;EMCCD,电子倍增电荷耦合器件Fig.1.Illustration of the orthogonal astigmatism-based single molecule localization method and its requirements on image registration: (a) Optical path of the orthogonal astigmatism system;(b) astigmatic image pairs corresponding to object points at different axial positions;(c) dual-channel image distortion caused by orthogonal astigmatism and expected registration result.ND,attenuator;L,lens;M,mirror;DM,dichroic mirror;OL,objective lens;F,filter;A,aperture;BS,beam splitter;CL,cylindrical lens;EMCCD,electron-multiplying charge-coupled device.

但在实际成像实验中,两个成像通道间不可避免地存在偏差,因此双通道图像的配准精度将直接影响正交像散的定位精度和成像分辨率,使正交像散单分子定位无法发挥出其优势.更重要的是,在正交像散系统中,两个柱透镜的聚焦方向互相垂直使得两个通道的图像产生了各自的非各向同性放大(图1(c)),即正交像散在使像斑形状发生所需变化的同时也改变了其相对距离,从而严重影响正交像散单分子定位.因此,相比其他多通道单分子定位成像方法,正交像散单分子定位中双通道图像的局部非线性形变情况要更加严重.如何针对两个图像的这种形变进行高精度配准但又不破坏正交像散图像对的形状,是正交像散法能够取得预期定位效果的关键.

2.2 变换模型的选择

由于单分子定位处理的图像数据主要为分散的单分子像斑,其图像配准通常采用基于控制点的方法,且选择一个合适的变换模型是这类方法的关键环节之一[1].在多通道单分子定位系统中,不同通道间除存在整体平移、旋转、缩放等全局差异外,更重要的是还可能存在因非各同性放大等因素而导致的局部非线性形变,因此本文选择基于局部加权平均的二阶多项式拟合作为图像配准过程中的变换模型,并利用各通道拍摄得到的荧光珠图像的定位结果作为控制点对,来建立各通道图像间的对应关系.采用该变换模型的图像配准方法通常被称为局部加权平均(local weighted mean,LWM)法[19,20].

以正交像散单分子定位成像的图像配准为例,左右通道图像分别作为参考图像和待配准图像,则配准过程就是确定两者坐标间变换函数f和g的过程,即:

式中,(x,y) 表示待配准图像中任一点的坐标,而(X,Y) 表示对应点在参考图像中的坐标.LWM 法的基本原理是对于图像上的任意一点,设置最近邻点数n限定一个局部区域,对于区域内的某个控制点 (xi,yi),可利用包含其在内的n个控制点来确定其与对应坐标Xi或Yi的函数关系,然后通过加权平均得到任意点 (x,y) 的变换函数f或g.控制点对的函数模型一般采用二阶多项式,通过最小二乘拟合进行参数估计,即(以X方向的变换为例):

式中,N表示所有控制点的数量.这样,只有当点(x,y) 位于控制点 (xi,yi) 的区域范围内时,该控制点对应的多项式Pi(x,y) 才起作用,从而可避免相距过远的控制点所带来的不利影响.最后,两个方向变换函数中各多项式的系数用参数矩阵T∈R6×2×N来表示.确定参数矩阵T后,可以采用双线性内插法根据参数矩阵对应的变换模型对待配准图像进行重采样,从而得到配准后的图像.

2.3 误匹配点的剔除

在基于控制点的图像配准中,控制点对的精确匹配是影响配准精度的重要因素,而对于需要采用LWM 法处理的情形而言,控制点能否均匀地分布于整个视场,也很大程度上决定了所获得的变换函数是否准确.因此,现有方法为了能在多通道单分子定位中实现高精度图像配准,多采用复杂且精密的方式来获取基准物网格图像并定位得到控制点对[16,17,21].直接对随机分布的荧光珠图像进行定位获取控制点对,可大幅降低图像配准对样品及实验设备的要求,但相比规则分布的基准物网格图像,这种做法存在两个主要问题: 一方面随机分布的荧光珠图像难以保证控制点均匀覆盖整个视场;另一方面当荧光珠距离较近或位于视场边缘时,其定位不准确会影响该控制点附近变换模型参数估计的准确性.第1 个问题可通过随机移动样品拍摄不同视野的荧光珠图像并合并其定位点来解决,这样不但避免了长时间采集同一荧光珠或同一视野导致的荧光珠光漂白和横向漂移等问题,在实验操作上也更加简便.针对第2 个问题,发展了一种新的通过剔除误匹配点(elimination of mismatched points,EMP)来实现更精确的变换模型参数估计的方法,即通过在参数估计过程中监测控制点对的基准配准误差(fiducial registration error,FRE)对其进行迭代筛选,以剔除因单分子定位不准确或精度差等而导致未能精确匹配的控制点对,从而消除以随机分布荧光珠作为基准物时对控制点准确获取和精确匹配的不良影响,简称为EMP-FRE算法.其中FRE 定义为

式中,(Xi,Yi)和i分别 是第 个控 制点 在参考图像和已配准图像中的坐标.

仍以正交像散单分子定位成像为例,该方法的基本原理和算法流程如图2 所示: 首先,对一组双通道荧光珠图像进行定位,分别得到各控制点在左通道参考图像和右通道待配准图像中的坐标;然后,利用LWM 模型对控制点对的坐标进行参数估计,得到参数矩阵T,并利用当前模型对配准前的右通道荧光珠图像进行变换,获得配准后的右通道图像;接着,对配准后的右通道图像重新定位,并将定位点坐标与左通道参考图像的对应点坐标逐一进行比较,计算每一个控制点对的FRE,FRE大于预设误差阈值E的控制点对将被剔除;最后,利用剩下的控制点对重新计算参数矩阵T并重复上述步骤,直至所有控制点对的FRE 均在误差阈值范围内.

图2 基于基准配准误差监测的误匹配点剔除(EMP-FRE)算法的基本原理和算法流程示意图 (a)基本原理;(b)算法流程图.I,图像;P,定位点;T,配准参数矩阵;FRE,基准配准误差;E,误差阈值;下标l/r,左/右通道;下标i,控制点编号Fig.2.Schematic diagram (a) and algorithm flowchart (b) of the EMP-FRE (i.e.,elimination of mismatched points based on fiducial registration error monitoring) algorithm.I,image;P,localizations;T,registration parameter matrix;FRE,fiducial registration error;E,error threshold;subscript l/r,left/right channel;subscript i,control point number.

对采集到的不同视野的双通道荧光珠图像进行同样的处理,并将所得满足条件的控制点对合并,可获得近似均匀覆盖整个视场的足够多准确定位并精确匹配的控制点对.利用LWM 模型对合并后的控制点对进行参数估计,可得到系统的最优参数矩阵T,用于对后续采集的实际样品双通道图像进行精确配准.

3 结果与讨论

3.1 变换模型选择对配准精度的影响

为定量分析变换模型的选择对多通道单分子定位图像配准精度的影响,以正交像散单分子定位成像为例,模拟生成荧光珠双通道图像,并将其定位结果作为控制点对用于图像配准.图3(a)和图3(b)分别为模拟生成的左、右通道图像,并用红色“+”表示各像斑的非对称高斯拟合定位结果,其中心即为各控制点在两个通道图像中的坐标.在该模拟实验中,荧光珠位于焦面附近,而横向位置在视场范围内随机分布,两个通道的荧光珠图像根据荧光珠的x,y,z方向坐标以及实际成像系统的校准曲线(即像斑x,y方向尺寸与轴向位置z的关系)产生;同时,为了模拟实际系统中两个正交像散通道之间出现的局部非线性差异,右通道图像中荧光珠的坐标值被额外引入平均为200 nm 的随机误差.从图3(a)和图3(b)可以看出,两个通道图像由于存在不同的非各向同性放大而导致形变(表现为两个图像中荧光珠像斑的相对分布模式不一致),且由于荧光珠位置是随机的,视野中存在一些靠得比较近的荧光珠像斑,因此存在多个荧光珠对应一个定位点(控制点)的不准确定位情形(如红色方框所示的控制点2—5,共4 对).

图3 变换模型选择和误匹配点剔除对配准效果的影响 (a)左通道参考图像;(b)右通道待配准图像;(c) LWM 法配准后的右通道图像;(d)采用不同模型配准后的定位点;(e)采用不同模型配准后的平均FRE;(f),(g)采用LWM 模型和EMP-FRE 算法的X,Y 方向配准误差统计.统计数据来自5 帧不同视野荧光珠图像的140 对定位点(控制点)Fig.3.Effects of transformation model selection and mismatched point elimination on registration performance: (a) Left channel,reference image;(b) right channel,image to be registered;(c) right channel,image after LWM registration;(d) localizations registered using different models;(e) average FRE after registration using different models;(f),(g) statistical data on registration errors in the X and Y directions using the LWM model and EMP-FRE algorithm,obtained from 140 pairs of localizations (control points) from 5 different field of view fluorescent bead images.

为定量分析变换模型的选择对多通道单分子定位图像配准精度的影响,将定位得到的41 对控制点的坐标分别用仿射变换(affine transform,AT)、二阶多项式拟合(2nd-order polynomial fitting,2PF)、分段线性变换(piecewise linear,PWL)和LWM 四种模型进行参数估计,并利用所得模型对右通道荧光珠图像(图3(b))进行配准,分别得到四种模型配准后的右通道图像(其中LWM 模型配准后的右通道图像如图3(c)所示).对配准后的右通道图像重新进行定位,通过比较配准后控制点的定位坐标与其在参考图像中的坐标,可直观地反映不同变换模型的配准效果.图3(d)给出了图3(c)中蓝色方框标识的控制点利用不同变换模型进行配准后得到的定位坐标分布情况,可以明显看到相比其他模型,LWM 模型得到的定位点(紫色“+”)更加接近参考定位点(红色“+”),说明在正交像散单分子定位成像中,相比适用于全局线性形变的AT 模型、适用于全局非线性形变的2PF 模型和适用于局部线性形变的PWL 模型,适用于局部非线性形变的LWM 模型是更优的选择.

进一步地,利用(5)式计算配准后控制点对的基准配准误差(即FRE)来定量表征其配准精度,并对5 帧不同视野的荧光珠图像中的共140 对控制点进行统计平均,结果如图3(e)所示.可见,相比AT,2PF,PWL 等模型,LWM 模型的配准精度(27.4 nm)要高得多.这是因为,在正交像散单分子定位这种图像非线性局部形变情况严重的多通道单分子定位系统中,不同通道间除存在整体平移、旋转、缩放等全局的线性和非线性差异外,更重要的是还可能存在因非各同性放大等因素而导致的局部非线性形变.然而,正如前文提到的,由于单分子定位精度一般在15—50 nm,要求多通道图像配准精度至少要控制在10 nm 以内[14],因此上述定量分析结果说明对于本文涉及的图像非线性局部形变情况严重的情形,仅采用LWM 模型进行配准还不足以获得足够高精度的图像配准结果,其主要原因在于随机分布荧光珠图像定位不准确导致的控制点对未能精确匹配的问题.

3.2 误匹配点剔除过程和效果分析

仍以图3(a)和图3(b)的模拟荧光珠图像及其定位结果为例,采用本文所提的剔除误匹配点的EMP-FRE 算法,其目的在于从全部41 对控制点中将第2—5 号控制点去除,以避免这些因未准确定位而不能精确匹配的定位点对变换模型参数估计准确性的影响.将图2 所示的EMP-FRE 算法和流程用于上述荧光珠图像(其中误差阈值E设置为30 nm),并将每次迭代所剔除的控制点对标号以及利用剩余控制点对进行LWM 变换所得的平均基准配准误差(即,为控制点数量)记录下来,结果如表1 所列.可见,迭代剔除前,即采用全部41 对控制点进行变换模型参数估计并进行图像配准后得到的平均FRE 为29.3 nm;而采用EMP-FRE 算法后,仅需要3 次迭代便可以准确地将第2—5 号控制点找到并剔除,从而将平均FRE 减小到2.9 nm,配准精度与不采用该方法直接进行LWM 变换时相比提高了10 倍.此外,从图3(d)可直观地看到,采用LWM模型和EMP-FRE 算法后定位点(绿色“+”)已经非常接近参考定位点(红色“+”),显示出非常高的配准精度.采用相同参数设置对其余4 帧随机分布荧光珠图像进行处理时,成功剔除误匹配控制点对所需的迭代次数均不超过3 次.而在图3(e)的统计结果中,可以看到全部5 帧图像中140 对控制点处的平均FRE 从单独采用LWM 模型时的27.4 nm 进一步降到了4.7 nm.图3(e)给出了采用LWM 模型和EMP-FRE 算法后控制点的横坐标定位误差(即)统计,图3(f)为纵坐标定位误差(即-Yi)统计,可以看到两个方向上的定位误差都在5 nm 以内(标准差分别为1.7 nm和1.0 nm),说明两个方向都有较好的配准效果.

表1 图3(a)和图3(b)荧光珠图像的EMP-FRE迭代过程及利用剩余控制点对进行LWM 配准所得的平均基准配准误差Table 1.The EMP-FRE iteration process of the fluorescent bead images in Fig.3(a),(b),and the average FRE obtained through LWM registration using residual control points.

值得指出的是,在EMP-FRE 算法中,误差阈值E是判断控制点对是否存在误匹配情况的依据,因此设置合适的误差阈值对迭代过程和结果具有重要意义: 误差阈值设置过小不仅会增加迭代次数,还会因在迭代过程中剔除掉大量的控制点对,导致最后得到的控制点对数量较少且分布不均,无法兼顾视场均匀性和配准精度的需求;而误差阈值设置过大则会降低误匹配点对被准确剔除的可能性,从而降低配准精度.由于控制点的获取是通过对单通道图像进行单分子定位得到的,因此可以其定位精度决定的分辨率作为误差阈值E的参考值.例如,在生成上述模拟荧光珠数据时,单通道定位精度(即高斯拟合的标准差s)参考实际实验系统被设置为13 nm,对应分辨率(即2.35σ)约为30 nm,因此其误差阈值被设置为30 nm.为定量分析误差阈值的选取对迭代过程和结果的影响,进一步将误差阈值设置为10,20,40,50 nm 对同一组荧光珠数据进行处理,并将结果与误差阈值为30 nm 时的结果进行对比,结果如表2 所列.从表2可以看到,误差阈值设置为20 nm 时,可以得到与误差阈值30 nm 时相同的结果(迭代3 次,平均FRE 为2.9 nm),但若设置得太小或太大,则迭代次数、每次迭代剔除的控制点数量都会受到影响,从而也影响最终的配准精度.

表2 误差阈值对迭代和平均配准误差的影响Table 2.Effect of error threshold on iterative and average registration errors.

为进一步验证EMP-FRE 算法在剔除误匹配点方面的效果和效率,还将上述模拟数据用其他现有的剔除误匹配点算法进行处理,并比较剔除结果.随机抽样一致性(random sampling consensus,RANSAC)算法[22]可利用随机抽样假设从控制点对组成的样本集中剔除误匹配点,具有较好的鲁棒性,被广泛应用于图像配准中的控制点匹配阶段.应用到本文涉及的以随机分布荧光珠双通道图像的定位结果作为控制点对的情形,RANSAC 的具体做法是: 在定位得到的控制点对中随机选取n对作为初始样本集,代入预设变换函数模型进行参数估计,利用当前模型估计值对待配准的荧光珠图像进行配准并重新定位,计算配准后所有控制点对的FRE,FRE 小于设定误差阈值E的判断为内点,反之判断为外点,记录内点和内点数;若内点数多于前一样本集的内点数,则更新最大内点数n并重复之前的步骤,直到迭代次数大于k(或最大内点数大于预设内点数阈值m);最后,将最大内点数对应的内点用于变换模型参数估计,得到最优估计值.在此基础上进行改进的方法还有RSCFDI[23],RASCFDI+RANSAC2 match[24]等.作为对比,本文将如图3(a)和图3(b)所示的模拟荧光珠图像的定位结果作为控制点对集合,采用以上三种误匹配点剔除算法进行处理,变换模型仍选用LWM,误差阈值E仍设置为30 nm,并设置初始样本数n为30,最大迭代次数k为500,共进行100 次独立性实验(每次实验随机抽取不同的控制点对组合作为初始样本集),结果如表3 所列.其中,迭代成功率是指在100 次独立性实验中,通过500 次迭代能准确找到误匹配点的实验次数占比,而迭代成功所需的平均迭代次数是指在成功找到误匹配点的独立性实验中所需迭代次数的平均值.可见,将RANSAC,RSCFDI 和RASCFDI+RANSAC2 match 三种误匹配点剔除算法应用于以随机分布荧光珠图像的定位结果作为控制点的情形时,其成功剔除误匹配点的概率最高只有84%,且迭代次数最少需要165 次.相比之下,本文所提的EMPFRE 算法应用于相同的数据时仅需要3 次迭代就可以把所有误匹配点找出,实现了更高的算法精准度和效率.

表3 误匹配点剔除算法的效果及效率对比Table 3.Comparison of the effectiveness and efficiency of algorithms for eliminating mismatched points.

究其原因,在于RANSAC 及其相关算法剔除误匹配点时需要先从控制点对中随机选取n对控制点作为初始样本集,然后通过迭代判断内外点来更新该样本集,当样本集中的控制点对的配准误差均在误差阈值范围内时,即可得到最佳配准效果.因此,在应用于上述荧光珠数据处理时(控制点对总数为41,误匹配点对数量为4),当初始样本数n被设置为30 时,一次迭代过程中样本集中的控制点对刚好均为准确匹配控制点对的概率为从而导致迭代成功率不高且迭代成功所需的平均迭代次数多达上百次.在保持误差阈值不变的前提下,通过调整初始样本数n可一定程度改善这个问题.但相比之下,EMP-FRE算法不需要先选取样本集,而是从所有控制点对入手进行迭代判断的,因此只需要设置合适的误差阈值E即可实现对误匹配点的快速、准确剔除.

为了评估本文所提图像配准方法在正交像散单分子定位系统中的实际配准效果,图4 给出了一组实验拍摄的荧光珠图像结果.实验首先制备了随机分布在盖玻片上的直径200 nm 荧光珠样品,并将其置于正交像散单分子定位系统载物台上进行双通道成像,然后对获得的双通道图像进行单分子定位,将定位结果作为控制点坐标,分别采用传统的LWM 法(即未剔除误匹配点)和本文所提的结合LWM 模型和EMP-FRE 算法的方法计算得到配准参数矩阵,并用于对右通道图像进行变换,得到配准后的右通道图像.为了直观地显示配准效果,将左通道参考图像设置为紫色伪彩图像,将配准后的右通道图像设置为绿色伪彩图像,并将两者进行叠加,单独采用LWM 法和采用LWM 模型结合EMP-FRE 算法所得的叠加结果分别如图4(a)和图4(b)所示,其中两通道图像中荧光珠像斑准确重叠的部分呈现为灰白色,否则呈现为互相错开的紫色和绿色.图4(c)和图4(d)分别为图4(a)和图4(b)中蓝色方框的放大图,图4(e)和图4(f)分别为图4(a)和图4(b)中红色方框的放大图.可见,在这两个方框区域中,单独采用LWM法配准后两通道的荧光珠像斑仍存在比较明显的未准确匹配情况,而采用LWM 模型结合EMPFRE 算法时荧光珠像斑则能够很好地匹配,基本未出现紫色和绿色.进一步定量计算结果表明,图4(a)对应的平均基准配准误差为54.7 nm,而图4(b)仅为6.1 nm,配准精度实现了9 倍的提升,与模拟结果相吻合,说明即使是对于正交像散单分子定位系统这种双通道图像存在严重的非线性形变的情况,本文所提的结合LWM 模型和EMP-FRE 算法的方法仍能够直接利用随机分布的荧光珠样品实现约6 nm 的配准精度.

图4 实验荧光珠图像的配准结果对比 (a)传统LWM 的配准结果;(b)结合LWM 和EMP-FRE 的配准结果;(c),(d)蓝色方框的放大图;(e),(f)红色方框的放大图 伪彩色: 紫色代表左通道图像,绿色代表配准后的右通道图像,两者准确重合时为灰白色Fig.4.Comparison of the registration results of experimental fluorescent bead images: (a) Registered image using traditional LWM;(b) registered image using LWM+EMP-FRE;(c),(d) enlarged views of the blue box;(e),(f) enlarged views of red box.Pseudo color: purple represents the left channel image,green represents the registered right channel image,and when they are accurately overlapped,the color should be grayish white.

3.3 图像配准对正交像散单分子定位的影响

最后,将本文所提的图像配准方法应用到正交像散单分子定位成像数据的处理中,可以更直观地反映该方法的实施效果.首先,以相隔60 nm、与XY平面成一定角度(轴向位置从焦面以下400 nm到焦面以上400 nm 线性变化)的一对平行线作为模拟样品,以实际成像系统的校准曲线为依据,模拟生成一组正交像散单分子闪烁图像数据(1000 帧/通道,单分子光子数为500 光子/通道,信噪比为35.5 dB),并在其右通道图像中人为引入平均200 nm 的随机非线性误差(未引入误差的数据作为对照组).将前文用不同配准方法对随机分布的荧光珠图像数据进行处理所得到的模型应用于对右通道单分子闪烁数据进行变换,得到配准后的右通道单分子闪烁数据,再与左通道数据一起,利用正交像散成像的双通道TVSTORM 算法[13]进行三维单分子定位和超分辨图像重建,结果如图5 所示.其中,图5(a)给出了不同情形下重构得到的平行线超分辨图像,第1 组为对照组(即无误差数据)的重构结果,第2 组为有误差数据未经配准直接重构的结果,第3 至第7 组分别为采用AT,2PF,PWL,LWM 和LWM+EMP-FRE 配准后再进行重构的结果.对比第2 组和第1 组结果可以直观看出,有误差但未经配准就直接进行重构,其结果是十分不准确的;而对比其他几组结果则可以明显看出,利用不同方法进行配准之后的重构结果也存在很大区别,其中AT 配准后的重构效果最差,而LWM 和LWM+EMP-FRE 配准的重构结果与对照组的重构结果较为接近,效果最好.

图5 平行线模拟样品的超分辨重构结果比较 (a)不同情形数据的重构图像: 1-无误差数据;2-有误差未配准数据;3-AT 配准数据;4-2PF 配准数据;5-PWL 配准数据;6-LWM 配准数据;7-LWM+EMP-FRE 配准数据;(b)—(d)图(a)中3 个白色方框处对应的截面轮廓曲线Fig.5.Comparison of super-resolution reconstruction results for the simulated parallel line sample: (a) Reconstructed images from data in different cases: 1-error free data;2-unregistered data with errors;3-AT registered data;4-2PF registered data;5-PWL registered data;6-LWM registered data;7-LWM+EMP-FRE registered data;(b)–(d) the corresponding cross-section profiles of the three white boxes in panel (a).

选取图中3 个特定位置(对应不同的轴向坐标范围)画出对照组和LWM,LWM+EMP-FRE 组平行线图像的归一化截面轮廓曲线并进行对比,结果如图5(b)—(d)所示.计算线间距(即曲线中两个峰之间的距离)和对比度(即第二高峰与凹陷处的比值),可用于定量说明这三组平行线图像之间的差异,结果如表4 所列.由表4 可以看到,虽然利用LWM 和LWM+EMP-FRE 两种配准方法都可以得到比较接近对照组的图像结果,但截面轮廓曲线进一步说明结合了EMP-FRE 算法的配准方法得到的平行线结构相比单独采用LWM 方法要更贴合没有误差的真实情形,且所得线间距和对比度也更准确.

表4 平行线模拟样品重构图像的线间距和对比度定量比较Table 4.Quantitative comparison of line spacing and contrast in reconstructed images of the simulated parallel line sample.

进一步地,将LWM 和LWM+EMP-FRE 两种配准方法及其模型参数用于处理实际采集的正交像散单分子定位成像实验数据,结果如图6 所示.其中,图6(a)为BS-C-1 细胞微管蛋白的宽场荧光图像,图6(b)和图6(c)分别为图6(a)中方框区域的正交像散单分子闪烁数据采用LWM 法和LWM+EMP-FRE 法进行配准后再进行重构所得的超分辨图像,图6(d)给出了划线部分的归一化截面轮廓曲线.可以看到,LWM+EMP-FRE 法配准数据的重构结果中定位点更集中,截面轮廓曲线的半高全宽从采用LWM 配准时的75.2 nm 减小到采用LWM+EMP-FRE 配准时的47.5 nm,有效地提高了单分子定位的精度.值得指出的是,由于实际的正交像散单分子定位成像系统中双通道数据存在的局部非线性形变比模拟数据中的还要更严重,因此未进行配准的双通道数据是无法重构得到超分辨图像的.

图6 微管实验数据的超分辨重构结果比较 (a)宽场荧光图像;(b),(c)图(a)中白色方框区域的数据分别采用LWM 法和LWM+EMP-FRE 法配准后的重构结果;(d)图(b)和(c)中红色和蓝色方框处对应的截面轮廓曲线Fig.6.Comparison of super-resolution reconstruction results for microtubule experimental data: (a) Wide-field fluorescence image;(b),(c) reconstructed images from data of the white box region in panel (a),registered using LWM and LWM+EMP-FRE,respectively;(d) corresponding cross-section profiles of the red and blue boxes in panel (b) and (c),respectively.

这些数据进一步说明了结合LWM 模型和EMP-FRE 算法的配准效果在正交像散单分子定位成像中起到了非常积极的作用,其高精度配准结果可使三维单分子定位和超分辨重构结果更贴近真实情形,即LWM+EMP-FRE 配准可以在很大程度上减少双通道图像间的误差对定位结果的影响,从而能够更好地发挥正交像散单分子定位成像的优势.

4 总结与展望

针对多通道单分子定位系统中各成像通道间存在的图像配准需求和特点,本文在利用随机分布荧光珠样品降低基准物图像采集难度和成本的基础上,通过在特征匹配和变换模型参数估计的过程中监测荧光珠定位点的匹配误差对控制点对进行迭代筛选,发展了一种基于基准配准误差监测的误匹配点剔除算法(即EMP-FRE),消除了以随机分布荧光珠样品作为基准物对控制点准确获取和精确匹配所带来的不良影响,并结合基于局部加权平均的二阶多项式拟合方法(即LWM 模型),对双通道图像间的变换模型进行了准确的参数估计,从而实现了高精度图像配准.本文以图像非线性局部形变情况严重的正交像散单分子定位成像为例,通过仿真实验定量分析了变换模型选择对配准精度的影响,说明针对局部非线性形变的LWM 模型更适合多通道单分子定位成像,但配准精度(平均27.4 nm,N=140)仍无法满足控制在10 nm 以内的最低需求;而结合EMP-FRE 算法后,仅通过3 次迭代即可将误匹配点剔除,不仅获得了更准确的LWM 变换参数,将配准精度提高了一个数量级(平均4.7 nm),而且相比RANSAC 等其他误匹配点剔除算法具有更高的效率和更好的剔除效果.进一步的实验结果同样表明,单独采用LWM 配准后两通道中仍有部分荧光珠像斑存在明显的未准确匹配情况,而采用LWM+EMP-FRE 配准后这些荧光珠像斑都能够很好地匹配,平均配准误差从54.7 nm 提升到了6.1 nm.最后,通过对正交像散单分子定位超分辨成像的结果进行分析和比较,表明采用LWM+EMP-FRE 配准方法可以在很大程度上减少双通道图像间的误差对定位结果的影响,从而能够更好地发挥正交像散单分子定位成像的优势.

值得一提的是,本文虽然是以正交像散单分子定位成像为例对所提方法进行阐述和验证,但这种直接利用随机分布荧光珠样品作为基准物并采用结合了EMP-FRE 算法的LWM 模型进行多通道图像配准的方法是普适的.这是因为,在采用本文所提方法进行多通道单分子图像数据配准时,控制点的获取是通过对单个通道的荧光珠图像进行定位得到的,与是否正交像散并无直接关联.因此,该方法可以直接推广到其他多通道单分子定位系统.对于多色系统,只需要选用具有多种激发和发射波长的荧光珠;而对多于两个通道的系统,只需要固定其中一个通道作为参考图像,将多通道图像转换为多组双通道图像,即可利用本文发展的方法逐个获取精确的通道间变换模型,从而实现多通道图像间的高精度配准.