高速扫描激光共聚焦显微内窥镜图像校正

徐宝腾，杨西斌，刘家林，周 伟，田浩然，熊大曦

(中国科学院 苏州生物医学工程技术研究所 光与健康研究中心，江苏 苏州 215163)

1 引 言

激光共聚焦显微内窥镜是一种把激光共聚焦显微技术和传统内窥镜技术结合起来的新型内窥镜，它可以对活体组织进行高分辨率组织学诊断，并能实现一定深度的断层扫描，对于早期肿瘤和癌前病变的筛查具有重要的作用[1]。研究表明影响共聚焦显微内窥镜图像质量的首要原因是抖动引起的图像模糊[2]。提高激光共聚焦显微内窥镜的成像帧率有助于减少图像模糊问题。

目前，基于点扫描的激光共聚焦显微内窥镜系统通常使用X/Y轴振镜实现扫描成像，为了提高成像速度，高速共振振镜已经取得了广泛应用，其扫描方式可分为单程式隔行扫描和往复式逐行扫描两种[3-4]。相比于单程式隔行扫描，往复式逐行扫描充分利用了扫描振镜返程时采集的数据，成像速度快，图像数据利用率高，是提高激光共聚焦显微内窥镜系统成像帧速和成像分辨率的理想扫描方式[5]。但由于共振振镜反馈的同步信号和振镜实际位置不匹配，重构图像中相邻两行的图像会存在一定的错位。同时，扫描过程中共振振镜的速度呈非线性变化，等时间间隔下采集到的图像会产生严重的横向畸变问题[6]。受畸变的影响，图像不同横向位置的错位程度也不一致。

通过去除边缘畸变严重的区域可以缓解横向畸变现象，但是不能完全消除畸变[7]。另一种校正横向畸变的方法是通过软件处理调整每个像素所占的空间，但是软件校正方法比较耗时，并且数据利用率较低[8-9]。上述方法均未解决图像错位的问题，秦小云等[10]通过软件移动像素减少图像错位程度，但是图像不同位置的错位程度存在差异，该方法不能完全消除图像错位现象。

本文通过分析共振振镜的运动规律，基于采样时间和扫描光斑位置的函数关系，获得了非等时采样下的采样时间函数，从而利用非等时采样的方式校正了振镜速度变化所带来的图像畸变问题。然后利用互相关法评价图像错位程度，基于遗传算法获得最佳的采样开始时刻，使采样和振镜运动同步开始，从而校正了图像错位问题。本文搭建了共聚焦内窥显微成像系统，采用往复式逐行扫描方式成像，验证了图像校正的效果。

2 畸变和错位原因分析

2.1 系统原理

激光共聚焦显微内窥镜系统结构如图1所示，它主要由光学探测系统、控制系统和数据采集系统构成。激光器产生的激光通过准直器、二色镜、X/Y轴扫描振镜、透镜组、光纤束照射到组织表面，组织表面激发出的荧光按原路径返回并穿过二色镜、发射片、针孔透镜、针孔后照射到光电倍增管(Photo Multiplier Tube, PMT)上。PMT前的针孔可以减少来自焦平面前后样品处的杂散光，从而极大提高了信噪比和轴向分辨率[11]。通过针孔的荧光信号经PMT和放大器转换成电压信号后由采集卡转成数据包传输至计算机[12]。

激光共聚焦显微内窥镜依靠X/Y轴扫描振镜的z偏转激光束对整个扫描平面逐点成像，X/Y轴振镜的扫描方式如图2所示。两个扫描振镜正交放置，X轴振镜扫描一行后Y轴振镜移动一个步长，X轴振镜一个往返周期完成两行图像的扫描。以扫描一幅512×512像素的图像为例，扫描整幅图像需要X轴振镜转动256个周期，Y轴只需转动1个周期，所以X轴一般使用转速较高的共振振镜，Y轴一般使用转速较低的检流计振镜[13]。

图1 激光共聚焦内窥成像系统示意图

图2 振镜扫描方式示意图

2.2 图像畸变和错位原因分析

图像横向畸变的主要原因是共振振镜速度呈正弦变化。共振振镜的镜面连接一个扭力杆，在驱动电路的激励下以固定频率做简谐运动，振幅只取决于控制电压[13]。共振振镜速度呈正弦变化，如图3所示，在两端的速度为0，在中间时的速度最高。如果采集卡以等时间间隔采集数据，直接利用采样数据拼成的图像两端呈拉伸形变，中间呈压缩形变，整幅图像会出现较大程度的横向畸变[8]。

图3 共振振镜速度变化示意图

图像错位问题的主要原因是共振振镜反馈的同步信号与振镜的实际位置不匹配。共振振镜提供的行同步信号是用来确定振镜位置的唯一信号，同步信号高电平表示振镜正向运动，低电平表示振镜反向运动，信号的下降沿和上升沿表示振镜运动方向发生了反转。由于硬件原因，同步信号的边缘和振镜反转的时间存在时间间隔，共振振镜位置、速度和同步信号之间的关系如图3所示，其中Δt为同步信号和振镜转向时刻的间隔时间。数据采集卡将同步信号的边沿作为采集一行数据的起点，同步信号和振镜的实际位置不匹配会造成同步信号边沿触发采集开始指令后，在振镜扫描过程中采集到的数据点与空间中的实际位置不能准确匹配。正向运动和反向运动采集到的数据点会向相反方向偏移，拼接成的图像会有锯齿状错位，导致图形特征的边缘模糊不清，影响图像质量。

图4 图像畸变和错位模拟图

模拟实验结果如图4所示，图4(a)是均匀分布的条纹图像，图4(b)是模拟采样时间错位并且振镜速度呈正弦变化的情况下扫描到的图像，图像中的条纹呈锯齿状，图像边缘模糊不清，并且两侧的条纹被横向拉伸，中心的条纹被压缩。重构图像在横向畸变的基础上叠加了图像错位，使图像在不同横向位置的错位程度存在一定差异，如图4(b)所示。相比于后期校正失真算法，调整采集卡的采样时间间隔和采样触发时间的方式能更加直接高效地校正图像畸变。

3 图像校正

3.1 畸变校正

为了解决图像的横向畸变问题，通过分析振镜速度的变化规律，根据振镜摆动角度与时间的关系调整采样点的时间间隔，使采样点在扫描平面内均匀分布以实现均匀空间采样。

共振振镜角速度呈正弦变化，扫描光斑在X方向的运动可以近似为简谐运动。根据系统光学特性和扫描光斑的运动规律可以推导出采样点横坐标X(t)与采样时刻t之间的关系如下：

(1)

其中T为共振振镜的转动周期，t0为扫描当前行的开始时刻，L为扫描平面的宽度。L可以用以下公式表示：

L=ftan(CAmax),

(2)

其中f为激光共聚焦内窥镜耦合物镜的焦距，Amax为振镜转动的最大角度，C为与光学系统有关的常数。

如果要采样点在扫描平面内的距离相等，那么同一行中第i个采样点在扫描平面上的横坐标X(i)可以表示为：

(3)

其中N为一行图像的采样点数。根据公式(1)和公式(3)可以得到均匀空间采样情况下当前行第i个像素的采集时刻t(i):

(4)

那么相邻两个采样点的时间间隔可以表示为：

Δti=

(5)

采集卡根据公式(5)确定采样时间间隔，等行同步信号触发后按照非等时采样的方式采集图像。如果触发采集的时刻能与振镜转向时刻对齐，那么图像的横向畸变就能通过非等时采样的方式得到校正，而且不会有图像错位的问题。但是由于行同步信号和振镜转向存在时间间隔Δt，采样时刻和采样点的空间位置不能准确匹配，图像仍然存在一定程度的失真，需要进一步调整一行采样的开始时刻才能消除图像失真。

使用非等时采样的方式提取图像时，采样点的错位距离Δl与Δt之间的关系可以根据式(1)、式(3)和式(4)求得:

(6)

当Δt不变时，图像采样点i取不同值时得到的错位距离不同，图像的错位距离随着采样点的位置变化。

3.2 错位校正

根据公式(6)可知：当Δt=0时每个采样点的错位距离Δl=0，拼接后的图像就不会有错位和畸变问题。设采样开始时刻与行同步信号的间隔为Δt′，可以通过寻找Δt′的最优取值使Δl的值趋近于0，以校正图像的失真。

本文采用遗传算法寻找Δt′的最优取值，遗传算法具有寻优能力强、过程简单、易与其他算法相结合的优点[14]。遗传算法根据校正图像错位的能力决定个体存活下去的概率，因此评价图像错位程度的方法尤为重要。本文采用互相关法评价不同Δt′取值得到的图像错位程度，具体过程如下：将图像奇数行和偶数行分别提取拼成两幅图像，然后对两幅图像进行互相关运算，得到图像的错位评价系数。互相关函数的公式为：

R(x,y)=f1(x,y)⊗f2(-x,-y).

(7)

傅里叶变换后:

(8)

式中：f1为奇数行图像；f2为偶数行图像；Rccf(u,v)为峰值点与原点的横向距离，即两幅图像的横向错位量ΔRx。ΔRx取值越大，表示原始图像中奇数行和偶数行的错位程度越严重[15]。

在运行遗传校正算法之前要先确定个体的取值范围和基因编码方式。个体的取值Δt′可以用采集卡的时钟周期表示，Δt′的取值范围过大会影响搜索效率，取值范围太小可能会搜索不到最佳个体。经多次实验发现，使用120 MHz的采集卡时，错位时间Nt的取值在±1 000个时钟周期以内。考虑一些极端情况，本文选择Nt∈(-1 500,1 500)作为种群个体的取值范围。为了方便编码，将个体取值加1 500以映射到自然数域，用4个基因编码，每个基因代表十进制个体取值中的一位。图像错位校正算法的流程如图5所示。

图5 图像错位校正算法流程

第二步，种群个体选择。为了使函数快速收敛，又不陷入初始收敛不能自拔，采用精英主义与轮盘赌相结合的算法。精英主义方法在每产生一代新个体时，将上一代最优解的基因直接复制到新一代中。精英主义操作可以保证整体最优解不被变异和交叉操作淘汰，加快算法的收敛速度[16]。然后采用轮盘赌的方式对新一代的个体进行选择，即把个体的适应度和全体适应度的比值作为个体被选择的概率。

第三步，交叉、变异生成下一代种群。交叉操作将被选中的两个个体基因中一个或几个基因相互交换位置，从而生成两个新的个体。采用顺序交叉的方法完成交叉操作。然后按照一定的变异概率，将选中个体基因进行变异操作。

第四步,对生成的新一代个体进行适应度评估。遗传算法停止的条件设置为连续5代的适应度不再变化，或者迭代次数达到100代。

共振振镜的错位程度受环境影响会发生缓慢的变化。计算机软件可以记录上一次校正算法的计算结果，每次开机后将记录结果发送到采集卡，并自动评估采集到的图像，发现图像错位后提醒用户运行自动校正程序。

4 系统测试

基于上述系统搭建的实验装置如图6所示。从激光器(Cobolt 06-MLD)发出的中心波长为488 nm的激光经过物镜聚焦耦合到单模光纤中，再经准直透镜(F240FC-532，Thorlabs)准直后输出。准直激光到达二向色镜(ZT488rdc，Chroma)后被反射至X/Y轴扫描振镜(6SC08KA040, 6215HSM, Cambridge)。经振镜反射的激光经过中继透镜组(AC254-050-A，AC254-100-A，Thorlabs)扩束并中继到耦合物镜(10×/0.3，Olympus)后瞳。耦合物镜将激光束耦合至光纤中。激光束在光纤的另一端出射，并通过微型物镜聚焦到样品上。样品上激发出的荧光原路返回，到达二向色镜时与激光分离，再经过发射滤光片(ET525/50m，Chroma)消除光路中残留的激发光和其他杂散光。最后经针孔透镜(AC254-050-A，Thorlabs)聚焦后经针孔(P50H，Thorlabs)进入PMT(H10770，Thorlabs)。PMT将荧光信号转成电信号，电信号经放大器(C999，Hamamatsu)放大后被采集卡采集，并传输到计算机软件中处理。

图6 共聚焦内窥成像系统

图7 成像软件界面

计算机软件采用C#和C++语言混合编程，实现数据接收、图像重建、图像校正和显示功能，软件界面如图7所示。数据采集卡(NI7931R, NI)可以通过编程实现图像信号的非等时采样，并通过以太网将图像信号传输至计算机。振镜控制卡采用ARM+DA芯片的架构，主控芯片(STM32F407, ST)通过SPI接口向双通道DA芯片(AD5689,ADI)发指令，输出控制X/Y轴扫描振镜的模拟信号。

控制系统通过两路模拟信号控制共振振镜的振幅和检流计振镜的位置，同时将行同步信号和帧同步信号反馈给数据采集卡，采集系统根据行同步信号和帧同步信号确定图像信号的采样时机。振镜的控制信号和同步信号的时序关系如图8所示，其中X轴控制信号决定共振振镜的振幅，Y轴控制信号决定检流计振镜的位置。行同步信号作为采集卡采集数据的触发信号，每512个行同步信号发送一个帧同步信号表示一帧的开始。

图8 控制信号和同步信号的时序图

为了验证图像校正效果，本文进行了对比实验。实验选取浸泡过荧光素钠溶液的纱布纤维进行成像，采用文献[10]方法作为对比实验方法，并选择图像不同区域的灰度数据对比实验效果。

图9 畸变校正效果

首先将光纤端面浸泡在荧光素钠溶液中，光纤束会被荧光均匀照亮，在图像上形成一个明亮的圆形区域。图9(a)和图9(b)分别为等时采样模式和非等时采样模式下采集到的图像。从图9(a)可以看出，在等时采样模式下采集到的光纤端面图像呈椭圆形，图像具有明显畸变；从图9(b)可以看出，在非等时采样模式下，图像畸变得到了很好的校正，但是光纤端面存在很明显的锯齿状边缘。非等时采样获得的图像需要通过错位校正才能得到无横向畸变和错位的图像。

然后运行错位校正算法，经43次迭代后获得适应度为100的最优解，最优解对应的采样时刻校正值为81个采样周期。将校正数据下发给采集卡实现图像错位的校正。浸泡了荧光素钠溶液的纱布纤维进行成像的结果如图10所示。图10(a)，10(b)和10(c)分别是错位校正前的图像、用文献[10]方法校正错位后的图像和本文方法校正错位后的图像。图10中曲线图是由红线标出区域(1)，区域(2)中相邻两行的灰度数据绘制的(彩图见期刊电子版)。

图10 错位校正对比

由图10可以看出，畸变校正后图像在不同位置的错位程度不一致，本文和文献[10]中的方法均可以很好地校正图中区域(1)的图像，纱布纤维的宽度由错位校正前的29 pixel校正为9 pixel。但是文献[10]的方法对图像区域(2)的校正效果并不理想，图像存在一定的错位，纤维宽度由25 pixel校正为10 pixel，而本文方法仍然可以使图像较好的重合，将纤维宽度校正为6 pixel，局部横向分辨率比文献[10]的方法提高了约33%。本文通过调节采样时间的方法校正了图像畸变，与文献[10]中通过后期计算校正畸变的方法相比，节约了时间。

5 结 论

通过非等时采样可以校正振镜速度非线性变化造成的横向畸变。本文利用互相关法评价图像错位程度，采用遗传算法获得最优的采样开始时刻，可以有效地校正因振镜同步信号和振镜实际位置不匹配引起的图像错位问题。与后期处理校正图像失真的方式不同，本文通过调节采集卡的采样时间间隔和采样触发时刻校正图像失真，在数据采集环节解决了图像失真问题，从而使畸变和错位校正更加彻底。实验结果表明，该方法可以较正图像畸变和错位，有效提高了图像的横向分辨率。