光学显微镜自动聚焦取窗方法研究

彭国晋，玉振明，于健海

（1.桂林电子科技大学 信息与通信学院，广西 桂林541004；2.梧州学院，广西 梧州543002）

引言

自动聚焦技术是显微镜系统中的重要技术，主要分成两大类：一类是通过距离信息来实现自动聚焦的主动式，另一类是基于数字图像技术的被动式。由于被动式自动聚焦通过采集的图像序列即可分析系统的聚焦状态而不需要额外的设备，所以近年来得到广泛应用［1－2］。在被动式自动聚焦系统中，聚焦窗口的选择是关键，直接影响自动聚焦的速度和精度，甚至影响聚焦的成败［3］。传统的聚焦窗口选择方法有中心取窗法［4－5］，多点取窗法［6］等。文献［7］阐述了传统的固定聚焦窗口选择方法的不足，提出高斯非均匀采样的方法，该方法有效增大了聚焦窗口的视场，抑制了边缘区域背景图像的影响，但聚焦目标偏移中心时会导致聚焦失败。

显微镜在远焦区域开始聚焦时，图像内容分布及丰富程度是未知的，因此固定的取窗法对显微镜系统的适用性不强，尤其是图像内容稀少的情况下，无法保证关键的图像内容出现在聚焦窗口中，导致聚焦精度下降甚至失败。近年来，针对显微镜系统的特性，出现了许多自适应聚焦窗口选择的方法。

文献［8］基于图像一阶矩的自动聚焦区域选择算法，与文献［9］基于AFSA的聚焦区域自适应选择算法，都可以跟踪偏离中心的主体景物，提高了聚焦效率。文献［10］提出一种基于内容重要度加权的聚焦函数增强算法，有效去除了镜头杂质的影响，但该算法相当于将整幅图像作为聚焦窗口，图像滤波与求子块权值过程计算复杂度高。而文献［11］则在此基础上提出一种基于图像子块重要程度加权的聚焦窗口选择方法，根据最初两幅图像的对应子块梯度变换率获取子块权值，再利用子块权值阈值筛选出内容丰富子块作为聚焦窗口，有效减少了计算量。但该方法的评价函数过于复杂，当用以提取聚焦窗口的两幅图像间梯度变化不明显时得到的内容分布信息并不精确，并且固定子块重要程度阈值使得聚焦窗口会随着图像内容分布范围的增大而增大，不能有效限制聚焦窗口大小。

针对上述方法中的不足，本文提出一种根据远焦到近焦过程中内容像素变化量衡量子块的图像内容含量并选择聚焦窗口的方法，通过降采样的方式减少高斯滤波与梯度计算过程的计算量；对焦平面图像进行背景模糊检测，避免玻片杂质造成的焦平面误判。

1 干扰源与选窗时刻分析

1.1 干扰源分析

基于梯度的自动聚焦方法易受随机噪声、镜头杂质，玻片杂质的干扰而导致聚焦失败。随机噪声在聚焦过程中一直变化，而镜头杂质的位置引起的梯度波动在整个聚焦过程中变化不大。玻片杂质主要分布在盖玻片表面，其纵向分布不规则，各部分景深不一致，无法同时达到最清晰状态。玻片杂质容易被误判为标本内容，导致聚焦过程提前结束，无法获取理想焦平面。

对随机噪声，使用高斯平滑即可减弱其影响，而对镜头杂质，可参考文献［10］的方法，以远焦到近焦过程中梯度变化程度来评价图像清晰度，可有效降低其干扰。对玻片杂质的干扰，可对当前焦平面图像进行模糊检测来排除，若存在局部模糊，则进行二次聚焦或多次聚焦。

1.2 选窗时刻分析

聚焦窗口中图像内容越丰富，聚焦效果越好。考虑到可能存在镜头杂质的干扰，聚焦窗口无法通过单一图像直接确定，须通过载物台移动，使显微图像产生足够的梯度变化，然后根据各子块梯度变化程度确定图像内容分布，再划分聚焦窗口。受噪声与镜头杂质的干扰，图像梯度变化总量产生局部极值，难以把握有效的选窗时刻。选窗过早，图像内容的梯度变化量不足，与噪声引起的梯度波动区别不明显，导致聚焦窗口精度不足；而选窗过晚则不能充分发挥聚焦窗口的作用，剔除无效背景子块并降低聚焦过程中滤波与梯度计算复杂度，因此需要一种能自动根据图像内容变化程度来确定聚焦窗口的灵活取窗方法。

2 方法改进

2.1 图像内容变化量评价方式

对内容区域的像素，从远焦到近焦过程中，其梯度变化缓慢，但灰度会有一定的变化；进入近焦区域后，其灰度变化会放缓，但梯度变化明显。本文将采集的图像中灰度值较初始参考图像有一定变化的像素称为灰度差像素，将边缘像素与灰度差像素统称为内容像素，并以其作为图像内容含量的指标。这种以内容像素数量表征图像内容的方式能够降低单个像素的运算值在评价结果中的比重，无论噪声引起的随机波动有多大，产生误判后，评价结果变化量只是1，可提高图像内容变化量曲线的平滑程度。与评价曲线尖锐性的清晰度评价方式不同，平滑稳定的子块局部内容变化量曲线能有效区分镜头杂质与图像内容，使聚焦窗口的选择更加精确，而平滑的内容变化总量曲线则有利于确定有效的选窗时刻，及早获取聚焦窗口。

将图像分块，各子块以灰度差阈值T1划分灰度差像素，如（1）式，以梯度阈值T2划分边缘像素，如（2）式，其中梯度计算方法如（3）式，再通过（4）式对两种像素加权平均。其中k表示载物台移动次数，（i，j）表示图像子块坐标，（x，y）表示像素坐标，fk（x，y）表示像素灰度值，G 表示子块灰度差像素总和，E为边缘像素总和，N′为两者的加权平均。由于聚焦过程中光强总是保持稳定的，可以不考虑光强变化对这种图像内容评价方式的影响。

使用均值滤波进一步平滑子块的内容像素变化量曲线，如（5）式：

对于大小为m×n的子块，像素总量上限为m×n，远比子块梯度总和的分布范围小，可将子块像素总和的1%作为阈值，进一步减少局部评价函数曲线的波动，如（6）式：

2.2 聚焦窗口选择

图像滤波是聚焦过程不可缺少的环节，其中高斯滤波器效果较好，但计算复杂度较高。与直接对图像进行高斯滤波相比，对图像降采样处理后再进行高斯滤波，能大幅降低计算复杂度。降采样后图像会损失一部分信息，但图像内容分布、各子块内容像素比例变化不大，可通过降采样后图像内容分布情况估算出原图像内容分布情况。图1（a）为显微图像序列的降采样过程示例，图1（b～d）分别为从聚焦起点到理想焦平面过程中的梯度变化量以及降采样前后内容像素变化量的归一化分布情况。图1（b～d）三者幅值最大的若干个子块位置基本一致，可通过图1（d）中内容像素变化明显的子块的位置估计出图1（c）梯度变化明显的子块的位置，从降采样图像中确定的聚焦窗口也可以应用到原图像中。

图1 降采样过程与归一化图像内容分布Fig.1 Downsampling process and normalized image content distribution

内容像素变化总量Hk由降采样图像中内容像素变化量最大的4个子块累加后，再以（5）式的方法进行均值平滑获得。当Hk－1／Hk＞0.8时，内容像素变化率降至25%，各子块内容像素含量关系趋于稳定，在这个时刻确定聚焦窗口能有效保证聚焦窗口的精度，故将 Hk－1／Hk＞0.8作为取窗条件。以图1（a）为例，图2为相应的内容像素变化总量Hk曲线以及原图像梯度变化总量曲线，图3是相邻图像的内容像素变化总量比值Hk－1／Hk曲线。

图2 梯度、内容像素变化总量曲线Fig.2 Total variation curve of gradient and content pixels

图3 Hk－1／Hk 比值曲线Fig.3 Curve of Hk－1to Hkratio

图2中，梯度变化总量曲线峰值尖锐，但波动较大，存在较多的局部极值，而内容像素变化总量曲线则比较平缓，波动较少，这对确定选窗时刻十分有利。图3中，满足取窗条件的位置在x＝45处，若以梯度变化总量曲线峰值位置表示理想焦平面位置，如图2中x＝65处，则取窗位置与理想焦平面的间隔 △x＝20，有效降低了后续的计算复杂度。

满足选窗条件后，将内容像素变化量最大的4个子块Nk（i，j）max（0）～Nk（i，j）max（3）作为聚焦窗口备选子块，若满足（7）式，表示内容像素增量只集中在4个备选子块的前n个，选择前n个作为聚焦窗口，否则4个子块均作为聚焦窗口，这样能将聚焦窗口限制在4个子块以内，不会随图像内容变化而扩大。图4为最终的取窗效果，聚焦窗口由图中的黑框子块构成，所含图像内容丰富，精度较高。

图4 构成聚焦窗口的子块Fig.4 Result of windows selection

2.3 玻片杂质处理

一般认为，标本各部分均处于同一焦平面，而玻片杂质的纵向分布不规则，各部分的焦平面并不相同。图5为含玻片杂质的显微图像序列，其中图5（c）为理想焦平面图像。当玻片杂质某部分处于正焦状态时，其余部分可能处于失焦模糊状态，如图5（a）所示。由于盖玻片通常比较薄，当焦平面处于盖玻片表面位置时，视野中开始出现标本模糊轮廓，如图5（b）所示。因此，当焦平面为非理想焦平面时，视野内总存在局部模糊区域。根据这个特点，可通过对焦平面图像进行局部模糊检测来确定当前焦平面是否为理想焦平面。

图5 含玻片杂质的显微图像序列Fig.5 Microscopic image sequence with impurities on coverslips

局部标准差反映图像局部灰度的变化程度［12］。局部失焦模糊区域锐利边缘像素较少，灰度变化缓慢，故局部标准差较小，而正焦清晰区域锐利边缘像素较多，一般具有较大的局部标准差，因此本文使用局部标准差与锐利边缘像素数量来联合检测当前焦平面的局部模糊区域，如式（8）和式（9）。

式中：（i，j）表示子块坐标；（x，y）表示像素坐标。对（8）式，Δf（x，y）为当前焦平面图像与参考图像的像素灰度差，子块大小为n×m，灰度均值为对（9）式，Gten表示以tenengrad函数计算的像素梯度，Sedge表示子块的锐利边缘像素总和。Ts为锐利边缘像素的梯度判决阈值。Ts较小时，失焦模糊区域像素会误判为锐利边缘像素，而Ts过大时，清晰区域中锐利边缘像素会大幅减少，均无法区分局部模糊区域与清晰区域。经过多次实验，Ts取2 000时，模糊区域子块存在一定的局部标准差，但几乎不含锐利边缘像素，区分效果较好。

玻片杂质焦平面图像的子块主要分为清晰子块，模糊子块与零内容子块3种，其中模糊子块的检测是2次聚焦成功的关键。本文通过式（10）和（11）检测模糊子块，Lblur表示子块模糊值。

对零内容子块，由于σk（i，j）＝0，故Lblur（i，j）＝0。

对模糊子块，合适的Ts可使Sedge（i，j）＝0，σk（i，j）＞0，故：

Lblur（i，j）＝ ［σk（i，j）／0.1］≥10

对于清晰子块，由于Sedge（i，j）≥1，σk（i，j）≥1，故Lblur≤ ［σk（i，j）／5.1］，若要Lblur≥10，则有σk（i，j）≥50。通常情况下，当σk（i，j）≥50时，图像内容比较丰富，Sedge（i，j）数值比较大，这就使清晰子块的模糊值满足Lblur＜10。

因此，可令TL＝15，通过（11）式将零内容子块与清晰子块归为一类。对焦平面图像，若存在Lblur＞TL的子块，则认为该焦平面不是理想焦平面，可剔除当前聚焦窗口后重新选取模糊值最大的若干个子块作为聚焦窗口进行二次聚焦，否则结束调焦。

图6（a）～（c）为图5（a）～（c）焦平面图像的模糊值分布。从图6中可以看出，非理想焦平面图像中包含较多图像模糊子块，无法同时达到清晰状态。而理想焦平面图像各子块模糊值几乎全为0，不存在失焦模糊区域。通过聚焦窗口获取焦平面图像后，再利用本文方法能有效检测出失焦模糊区域，确定当前焦平面是否为理想焦平面，降低焦平面误判率。

图6 各焦平面图像的模糊值分布Fig.6 Distribution of Lblurat each focal plane

3 聚焦实验

实验平台采用梧州学院信号处理实验室与梧州奥卡光学仪器公司联合研发的远程显微工作站，实物与软件界面如图7（a）和7（b）。实验均使用离焦－清晰－离焦的显微图像序列，分辨率统一为640pix×480pix，图像采集间隔为0.05mm。

图7 显微工作站Fig.7 Microscope work station

3.1 内容变化量评价方式

将基于内容像素变化与基于梯度变化的两种图像内容变化量评价方式进行比较，选取两组受随机噪声与镜头杂质干扰的显微图像序列，正焦图像如图8（a）和8（b），其中序列8（a）内容稀少，而序列8（b）内容丰富，T1取15，T2取35。图9和图10分别是序列8（a）和8（b）中，内容区域与镜头杂质区域从远焦到近焦过程中tenengrad、brenner梯度变化量曲线以及内容像素变化量曲线。

图8 含噪声与镜头杂质的序列的正焦图像Fig.8 Ideal focal plane images of microscopic image sequences with noise and lens impurities

从图9（a）和9（b）、图10（a）和10（b）可以看出，tenengrad、brenner方法中内容区域的梯度变化量曲线波动较小，而杂质区域梯度变化量曲线一直处于波动状态。当显微镜处于远焦状态时，如图9（a）和9（b）中x＜40的区间与图10（a）和10（b）的x＜60的区间，图像内容梯度变化被镜头杂质的梯度波动淹没，基于梯度变化量的内容分布信息并不准确；直到显微镜处于近焦状态时，如图9（a）和9（b）中x＞50的区间与图10（a）和10（b）中x＞70的区间，图像内容与镜头杂质的梯度变化量才有较明显的区别。

从图9（c）和图10（c）可以看出，无论是杂质区域还是内容区域，内容像素变化量曲线在聚焦过程中波动极小，可以直观区分内容区域与镜头杂质区域，精确地得到各区域的内容像素变化量情况，从而确定图像内容分布。

图9 图8（a）的内容区域与杂质区域的局部内容变化曲线Fig.9 Image content changing curves of content area and impurities area in Fig.8（a）

图10 图8（b）的内容区域与杂质区域的局部内容变化曲线Fig.10 Image content changing curves of content area and impurities area in Fig.8（b）

另外，从远焦到近焦过程中，内容区域出现模糊轮廓时梯度变化并不明显，但像素的灰度已有一定的变化。如图9（a）和9（b）的25＜x＜40区间与图10（a）和10（b）的40＜x＜60区间，内容区域的梯度变化量仍然淹没在杂质区域的梯度波动中，而本文方法的内容像素变化量曲线在这2个区间已可以有效地将2个区域区分开，如图9（c）和10（c）。因此，本文的内容像素变化量评价方法可以较早提取内容丰富区域，从而确定聚焦窗口。

3.2 聚焦窗口选择

图11 显微图像序列Fig.11 Microscopic image sequences

将本文方法与传统的固定取窗方法、文献［11］的非固定取窗方法进行对比实验，选用的4组显微图像序列，正焦图像如图11（a）～11（d）。梯度计算均使用性能优异的tenengrad函数。序列（1）和（3）起始点在远焦区域，序列（4）起始点在近焦区域，起始点到焦平面附近所需的大致移动步数分别为85、70、64、25。序列（1）和（2）内容丰富，序列（3）和（4）内容稀少，其中序列（3）的内容分布比较零散，并含有较多的镜头杂质与噪声；序列（4）的内容只分布在图像右下角。

3.2.1 与固定取窗方法比较

图12 本文方法与传统方法比较Fig.12 Comparison between proposed method and traditional method

与传统的固定取窗方法比较的实验结果如图12（a）～12（d），分别对应序列（1）～（4）。从实验结果可以看出，对内容丰富序列（1）和（2），倒T法和黄金分割多点取窗法效果略优于本文方法，这是由于固定取窗法窗口比例较大，在图像内容丰富的情况下能纳入更多的图像内容，因此曲线比较尖锐。而对图像内容稀少的序列（3）和（4），传统的固定取窗方法由于聚焦窗口内图像内容较少，纳入的非内容区域过多，导致聚焦评价曲线出现形变和局部峰值，而本文所提的方法仍能较好地保持尖锐性和单峰性，从聚焦起始点至焦平面的局部峰值较少，对图像内容分布不同的序列均能获取有效的聚焦窗口。对4个序列，本文方法的取窗时刻分别在43、63、45、17处，离曲线的顶点还有一段距离，可降低后续焦平面搜索过程的计算量。

3.2.2 与非固定取窗方法比较

在一定范围内，所选的聚焦窗口越小，后续的聚焦过程计算量越小，并且聚焦窗口在理想焦平面的像素梯度均值越大，表明聚焦窗口的图像内容越丰富，本文用聚焦窗口的大小与像素梯度均值衡量取窗效果，与文献［11］方法进行比较实验。文献［11］将图像分成48个子块，各子块比重均值为1／48，本文选取0.025、0.035、0.045作为比重阈值，从起始点移动15、45、60后用子块比重阈值确定聚焦窗口，结果如表1所示。取窗点落在近焦区域时，如序列（1）～（3）移动距离为60时以及序列（4）移动距离为15时，文献［11］方法能有效获取聚焦窗口；当取窗点落在远焦区域时，如序列（1）～（3）移动步数为15、45时，由于各子块的梯度变化量均不明显，比重阈值大于0.035时容易导致取窗失败，而以0.025为阈值时，各序列的聚焦窗口平均大小为原图像的19%，则难以限制聚焦窗口。因此对聚焦起点未知的情况，文献［11］方法难以确定统一的子块比重阈值与移动距离，取窗灵活度有限。

本文方法能在聚焦起始点未知的情况下自动根据图像内容变化情况来确定聚焦窗口，并限制在4个子块以内，有效解决图像内容分布均匀情况下聚焦窗口扩大的问题，并且本文方法选取的聚焦窗口在理想焦平面内像素梯度均值较高，图像内容丰富。

表1 取窗效果比较Table 1 Comparison of windows selection

3.3 算法实时性

在PC机上测试本文方法的实时性，PC机参数为CPU：intel E5700，内存3G，与传统方法比较，所得结果如表2所示。从表2可以看出，本文方法处理图片的平均耗时在4ms以内，与中心取窗法、倒T选择法、黄金分割多点取窗法相当，可以有效保证聚焦实时性。取窗越早，或者所选择的聚焦窗口越小，图片处理的平均耗时就越小，如序列（1），理想焦平面在x＝85附近，在x＝43处取窗，取窗较早，而序列（4）的图像内容只集中在一个子块，需要处理的内容少，故两者图片处理平均耗时都较少。

表2 图片处理平均耗时Table 2 Average time cost for image processing ms

4 总结

光学显微镜系统聚焦过程中，无法预知图像内容分布与丰富程度，传统的固定取窗方法难以保证聚焦窗口中有足够的图像内容，当图像内容偏离聚焦窗口时容易导致聚焦失败。本文使用分块检测方式获取图像内容分布信息，以内容像素变化量表征图像内容含量，并据此选取聚焦窗口，大大减小噪声干扰，同时提高镜头杂质区域与内容区域的内容变化量曲线平滑程度，有效区分镜头杂质与图像内容。而平滑稳定的内容变化量曲线也有利于根据图像内容含量，精确选择取窗时刻，及早获得聚焦窗口，降低计算复杂度。

由于聚焦过程中易受玻片划痕、杂质等的干扰，所获取的焦平面可能并不是理想焦平面，只能得到杂质的清晰图像而无法得到标本的清晰图像。针对这种情况，可对当前焦平面图像采用局部标准差与锐利边缘像素联合检测局部模糊区域，若存在局部模糊区域，则选取模糊量比较大的子块进行二次聚焦，能有效解决玻片杂质干扰导致无法获取理想焦平面的问题。

［1］ Zhang Yatao，Ji Shupeng，Wang Qiangfeng.Definition evaluation algorithm based on regional contrast［J］.Journal of Applied Optics，2012，33（2）：293－299.张亚涛，吉书鹏，王强锋，等.基于区域对比度的图像清晰度评价算法 ［J］.应用光学，2012，33（2）：293－299.

［2］ You Yuhu，Liu Tong，Liu Jiawen.Survey of the autofocus method based on image processing［J］.Laser ＆Infrared，2013，42（2）：132－136.尤玉虎，刘通，刘佳文.基于图像处理的自动对焦技术综述［J］.激光与红外，2013，42（2）：132－136.

［3］ Zheng Yuanyuan.Studies on auto－focus system［D］Jinan：Shandong University，2012.郑媛媛.自动聚焦算法研究［D］.济南：山东大学，2012.

［4］ Chen Guojin.Study on the auto－focusing technology of digital image and realization for an auto－focusing system［D］.Xi’an：Xidian University，2007.陈国金.数字图像自动聚焦技术研究及系统实现［D］.西安：西安电子科技大学，2007.

［5］ He Jie，Zhou Rongzhen，Hong Zhiliang.Modified fast climbing search auto－focus algorithm with adaptive step size searching technique for digital camera［J］.IEEE Transactions on Consumer Electronics，2003，49（2）：257－262.

［6］ Li Qi，Feng Huajun，Xu Zhihai.Autofocus system experiment study using variational image－sampling［J］Acta Photonica Sinica，2003，32（12）：1499－1501.李奇，冯华君，徐之海.自动对焦系统中图像非均匀采样的实验研究［J］.光子学报，2003，32（12）：1499－1501.

［7］ Zhu Kongfeng，Jiang Wei，Gao Zan.Focusing windows choice and parameters determination in automatic focusing system［J］.Acta Optica Sinica，2006，26（6）：777－778.朱孔凤，姜威，高赞，等.自动聚焦系统中聚焦窗口的选择及参量的确定［J］.光学学报，2006，26（6）：777－780.

［8］ Zhang Le，Jiang Wei，Gao Zan.Automatic focusing region selection algorithm based on first order of digital image［J］.Optical Technique，2008，34（2）：163－169.张乐，姜威，高赞，等.数字图像一阶矩的自动聚焦区域选择算法［J］.光学技术，2008，34（2）：163－169.

［9］ Wang Yanfang，Jiang wei.Application of artificial fish swarm algorithm on adaptive auto－focusing window selection［J］.Computer Engineering and Applications，2011，47（14）：180－229.王彦芳，姜威.应用于聚焦窗口自适应选择的人工鱼群算法改进［J］.计算机工程与应用，2011，47（14）：180－229.

［10］Zhai Yongping，Liu Yunhui.Auto focusing method for microscope with low image content density［J］.Journal of Software，2012，23（5）：1281－1294.翟永平，刘云辉.稀疏图像内容情况下显微镜自动聚焦算法［J］.软件学报，2012，23（5）：1281－1294.

［11］Li Huiguang，WANG Shuai.Study of auto focusing technique of micro－vision system［J］.Opto－Electronic Engineering，2014，41（8）：1－9.（in Chinese）.李惠光，王帅.显微视觉系统中自动聚焦技术的研究［J］.光电工程，2014，41（8）：1－9.

［12］Xian Zhaoyong.Research on image blur detection and blurred region segmentation［D］.Nanning：Guangxi University，2013.咸兆勇.图像模糊检测与模糊区域分割研究［D］.南宁：广西大学，2013.