图像灰度投影的聚焦窗口选择方法

高玮宁 马善涛 何勇军 谢怡宁

摘要：近年来，显微镜自动成像技术被广泛运用到自动阅片领域。聚焦窗口选择方法是显微镜自动聚焦算法中的关键技术，直接影响自动聚焦算法的性能。传统聚焦窗口选择方法选择固定位置和固定大小区域计算清晰度评价函数，聚焦效率低且容易造成聚焦失败。针对这一问题，提出了一种基于图像灰度投影的聚焦窗口选择方法。该方法采用灰度投影法和自适应均值区间查找算法确定聚焦窗口。首先沿坐标轴方向计算图像的灰度投影，然后依据自适应均值区间查找算法在灰度投影序列中合适的子区间，根据子区间在坐标轴的位置构建出位置和尺寸准确聚焦窗口。实验表明灰度投影取窗法可以跟踪偏离中心的主体区域，是一种具有自适应性的聚焦窗口选择方法，能显著提高自动聚焦精确率和速度。

关键词：自动聚焦;区域选择算法;灰度投影;自适应性;医学图像

DOI：10.15938/j.jhust.2021.05.008

中图分类号：TP182 文献标志码：A 文章编号：1007-2683（2021）05-0060-08

0 引言

近年来自动阅片技术发展迅速，并且逐渐取代传统的人工阅片。该技术主要由计算机控制电机平台[1]，利用工业相机采集清晰的细胞图像，结合深度学习的方法对细胞图像进行分析，识别病变细胞。与传统的人工阅片相比，该技术可有效地减轻医生工作强度。

自动阅片采用自动聚焦的方式确保拍摄到清晰的图像。目前自动聚焦可分为主动聚焦和被动聚焦两大类[2]。主动聚焦通过测量待拍摄物体与镜头之间距离，将镜头移动到物体焦点位置达到聚焦目的。这种方法依赖高精度测距仪器，成本高、实现复杂。被动聚焦则通过显微镜下图像的清晰度为反馈，自动控制镜头和载物台相对移动，搜索焦点位置以拍摄到清晰图片。相比主动聚焦，被动聚焦成本低，易于实现，目前被广泛运用于自动阅片领域[3]。其中关键技术在于清晰度评价函数和焦点搜索算法。

图像清晰度评价函数分成3大类：频域分析函数，灰度梯度函数，信息熵函数[4]。其中常见的清晰度评价函数有灰度差分绝对值之和算子（SMD）[5]，Tenengrad梯度函数[6]，Laplace梯度函数[7]，Roberts梯度函数和低灰度值统计函数[8]等。

SMD对每一个像素领域两个灰度差相乘后再逐个像素累加。Tenengrad梯度函数使用Sobel算子提取水平和垂直方向的梯度值，求其平方和作为图像的清晰度评价标准[9]。Laplace梯度函数使用La-place算子对图像进行模板卷积得到图像的高频分量，然后对图像的高频分量求和，用高频分量和作为图像的清晰度评价标准[10]。Roberts梯度函数计算方式类似SMD，区别是像素领域中对角线方向点差值再逐个像素累加。低灰度值统计函数通过设置阈值统计灰度值低于阈值的像素点个数作为图像的清晰度评价标准[11]。

目前广泛使用爬山搜索法。爬山法從初始位置移动，比较移动前后位置上图像的清晰度并始终朝着清晰度增加的方向移动，即“爬山”，直到清晰度开始降低停止。清晰度最高的点被视为焦点位置即“山顶”。爬山搜索算法主要分为定步爬山法和变步爬山法[12]。

对于大多数实用场景，清晰度评价函数可以满足聚焦要求。但在图像内容较少、噪声影响较大的情况下，清晰度评价函数得到的清晰度曲线较为平坦并且存在较多的局部极值，最大值也不显著，这往往会导致自动聚焦失败[13]。针对此问题，有学者提出通过选取图像中某一特定的区域作为聚焦窗口以提高自动聚焦成功率[14]。

聚焦窗口选择算法可以减少数据计算量，消除背景像素与杂质像素对清晰度评价函数的影响，进而提高聚焦准确率。聚焦窗口选择方法分为静态取窗法和动态取窗法。静态取窗法包括中心取窗法[15]，多区域取窗法[16]等。动态取窗法包括一阶矩取窗法[17]，差影取窗法[18]等。前者通常是选取图像中某个固定区域作为固定窗口，后者对图像内容进行统计分析，选取一个最优的区域作为聚焦窗口。

中心取窗法选取图像中心区域作为聚焦窗口。中心取窗法认为在拍摄时关注的主体部分通常在视场中央，只要图像的中央区域处于聚焦状态，则认为整张图像达到了聚焦状态。多区域取窗法选取图像中具有代表性的几个区域作为聚焦窗口。中心取窗法和多区域取窗法构建的聚焦窗口的位置和尺寸都缺乏自适应性[19]。

一阶矩取窗法通过计算图像的灰度一阶矩确定图像的“质心”，在“质心”的周围构建聚焦窗口。差影取窗法的具体做法是原图像与经模糊化处理后的图片对应像素点的灰度值做减法得到前景图像，做减法可以削弱图像的相似部分，得到图片之间的差异，凸显图像的主体部分。在实际应用中，一阶矩取窗法与差影取窗法计算得到聚焦窗口位置选取不准确。而且一阶矩取窗法与差影取窗法仍然未解决聚焦窗口尺寸固定的问题。

综上所述，静态取窗法假定主体景物是可以提前预知的，导致在聚焦窗口位置选取和聚焦窗口尺寸确定两个方面都缺乏自适应性，往往会造成聚焦失败。动态取窗法虽然在聚焦窗口位置选取方面有所改善，但是仍然有聚焦位置选取不准确，聚焦窗口尺寸固定等问题，尤其在小景深系统聚焦中（例如显微镜系统）效果欠佳。

为解决以上问题，提出一种基于细胞图像灰度投影的聚焦窗口选择方法。首先，对目标细胞图像进行灰度值取反操作。然后沿坐标轴方向计算图像灰度投影，在得到的灰度投影序列中寻找灰度投影平均值最大的子区间。在寻找灰度投影平均值最大子区间时，又提出一种自适应均值区间查找算法：在得到的灰度投影序列中寻找灰度投影平均值最大且长度合适的子区间，通过子区间在坐标轴上的位置便可构建出聚焦窗口。灰度投影取窗法解决了聚焦窗口位置和尺寸固定的问题，经实验验证在细胞图像聚焦方面有着良好的效果。

1 灰度投影聚焦窗口选择方法

1.1 灰度投影聚焦窗口方法原理介绍

对于细胞图像来说，细胞密集区域边缘信息丰富，细胞密集区域的像素点往往灰度梯度呈现显著变化，这些特征有利于清晰度函数计算。从图像信息嫡的角度来说，细胞图像密集区域所包含的信息量更大，在聚焦中有更好的聚焦效果。细胞密集区域通常是灰度投影平均值高并且面积较大的区域。以灰度投影平均值高并且面积较大的区域作为聚焦窗口可以追踪的密集区域。

灰度值投影聚焦窗口选择法基于细胞图像的分布特点，以图像灰度投影在坐标轴方向上分布的密集程度作为基准确定图像的主体部分。聚焦窗口选择示意图如图1所示，其中阴影区域为聚焦窗口。灰度投影聚焦窗口选择方法流程图如图2所示。

1.2 灰度值取反

在进行灰度投影和自适应均值区间查找之前，要对目标图像进行灰度值取反处理。

在细胞图像中，细胞密集区域的灰度值比细胞稀疏区域的灰度值低。采取灰度值取反的目的是要在灰度投影序列中找灰度平均值最大的子区间。灰度值取反计算方法如下。

f（x，y）=255-f（x，y）（1）其中f（x，y）是圖像第x行，第y列的像素灰度值。

1.3 灰度投影算法

灰度投影算法是一种图像映射，把输入的图像二维灰度信息映射成两个独立的一维投影序列。采取灰度投影的目的是获得坐标轴方向上的灰度投影序列。

首先将目标图像进行灰度值取反操作。计算水平灰度值投影和垂直灰度投影。灰度值投影计算方式如下：其中：G（x）是图像第x行的灰度投影值;G（y）是图像第y列的灰度投影值;f（x，y）是图像第x行，第y列的像素灰度值。

1.4 自适应均值区间查找算法

聚焦窗口选择方法不仅要选取边缘信息丰富的区域，而且要选取尺寸合适的区域。聚焦区域过小会造成图像细节的缺失，聚焦区域过大会导致聚焦效果不显著。所以对于不同密集程度的细胞图像，算法应该创建出不同尺寸的聚焦区域。越稀疏的细胞图像聚焦窗口越大，越密集的细胞图像聚焦窗口越小。为解决聚焦窗口尺寸难以确定的问题，提出一种自适应均值区间查找算法。

首先计算图像的平均灰度值（图像已经进行灰度值取反），统计细胞图像中像素值高于平均灰度值的像素点个数为m。平均灰度值的计算方法如下。其中f（x，y）是图像第x行，第y列的像素灰度值;θ代表平均灰度值;M，N分别代表图像的长度和宽度。

随后在一个长度为n的灰度投影序列a中，寻找长度为m且区间平均值最大的子区间。我们采用二分法的思想设计算法。

设置二分查找的左右边界为left和right。其中left等于灰度投影序列中的最小值，right等于灰度投影序列中的最大值。令mid为左右边界平均值，即mid等于（left+right）/2。然后判断是否存在一个长度为m并且区间平均值大于等于mid的子区间。

若直接进行判断算法时间复杂度会很高，所以引入前缀和。设前缀和为sum，前i项的前缀和为sum[i]。

所以，若存在某个子区间[x，x+m]满足sum[x+m]-sum[x]≥0，表明这个子区间均值大于此时的mid，则记录本次查找到的子区间的左右边界为[x，x+m]，将二分查找的左边界left更新为mid，继续进行二分查找;若不存在这样一个子区间，则将二分查找的右边界right更新为mid，继续进行二分查找。直到二分查找结束，此时便找到平均值最大的子区间。

对两个灰度投影序列使用自适应均值查找算法确定两个子区间，通过这两个子区间在坐标轴上的位置构建出聚焦窗口。

2 实验内容

2.1 实验环境介绍

实验基于实验室自主研发的DNA倍体自动分析系统，系统如图3所示。

DNA倍体自动聚焦分析系统的工作原理：首先，工业摄像机通过物镜采集滤光片照射下玻片上的样本图像，采集信息传输到计算机。然后通过编程计算图像的清晰度，并使用焦点搜索算法将下一个焦点指令发送给控制盒。控制盒向控制垂直运动的电机发送下步的指令，直至最终聚焦成功。

2.2 实验方法

2.2.1 取窗方法

1）中心取窗法

中心取窗法假定主体目标在图像中心，是早期自动聚焦中经常使用的方法。中心取窗法选取的聚焦区域尺寸通常为图像的1/16，计算量减少了93.8%。构建窗口方法如下。其中f（x，y）代表图像中第x行，第y列的像素点;M，N分别代表图像的长度和宽度。

2）一阶矩取窗法

一阶矩取窗法以数学中质心的概念为基础，该方法不再假定主体目标在图像中心。利用图像的灰度一阶矩计算得到图像的“质心”，以此为中心构建聚焦窗口。该方法可以使聚焦窗口靠近主体部分。具体方法如下。其中f（x，y）代表图像中第x行，第Y列的像素点的灰度值;（xc，yc）代表质心位置;M，N分别代表图像的长度和宽度。

3）差影取窗法

差影取窗法首先对原图进行高斯模糊处理，然后用原图与模糊后的图像进行做差，突出图像主体部分，然后用一阶矩取窗的方法构建窗口。流程图如图4所示。

图4 差影取窗法流程图

计算图像质心的方法是式（11）。差影图像的计算方法如下，其中：f（x，y）代表原图像中第x行，第y列的像素点的灰度值;g（x，y）代表模糊图像中第x行，第y列的像素点的灰度值;F（x，y）代表差影图像中第x行，第y列的像素点的灰度值。

F（x，y）=f（x，y）-g（x，y）（12）

2.2.2 清晰度评价函数

Laplace梯度函数采用Laplace算子与图像各像素点的灰度值进行卷积得到一个梯度矩阵记为G（x，y），取各点像素点梯度的平方和作为清晰度评价函数的输出是F。具体公式如下。其中f（x，y）代表图像中第x行，第y列的像素点的灰度值;*为卷积运算符号;L为Laplace算子。

2.3 实验内容

实验数据为细胞图像，使用实验系统采集20张离焦-聚焦-再离焦的图像序列作为实验数据，图像分辨率为2048×2048，其中第10张为清晰聚焦图像。实验数据如图5所示。

选取细胞图像序列中一张较为清晰的细胞图像。图6是3种取窗方法与灰度投影取窗法的取窗效果比较。

4种方法取窗效果由图6所示，目标细胞图像中边缘信息较丰富的区域并未处于图像中心。其中灰度投影取窗法较为准确地在细胞密集的区域构建出了聚焦窗口。可见灰度投影取窗法可以追踪偏离细胞图像中心的主体部分。而中心取窗法，一阶矩取窗法和图像差影取窗法的取窗效果接近，均未定位到图像主体部分。

首先，为了比较4种取窗方法选取细胞密集区域的能力，实验选取20张离焦-聚焦-再离焦的细胞图像序列，计算四种取窗方法构建的聚焦窗口中细胞前景像素面积占比曲线。其结果如图7所展示的细胞前景像素面积占比曲线。可以看出灰度投影取窗法构建的聚焦窗口中细胞前景像素的面积占比高于另外3種取窗法的面积占比。实验表明灰度投影取窗法选取的聚焦区域有较高的细胞密集度。

根据细胞图像像素分类理论，细胞图像中的像素分为背景像素，内容像素与杂质像素[17，20]。因为内容像素的灰度梯度变化率较高，所以在聚焦窗口中的平均灰度梯度变化率越高意味着内容像素比例越高，越有利于清晰度评价函数的计算。

接下来，实验选取20张离焦-聚焦-再离焦的细胞图像序列，通过比较4种取窗方法取得的聚焦窗口中像素的灰度梯度变化率，评估四种取窗方法对内容像素的选取能力。其结果如图8所展示的灰度梯度变化率曲线。从图中可以看出，灰度投影取窗法的灰度梯度变化率高于另外3种方法。实验表明灰度投影取窗法可以精确地构建出包含较多内容像素的聚焦窗口。

为了确定4种取窗方法对清晰度曲线的影响，实验选取20张离焦-聚焦-再离焦的细胞图像序列，其中第10张为清晰聚焦图像。对比4种取窗法方法得到的清晰度评价曲线（统一使用Laplace清晰度评价函数）。其结果如图9所展示的清晰度评价曲线。理想的清晰度评价函数应具有单峰性和灵敏性的特点。本实验分别从这两个方面验证灰度投影聚焦窗口选择方法。从图中可以看出，4种取窗方法得到的清晰度曲线均有单峰性，但是灰度投影取窗法的单峰位置最接近准确聚焦位置，在实际的聚焦任务中可以准确地找到焦点位置。中心取窗法，一阶矩取窗法和差影取窗法得到的清晰评价曲线的敏锐性比灰度投影方法得到的清晰度评价曲线的敏锐性差，并且有更多的局部极值。实验表明灰度投影取窗方法可以使清晰度评价曲线具有高灵敏性和良好的单峰性。

为了比较4种取窗方法的计算效率，统计各取窗方法计算20张图片的平均清晰度和平均聚焦时间。其结果如表1所展示。在清晰度方面，灰度投影取窗法的平均清晰度高于其它3种取窗方法。在聚焦时间方面，由于中心取窗方法是静态取窗的，所以在计算时间上有绝对的优势。而灰度投影取窗法比一阶矩取窗法和差影取窗法计算量小，所以聚焦所用时间少。实验表明灰度投影取窗法有良好的计算效率。

图10是灰度投影取窗法针对不同细胞图像的取窗效果。灰度投影取窗法针对不同的细胞图像，构建了不同尺寸的聚焦窗口，有良好的自适应性。

最后，为了测试自适应性窗口尺寸对灰度投影取窗法的影响。实验选取20张离焦-聚焦-再离焦的细胞图像序列，其中第10张为清晰聚焦图像。比较自适应性窗口尺寸灰度投影取窗法和非自适应性窗口尺寸灰度投影取窗法得到的清晰度评价曲线（统一使用Laplace清晰度评价函数）。其结果如图11所展示的两种取窗方法的清晰度评价曲线。由于自适应性窗口尺寸灰度投影取窗法可以选择合适尺寸的聚焦窗口，避免聚焦窗口尺寸过大或过小带来的误差，清晰度评价曲线的灵敏性更好。

3 结论

中心取窗法等静态区域选择方法利用单点或多点固定区域，选择图像中央区域少量像素集合，显然很难保证目标图像位于所选择的区域中。一阶矩取窗法不再简单地认为图像主体部分位于图像中央，采用以图像灰度分布和边缘为基准，对图像的主体部分进行追踪，比中心取窗法效果略好，但仍有选取主体部分不准确和计算量大等缺点。差影取窗法因计算量大并且取窗位置不准确，在聚焦表现中效果较差。灰度投影取窗法因受图像灰度梯度变化率和细胞形态分布的影响，以灰度投影的分布作为构建聚焦窗口的基准，对图像主体内容部分和内容像素体现出良好的跟踪效果，又因其聚焦窗口的尺寸对于不同的细胞图像有着较强的自适应性，在聚焦中显示出良好的效果。

参考文献：

[1]梁隆恺，赵晶，何勇军.一种显微镜自动聚焦算法[J].哈尔滨理工大学学报，2018，23（2）：46

[2]李铮，戴明，李嘉全.步进电机驱动的直线变倍成像系统研究[J].中国光学，2018，11（5）：779.

[3]刘孟晨，庞长涛，郝雪.Sobel算子在气膜孔图像清晰度评价过程中的研究[VOL].机械科学与技术，2020，39（7）：1071.

[4]卢祎，张雪媛，何勇军.基于焦平面估计的快速扫片方法[J].哈尔滨理工大学学报，2020，25（1）：51.

[5]李惠光，李敏，邵暖，等.显微视觉系统中自动聚焦算法的研究[J].计算机工程与应用，2016，52（14）：197.

[6]林忠，黄陈蓉，卢阿丽.基于离焦量差异定性分析的自动对焦方法[J].计算机应用，2015，35（10）：2969.

[7]项魁，高健.自动对焦过程中图像清晰度评价算法研究[J].组合机床与自动化加工技术，2019（1）：52.

[8]孟立凡，高文学，一种应用FPGA的灰度投影法断纱检测平台设计LJ]，现代电子技术，2020，43（4），4.

[9]梁隆恺.基于环境感知的显微镜自动聚焦方法[D].哈尔滨理工大学，2018，23（2）：58.

[10]TIAN Y，HU H，CUI H，et al.Three-dimensional Surface Micro-topography Recovery from a Multifocus Image Sequence Using anOmnidirectional Modified Laplacian Operator with Adaptive Win-dow Size.[J].Applied Optics，2017，56（22）：6300.

[11]KRUEGER R，BAUER T.Microscope Having an AutofocusingDevice and Autofocusing Method for Microscopes：U.S.Patent 9，671，601[P].2017-6-6.

[12]SHA X，LI W，LV X，et al.Research on Auto-focusing Technolo-gy for Micro Vision System[J].Optik，2017，142：226.

[13]TIAN X，SUN X.Computer Controlled Microscope Autofocus andImage Real-Time Fusion Technology[J].Acta Microscopica，2019，28（5）：102.

[14]BEN Z，XU Z，LAM E Y.Learning-based Nonparametric Autofo-cusing for Digital Holography[J].Optica，2018，5（4）：337.

[15]GUO Y，YI D，LI D.R

apid Autofocus Method for Optical Micro-scopes Using Dual Photodetectors[C]//2nd International Confer-ence on Electrical and Electronic Engineering（EEE 2019）.At-lantis Press，2019：209.

[16]張腾腾，雷静思.抗噪高清图像清晰度评价算法的研究[J].数字技术与应用，2019，37（7）：117.

[17]毕天华，杜文华.一种改进的Brenner清晰度评价函数[J].电子测量技术，2019（9）;80.

[18]潘雪娟，朱尤攀，浦恩昌，等.基于熵的自动聚焦图像清晰度评价函数仿真分析[J].红外技术，2016（10）：838.

[19]李雪，江曼珊.光学显微成像系统图像清晰度评价函数的对比[J].光学仪器，2018，40（1）：28.

[20]严锦雯，贾星伟，隋国荣，等.图像清晰度评价函数的研究[J].光学仪器，2019，41（4）：54.

（编辑：温泽宇）

收稿日期：2020-04-29

基金项目：国家自然科学基金面上项目（61673142）;黑龙江省自然科学基金面上项目（F2017013）;黑龙江省自然科学基金杰出青年项目（JJ2019JQ0013）;哈尔滨市杰出青年人才基金（2017RAYXJ013）;黑龙江省普通本科高等学校青年创新人才项目（UNPYSCT-2016034）;黑龙江省教育厅科学技术研究项目（12511096）;哈尔滨理工大学青年拔尖创新人才（20152）;中国博士后基金（20132303120003）.

作者简介：高玮宁（1997-），男，硕士研究生;

马善涛（1996-），男，硕士研究生.

通信作者：谢怡宁（1979-），女，博士，硕士研究生导师，E-mail：xieyining@hrbust.edu.cn.