基于内容分析的细胞图像快速融合方法

简芙蓉，高玉栋，丁 博，何勇军

(哈尔滨理工大学 计算机科学与技术学院，哈尔滨 150080)

0 引 言

传统的病理诊断是通过采集人体脱落细胞或组织制片染色，然后由病理医生在镜下观察寻找异常细胞后做出诊断。其中，细胞病理诊断是采集脱落细胞进行检查，取材简单，应用广泛，又能做出定性诊断，特别适合筛查，但是目前的方法完全依赖于医生的人工阅片，准确率普遍较低并且工作量巨大。因此，近年来自动化、智能化阅片技术在细胞诊断和筛查中起着越来越重要的作用。自动化阅片技术的首要任务是采集清晰图像。其中宫颈癌筛查中液基薄层细胞学(thinprep cytologic test, TCT)检查的细胞图像属于多焦点图像，传统的自动化阅片技术无法采集到同一景深中完全清晰的细胞图像，所以需要在自动化阅片过程中利用快速图像融合技术。快速图像融合技术就是将快速采集到不同景深的两个或多个焦点处的图像进行融合，生成一幅完整清晰的图像，也称为多焦点图像融合[1]，该方法能够解决多焦点图像在自动阅片中出现的问题，所以快速图像融合在自动阅片技术中具有重要意义。

近年来，人们提出了多种多焦点图像融合方法。这些方法可以分为两大类：空间域融合与变换域融合[2]。空间域融合是对单一像素进行操作，是像素级融合方法。其中加权平均法是空间域融合方法中一种常用的方法，该方法是计算源图像中每个像素的加权和，然后取其平均值，该方法简单易实现，但是融合之后的图像对比度低[3]。Yin等[4]提出了一种局部度量方法，该方法针对对比度低时能更好的处理图像边缘和区域信息。对图像分块、分区域进行操作也属于空间域融合，该方法首先把图像划分成几个固定大小的区域，然后获得各个区域清晰的部分再进行融合，这样能够更好的包含图像的细节信息[5]。Farida等[6]提出了一种基于内容自适应模糊(content adaptive blurring, CAB)方法，该方法对源图像中聚焦区域和模糊区域引入不同数量的模糊，然后与源图像产生差分图像，把差分图像进行初步分割之后再融合形成一个清晰的图像。但是由于在计算区域时包含清晰信息和不清晰信息，就会导致融合之后的图像出现伪影或者出现区域边界模糊情况。近年来深度学习技术发展迅速，卷积神经网络(convolutional neural networks, CNN)越来越多地应用到图像融合中。Li等[7]提出了一种基于零相位分量分析(zero-phase component analysis，ZCA)的深度特征融合框架，利用残差网络(residual network，ResNet)结合ZCA对提取到的深度特征进行归一化，得到初始权值映射。再通过softmax操作获得最终的权重图。最后根据权重图，对源图像采用加权平均策略进行重构，得到融合图像。为了避免在融合过程中信息丢失，Du等提出了一种基于深度支撑值卷积神经网络的多焦点图像融合方法(deep support value convolutional neural network, DSVCNN)，将卷积层代替最大池化层。该方法通过DSVCNN网络进行聚焦检测，生成特征图进行二值化分割，使用形态学滤波优化之后生成决策图，然后像素加权平均融合成最终的图像[8]。该方法相比传统的空间域融合算法有更好的性能，但是通常情况下由于卷积网络层数过多导致融合时间复杂度高。

变换域融合是对图像进行不同尺度、不同方向分解，即将图像分解为低频部分和高频部分。低频部分表现的是图像的概貌和平均特性，高频部分反应的是图像的细节特性。分别对不同的部分进行不同规则的融合，再逆变换，对融合后的系数进行重构，最终得到融合的图像。变换域融合基本方法有：拉普拉斯金字塔[9]、离散小波变换(discrete wavelet transformation, DWT)[10,11]、非下采样轮廓波变换(nonsubsampled contourlet, NSCT)[12]、稀疏表示[13]、基于KSVD(K singular value decomposition)的字典学习法[14]等。Wang等在2004年提出一种基于多小波变换的图像融合算法，该方法解决了拉普拉斯金字塔变换不具有方向性，导致融合之后图像会出现部分细胞对比度降低的问题。Wang采用的方法经过多小波分解再重构之后得到新的图像[15]。但是由于传统的小波变换存在下采样过程，因此融合后的图像边缘存在伪轮廓。徐小军等提出了基于下采样分数阶小波变换，在小波变换的基础上增加了分数域概念，对于伪轮廓有很好的抑制作用，对图像处理更加灵活，但是边缘问题依旧存在[16]。刘先红等提出一种基于引导滤波的多尺度分解方法，该方法兼具了边缘性和还原信息能力，改善了融合效果[17]。Wang等[18]提出了改进的PCNN(pulse coupled neural networks)和引导滤波相结合的图像融合方法，相较于大多数空间域融合方法，有效的降低了计算复杂度，并保留了图像边缘的细节信息。2019年，Huang等提出了一种基于非下采样轮廓波变换(NSCT)的图像融合分解方法，为了得到信息量更大的融合高频分量，对高频分量的不同子带，应用了最大绝对值融合规则和 PCNN融合规则。该方法得到的融合图像在信息熵方面有更好的效果[19]。同年，Wang等将变换域与空间域相结合，提出了离散小波变换域的卷积神经网络，将DWT分解的多个子带作为CNN的输入，生成决策图。根据决策图，对多个子带进行融合，最后利用逆DWT得到融合后的图像[20]。

快速采集到的多焦点细胞图像存在大量背景，而背景并不包含细胞信息，所以不需要参与融合运算，上述方法把背景信息加入运算导致时间复杂度较高，针对此问题，本文提出基于内容分析的细胞图像快速融合方法。该方法首先快速采集多焦点图像，通过清晰度变化筛选图像，然后对筛选出来的图像进行分割，将分割出来的细胞分为单细胞、成团细胞和杂质三类，再对这三类使用不同的方法获得清晰的细胞图像，最后将各个清晰部分拼接组成完整的清晰图像。本文通过5种客观评价方法对所提出的方法进行了验证，实验表明该方法在保证融合效果的基础上，降低了运算的时间复杂度。

1 快速图像融合方法

基于内容分析的细胞图像快速融合方法首先在显微镜自动阅片的过程中，快速采集到不同视野下，位于焦曲面附近的多张图像。其次是从采集到的多张图像中筛选出用于融合的多焦点图像，也就是存在细胞分层现象的图像。再次将筛选出来的多焦点图像进行自适应阈值分割，将分割出来的、去掉背景信息的图像通过基于VGG-16模型的分类器进行分类，将细胞分为单细胞、成团细胞和杂质三类。其中单细胞图像通过对比清晰度选择最清晰图像，成团细胞采用基于引导滤波融合的方法得到最清晰图像，杂质不处理，最后将各类别的清晰图像拼接成完整图像。完整的流程如图1所示。

1.1 异步采图

通过单一的聚焦算法无法得到完整的清晰的像，需要制定快速的图像采集方法，从而得到多张比较清晰的图像。传统的采图方法是平台先移动、停止，然后在平台静止状态下用相机采图。本方法中异步采图是平台在焦点范围上下移动过程中，通过相机采集图像，该方法与传统方法相比，提高了采集速度。具体过程是，首先需要确定焦点位置，由于一个载玻片被划分为400个视野，每个视野中的图像属于多焦点图像，并且各个视野之间图像的焦点位置不同，如果所有视野用固定的范围去采集图像，会导致得到的图像都不清晰。本文利用五点聚焦解决以上问题。首先通过五点聚焦得到拟合的焦曲面，进而得到每一个视野下的焦点位置，然后确定Z轴移动范围，控制Z轴在当前视野焦点范围内上下移动，并且采集图像。Z轴移动范围如图2所示。

图1 细胞图像融合方法示意图Fig.1 Schematic diagram of cell image fusion method

图2 平台移动过程Fig.2 Platform movement process

经过实验确定，a=150时采集到的图像能够更准确的包含多张多焦点图像。实验表明，在平台变换视野的过程中，Z轴采用蛇形的移动路线，能够提高平台变换时移动速度，减少整体采图时间，图2所示的①②③为蛇形路线规划。本文通过焦曲面确定采集范围，同时采用异步采图方法，与传统的焦平面采图方法相比，本文所提出的方法可以采集到多张较清晰图像，并采集速度更快。

但是在此方法采集到的、同一视野下的图像包含模糊图像和多焦点图像，如图3所示。(a)，(e)是模糊图像，(b)，(c)，(d)中成团细胞存在分层现象是多焦点图像，为了提高融合时图像处理的速度，需要在采集到的图像中筛选出多焦点图像作为最终的融合样本。

图3 同一视野模糊图像和多焦点图像Fig.3 Same field of vision fuzzy image and multi focus image

1.2 图像筛选

异步采图的结果中包含多张模糊和较清晰的图像，所以需要从采集到的图像中进行筛选，选择出能够用来融合的多焦点图像。由于制片过程中使用滴管将液体滴到玻片上，所以一般制作成功的玻片上细胞呈圆形[21]。而在图像采集过程中，由于平台变换视野时移动路线总体形状是圆的外接矩形，所采集到的图像中细胞含量不同，分为多细胞和少细胞，即需要对两种细胞含量的图像采用不同的筛选方法。

1.2.1 多细胞图像筛选

利用Brenner梯度函数，计算相邻两个像素灰度差的平方，判断图像的清晰度，值越大图像越清晰。该函数定义如下：

(1)

其中：D(I)为图像清晰度计算结果，I(x,y)表示图像I对应像素点(x,y)的灰度值。

通过计算多个样本，从每个样本中400个视野的清晰度值得出，峰值最高的地方图像最清晰，如图4所示。图中直线变化趋势递增并由缓变陡的部分，图像清晰度值由小变大，(a)中3号图像到4号图像清晰度值有明显的变化，(b)中1号图像到2号图像清晰度值也有明显的变化，图像由模糊变得比较清晰，说明图像中细胞开始出现分层现象。清晰度值达到峰顶之后开始递减，(b)中4号图像到5号图像清晰度值递减的速度变慢，图像逐渐变得模糊。

图4 采集到视野下图像清晰度变化Fig.4 The change of image definition in the field of vision

清晰度值处于峰顶的图像与它前后的两张图像是多焦点图像，细胞图像有分层情况，选择此三张图作为最终的融合样本。经实验发现，模糊图像与比较清晰图像之间的清晰度增加范围大于T时，图像开始变得清晰。如式(2)所示。

D(Im+1)-D(Im)>T(0≤m

(2)

其中：cn为采集到的图像数量；Im为第m个图像；Im+1为第m+1个图像。选择第m+1，m+2，m+3个图像作为最终筛选结果。此筛选方式减少了清晰度计算次数，只需计算视野中前几张图像的清晰度值，降低了图像筛选的时间复杂度。

1.2.2 少细胞图像筛选

采集到的图片中少细胞图像占10%，虽然细胞含量少，但却存在多焦点的情况，如图5所示。(a)～(e)是通过异步采图得到的少细胞图像，(b)中红框内细胞清晰，(c)中红框内细胞模糊；(b)中绿框内细胞模糊，(c)中绿框内细胞清晰，(b)与(c)属于多焦点图像。通过计算清晰度发现，(a)～(e)每张图像清晰度值变化不大，所以这类图像直接对比清晰度值，计算(a)～(e)每张图像的清晰度，选择清晰度值最大的图像和它前后各一张图像，一共三张图像作为最终的筛选结果。

图5 少细胞图像Fig.5 Images with less cell content

1.3 图像内容识别

卷积神经网络中的VGG-16(Visual Geometry Group-16)网络模型，如图6所示。该网络模型包括13个卷积层和3个全连接层。输入图像大小为224×244×3，卷积层中卷积核大小为3×3，经过2个或3个连续的卷积核堆叠，能够得到更细小的图像特征。池化层窗口大小为2×2，压缩输入的特征图像，提取图像主要特征。全连接层中包括3个连续的全连接，连接所有的图像特征，连接个数分别为4096、4096、3。最后通过softmax分类层输出。

图6 VGG-16模型结构图Fig.6 VGG-16 model structure diagram

由于VGG-16模型利用多个3×3卷积核串联，该方式与单独使用一个大的5×5或7×7卷积核相比，能够利用较少的参数达到更好地提取特征的效果，从而在图像分类中有很好的性能。

由于筛选出来的图像In(0

1.4 成团细胞融合

成团细胞存在分层现象，属于多焦点图像，如图7所示。为了得到各个层次都清晰的图像，利用基于引导滤波的融合技术[22]。

图7 成团细胞融合Fig.7 The clumps of cells fuse

首先分别将成团细胞通过均值滤波器，得到它的基础图像Bt。其中Rt为第t个成团细胞的源图像，Z为均值滤波器，滤波器大小为31*31。

Bt=Rt*Z

(3)

然后从源图像中减去它的基础图像得到细节图像。

Dt=Rt-Bt

(4)

再将源图像通过拉普拉斯滤波器，利用图像的局部平均值构造显著图像St。接下来比较显著图像St确定权重图。

(5)

在每个权重图Pt上执行引导滤波，其中相应的源图像Rt作为引导图像。

(6)

(7)

最后将不同源图像的基础图和细节图通过加权平均法融合在一起，再将融合之后的基础图像和细节图像相加即得最后的融合图像F。

(8)

(9)

(10)

1.5 单细胞融合

单细胞图像不存在分层现象，如图8所示，所以比较源图像In中单细胞图像Ci的清晰度，得到一个最清晰的单细胞图像C。

D(C)=max{D(C1),D(C2),D(C3),…,D(Ci)}

(11)

图8 单细胞比较清晰度Fig.8 Single cells compare clarity

通过成团细胞融合和单细胞比较清晰度的方法，可以得到完全清晰的成团细胞和单细胞，最后，需要把清晰的细胞图像融入背景中，所以从In中找一张最清晰的图像I作为背景模板，将所有经过图像清晰化的单细胞C、成团细胞R和杂质O，按照分割轮廓的位置拼接成一张完整的清晰图像。

2 实验结果

2.1 模型训练

本模型训练环境是基于ubuntu 16.04系统，配备NVIDIA GeForce RTX 2080显卡，算法基于TensorFlow框架实现。首先将分割出来的图像单细胞、成团细胞和杂质三类，作为模型训练的样本，其中样本大小为224*224*3，单细胞、成团细胞和杂质训练样本数量分别为3029、2938和2651个，测试样本数量为训练样本数量的1/10。然后将训练样本，放入训练好的基于VGG-16的深度迁移学习模型。该模型的优化方法采用随机梯度下降法(Stochastic Gradient Descent，SGD)，每次选择一个样本迭代更新一次，并不针对所有样本，因此该方法降低了计算量。模型训练过程中采用交叉熵损失函数计算损失值，当损失值最小时，获得最优分类模型。损失函数如式(12)所示。

(12)

其中：x为训练样本；p为期望的类别概率；q为模型预测的类别概率。

最后，经过多次训练，调整模型中Batch_Size、学习率和迭代次数，训练出适合单细胞、成图细胞和杂质样本的分类器，表1是不同参数的训练结果，当迭代次数为1500，学习率为0.001，Batch_Size为32时，最后准确率可以达到99.22%。

表1 分类器不同参数结果Tab.1 Different parameter junctions

2.2 阈值设置

筛选图片过程中，根据对4个样本400个视野中图像清晰度的计算，发现模糊图像与相邻的多焦点图像之间清晰度值有明显变化，模糊图像与模糊图像之间清晰度变化不大。经计算得到结果如图9所示，横坐标表示视野编号，纵坐标表示模糊图像与相邻的多焦点图像的清晰度差值，发现400个视野中此值均大于0.5，而模糊图像与模糊图像之间此值均小于0.5，即设置式(2)中阈值T为0.5。最后使用此阈值进行图像筛选。

图9 阈值T的选择Fig.9 Selection of threshold T

2.3 实验结果及分析

为了便于与其他方法对比，从50组不同视野筛选出2张细胞图像进行对比实验的样本，对比的融合算法有基于多尺度焦点测度与广义随机游动(multi-scale focus measures and generalized random Walk, MFM-GRW)融合方法[23]，Curvelet变换(CVT)的融合方法[24]，非下采样轮廓波变换(NSCT)的融合方法[25]，基于四叉树(quadtree)的融合方法[26]，多尺度奇异值分解(multiscale singular value decomposition, MSVD)的融合方法[27]，双树复小波变换(the dual-tree complex wavelet transform, DTCWT)的融合方法[28]和FusionGAN融合方法[29]和DenseFuse融合方法[30]。其中基于变换域融合的方法中分解层数是4层。由于本方法与MFM-GRW均是RGB图像的融合，为了与其他5种方法进行对比，将本方法融合之后的RGB图像进行灰度图像转换，最后对融合结果通过主观效果方面和客观标准方面进行了评价。客观评价标准为，信息熵(information entropy, IE)，平均梯度(avg gradient, AG)，边缘保持度(edge intensity, EI)，空间频率(space frequency, SF)，融合时间(time)。IE、AG、EI、SF这四个评价标准的值越大，代表图像中信息含量更加完整，融合效果更好；Time代表融合所用的时间，时间值越小代表融合的速度越快，对与RGB图像融合，最后得到的Time是实际时间的1/3。

本文从50组中找出1组作为示例，如图10所示。源图像是两张2048×2048×3的多焦点图像，其中包含单细胞、成团细胞和杂质。红框内为单细胞图像，绿框内为成团细胞图像，橘色框内为杂质。本方法为本实验方法融合的结果图像。首先通过观察可以发现Quadtree、FusionGAN方法中单细胞和成团细胞并没有融合成功，MSVD、DenseFuse方法得到的单细胞图像模糊，MFM-GRW方法中单细胞图像轮廓模糊，并且轮廓有伪影。NSCT方法中单细胞和成团细胞相较于源图像对比度降低。

图10 图像融合对比实验Fig.10 Image fusion contrast experiment

表2为50组图像融合之后通过5种评价标准得到的具体数据的平均值分析。本方法由于运用了基于引导滤波的融合方法，所以能够更好的保持边缘信息。单细胞图像直接对比清晰度，对于图像细节有更好的还原能力。在得到清晰的细胞图像之后，对分割区域进行还原，解决了清晰图像与不清晰图像边缘之间出现伪影的情况。所以在AG、EI、SF的值高于其他方法。在IE方面，本方法的主要目的是获得清晰的细胞图像，所以针对无关的背景信息并没有做处理，在计算图像IE含量的过程中，背景信息也参与了计算，导致本方法的融合图像IE值小，而其他方法是整张图像融合，所以图像IE值大。本方法相较与DenseFuse方法，信息含量IE值略少，但相差不大。在Time方面，本方法只对细胞信息进行融合运算，与其他方法的整张图像运算相比，运算快耗时少。MSVD在其他方法中速度最快，本文提出的方法相较于MSVD方法提高了219%。所以本方法有更快的融合速度和较好的融合效果。

3 结 论

本文提出了一种基于内容分析的细胞图像快速融合方法，方法通过异步抓图、图像筛选、图像内容识别，图像融合最终得到清晰的细胞图像。在图像内容识别过程中，利用VGG-16分类器将细胞图像分为单细胞、成团细胞和杂质三类，然后根据细胞类型不同选择不同方法获取清晰图像。其中单细胞通过Brenner清晰度评价函数选择最清晰的部分；成团细胞通过引导滤波的融合方法得到最后清晰的图像；杂质不做任何处理。最后把各个类别都清晰图像拼接形成最后完整的清晰图像。实验表明，与传统算法相比，本文所提出的方法保证了最后融合图像的对比度，并且得到完整的清晰图像。通过5种评价方法的客观评价，本方法在保证良好融合效果的基础上，有效解决了图像融合时间复杂度高的问题，缩短了融合时间，并且抗杂质干扰。