基于深度卷积神经网络的细胞分类新方法

娄润东，陈俊彪，侯宏花，刘艳莉，田 珠，张鹏程，桂志国

(1.中北大学 生物医学成像与影像大数据山西省重点实验室，山西 太原 030051； 2.中国兵器工业试验测试研究院，陕西 华阴 714200；3.中北大学 信息与通信工程学院，山西 太原 030051)

0 引 言

在现代医学诊断中，细胞图像分类发挥着重要的作用.通过对细胞图像的分类，可以快速得到细胞的部分状态信息，对病理的诊断和确定有着重要的意义.因此，长期以来医学诊断的发展都是人们关注的重点研究课题.

我国对于医学诊断中的细胞分类研究也十分重视.随着新技术的发展和应用，原有的细胞分类方法在分类效率等方面的缺陷逐渐暴露出来.为了推动细胞分类工作的发展，本文拟通过分析细胞分类方法目前存在的问题，研究一种基于深度卷积神经网络的细胞分类新方法M-ResNet.

1 细胞分类与深度卷积神经网络

细胞图像分类是现代医学诊断中常用的一种技术方法.目前细胞分类方法已经发展的比较成熟，可以满足不同条件下的需求.在应用的过程中，现有的细胞分类方法也存在着一定的不足.

1.1 细胞分类方法现存问题

细胞学检查法最早应用于早期宫颈癌的排查工作.通过对细胞图像的分析实现对细胞生理信息的判断，可以有效提高早期宫颈癌的排查效率和准确率.但该类方法不仅需要大量专业技术人员，而且工作效率低下[1].采用计算机辅助细胞学检测的方法不仅可以提高筛选效率，也能够有效降低误诊率和假阴性率[2].

经过多年发展，计算机辅助的细胞图像分类方法已经比较成熟.目前应用于细胞分类的方法主要有两种，分别是基于细胞核特征构建的分类方法和多图像裁剪分类方法.但这两种方法的应用都存在一定的局限性.基于细胞核特征构建的分类方法缺乏一定的准确率，而多图像裁剪分类则容易造成信息冗余或丢失等[3-4].因此，人们需要推动新的细胞分类方法的发展.深度卷积神经网络凭借自身的优势受到了人们的广泛关注.

1.2 卷积神经网络发展现状

针对原有的细胞分类方法存在的缺陷，人们提出了基于卷积神经网络的细胞分类方法.作为人工神经网络的一种，卷积神经网络(CNN)在降低模型复杂度和权值数量的同时，可以有效保持图像的高度不变形.因此，卷积神经网络在图像识别等领域的应用受到了人们的广泛关注[5-6].

针对传统神经网络存在的向前传输神经元输出值持续增大的问题，Glorot等人提出了Xavier算法初始化CNN[7-8].但该方法仍未完全克服网络的不稳定性.因此，蔡楠等人提出了一种基于核主成分分析的方法，用于实现初始化CNN的权重[9].这些方法对于卷积神经网络的结构优化和应用都有很重要的意义.

1.3 基于深度卷积神经网络的细胞分类方法

近年来，卷积神经网络在细胞分类中广泛应用.实践经验表明：CNN在宫颈癌变的识别中可以发挥出重要的作用.CNN的应用方法比较多样，例如根据多模态数据、细胞图像、阴道镜图像等都可以实现癌变识别的目的[10-12].在重叠图像的识别方面，CNN也有着独特的应用[13].为了克服卷积神经网络在图像特征提取方面存在的准确率问题，赵越等人提出了一种将特征提取器和分类器联级为整体的CNN 分类器，并验证了其应用效果，明显提升了细胞分类的准确率[14].上述研究都表明CNN可以有效提高细胞分类的效率和质量.

现有的基于卷积神经网络的细胞分类方法在复杂背景和含有杂质的细胞分类方向上存在着比较大的局限性.对此，本文以深度学习的理论为基础，根据卷积神经网络的算法特点，提出了一种适用于细胞分类的深度卷积神经网络的算法优化方法，并进行了其在细胞分类中的应用实验.

2 本文算法

2.1 ResNet网络介绍

CNN提供了一种端到端的深度学习模型，模型中的参数可以通过传统的梯度下降法进行训练，经过训练的卷积神经网络能够学习到图像的特征，并且完成对图像特征的提取和分类.与传统的机器学习算法相比，采用深度学习算法可以免去分割提取特征的繁琐过程，让算法流程变得简单，同时也避免了传统算法中由于预处理、分割、特征提取等操作造成的误差，使得细胞的识别率比传统的机器学习要高.

模型的深度在图像分类中发挥着至关重要的作用，这导致ImageNet竞赛的参赛模型都非常深.在追求网络深度的时候，出现了一个新的问题：梯度消失/梯度爆炸.后来，通过归一初始化和中间归一化解决了这一问题，使得数十层的网络在反向传播的随机梯度下降上能够收敛.当深层网络能够收敛时，一个退化问题又出现了，ResNet网络通过深度残差框架解决了这个退化问题.

ResNet模型的出现是CNN史上一个里程碑事件，ResNet可以训练出更深的CNN模型，从而实现更高的准确度.变化主要体现在ResNet直接使用stride=2的卷积做采样，并且用global average pool层替换了全连接层.为了保持网络层的复杂度，ResNet采用了一个重要的设计原则：当特征图的大小降低一半时，特征图的数量将会增加一倍.

ResNet模型的核心是通过建立前面层与后面层之间的“短路连接”(shortcuts,skip connection)，这有助于训练过程中梯度的反向传播，从而训练出更深的CNN网络.

对于短路连接，当输入和输出维度一致时，可以直接将输入加到输出上.可表示为

(1)

式中：F是残差函数，表示学习得到的残差，xi表示残差单元的输入，xL表示残差单元的输出，f是激活函数ReLU.

当维度不一致时，不可以直接相加.ResNet采用stride=2的卷积，然后再相加，可表示为

(2)

式中：Ws是对xl做一个变换，使其维度与F的维度匹配.

学习得到的残差是F，原始的学习特征是F+x.从直观上来看，残差学习F相比原始的直接学习特征F+x更容易.当残差为0时，此时相当于对输入做恒等映射，至少能保证网络的性能不会下降，实际上残差也不会为0，这就会使得输出层在输入特征的基础上学习到新的特征，从而拥有更好的性能.

从数学角度来分析，采用链式规则可以求得梯度函数

(3)

2.2 M-ResNet网络

尽管ResNet模型使用了“短路连接”来实现特征重用(feature reuse)，但是由于短连接的数量比较少，特征重用的作用并没有达到最好的状态，通过简单地堆叠残余块来构建网络不可避免地限制了其优化能力.本文提出了深度卷积神经网络的细胞分类新方法M-ResNet，下面将详细介绍改进细节.

M- ResNet整体结构图和ResNet50基本一样，如图1 所示，整体结构由5部分构成，分别是：conv1，conv2_x，conv3_x，conv4_x，conv5_x.每部分由指定个数的block组成，图1 中每部分堆叠的矩形的个数即表示对应的block数量，总共有16个block，每个block为3层，所以有16×3=48层.开始有一个7×7×64的卷积，最后有一个用于分类的fc层，所以M-ResNet总共有50层.

图1 M-ResNet整体结构图Fig.1 Overall structure diagram of M-ResNet

本文以conv2_x为例进行分析，conv3_x，conv4_x，conv5_x与之相同，如图2 所示.主线结构图(除a,b的连线外)为原始ResNet中的conv2_x结构图，a,b连线表示本文新添加的嵌套快捷连接.

图2 conv2_x残差图Fig.2 Residual graph of conv2_x

相比ResNet，M-ResNet使用了一种比ResNet连接更多的机制，将conv_2x中的前两个block输出的特征图全部叠加到第3个block输出的特征图上作为conv_3x的输入.M-ResNet是将原先的block残差块进行再一次的嵌套快捷连接，叠加的方式是通过元素级的相加.conv_2x中有3个普通快捷连接和2个嵌套快捷连接，共5个快捷连接，conv3_x,conv4_x,conv5_x分别有7，11，5个快捷连接，所以M-ResNet共有28个快捷连接，相比ResNet50的16个快捷连接，多出12个嵌套快捷连接，详细情况如表1 所示.

表1 快捷连接的分布情况Tab.1 The distribution of the shortcut connection

在同一个模块中，最后一层的输出公式推导为

x1=H0(x0),x2=H1(x1).

(4)

将x1代入x2表达式得

x2=H1(H0(x0)).

(5)

以此类推

xl=H0(x0)+H1(x1)+…+Hl-1(xl-1),

(6)

xl=H0(x0)+…+Hl-1(Hl-2(…H0(x0)…)),

(7)

式中：xi表示第i层的输出，也就是第i+1层的输入，Hi(xi)表示对xi进行一系列操作：卷积，批归一化，ReLU.

通过上文中对创业型中小企业的剖析，我们能够对其发展的具体过程做出一个十分明确的划分。每一个创业型中小企业都应该对自己的真实实力有一个正确的认知，并且根据自己的具体实力为自己不同阶段的发展做出一份详细的企业战略管理规划。只有创业型中小企业明确自己的发展目标，重点研发和发扬自己的核心技术，不断加强企业人力管理以及相应的企业结构管理，以及及时提升企业的整体竞争实力等等的目标，才能够使得企业真正得到可持续性发展。总而言之，创新型中小企业应当不断对自己相关的管理规划和结构进行整改和创新，只有这样，企业才能够在激烈的竞争环境之下更好的生存。

3 实验及结果分析

本文通过分析深度学习的理论，结合卷积神经网络的算法特点，对基于深度卷积神经网络的细胞分类算法进行了优化.为了验证优化后算法M-ResNet的效果，本文进行了实验分析.实验共分为3部分进行，分别是数据集预处理、网络训练和结果分析.该测试方法也是目前广泛采用的实验测试方法，可以对实验效果进行比较全面的分析.

3.1 数据集

本文采用的数据集是来自海莱乌科技大学(Herlev University Hospital,HUH)和丹麦科技大学(Technical Un iversity of Denmark,TUD)搜集的Herlev巴氏涂片新版数据集.总共917个单独的巴氏涂片细胞图像，分别为浅表鳞状上皮、中层鳞状上皮、柱状上皮、轻度中度重度非典型增生和原位癌共7类细胞.

图3 所示为Herlev数据集中的7类细胞图像示例，其中a，b，c类为正常细胞，d，e，f，g类为异常细胞.

图3 数据集中典型示例Fig.3 Typical examples of data sets

数据集预处理是细胞分类的首要工作，是指通过对数据集的增强、均衡等工作，实现对数据集的扩充.一般而言，神经网络需要大量的参数，不少的神经网络的参数都是数以百万计的，而使得这些参数可以正确工作就需要大量的数据进行训练，尤其对于宫颈癌数据集，不仅数据量少，而且权威认证的更是少之又少.本文选用的Herlev数据集数据量并不是很大，所以本文通过旋转对数据集进行扩充.增加训练的数据量，不仅仅是网络训练的需要，而且可以使得神经网络具有更强的泛化能力，更好地适用于细胞分类，同时提高模型的鲁棒性.

在本次实验中，共选取了3 878幅细胞图像，其中包括1 058幅正常细胞图像和2 820幅异常细胞图像.为了实现分类工作，图像处理采用旋转统一处理的方法，形成统一大小的图像.对于大小不足的图像，则采用外围像素点填充0的处理方法.预处理结果为训练集图像3 528幅和测试集图像350幅，如表2 所示.

表2 训练集和测试集分布Tab.2 Distribution of training set and test set

在进行数据集预处理的过程中，本文发现柱状上皮细胞和重度非典型增生细胞在区分特征上有比较高的相似度.这一现象可能会导致后续图像分类中出现一定的错误.

3.2 评价指标

每类细胞选用50张样本进行测试，正确率、召回率和F值是评价网络优劣的重要指标.其定义分别为

(8)

(9)

(10)

其中，识别出的个体总数即为识别出的正确细胞个数加上识别出的判断错误的细胞个数；测试集中存在的个体总数即为本文选取的各类细胞的样本(50张).正确率是评估识别出的细胞中判断正确的细胞所占的比例；召回率是指召回目标类别的比例；F值是综合前两者的评估指标，用于综合反映整体的指标.

3.3 网络训练

在完成预处理工作后，本文采用M-ResNet对宫颈细胞数据集进行分类识别.设备要求：① 在Window10 X64系统上进行;② GeForce GTX1080 Ti GPU显卡;③ 内存15 G.该实验在TensorFlow框架下进行训练.本文的迭代次数为20 000，动量为0.9，学习率为0.000 1.

为了防止过拟合，提高模型的泛化能力，在模型训练的过程中，将训练集按照5∶1的比例进一步地划分为训练集(train samples)和验证集(validation samples).在本文中，训练集的数量为2 943，验证集的数量为585.

如图4 所示，本文的M-ResNet模型以宫颈细胞图像及其标签作为输入，通过网络的学习，得到一个模型文件，最后输入测试集，得到带有标签和概率的结果图像.

图4 整体框架流程图Fig.4 Typical examples of data sets

3.4 结果分析

完成数据集预处理、训练和测试工作后，本文对所得到的图像数据进行了统一处理，并对基于深度卷积神经网络的细胞分类新方法M-ResNet的应用结果进行了分析.图5 为7类细胞的分类效果图.图5中标出了每个宫颈细胞的细胞核，并标注该细胞属于哪种宫颈细胞类型及细胞属于所标类型的概率.图5中，所属细胞类型及其概率分别为：(a)normalSuperficiel 1.0，(b)Normal intermediate 1.0,(c)Normal columnar 0.99,(d)Light dysplastic 1.0,(e)Moderate dysplastic 0.99,(f)Severe dysplastic 0.99,(g)Carcinoma in situ 0.99.

图5 分类结果图Fig.5 The results of assortment

通过对表3的测试结果进行数据分析，本文发现在细胞分类结果中共有浅表鳞状上皮、中层鳞状上皮、柱状上皮、轻度非典型增生和重度非典型增生5类细胞分类完全正确.但在中度非典型增生和原位癌细胞分类中则存在一定的错误，均有2幅图像分类错误，占比4%.从整体数据分析来看，数据集的分类平均错误率为1.14%(1～98.86%).与改进之前的ResNet的分类方法平均错误率4.29%(1～95.71%)相比，降低了3.15%，正确率有极大的提高[16].

表3 测试集正确率Tab.3 Accurary of the test set

识别出的宫颈细胞个体总数等于测试集中存在的宫颈细胞个体总数，所以求得的正确率、召回率和F值是一样的，如表4 所示.可以看出M-ResNet的查全率和查准率都比ResNet要高的多.

为了进一步对M-ResNet的网络性能进行分析，记录了训练过程中的loss值变化，并给出了loss曲线图，如图6 所示.可以看出，在经过10 000次训练之后，M-ResNet算法的损失值区域平缓，几乎没有升降，相比ResNet算法更加稳定.

表4 客观评价指标Tab.4 Objective evaluation criteria

图6 Loss曲线图Fig.6 Graph of Loss

综上所述，本文所设计的基于深度卷积神经网络的细胞分类新方法M-ResNet在采用合理数据处理的情况下，可以满足细胞分类高精确度和高效率的要求，对于细胞分类的发展有着重要的意义.

4 结 论

宫颈细胞分类对医学诊断和医学图像处理有着重要的意义.针对现有的细胞分类方法中存在的效率低、正确率偏低等问题，本文以深度学习理论为基础，研究了一种基于深度卷积神经网络的细胞分类新方法M-ResNet，并采用Herlev数据集对该方法进行了测试.测试结果表明：该方法在提高细胞分类正确率和工作效率方面有着明显的作用.但对于中度非典型增生和原位癌的具体识别工作还有待进一步提高，可作为下一步研究的主要工作目标.