基于深度卷积神经网络的乳腺细胞图像分类研究

赵玲玲　杨辉华　刘振丙　潘细朋

摘 要：针对深度卷积神经网络能够提取图像的高层特征并对图像进行有效表达。采用基于深度卷积神经网络的改进算法，设计了ZCNN网络结构对乳腺病理细胞图像进行分类研究。首先，对病理图像进行预处理，利用ZCA白化降低数据特征间的相关性，从而降低数据间的冗余。其次，在网络卷积层采用线性校正单元（ReLUs）作为网络的激活函数，加速计算网络输出。最后，在网络精调时，利用dropout方法随机断开池化层的网络节点，可以有效抑制算法的过拟合，提高算法的泛化能力。采用本文方法对benign和actionable两类病理细胞图像的分类，精度达到94.65%。性能上超过了Softmax，PCA以及传统的卷积神经网络。

关键词：深度卷积神经网络；ZCA白化；线性校正单元；dropout方法

中图分类号： F721.1 文献标识码： A 文章编号： 1673-1069（2016）18-144-3

1 概述

2006年，加拿大科学家Hinton和他的团队在science上发表一篇关于深度信念网络（DBN）[1]的文章，便引起了学术界的广泛关注，随后更多更一般的深度神经网络方法随之兴起，例如：Denoising Autoencoder（DAE）、Sparse Autoencoder（SAE）、Convolutional Neural Network（CNN）[2]等算法。深度卷积神经网络可以灵活的调节特征提取的空间尺度大小，因此，对图像中目标区域的特征提取会更加灵活。利用深度卷积神经网络对手写字体MNIST数据集进行识别，性能已经接近人类的识别率，在交通标记识别上已经超过了人类的识别能力[3]。文献[4]采用CNN结合图像的空间信息对图像中像素点进行分类研究，结果优于已有的SVM和k-NN分类方法。文献[5]将多示例学习（Multiple Instance Learning）方法与深度卷积神经网络结合应用于高分辨率图像的分类，并且首次对神经胶质瘤（LGG）进行分类精度达到97%，效果接近病理学家的分类结果。

随着计算机辅助诊断技术（Computer-assisted diagnosis， CAD）的不断进步，未来会大大降低病理学家繁重的工作强度。

本文主要是基于深度卷积神经网络的改进算法，设计了ZCNN网络结构对乳腺病理细胞图像进行分类研究。面对复杂的图片信息（光照、染色不均等），在特征提取前，采用ZCA白化对数据进行预处理，降低数据维度间的相关性，然后，利用深度卷积神经网络，逐层提取数据的高维特征。网络构建中，利用线性修正单元（ReLUs）作为各卷积层的网络输出函数，可以加快网络的计算速度。在池化层采用dropout方法随机断开网络节点，防止算法的过拟合，文献[2]采取的方法是在网络输出前的全连接层采用dropout方法，本文是二分类问题，在网络的全连接层并没有采用dropout方法，而是在池化层上使用dropout方法，随机阻止部分网络权值的更新。在网络精调时，采用随机梯度降法逐层计算深度卷积神经网络的参数。

為了提高算法的精度，采用BP（back propagation）算法对网络参数进行优化。

2 ZCA数据预处理

自然图像中相邻像素间存在很强的相关性。在学习统计模型时，通常采用预处理算法降低数据的这种冗余性。将数据的协方差矩阵转变成单位矩阵的过程称为白化（whitening）或球化（sphering）。白化的目的就是降低输入数据的冗余，使白化后的数据更接近原始数据。在数值上，主要是使数据具有统一的协方差，且每个特征都有相同的方差。通过ZCA（Zero Components Analysis）白化使得数据从x空间映射到XZCAwhite空间，降低了数据间的相关性，特征向量各维度方差相等，数据的重要程度得到统一。

3 深度卷积神经网络（CNN）

传统的图像特征提取方法没有固定的提取原则，依赖于手工设计特征提取方法。基于深度卷积神经网络是建立在人工神经网络基础上的自动特征提取方法，通过对输入数据进行多层线性或非线性变换，将数据映射到新的空间里表达，可以稳定有效地提取图像的固有特征。在视觉领域，通过学习整张数字图像能够提取图像局部的高层特征。通常深度卷积网络的底层可以学习边缘、形状等物理特征，随着网络隐含层层数增多可以学习到更多复杂、抽象的视觉特征。但是如果采用全连接方式，隐含层节点数量就会十分庞大，严重降低了算法的计算效率。因此，在学习图像特征时，通常将网络设计成局部连接的神经网络。特征平面上的所有神经元共享一个连接权值，也就是每个特征平面上每个神经元的权重都一样。因此，网络参数大大减少，复杂度也变低。

一个深度卷积神经网络主要由三部分组成：卷积层、池化层、全连接层。卷积层是对上层输入进行卷积滤波，池化层是对上层输入进行下采样。卷积层的每个神经元连接上层输入的小片相邻区域（即感受野区域），表达图像的局部特征。池化层用来提取图像的统计特征，使得网络结构对微小的平移和形变不敏感。卷积层与池化层交替连接且都是由多个2-D的特征平面构成，每个特征平面均代表一种特征映射，全连接层是1-D向量构成的网络层，是对输入数据的特征表达。如图1是本文中设计的ZCNN网络结构，共有11个隐含层，其中卷积层与池化层交替连接共有10层，最后一个隐含层为全连接层。网络的具体参数设置如表1所示。

4 训练阶段

当训练集比较小时，深度神经网络训练时会出现过拟合问题，为了消除过拟合对网络模型的不利影响，Hitton 等人设计了dropout方法，该方法是指在模型训练时，以某一概率随机阻断某些隐含层特征检测器的共同作用，即随机让网络的某些隐含层权重不更新，因此，在样本输入时会有部分隐含层网络节点的权重不更新。在测试阶段，所有的隐含层节点都有输出值，只是输出值降低为原来输出的1/2。

训练采用dropout方法的深度卷积神经网络与传统的神经网络训练类似，利用随机梯度下降法求解网络参数。卷积网络通过前向传播计算网络的实际输出值，然后用实际输出值与理想输出值作差，构造误差损失函数：

En=（t-y） （1）

其中，M表示样本类别数，n表示样本序号，t表示第n个样本的第s维对应的目标值（分类标签），y表示第n个样本对应的第s维输出。最后利用反向传播策略，通过梯度下降法更新网络的权值。

5 实验和结果

5.1实验数据和网络结构

实验数据集由北卡罗来纳大学夏洛特分校的张少霆教授提供，共计190张乳腺病理学图像，其中有100张为benign类，90张为actionable类。分别从benign和actionable类中的每张图像上采集5张互不相交的感兴趣区域作为子图，大小均为256*256*3。随机从benign类和actionable类中分别选取360张和340张子图訓练集，将剩下的子图作为测试集。

训练集数据是3维的RGB图像，我们提取R通道的灰度强度图像，对其进行归一化操作，然后再对图像进行ZCA白化处理去除图像的相关性。将预处理后的数据送入我们设计的深度卷积神经网络中，在所有池化层中采用dropout方法计算特征平面，全连接层将最后一个池化层的24个4*4的特征平面构成一个特征向量，作为图像的特征表达，大小为384*1，用于Softmax分类模型的训练。本文设计的网络结构（ZCNN）如表1所示：

算法通过MATLAB R2013a仿真研究，实验平台是基于Windows 7操作系统的工作站（Intel（R） Xeon（R） E5-2650 v2 CPU and 32 GB 内存），为了更好的说明本算法在benign和actionable两类病理细胞图像的分类效果，我们做了多组对照实验，计算各种分类方法的评价指标Precision，Recall和Accuracy，公式分别如下：

其中，TP表示benign类被正确分为benign类的样本个数，TN表示actionable类被正确分为actionable类的样本个数，FP表示benign类被分为actionable类的样本个数，FN表示actionable类被分为benign类的样本个数。

5.2 结果分析

分别对各种算法计算10组数据求取其平均值，结果如表2所示，利用我们的算法求取的精度明显优于其他几种方法。由结果可以看出Softmax分类器是单层分类器网络，没有充分提取图像的特征信息，其准确率为79.2%。PCA主要是通过数据降维的方法将高维数据映射到低维空间，在本文中，我们保留了95%的特征信息作为分类依据，准确率达到84.00%。利用文献[2]中的CNN方法，对图像数据进行特征提取后分类的精度已经比上述4中算法有了较大的提高，这主要得益于网络特征提取网络层数的增加。然而，在分类精度和特征提取的时间上不及本文算法效果好。深度网络的特征提取所需的时间远远大于传统方法。由此可见，对benign和actionable两类图像分类时，采用卷积神经网络提取图像的高层特征可以实现更好的分类效果，归根结底在于图像特征的有效提取。

6 结论

基于深度学习的特征提取方法在目标识别、图像分类等领域都远远超过了传统的手工特征提取方法，在本文中，我们基于深度卷积神经网络结构进行了改进。首先，利用ZCA白化对数据进行预处理降低特征间的相关性，然后，在训练深度卷积神经网络时，采用ReLUs作为非线性输出函数，可以提高网络计算速度。在网络优化阶段，采用BP算法更新网络权值，利用Dropout方法随机断开网络节点，实现网络结构进行优化。将提取病理细胞图像的高层特征作为Softmax分类器的输入，可以更精确有效的实现benign和actionable病理图像的分类。实验中，采用我们设计深度卷积神经网络结构的性能超过了传统方法，并且也优于不采用预处理和Dropout方法的卷积神经网络。

参 考 文 献

[1] G.Hinton and R.Salakhutdinov，Reducing the dimensio-

nality of data with neural networks， Science，vol.313， 504（2006）.

[2] A.Krizhevsky， I. Sutskever and G. Hinton， ImageNet classification with deep convolutional neural networks， Advances in neural information processing systems， 1097（2008）.

[3] C. Dan， M. Ueli and S. Jurgen， Multi-column deep neural networks for image classification， 2012 IEEE Conference on Computer Vision and Pattern Recognition（CVPR） 6， 3642（2012）.

[4] H.Nuh and B.Gokhan， Classification of histopathological images using convolutional neural network， International Conference on Image Processing Theory， Tools and Applications 4， （2014）， pp. 1-6.

[5] L. Hou， D. Samaras， T. M. Kurc， Y. Gao， J. E. Davis and J. H. Saltz， Efficient multiple instance convolutional neural networks for gigapixel resolution image classification， arXiv preprint arXiv： 1504.07947， （2015）.