深度置信网络对孤立性肺结节良恶性的分类

刘露 杨培亮 孙巍巍 周洋 赵宏远

摘 要：針对肺部CT图像中孤立性肺结节（SPN）良恶性分类问题，寻求能够有效表示SPN图像的特征，通过适合的分类器实现对SPN良恶性的准确判别。由SPN图像的多分辨率直方图得到768维的特征空间，并将该类特征用于支持向量机（support vector machine，SVM）分类器进行训练，最后取得了令人满意的分类效果。结合深度学习领域中相关知识，将深度置信网络（deep belief network， DBN）用于SPN良恶性分类任务当中。将从肺部CT图像中分割出的SPN图像规整化作为DBN的输入，进行无监督训练；用带有良恶性类标的SPN图像对网络进行微调得到最终的DBN模型；用训练好的DBN模型在测试图像集上进行分类。在实验中选择肺结节患者480例，提取600个SPN图像作为实验数据。将新提出的DBN模型与基于纹理特征和多分辨率直方图特征的SVM模型进行对比，在不考虑医学象征的情况下，DBN模型的识别准确率高达86%，较SVM分类器的分类性能有了显著提升。

关键词：CT图像；孤立性肺结节（SPN）；多分辨率直方图；深度置信网（DBN）

DOI：10.15938/j.jhust.2018.03.002

中图分类号： TP391

文献标志码： A

文章编号： 1007-2683（2018）03-0009-07

DBN Classifier for Classification of Benign and Malignant Solitary Pulmonary Nodule

LIU Lu1， YANG Pei-liang1， SUN Wei-wei1， ZHOU Yang2， ZHAO Hong-yuan1

（1.School of Computer Science and Technology， Harbin University of Science and Technology， Harbin 150080， China；

2.The Tumor Hospital of Harbin Medical University，Harbin 150081，China）

Abstract：At present， image classification technology is more and more used in the qualitative diagnosis of medical images， which promotes the development of computer-aided diagnosis. For lung CT images of solitary pulmonary nodules （SPN） classification problem， the main idea of the research is seeking to express the characteristics of SPN images effectively through the classifier for benign and malignant SPN accurate discrimination. Before this team work， 768 dimensional feature space is obtained by multi-resolution histograms of SPN image. Features for Support vector machine （SVM） classifier is trained， and finally achieved the satisfactory classification results. This paper is combined with the field of deep-learning related knowledge， the deep-learning of the Deep Belief Network （DBN） for SPN benign and malignant classification task. First of all， the CT image is segmented from the lung SPN image as the input of DBN for unsupervised training； Then， the final DBN model is obtained by fine tuning of the SPN image with benign and malignant classification. Finally， the trained DBN model is used to classify the test image set.In the part of experiment， 480 cases of pulmonary nodules were selected， and 600 SPN images were extracted as the experimental data. The proposed DBN model and SVM model based on the texture features and multi-resolution histogram features were compared in the absence of consideration of the medical symbol， the DBN model for high identification accuracy of 86%， the classification performance of a SVM classifier have significantly improved.

Keywords：CT image； solitary pulmonary nodule（SPN）； multi-resolution histogram； deep belife network

0 引 言

最近几年，由于我国空气污染形势严峻，吸烟人数不断上涨，导致肺癌患者人数日益增多，肺癌已经对我国人民的身体健康构成了巨大的威胁。因为肺癌的早期症状不明显、病变速度快，所以死亡率很高，只有早发现、早治疗才有可能达到最理想的治疗效果，延缓生命[1]。肺癌在医学图像中的早期表现为孤立性肺结节（solitary pulmonary nodule， SPN），SPN是指肺内部实质单发的、边界清晰的，且不伴有卫星病灶、肺不张、淋巴结肿大的类圆形致密影。临床上可将孤立性肺结节按照大小进行划分，一般将直径小于或者等于8mm的SPN称为小结节；直径大于8mm并且小于或者等于3cm的SPN称为典型孤立性肺结节[2]。小结节多为良性，临床上采用影像学定期观察的方式，对典型孤立性肺结节处理一般更为积极。如果早期能够准确的对SPN良恶性进行判断，并对恶性SPN患者进行切除手术，在很大程度上可以提高患者的生存率。但是，孤立性肺结节往往难以判断其良恶性，因为SPN病灶形态特征多样，有边界不规则、模糊、分叶状、毛刺、棘突等多种情况，病灶周围结构会呈现支气管异常、毛刺状改变、胸膜凹陷等变化，病灶中心结构多为空泡征、空洞、钙化等[3]。SPN良恶性之间征象会有一定的差异性，但其中又有一部分病症比较模糊，比如一般良性SPN的边界会比较光滑，但是约有三分之一的恶性SPN或者肺转移瘤的病灶周围也比较光滑。对于特征不是很明显的影像，即使经验丰富的医生也很难准确做出判断。

随着多层螺旋CT（multidetector-row computed tomography，MDCT）的普及，孤立性肺结节的检出率提升明显[4]。CT检查孤立性肺结节病灶图像，增强病灶边界、平滑图像通过适量调整窗宽、调制窗位，原图像放大、翻转、累加等对灰阶的处理功能，这样可以显示病灶内部的密度、病变与周围纹理结构关系等。尽管医生利用CT图像结合病人的实际情况能区分结节良恶性，但准确性问题仍未根本解决。另外临床统计归纳得到的SPN医学征象，这些征象主要是表层形态和空间位置特征，与病理检测的相关度不高，将临床归纳特征广泛的应用在SPN医学影像诊断中得出的结果会导致较高的假阳性和假阴性，这样阻碍了医学影像定性诊断的发展[5]。

随着模式识别方法被广泛地应用于医学图像研究领域，国内外开展了很多计算机辅助诊断（computer-aided diagnosis，CAD）的研究工作[6]。计算机辅助诊断作为医生的“第二双眼睛”，利用计算机的高速运算和自动化处理优势，可以自动标记可疑小结节、识别结节病灶，减少医生工作量，提高了SPN检测的普及率，从而在一定程度上降低了漏诊的概率，为孤立性肺结节定性诊断提供有价值的参考意见。传统的SPN良恶性辅助诊断系统通过预处理把病变从CT图像中提取出来，然后通过量化病变提取SPN特征，最后利用决策树、神经网络、支持向量机（SVM）等分类器进行分类判别。而这些单层模型的分类能力往往是有限的，例如分类性能最为突出的SVM[7]，当面对SPN图像良恶性分类问题时，需要前期提取带有类标的高维图像特征，这不但对训练数据方面有很高的要求，而且模型本身还有非常多的参数需要调整，如核函数的选择、正则乘法等[8]。深度学习方法近年来备受关注，基于深度网络结构的深度置信网（DBN），可以先利用容易获取的无类标数据进行预训练，通过多层网络模型提取出图像本身的许多细节信息，而这些信息对图像的

准确识别至关重要，然后利用少量的有类标数据对整个网络进行调整，使得DBN具有良好的分类能力。

在本文中，首先通过对基于多分辨率直方图特征的SVM分类器模型方法的简单叙述，概括的介绍了SPN良恶性分类问题；然后以SPN图像作为输入，将深度置信网络应用于SPN良恶性分类。文章第二部分总结了SPN分类研究工作，归纳了之前提出的基于多分辨率直方图特征的SVM分類器方法；第三部分详细叙述了DBN原理以及本文提出的DBN对SPN良恶性分类过程；第四部分为本文的实验设计与分析，以真实的医院CT图像为实验数据，在SPN良恶性分类任务中，比较了基于DBN模型和基于SVM分类器两种方法的分类效果，其中SVM分类器分别使用纹理特征和多分辨率直方图特征，并通过ROC曲线进行了分类效果的评价；最后的第五部分对所做的工作进行了总结。

1 基于SVM的SPN分类介绍

1.1 SPN图像特征

传统的SPN图像提取特征主要依据对SPN影像学的总结，但是SPN的CT图像显现出百般特征[9]。如图1（a），右肺下叶见少量异性细胞，少许肺组织及增生的纤维组织，其中一小块纤维组织内见异形细胞，为良性。图1（b）患者右肺下叶可见肿瘤细胞，为小细胞癌，图1（c）为腺癌，图1（d）坏死组织中见异型细胞残影，考虑为鳞癌，虽然后三幅CT图像均为恶性结节，但是不同类型伴有不同的特征，为结节分类带来难度。同时SPN影像学上往往出现同病异影和异病同影的情况，如图2（a）所示，CT平扫肺窗影像中，发现病灶边界清晰并且伴有粗毛刺的征象，而纵隔窗图2（b）中，纵隔窗病灶不规则并且无明显分叶征，术前考虑为肺结核瘤，术后证实为腺癌。为了避免假阳性和假阴性情况的发生，应在形态特征、空间位置特征的基础上研究新的特征来描述孤立性肺结节图像信息。

在CT影像中，组织和背景呈现出不同的灰度等级，每种组织的灰度值分布在一个范围内并且相互覆盖，所以可以考虑将纹理特征利用在解决SPN分类问题中[10]，但是单一的纹理特征并不是十分理想。为了分类器能更好的学习，与此同时考虑特征向量尽可能多携带信息，所以特征应具有足够多的维数。然而，高维的传统纹理特征计算复杂并且有效性差。因此，采用多分辨率直方图来表示CT图像中SPN的低层图像特征。

多分辨率直方图不仅能够产生高维特征，而且在性能方面也具有优势，如计算速度快、对噪声健壮性好、空间效率高、存储便捷，还能表征图像的空间信息变化。由此可见SPN的CT图像空间变化信息可通过多分辨率直方图来反映，多分辨率直方图的具体流程可参见[11]。

为了避免在建立分类超平面时动态范围大的特征掩盖动态范围小的特征，在应用SVM分类器之前对提取的特征进行归一化，使所有特征在训练池中具有同等的地位，又能降低计算复杂度。归一化处理公式如下：

λ=2×λ-λmax-λminλmax-λmin（1）

其中，λ为归一化前的特征向量，λmax为特征向量的最大值，λmin为特征向量的最小值。经过式（1）归一化处理后，归一化的特征向量λ限制在[-1，1]内。

1.2 SVM分类器构建

SVM分类器引入核函数K（x，z）≡φ（x）Tφ（z），分类函数可表示为：

fSVM（x）=∑Ni=1aiK（x，si）（2）

其中，si（i=1，2，…，N）代表支持向量，利用K（°，°）得到决策函数，选取RBF作为核函数：

K（x，z）=exp（-‖x-z‖2/2σ2）（3）

其中σ≥0是控制核宽度的参数。

使用高维多分辨率直方图特征的SVM分类器获得了较好的分类效果。但是在使用SVM分类器之前，要对SPN图像进行预处理以及特征提取，并且有监督的训练模式对训练数据集也有较高的要求，所以系统的处理环境和数据集对分类任务的影响很大。针对上述问题，本文考虑到深度置信网络模型对输入数据无特征提取要求，可以使用无类标数据进行预训练，所以将其应用到SPN图像的分类任务当中。

2 基于深度置信网络的SPN良恶性分类

深度置信网（deep belief network， DBN）是Hinton等在2006年提出的一个具有层次特征的概率生成模型[12]，通过训练神经元之间的权重，可以让整个神经网络按照最大概率来生成训练数据。同时DBN是一种深层神经网络，采用自底向上的传递，底层的神经元接收原始的特征向量，不断向更高层次抽象，顶层的神经网络形成易于组合的特征向量。通过增加层次就能够使特征向量更高的抽象化，而且，每一层的网络会弱化上一层的错误信息和次要信息，以确保深层网络的精度[13]。DBN结构如图1所示。其是由一系列叠加的受限玻尔兹曼机（restricted boltzmann machine， RBM）[14]和顶层的反向传播（back propagation， BP）网络[15]构成。自提出以来受到了越来越多的关注，并陆续应用于计算机视觉、语音识别、自然语言处理等领域，有着广阔的发展和应用空间。

DBN的训练包含预训练和微调两个步骤。首先，预训练阶段利用大量无类标信息数据，无监督地训练每层RBM，将下层 RBM的隐层输出作为上一层RBM可见层的输人。微调阶段则采用有监督学习方式对顶层的BP网络进行训练，将实际输出与预期输出的误差逐层反向传播，目的是调整网络的权值[16]。DBN这样做克服了BP网络因随机初始化权值而导致的局部最优问题。

2.1 受限玻尔兹曼机

受限玻尔兹曼机（RBM）由隐层v和可见层h两种神经元节点构成。可见层的作用是输入数据，隐层的作用是特征检测。区别于玻尔兹曼机，RBM的特点是可见层和隐层之间采用全连接的方式，而在可见层内神经元之间和隐层内各神经元之间是无连接的，以二分图的形式存在，这样相比玻尔兹曼机更为高效[17]。RBM是一种基于能量的模型。假设可见层与隐层的神经元数目为I，J，vi表示第i个可见层神经元状态，hj表示第j个隐层神经元状态，那么特定一组（v，h）所构成RBM的能量函数可以表示为

E（v，h|θ）=-∑Ii=1aivi-∑Jj=1bjhj-∑Ii=1∑Jj=1wijvihj（4）

式（4）中，θ=wij，ai，bj是RBM的参数，wij表示vi節点和hj节点间的连接权值，ai和bj分别表示vi和hj的偏置值。如果用hj=0表示隐藏节点不活跃，hj=1活跃，则系统能量变化为：

ΔEj=Ehj=0-Ehj=1=aj+∑iwijvi（5）

通过能量函数可以得到（v，h）的联合概率分布：

p（v，h|θ）=e-E（v，h|θ）/Z（θ）（6）

其中Z（θ）为归一项。实际问题中最为关心的是p（v，h|θ）的边缘分布p（v|θ），即观测变量的分布。RBM一般通过迭代的方式训练，目的在于得到θ=wij，ai，bj参数值，以拟合训练数据。在训练数据集（样本数T）上求极大对数似然函数：

θ=argθmaxL（θ）=argθmax∑Tt=1lnp（v（t）|θ）（7）

对于各参数值的更新，采用Hinton提出的对比散度（constrastive divergence）算法[18]，具体规则如下：

Δwij=ε〈vihj〉data-〈vihj〉recon；

Δai=ε〈vi〉data-〈vi〉recon；

Δbj=ε〈hj〉data-〈hj〉recon。（8）

其中ε为预训练学习率，〈·〉data为训练数据集定义分布上的数学期望，〈·〉recon为重构后模型所定义分布上的数学期望。

2.2 BP神经网络

BP网络主要是对RBM预训练阶段所得特征向量分类，依据分类结果微调DBN每层参数。训练BP网络包括前向和后向两个过程。将特征向量向前传播，由输出层得到分类结果，将该分类结果与预期结果相比较得到误差值[19]。后向传播是将所得误差值逐层回传，从而调整DBN参数。传播过程中每层需计算一个灵敏度δ，然后将δ向下传递调整网络权值。

输出层中，第i各节点输出为oi，预期输出为di，则计算δ值可以表示为

δi=oi（1-oi）（di-oi）（9）

对于第m个隐层，计算δ的表达式为

δli=yli（1-yli）∑iwlijδl+1j（10）

在得到各層敏感度值之后，对DBN的更新如下

wlij=wlij+εfine-tuning×yliδl+1j；

blj=blj+εfine-tuning×δl+1j（11）

2.3 DBN对SPN良恶性分类

训练DBN分类器包括预训练和微调两个步骤。预训练通过无监督方法使得节点参数逐渐优化，完成后使网络具有合适的初始值；微调阶段通过有监督方式对网络进行最后调整。用SPN图像逐层训练DBN分类器，过程如下：

Step1规整后的无良恶性类标的SPN图像作为分类器最低层RBM的原始输入；

Step2根据式（4） 生成隐藏特征向量；

Step3 RBM通过式（6） 把得到隐藏特征向量，反向重构原输入向量；

Step4通过式（8） 更新RBM的权值参数，完成一次迭代；

Step5在迭代停止之前，底层RBM在训练样本集上反复执行1～4步；

Step6底层RBM训练结束后，隐藏层生成的特征向量作为邻近上层RBM的输入向量，然后重复以上迭代过程；

Step7输入带有良恶性类标的SPN图像，对经过预训练初始化的网络参数进行调整。

当整个DBN分类器训练完成之后，就可以在测试数据集上对分类器的性能进行检测，需要做的是将测试SPN图片规整后输入DBN分类器，观测分类器输出结果。

3 实验结果与分析

本文实验使用了2012年10月至2014年9月哈尔滨医科大学附属肿瘤医院胸外科的CT检查中孤立性肺结节患者480例，其中男262例，女218例，年龄在19到81岁之间。CT 检查使用 GE Light Speed Pro16螺旋CT机扫描，电流为200mA，电压为120kV，螺距 1.3，准直0.75mm，扫描层厚5.0mm，重建层厚1.25mm，层间距为1.25mm。

对含有孤立性肺结节的CT肺窗图像区域进行预处理，首先需专家医师手工从整幅CT图像中勾画出SPN大致区域，然后在勾画的区域中选取若干种子点用区域生长法进行分割，经过专家医师进一步对边缘的修改，得到SPN区域，并把SPN区域边界以外的灰度值定为零[11]。此次共提取600个SPN，其中良性样本300个，恶性样本300个，训练样本和测试样本按照3∶1数量进行随机分配。如表1所示。

本文深度置信网络结构的设计是在文[20]网络的基础上，进行了适应性的修改，设置一个输入层，4个隐藏层和一个输出层。多次实验对比后，隐藏层的节点数分别设置为800、400、200、50，每层迭代次数设置为10。共生矩阵有两个重要参数 d和θ，θ代表方向，常取0°，45°，90°和135°四个具有代表性的方向。在提取图像的灰度共生矩阵特征时，d=5，θ=0°，45°，90°，135°，计算SPN在4个方向上的灰度共生矩阵，提取5个纹理统计特征共计20维，将提取出的SPN图像计算成768维的多分辨率直方图特征向量。实验将20维的纹理特征作为SVM的输入进行分类，768维的多分辨率直方图特征作为SVM的输入进行分类，以SPN为中心，大小为64*64像素的图像直接作为DBN的输入进行分类。图4显示了DBN的部分训练样本，图5显示了NN（即上文的BP神经网络）在60次迭代中，顶层DBN网络的反向传播误差的变化情况，当完成60次迭代时，反向传播误差逐渐趋近平稳。不同分类器分类结果如表2所示。

从表2中可以看出多分辨率直方图特征用于分类器中各方面性能远远优于纹理特征分类器；而直接以图像作为输入的DBN分类器在敏感性、特异性和准确度方面高于输入多分辨率直方图特征的SVM分类器。这说明深度置信网络对SPN图像特征的描述更准确。但是为了进一步分析DBN分效果，本文选用受试者工作特征曲线（receiver operation characteristic， ROC）曲线作为评定指标[21]，图3为不同特征提取方式下的ROC曲线结果，表3列出了每条ROC曲线下的面积。结果显示，三种不同分类器的ROC曲线下面积有所不同，同是SVM分类器，使用多分辨率直方图特征的分类效果优于使用纹理特征的效果，而提出的DBN分类器在SPN图像良恶性分类任务当中，分类效果优于SVM分类器的分类效果。

4 结 语

本文通过对以前所做工作的简单总结，阐述了孤立性肺结节（SPN）图像良恶性分类的问题，提出了一种基于深度置信网络模型的SPN图像良恶性分类方法。该方法的主要优势在于可以使用无良恶性类标的SPN数据进行初始的无监督训练，由于SPN图像良恶性差异有时不明显，有些细节特征难以提取，深度置信网络能够对SPN图像底层特征有更好的抽象提取。最后经过具体的实验对比发现，提出的基于深度置信网络模型的分类器对SPN图像良恶性分类取得了比SVM分类器更好的效果。在今后的研究工作当中，将以优化深度学习模型性能为主要目的，密切关注深度学习方法和理论的研究发展，再对SPN图像分类问题做进一步的研究。

参 考 文 献：

[1] AO D C F， DE Sampaio W B， SILVA A C， et al. Automatic Detection of Solitary Lung Nodules Using Quality Threshold Clustering， Genetic Algorithm and Diversity Index[J]. Artificial Intelligence in Medicine， 2014， 60（3）：165-177.

[2] 刘明，姜格宁. 孤立性肺结节的良恶性鉴别及处理策略[J]. 中国胸心血管外科临床杂志， 2014（1）：102-106.

[3] MUKHOPADHYAY S. A Segmentation Framework of Pulmonary Nodules in Lung CT Images[J]. Journal of Digital Imaging， 2016， 41（4）：1-18.

[4] TAKAHIRO Nakajima，KAZUHIRO Yasufuku. Early Lung Cancer：Methods for Detection[J]. Clinics in Chest Medicine， 2013， 34（3）：373-383.

[5] AGARWAL R， SHANKHADHAR A， SAGAR R K. Detection of Lung Cancer Using Content Based Medical Image Retrieval Advanced Computing & Communication Technologies （ACCT）[C]// 2015 Fifth International Conference on. IEEE， 2015：48-52.

[6] SUMIAKI M， YOSHIHARU O， TAKATOSHI A. Computer-aided Detection of Lung Nodules on Multidetector CT Inconcurrent-reader and Second-reader Modes：A Comparative Study[J]. European Journal of Radiology， 2013：1332–1337.

[7] KESHANI M， AZIMIFAR Z， TAJERIPOUR F， et al. Lung Nodule Segmentation and Recognition Using SVM Classifier and Active Contour Modeling：A Complete Intelligent System[J]. Computers in Biology & Medicine， 2013， 43（4）：287-300.

[8] 韓书娜， 幺宏伟， 范剑英，等. 指纹图像分割与增强算法[J]. 哈尔滨理工大学学报， 2011， 16（1）：98-101.

[9] BUM-CHAE Kim， YU Sub Sung， HEUNG-Il Suk. Deep Feature Learning for Pulmonary Nodule Classification in a Lung CT[C] //2016 4th International Winter Conference on Brain-Computer Interface. IEEE， 2016：1-3.

[10]JU W， XIANG D， ZHANG B， et al. Correction to Random Walk and Graph Cut for Co-Segmentation of Lung Tumor on PET-CT Images[J]. Image Processing IEEE Transactions on， 2016， 25（3）：1192-1192.

[11]刘露， 刘宛予， 楚春雨，等. 胸部CT图像中孤立性肺结节良恶性快速分类[J]. 光学精密工程， 2009， 17（8）：2060-2068.

[12]HINTON， G. E.， OSINDERO， S.， Teh， Y.A Fast Learning Algorithm for Deep Belief Nets[J]. Neural Computation， 2006（18）：1527-1554.

[13]李雨童， 姚登举， 李哲，等. 基于R的医学大数据挖掘系统研究[J]. 哈尔滨理工大学学报， 2016，21（2）：38-43.

[14]SALAKHUTDINOV， Ruslan， A. Mnih， G. Hinton. Restricted boltzmann machines for collaborative filtering[C]// Proceedings of the 24th international conference on Machine learning ACM， 2007：791-798.

[15]IBRAHIM A O， SHAMSUDDIN S M， AHMAD N B， et al. Hybrid NSGA-II of Three-Term Backpropagation network for multiclass classification problems[C]//International Conference on Computer and Information Sciences. 2014：1-6.

[16]DONG N， SHANK E A， JOJIC V. A deep framework for bacterial image segmentation and classification[C]//International Conference on Internet Multimedia Computing and Service. ACM， 2015：306-314.

[17]ZIBA M， TOMCZAK J M， GONCZAREK A. RBM-SMOTE： Restricted Boltzmann Machines for Synthetic Minority Oversampling Technique[M]. Intelligent Information and Database Systems. Springer International Publishing， 2015：377-386.

[18]HINTON G E.Training Products of Experts by Minimizing Contrastive Divergence[J]. Neural Computation， 2002， 14（8）：1771-1800.

[19]WEN Hui， XIE Weixin， JIHONG Pe1i， et al. An Incremental Learning Algorithm for the Hybrid RBF-BP Network Classifier[J]. EURASIP Journal on Advances in Signal Processing， 2016（1）：1-15.

[20]ABDEL-ZAHER A M， ELDEIB A M. Breast Cancer Classification Using Deep Belief Networks[J]. Expert Systems with Applications， 2015， 46：139-144.

[21]潘清，陈卉，马宇晶，等. 影像学诊断评价中的参数法ROC曲线分析[J]. 中国医学影像技术， 2011， 27（8）：1694-1697.