基于ResNet模型的甲状腺SPECT影像诊断

王珂　张根耀

摘 要：為了降低医生利用SPECT影像对甲状腺疾病进行临床诊断时的误诊率，提高深度学习算法在核医学影像辅助诊断中识别交叉影像特征的准确率，提出了基于ResNet模型的甲状腺SPECT影像诊断方法。利用深度卷积生成对抗网络（DCGAN）和高分辨率生成对抗网络（SRGAN）生成影像并提高分辨率，弥补训练数据的不足。同时，将残差块输出信息加上具有交叉特征影像信息的xi，在保留已学习影像特征的基础上增加对交叉特征的学习，改进了模型。对于交叉影像特征，使用交叉训练集对经过单一特征影像训练完成的改进ResNet神经网络模型进行再训练。实验结果表明，经过100轮迭代，交叉训练集训练的改进ResNet神经网络模型验证精度高达0.963 3，验证损失降到

0.118 7，并趋于稳定;识别结果，召回率、精确率、特异度和F1分数都在93.8%以上。经过改进的神经网络模型和新的训练方法对甲状腺SPECT影像表现出的典型症状识别率较高，优于其他基于卷积神经网络（CNN）的方法，对临床影像诊断具有参考价值。

关键词：计算机神经网络;图像识别;SPECT;交叉训练集;医学影像;核医学

中图分类号：TP393;R318.6 文献标识码：A

doi：10.7535/hbkd.2020yx03006

Diagnosis of thyroid SPECT image based on ResNet model

WANG Ke1，2， ZHANG Genyao1

（1. School of Mathematics and Computer Science， Yan′an University， Yan′an， Shaanxi 716000， China; 2. Affiliated Hospital of Yan′an University， Yan′an， Shaanxi 716000， China）

Abstract：

In order to reduce the clinical misdiagnosis rate of of thyroid disease by using SPECT images， and improve the accuracy of deep learning algorithm in recognizing the features of cross images in nuclear medical image-assisted diagnosis， a thyroid SPECT image diagnosis method based on ResNet model was proposed. Deep Convolution Generative Adversarial Network （DCGAN） and Super-Resolution Generative Adversarial Network （SRGAN） were used to generate images and improve the resolution to make up for the deficiency of training data. At the same time， xi with the cross-feature image information was added to the residual block output information， and the learning of the cross-feature on the basis of retaining the learned image features， so as to improve the model. As for cross-image features， a cross-training set was proposed to retrain the improved ResNet neural network model that had been trained with a single feature image. The experimental results show that after 100 rounds of iteration， the verification accuracy of the improved residual neural network model trained by the cross-training set is as high as 0.963 3， and the verification loss is reduced to 0.118 7， which tends to be stable. The recall rate， precision rate， specificity and F1 score are all above 93.8% in the recognition results. The improved neural network model and the new training method show higher typical symptom recognition rate for thyroid SPECT images than other methods based on convolutional neural network （CNN）， and have reference value for clinical image diagnosis.

Keywords：

computer neural network; image recognition; SPECT; cross-training sets; medical image; nuclear medicine

甲状腺是人体重要的内分泌器官，中国甲状腺癌的平均发病率以14.5%的速度逐年上升，同时该病死亡率以1.4%的速度逐年上升。2015年新发癌症患者统计数据分析显示，每年中国新发甲状腺癌患者将近90 000例，其中男性患者占24.6%，女性患者占75.4%，甲状腺癌死亡患者每年平均6 800例，其中男性患者占36.8%，女性患者占63.2%，平均年龄小于30岁的年轻女性中，甲状腺癌发病率一直位居恶性肿瘤首位[1]。因此，提高对甲状腺疾病的早期准确诊断至关重要。在实际临床实践中，许多方法可用于甲状腺疾病的诊断，如临床评估、血液检查、甲状腺激素（TSH）检测、影像学检查和病理学检查。其中，病理学检查一般作为疾病诊断，特别是恶性肿瘤诊断的金标准。但到目前为止，病理学诊断仍没有一种或几种可靠的客观指标，尤其是在早期癌的诊断上，不同的病理学家之间很难达成一致，并且，其作为有创检查，在获取病理组织时可能存在癌症细胞种植的风险。而核医学影像检查避免伤害患者身体，在准确提供甲状腺器官解剖形态基础上，还可以显示甲状腺器官物质代谢功能情况，直接准确反映患者甲状腺疾病，在准确诊断、治疗甲状腺各类疾病方面发挥着重要指导作用[2]。与此同时，计算机辅助诊断系统（CAD）在临床诊断中的应用越来越多[3]。一方面，这些CAD系统可以减少医生的工作量;另一方面，可以避免诊断过程中可能出现的一些错误。核医学影像检查患者逐年增多，不同资历的诊断医师对同一影像的医学诊断结果有所差别，利用CAD系统进行辅助诊断能为临床诊断提供参考，并能提高低资历医生的诊断水平。

此前的研究集中于从甲状腺影像中提取不同人为设计的特征，然后将提取出的特征通过已有的机器学习分类器进行有效监督分类。例如CHEN等[4]提出了将纹理特征与病理学特征相结合，采用遗传支持向量机对甲状腺结节进行分类。CHANG等[5]利用小波系数、同质性、直方图以及多尺度灰度差作为特征对甲状腺影像进行分类以检测甲亢等疾病。KATSIGIANNIS等[6]采用基于影像轮廓小波变换的特征对甲状腺纹理进行分类。ACHARYA等[7]对甲状腺三维超声影像使用复小波变换滤波器提取特征以分类甲状腺肿瘤。SAVELONAS等[8]提出采用随机场中的特征来表述甲状腺影像中的方向模式并采用有监督分类器对甲状腺结节进行分类。IA-KOVIDIS等[9]采用模糊局部二值模式（LBP）特征对甲状腺超声影像中的纹理进行分类识别。传统的机器学习方法需针对病变精心设计病变影像特征，准确度较低，设计复杂。近几年兴起的深度学习方法可根据大量数据自动学习影像特征，并能学习到人工所难以发现的深层影像特征，极大提高了影像识别准确率。

目前，应用卷积神经网络方法已经开发了许多有效的模型，这些模型逐渐应用于医学影像诊断。稠密神经网络[10]是一种重要的神经网络架构，已被广泛应用于疾病诊断。例如，使用稠密网络的心脏病分类器[11]。卷积神经网络的VGG结构应用于良性结节与肺癌的肺结节分类[12]，采用VGG改进结构检测乳腺癌[13]。GoogleNet是一种卷积神经网络，具有一个或多个完全连接层的标准叠加卷积层，其在影像医学诊断中有许多成功的应用，如识别糖尿病视网膜病变的分期[14]、胸部X线摄影中肺结核的自动匹配分类[15]、超声影像中乳腺病变的分类[16]。研究表明，这些模型的应用有助于卷积神经网络更好地发现不同影像特征，从而获得更好的分類结果。

由于原始影像数据有限，以小的训练集对模型进行训练不能达到较高的准确率。本文利用生成对抗网络来生成影像数据扩充数据集，最后通过训练改进的ResNet神经网络模型，实现端到端的甲状腺SPECT影像诊断。

1 数据与方法

1.1 数据收集分类

医学影像数据集收集于某医院核医学科，诊断仪器为美国通用产单光子发射计算机断层成像系统，型号：Infinia。影像数据收集自2017-03-01到2019-12-31的641例甲状腺SPECT影像检查报告，从中直接获取影像数据，将这些影像数据分为6类，如图1所示，包括：1）甲状腺功能亢进，2）亚急性甲状腺炎，3）摄取功能减低，4）甲状腺部位有结节，5）甲状腺肿大，6）正常。有些影像中存在既肿大又摄取功能减低的交叉特征情况，选取有此类交叉特征的影像数据50例。

1.2 数据处理

原始影像数据总量不足并且存在明显非对称性，其中甲状腺功能亢进影像数据200份，而甲状腺正常影像数据只有37份。本文首先使用原有数据训练改进的模型，发现典型症状的识别率仅在60%以下。为了更好地训练神经网络模型，降低模型泛化误差，本文采用深度卷积生成对抗网络（deep convolutional generative adversarial networks，DCGAN）[17]来扩充影像数据量。由于DCGAN生成的影像分辨率较低，进而使用超分辨率生成对抗网络（super-resolution generative adversarial networks，SRGAN）[18]来提高影像分辨率。传统影像增强方法是通过改变视野和空间刚性变换等产生新数据，但是这种方法不能学习医学影像数据的生物学变化，并且可能生成物理不可信的医学影像，DCGAN提供了理解影像数据基础结构的途径，可以利用该网络将噪声影像生成新的模拟样本[17]。最后将6类单一特征影像数据分别扩充到1 000份，交叉特征影像扩充到1 000份，总共7 000幅影像，并使用SRGAN提高分辨率。详见图2。

1.3 神经网络的构建

本文使用Tensorflow2.0框架，建立生成对抗网络扩充影像数据，利用扩充后的影像数据训练改进的ResNet神经网络，最后识别实际检查病人得到的SPECT影像。

1.3.1 生成对抗网络

生成对抗网络是同时训练2个模型，一个用来捕获数据分布的生成器模型（generative，G），另一个用来估计样本的判别模型（discriminative，D）。G和D在对抗的框架下进行学习，D对真实数据进行建模，使得G避免了这些步骤，直接学习去逼近真实数据，在任意函数G和D的空间中存在唯一的解，使最终生成数据达到D无法区分真伪的效果。GAN是在优化过程中，由 G和D构成了一个动态的“博弈过程”[19]。

DCGAN是在原始生成对抗网络的基础上结合了卷积神经网络的一种衍生模型，主要贡献是将监督学习中的卷积模型和非监督学习生成的对抗网络模型相结合，使样本生成质量得到提高，也提高了收敛速度。

SRGAN神经网络模型学习高、低分辨率影像对之间的映射，实现高分辨率影像的重建。

当影像的放大倍数在4以上时，训练SRGAN神经网络模型，使之生成影像中的高频部分[20]。

1.3.2 ResNet神经网络

传统的卷积神经网络或者全连接网络在信息传递时或多或少会存在信息丢失、损耗等问题，同时还会引起梯度消失或者梯度爆炸，导致很深的网络无法训练。ResNet神经网络模型在一定程度上解决了这个问题，直接将输入信息绕道传到输出，保护信息的完整性，整个网络只需要学习输入、输出差别的那一部分，简化了学习目标和难度[11]。

由于实际影像存在特征交叉，比如甲状腺肿大部位可能存在摄取减低。为了解决具有交叉特征的影像识别问题，本文通过预训练ResNet神经网络模型，得到可以识别单一影像特征的ResNet神经网络模型，再用新的交叉特征影像训练集训练改进后的ResNet神经网络模型。

训练过的神经网络对单一特征已形成参数矩阵，同时改进残差块，将残差块输出信息加上具有交叉特征影像信息的xi，在保留已学习影像特征的基础上增加对交叉特征的学习，增加模型鲁棒性。使用有交叉特征的影像进行数据扩充，形成交叉特征影像训练集，训练改进后的ResNet神经网络模型。结构如图3所示。

改进的残差块的输出可用式（1）表示。

y=F（x）+wxi，（1）

式中：y为调整输出;xi为调整输入;w为卷积中的操作，用来表示调整输入xi的函数channel是多维度的。

考虑训练速度，本文采用101层ResNet神经网络模型。在卷积层加入参数初始化，初始化方式为均匀分布。为了提高模型泛化性能，训练模型时，在全连接层之前加入dropout层，舍去概率50%，激活函数为drleakyrelu。

2 基于神经网络的甲状腺影像识别

2.1 试验硬件及软件

试验平台为笔记本计算机，影像处理器GPU型号NVIDIA GeForce GTX 950M，运行环境为Windows10  64位系统，集成开发环境为Pycharm2019.3。

2.2 神经网络模型的试验方法

1）根据已有641例甲状腺SPECT影像数据，使用DCGAN神经网络模型生成新的类似影像，总共生成6类各1 000例，交叉特征影像1 000例，共7 000例影像。

2）由于DCGAN生成的甲状腺SPECT影像分辨率相对较低，使用SRGAN来提高算法生成高分辨率影像。

3）将6类共6 000例甲状腺SPECT影像分别进行标注：甲状腺功能亢进，标签1;亚急性甲状腺炎，标签2;摄取功能减低，标签3;甲狀腺部位有结节，标签4;甲状腺部位肿大，标签5;正常，标签6。由于人体甲状腺细胞影像纹理数据的局部识别不仅需要准确对比影像背景和识别前景，还要准确识别各个局部影像纹理上的特征，故可以采用深度学习方法进行端和端识别，没有必要进行影像局部分割。输入影像的维度为（32，32，3），训练ResNet神经网络模型。

4）用扩充后的交叉特征影像数据1 000例，其中800例作为训练集，200例作为验证集，训练上一步预训练的ResNet模型，采用改进的残差块，最终训练得到能够识别交叉影像特征的模型。

训练过程如图4所示。

3 结果与分析

3.1 训练误差率

设置ResNet训练参数：优化方法采用动量法（moment），初始学习率为 0.1，训练600次后学习率变为0.001，共训练200轮，batch为200。对上述交叉训练集进行200次迭代的训练，其变化曲线如图 5 所示。

结果表明，随着迭代次数不断增加，验证损失逐渐降低，验证精度逐渐提高，当训练迭代到第 100 次时，神经网络验证精度达到0.963 3，验证损失降到0.118 7，之后趋于稳定，表明卷积神经网络达到了预期的训练效果。

3.2 模型效果验证

为了验证神经网络模型的可靠性与稳定性，对测试集的 700例甲状腺SPECT影像（600例单一特征影像和100例交叉特征影像）进行识别。本文将实际诊断报告结论设为准确结论，神经网络模型识别结论设为实验结论。当神经网络模型softmax分类函数中实验结论对应准确结论的概率大于90%时，或者，过程中影像数据存在类别交叉的情况，当既有肿大又有结节的情况出现时，softmax分类函数输出的概率值会提示两类特征概率都大于45%，认定为这两类特征都具备，模型识别正确。识别结果如表1所示。

由表1可知，甲状腺功能亢进识别率最高（95.8%），其次是亚急性甲状腺炎（93.3%），再次是摄取功能减低（91.7%），识别效果最差的是甲状腺部位有结节（88.3%）。这是因为，甲状腺功能亢进在影像中表现特征明显，甲状腺部位颜色较深，其他部位颜色较浅，对比明显，症状易被识别。当甲状腺部位有结节时，结节在影像中表现特征不一，实际临床诊断中结节症状再次细分，并且每一种甲状腺结节位置、大小、颜色、深度都有区别，已标注训练数据不足，该症状不易识别或无法识别，影响识别精度。正常甲状腺影像识别率不高主要原因是已标注原始数据有限，收集到的数据存在严重不平衡性。

3.3 统计方法

为了评价本文所提出的方法，使用了分类召回率、精确率、特异度和F1分数作为评价方法性能的指标。根据神经网络的分类结果是否正确，以及样本是否为每个类别的阳性、真阳性（TP）、真阴性（TN）、假阳性（FP）和假阴性（FN），可以确定召回率、精确率、特异度和F1分数定义如式（1）—式（4）所示。

召回率=TPTP+FN，（1）

精确率=TPTP+FP，（2）

特异度=TNFP+TN，（3）

F1分数=2TP2TP+FP+FN。（4）

召回率是类的正确预测样本数量与类的总样本数量的比率，也称为灵敏度或命中率。精确率是指准确预测的类别样本数目与所有预测的类别样本总数的比率。特异度是正确预测的阴性样本与总阴性样本的比率。F1分数是分类精度和灵敏度的调和平均数。这些性能指标越大，方法的性能就越好。具体数值如表2所示。

结果表明，训练好的改进ResNet神经网络模型对SPECT甲状腺影像症状有较好的识别率。

将其他卷积神经网络（CNN）方法，如DenseNet121[10]，ResNet101[11]，InceptionV3[20]，VGG19[21-22]，Modified VGG （MVGG）[23]，GoogleNet[12]，SDAE[24-25]等與本文提出的方法进行比较，如表3所示。

由表3可知，本文提出的方法在甲状腺典型症状识别方面优于其他基于CNN的方法。

4 结 语

本文提出了一种利用卷积神经网络模型诊断甲状腺疾病的有效方法——改进的ResNet结构和训练方法。实验结果表明，本方法训练的神经网络模型能较准确识别6类甲状腺SPECT影像，并且对具有交叉特征的影像也能正确识别出症状。将改进的ResNet神经网络模型应用于甲状腺SPECT影像的诊断是可行的，具有很好的实际应用价值。本方法在甲状腺结节的细分症状辅助诊断方面还有待进一步研究，未来需要建立和测试更大的数据集，例如增加甲状腺结节各类别的数据集。

由于甲状腺结节影像诊断对纹理特征要求较高，因此还需要研究更好的数据增强方法和更有效的深度学习模型。

参考文献/References：

[1] 迟剑宁，于晓升，张艺菲.融合深度网络和浅层纹理特征的甲状腺结节癌变超声影像诊断[J].中国图象图形学报，2018，23（10）：154-165.

CHI Jianning， YU Xiaosheng， ZHANG Yifei. Ultrasonographic diagnosis of thyroid nodule carcinoma combining deep network and superficial texture features [J].Chinese Journal of Image and Graphics， 2008，23（10）：154-165.

[2] 刘刚，刘健.影像学检查在甲状腺良恶性结节鉴别诊断中的应用价值[J].中国医师杂志，2014，16（4）：565-568.

LIU Gang， LIU Jian. Application value of imaging examination in differential diagnosis of benign and malignant thyroid nodules [J]. Chinese Journal of Physicians， 2014，16（4）：565-568.

[3] MA J， WU F， JIANG T， et al. Cascade convolutional neural networks for automatic detection of thyroid nodules in ultrasound images[J]. Medical Physics， 2017， 44（5）：1678-1691.

[4] CHEN S J， CHANG C Y， CHANG K Y， et al. Classification of the thyroid nodules based on characteristic sonographic textural feature and correlated histopathology using hierarchical support vector machines[J].Ultrasound in Medicine and Biology，2010，36（12）： 2018-2026.

[5] CHANG C Y，LIU H Y，TSENG C H， et al. Computer-aided diagnosis for thyroid graves disease in ultrasound images[J].Biomedical Engineering： Applications， Basis and Communications，2010，22（2）： 91-99.

[6] KATSIGIANNIS S，KERAMIDAS E G， MAROULIS D. A contourlet transform feature extraction scheme for ultrasound thyroid texture classification[J]. International Journal of Engineering Intelligent Systems for Electrical Engineering and Communications，2010，18（3/4）：138-145.

[7] ACHARYA U R，SREE S V，SWAPNA G， et al. Effect of complex wave-let transform filter on thyroid tumor classification in three-dimensional ultrasound[J].Journal of Engineering in Medicine，2013，227（3）： 284-292.

[8]  SAVELONAS M A，IAKOVIDIS D K，DIMITROPOULOS N， et al. Computational characterization of thyroid tissue in the radon domain[C]// The Twentieth IEEE International Symposium on Computer-Based Medical Systems. Maribor： IEEE， 2007： 189-192.

[9]  IA-KOVIDIS D K，KERAMIDAS E G，MAROULIS D. Fuzzy local binary patterns for ultrasound texture characterization[C]//Proceedings of the 5th International Conference on Image Analysis and Recognition. Póvoa de Varzim： Springer，2008：750-759.

[10]HUANG G， LIU Z， MAATEN L， et al. Ensely connected convolutional networks[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu：[s.n.]，2017： 2261-2269.

[11]HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegas：[s.n.]，2016：770-778.

[12]NISHIO M， SUGIYAMA O， YAKAMI M， et al. Computer-aided diagnosis of lung nodule classification between benign nodule， primary lung cancer， and metastatic lung cancer at different image size using deep convolutional neural network with transfer learning[J]. PLoS One， 2018， 13（7）： e0200721.

[13]HAGOS Y B， MERIDA G， JONAS T. Improving breast cancer detection using symmetry information with deep learning[C]//Lecture Notes in Computer Science.[S.l.]：Springer， 2018： 90-97.

[14]TAKAHASHI H， TAMPO H， ARAI Y， et al. Applying artificial intelligence to disease staging： Deep learning for improved staging of diabetic retinopathy[J]. PLoS One， 2017， 12（6）： e0179790.

[15]LAKHANI P， SUNDARAM B. Deep learning at chest radiography： Automated classification of pulmonary tuberculosis by using convolutional neural networks[J]. Radiology， 2017， 284（2）：574-582.

[16]HAN S， KANG H K， JEONG J Y， et al. A deep learning framework for supporting the classification of breast lesions in ultrasound images[J]. Physics in Medicine & Biology， 2017， 62（19）： 7714-7728.

[17]RADFORD A，METZ L， CHINTALA S. Unsupervised representation learning with deep convolutional generative adversarial networks[C]//Proc ICLR.San Juan：[s.n.]，2016：1-15.

[18]潘丹，賈龙飞，曾安，等. 生成式对抗网络在医学影像处理中的应用[J]. 生物医学工程学杂志， 2018 ，35（6）： 148-154.

PAN Dan， JIA Longfei， ZENG An， et al. The application of the application of the anti-network in medical imaging processing[J]. Journal of Biomedical Engineering， 2018， 35（6）： 148-154.

[19]GOODFELLOW I J， POUGET-ABADIE J， MIRZA M， et al. Generative Adversarial Networks[Z]. [S.l.]： Cornell University Library， 2014： 1406.2661.

[20]LEDIG C， THEIS L， HUSZAR F， et al. Photo-realistic single image super-resolution using a generative adversarial network[C]//The IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. [S.l.]： [s.n.]， 2017： 4681-4690.

[21]KHENED M， KOLLERATHU V， KRISHNAMURTHI G. Fully convolutional multi-scale residual DenseNets for cardiac segmentation and automated cardiac diagnosis using ensemble of classifiers[J].Medical Image Analysis， 2018， 51： 21-45.

[22]HAN S S， KIM M S， LIM W， et al. Classification of the clinical images for benign and malignant cutaneous tumors using a deep learning algorithm[J]. Journal of Investigative Dermatology，2018， 138（7）： 1529-1538.

[23]YANG Hao， ZHANG Junran， LIU Qihong，et al. Multimodal MRI-based classi cation of

migraine： Using deep learning convolutional neural network[J]. Biomedical Engineering Online， 2018， 17（10）.doi：10.1186/s12938-018-0587-0.

[24]ABD-ELLAH M K， AWAD A I， KHALAF A A M， et al. Two-phase multi-model automatic brain tumour diagnosis system from magnetic resonance images using convolutional neural networks[J]. EURASIP Journal on Image and Video Processing，2018（9）.doi：10.1186/s13640-018-0332-4.

[25]CHEN Jiezhi， NI Dong， CHOU Yihong， et al. Computer-aided diagnosis with deep learning architecture： Applications to breast lesions in US images and pulmonary nodules in CT scans[J]. Scientific Reports， 2016， 6（4）.doi：10.1038/srep24454.

收稿日期：2020-04-18;修回日期：2020-05-15;責任编辑：冯 民

基金项目：国家自然科学基金（71961030）

第一作者简介：王 珂（1990—），男，陕西西安人，硕士研究生，主要从事计算机图形图像处理方面的研究。

通讯作者：张根耀教授。E-mail：ydzhanggenyao@163.com

王珂， 张根耀.

基于ResNet模型的甲状腺SPECT影像诊断

[J].河北科技大学学报，2020，41（3）：242-248.

WANG Ke，ZHANG Genyao.

Diagnosis of thyroid SPECT image based on ResNet model

[J].Journal of Hebei University of Science and Technology，2020，41（3）：242-248.