基于SRD感受野自调节的肺炎病灶检测

李 锵，武昱忻，关 欣，周 静

基于SRD感受野自调节的肺炎病灶检测

李 锵1，武昱忻1，关 欣1，周 静2

(1.天津大学微电子学院，天津 300072；2. 北京邮电大学国际学院，北京 100876)

随着深度学习的发展，采用卷积神经网络诊断肺炎的方法受到广泛关注，但对肺炎区域检测的研究还十分欠缺．现有方法的特征提取网络需要大量参数和计算，以及巨大的存储资源和算能，同时因其无法自动调节感受野的大小，导致难以适用于胸部X光片(chest X-ray，CXR)中病灶区域大小不一的问题．为解决这些问题，本文提出一种基于自调节密集网络(self-regulation DenseNet，SRD)的肺炎病灶检测方法．首先，设计了一种突出病灶技术对图像进行预处理，通过抑制肋骨区域排除肋骨干扰，并采用拉普拉斯变换锐化图像突出微弱病灶特征．其次，基于改进的RetinaNet网络对预处理后图像进行检测，其中特征提取网络采用本文提出的自调节密集网络结构SRD，来代替原RetinaNet中的特征提取网络ResNet．SRD结合密集连接和选择性核卷积的优势，具有参数量和计算量小、感受野可自适应调节的特点．最后，提出采用k-means++算法对数据集中的宽高信息进行聚类，选出具有代表性的先验框宽高比，代替RetinaNet中采取固定比例的先验框宽高比选取方法．在北美放射学会提供的CXR数据集上，与原RetinaNet算法相比，基于SRD-121的方法实现mAP提高0.4%，参数量减少52.2%，计算量减少51.8%．实验结果表明，本文提出的基于SRD感受野自调节的肺炎病灶检测方法具有参数量和计算量的减少及mAP提高的双重优势．

卷积神经网络；肺炎病灶检测；图像锐化；感受野；k-means++

肺炎是由肺部感染引起的疾病，当前放射科医师主要通过观察CXR来诊断肺炎，但随着空气污染的加剧，医生的诊断任务量日益增加，且容易因过度疲劳导致误诊、漏诊等问题．因此，对计算机辅助肺炎诊断的研究至关重要[1]．

近几年来，随着深度学习的发展，卷积神经网络在医疗图像处理领域的应用越来越广泛，例如，分类、检测和分割等．Jaiswal等[2]采用Mask R-CNN网络框架，通过调整训练中的阈值以及融合预测结果，有效地识别并定位肺炎区域．然而，其训练图像大小为512×512，需要巨大的计算资源，且训练阶段需调整阈值，导致训练过程复杂．Liang等[3]提出一个用于诊断儿童肺炎的深度学习框架，采用残差结构克服了深度模型的过度拟合和退化等问题，并结合空洞卷积解决了因模型深度增加导致的特征空间信息丢失等问题．Kermany等[4]基于迁移学习开发的人工智能系统，能在CXR上准确区分细菌性和病毒性肺炎．Sirazitdinov等[5]在北美放射学会提供的CXR数据集上采用多种算法，例如RetinaNet[6]、YOLOv1[7]、YOLOv3[8]和Mask R-CNN[9]进行对比实验，结果表明，RetinaNet准确率最高，其损失函数通过减小易分类样本的权重，增加难分类样本对梯度更新的影响，解决了类别不平衡的问题．

然而，当前研究中卷积神经网络(convolutional neural network，CNN)面临参数量大，且无法自动调节感受野以适应肺炎区域大小不一等问题．因此，本文提出一种基于SRD[10-11]的肺炎检测方法，首先提出突出病灶策略(stress focus，SF)，对图像进行预处理，其次设计了用于特征提取的SRD，实现参数量和计算量降低且感受野可自动调节，最后采用k-means++算法聚类，选出合适的先验框宽高比．实验结果表明，与RetinaNet算法相比，本文提出的方法兼具了参数量和计算量降低及mAP提升的双重优势.

1 目标检测

1.1 传统的目标检测方法

传统的目标检测方法大体分3个阶段：选取候选区域、人工特征提取和分类器识别．然而，人工提取的特征质量将直接影响检测结果，因此，特征提取技术受到广泛研究．

Papageorgiou等[12]提出一种适用于复杂场景中静态图像的通用目标检测框架，克服了类内可变性的问题，并在无约束环境中得到较低的误检率．Ren 等[13]提出一种基于全局运动估计和边缘信息的移动目标检测方法，分别采用双线性模型和直方图缩放进行空间和光照归一化，结合Canny算子提取边缘和形态学算子对边缘滤波，得到闭合的目标轮廓．

然而，传统的目标检测方法有很多缺陷．人工提取特征方法因对应的检测目标而异，算法鲁棒性差；滑动窗口方法造成先验框冗余，耗费计算资源，导致在实际工程中难以实现．

1.2 深度学习的目标检测方法

Girshick等[14]于2014年首次将深度学习应用于目标检测并提出R-CNN(Region-CNN)模型，采用PASCAL VOC数据集[15]训练，通过选择性搜索[16]选取出2000个先验框，经过剪裁和缩放后输入CNN，然后用产生的一系列特征向量训练支持向量机．然而，对2000个先验框都提取特征导致计算资源的巨大消耗，而且对先验框剪裁和放缩的操作容易导致特征丢失．2015年，Girshick[17]提出的Fast R-CNN只需对整张图提取一次特征，并引入ROI pooling层，实现自动将特征图缩放为固定尺寸．2015年Ren 等[18]提出的Faster R-CNN中引入区域生成网络(region proposal networks，RPN)用于生成候选区域，再连接分类子网络和回归子网络进行检测，准确率得到提高，但两阶段的网络算法复杂度高，无法达到实时性要求．2016年Liu等[19]提出SSD(single shot multibox detector)算法，应用多尺度检测方法，融合高、低层级的特征图，并用困难样本挖掘[20]来平衡正负样本数量差距悬殊的问题，控制正负样本比例为1∶3．2018年Redmon等[8]提出的YOLOv3模型，采用新的网络结构Darknet-53，分类损失函数由softmax改为logistic，实现多标签分类．

2 本文的算法

本文的算法基于RetinaNet进行改进，是一种端到端的目标检测算法，实现对CXR图像的肺炎病灶区域自动检测，算法整体框架如图1所示．首先基于本文提出的SF预处理策略，对原始图像a执行肋骨抑制和图像锐化操作生成图像b，作为CNN的输入，进而执行后续特征提取．采用本文提出的SRD代替RetinaNet中的ResNet，并在其上建立特征金字塔网络[21]，输出P3～P7 5个特征图来提取特征．然后，分别以5个特征图的每个特征点为中心，采用3种不同面积及3种不同宽高比的设置，从而产生9种先验框．进一步采用k-means++算法代替RetinaNet中固定宽高比的选取方法．最后，将先验框输入到后续的分类子分支和回归子分支检测，得到预测的肺炎病灶区域G．

图1 算法整体框架

2.1 SF预处理策略

将原图像和拉普拉斯变换后的结果进行相加，如式(3)所示，产生一个边缘突出的锐化图像．

图2(a)、(b)、(c)分别为原始CXR、肋骨抑制后的图像和SF预处理策略处理后的图像，图2(d)、(e)、(f)分别为原始病灶区域、肋骨抑制后的病灶区域、SF预处理策略处理后的病灶区域．

从图2可以看出，经第1阶段处理后，肋骨区域得到抑制，但病灶特征信息不明显，导致难以提取到有效特征．经第2阶段锐化处理后，肺炎病灶特征更加突出．经SF预处理策略预处理后的图像达到了肋骨抑制和病灶特征突出的效果．

2.2 SRD结构

RetinaNet的特征提取网络为ResNet，不仅参数量大，且特征图的感受野是固定的，无法根据检测目标面积大小自动调节，影响检测的准确率．因此，本文提出自调节密集网络SRD进行特征提取，结构为DenseNet[10]和选择性核卷积(SK Conv)[11]的融合．

2.2.1 DenseNet

图2 X光片预处理效果示意

DenseNet通过拼接特征图来获得上层的特征，而不需再次卷积，大大减少了参数量，而且梯度能直接传到上层，缓解了梯度消失的问题．

2.2.2 SK Conv结构

SK Conv结构为参考文献[11]中的选择性核卷积，结构示意如图3所示，其中包括3个操作：切片、融合和选择．

图3 SK Conv结构

式中卷积核大小均为3，并且卷积过程后带有BN和ReLU．

在文献[11]中第1个方向采用一个3×3的卷积核，第2个方向采用一个5×5的卷积核，以此得到不同的感受野．本文将第2个方向上的5×5的卷积核改为2个3×3的卷积核，因为2个3×3的卷积核和1个5×5的卷积核得到的感受野大小都为5×5，而且多个卷积层与非线性的激活层交替的结构比单一卷积层的结构更能提取出深层的特征，参数量也更小[26]．

2.2.3 SRD结构

本文提出的SRD结构为DenseNet和SK Conv的融合．SRD-121和SRD-169(121和169表示卷积层数)的结构如表1所示．分辨率为224×224的输入图像经过7×7卷积和3×3池化后，输入到后续卷积块．为了在建立特征金字塔前加入自动调节感受野的机制，卷积块SRD2、SRD3、SRD4中前半部分结构与DenseNet中卷积块结构相同，最后一层卷积采用SK Conv．卷积块Dense1与DenseNet中卷积块结构相同，过渡层仍然采用DenseNet中过渡层的结构．经过融合，新的网络结构结合了DenseNet和SK Conv两者的优点，不仅参数量小，还可以自动调节感受野的大小．

表1 SRD结构

Tab.1 Structure of SRD network

2.3 先验框的选取

RetinaNet结构对先验框的选取过程中，每一个待检测的特征层有9种不同的先验框，包括3种不同宽高比(0.5，1.0，2.0)和3种不同面积变化(20，21/3，22/3)．文献[28]宽高比的选取采用k-means算法，相比于固定宽高比的方法，k-means算法可以根据所检测的数据集产生更合适的宽高比，从而使得预测框更加准确．但k-means算法中初始聚类中心是随机选取的，聚类结果受初始聚类中心影响很大，初始点的选取要足够离散才能保证在迭代过程中各个簇都能聚类到数量相当的数据．

为了避免该不稳定性因素，本文采用k-means++产生宽高比，如算法1所示．本文数据集得到的3个聚类中心为(271，538)、(223，315)和(168，169)，因此得到的先验框宽高比为(0.505、0.709、0.989)．

算法1 k-means++聚类算法

dis(目标框，聚类中心)＝

1-IOU(目标框，聚类中心) (12)

步骤3 计算剩余的目标框和各个聚类中心的距离，和哪个聚类中心距离最小即成为它的簇．

步骤4 更新各个簇的聚类中心，更新方法为

步骤5 计算聚类中心变化量，即

3 实验及结果分析

3.1 实验平台

3.2 评价标准

式中：TP表示正确检测出的正样本数；FP表示漏检数；FN表示误检数．当某预测框和目标框的交并比(intersection over union，IoU)大于设定的阈值时，即是TP．

一批CXR检测完之后，预测框得分从大到小排列，从得分最大的预测框开始每多计算一个预测框更新一次精确率和召回率．从而，以精确率为纵轴、召回率为横轴可得出P-R曲线，曲线下的面积即为AP值．本文AP50(%)是阈值为0.5时的AP值.mAP(%)是阈值分别为0.40～0.75、步长为0.05的结果取平均得到．1分数(%)是精确率和召回率之间的一种调和平均，计算过程如式(17)所示．

3.3 实验结果

3.3.1 预处理策略

SF预处理策略处理后，减弱了肋骨干扰并突出了微弱病灶特征．为了验证SF预处理策略对检测结果的影响，本文将RetinaNet中的特征提取网络替换为DenseNet，并将原图像和经SF预处理策略处理过的图像分别输入模型中进行训练和测试，实验结果如表2所示．

表2 SF预处理策略结果对比

Tab.2 Comparison of preprocessing strategy results %

实验结果表明，与未经预处理的结果相比，以DenseNet-121为特征提取网络时，AP50、mAP和1分数分别提高了1.8%、3.6%、2.7%，以DenseNet-169为特征提取网络时，AP50、mAP和1分数分别提高了0.6%、2.3%、1.5%，表明了SF预处理策略的有效性.

3.3.2 先验框选取策略

本文的实验以RetinaNet为框架，针对先验框的选取策略进行了对比实验．与固定的宽高比(0.5、1.0、2.0)相比，k-means++算法产生的宽高比(0.505、0.709、0.989)更符合肺炎目标框的形状特点，因此预测框与目标框的平均交并比更高．实验结果如表3所示，与固定的宽高比相比，采用k-means++算法后，特征提取网络分别为DenseNet-121 和DenseNet-169时，预测框与目标框的平均交并比分别高出0.013、0.038．

表3 k-means++对比实验

Tab.3 Comparison of experimental k-means++ results

3.3.3 参数量和计算量的比较

图4 各算法参数量和计算量统计

3.3.4 SRD网络的有效性

表4为各算法的检测结果．在DenseNet-121和DenseNet-169的基础上，加入自动调节感受野机制后(即特征提取网络为SRD-121和SRD-169)，AP50值分别提高了2.8%、1.4%，mAP分别提高了1.7%、0.8%，1分数分别提高了2.3%、1.9%．

表4 各算法结果对比

Tab.4 Comparison of algorithm results %

加入SK Conv后，CNN可根据目标大小自动调节感受野，从而产生相应大小的预测框，进而提高了检测精度．否则，对肺炎病灶区域大小不同的CXR检测时，无法产生准确的预测框．如图5所示，图中绿色框和红色框分别为目标框和预测框，结果表明，以DenseNet-121为特征提取网络时，容易对大目标产生小预测结果，对小目标产生大预测结果．然而，加入自动调节感受野机制后，即以SRD-121为特征提取网络时，可对不同大小的目标产生相应的预测框.

图5 X光片检测结果示意

图6为各类算法在阈值为0.5时产生的P-R曲线．从图中可看出，特征提取网络为SRD-121时，精确率随召回率的升高下降最慢，曲线下面积最大，性能最好．

图6 各类算法P-R曲线

4 结 语

本文提出一种基于SRD感受野自调节的肺炎病灶检测方法，通过对RetinaNet网络结构进行改进，提出SRD用于特征提取，该结构将密集连接和选择性核卷积融合，不仅参数量和计算量降低，而且能够自动调节感受野大小．本文进一步提出SF预处理策略，兼顾抑制肋骨干扰及突出病灶区域微弱纹理特征的特点．最后采用k-means++算法选取先验框宽高比．实验结果表明，与原RetinaNet算法相比，本文算法在参数量及计算量降低的情况下mAP有所提高，因此，更利于将该检测算法部署在资源受限的边缘移动设备．

但目前的研究仍然有需要继续深入研究的地方．经实验表明，本文算法相比于原RetinaNet算法速度有所降低，原RetinaNet算法检测速度为31.57张/s，本文算法以SRD-121为特征提取网络时检测速度为15.4张/s．虽然本文算法减少了参数量和计算量，但融入了DenseNet后内存读取操作增多，减慢了检测速度．因此在今后的研究中，将会就速度方面进行提升．

［1］ Qin C L，Yao D M，Shi Y H，et al. Computer-aided detection in chest radiography based on artificial intelligence：A survey[J]. Biomedical Engineering Online，2018，17：1-23.

［2］ Jaiswal A K，Tiwari P，Kumar S，et al. Identifying pneumonia in chest X-rays：A deep learning approach[J]. Measurement，2019，145：511-518.

［3］ Liang G B，Zheng L X. A transfer learning method with deep residual network for pediatric pneumonia diagnosis[J]. Computer Methods and Programs in Biomedi-cine，2019(4)：1-5.

［4］ Kermany D S，Goldbaum M，Cai W J，et al. Identifying medical diagnoses and treatable diseases by image-based deep learning[J]. Cell，2018，172(5)：1122-1131.

［5］ Sirazitdinov I，Kholiavchenko M，Mustafaev T，et al. Deep neural network ensemble for pneumonia localiza-tion from a large-scale chest X-ray database[J]. Com-puters & Electrical Engineering，2019，78：388-399.

［6］ Lin T Y，Goyal P，Girshick R，et al. Focal loss for dense object detection[J]. IEEE Transactions on Pat-tern Analysis & Machine Intelligence，2017，42(2)：318-327.

［7］ Redmon J，Divvala S，Girshick R，et al. You only look once：Unified，real-time object detection[C]// 2016 IEEE Conference on Computer Vision and Pattern Rec-ognition. Amsterdam，The Netherlands，2016：779-788.

［8］ Redmon J，Farhadi A. YOLOv3：An incremental im-provement[EB/OL]. http://arxiv.org/abs/1804.02767，2018-04-08.

［9］ He Kaiming，Gkioxari G，Dollar P，et al. Mask R-CNN[C]// 2017 IEEE International Conference on Com-puter Vision. Hawaii，USA，2017：2980-2988.

［10］ Huang G，Liu Z，Maaten L V D，et al. Densely connected convolutions networks[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition. Hawaii，USA，2017：2261-2269.

［11］ Li X，Wang W H，Hu X L. Selective kernel net-works[EB/OL]. http://arxiv.org/abs/1903.06586，2018-03-15.

［12］ Papageorgiou C P，Oren M，Poggio T. A general framework for object detection[C]// 6th International Conference on Computer Vision. Bombay，India，1998：555-562.

［13］ Ren J C，Astheimer P，Feng D. Real-time moving object detection under complex background[C]// Proceeding of the 3rd International Symposium on Image and Signal Processing and Analysis. Hong Kong，China. 2004：662-667.

［14］ Girshick R，Donahue J，Darrell T，et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Colum-bus，OH，USA，2014：580-587.

［15］ Everingham M，Van Gool L，Williams C K I，et al. The pascal visual object classes(VOC)challenge[J]. International Journal of Computer Vision，2010，88(2)：303-338.

［16］ Gu Chunhui，Lim Joseph J，Arbeláez P，et al. Recognition using regions[C]// 2009 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Miami，FL，USA，2009：1030-1037.

［17］ Girshick R. Fast R-CNN[C]// Proceedings of the IEEE International Conference on Computer Vision. Santi-ago，Chile，2015：1440-1448.

［18］ Ren S，He K，Girshick R，et al. Faster R-CNN：Towards real-time object detection with region proposal networks[C]// Advances in Neural Information Processing Systems. Montreal，Canada，2015：91-99.

［19］ Liu W，Anguelov D，Erhan D，et al. SSD：Single shot multibox detector[C]// European Conference on Computer Vision. Amsterdam，The Netherlands，2016：21-37.

［20］ Abhinav S，Abhinav G，Ross G，et al. Training region-based object detectors with online hard example mining[C]// 29th IEEE Conference on Computer Vision and Pattern Recognition. Long Beach，USA，2016：761-769.

［21］ Lin T Y，Dollár P，Girshick R，et al. Feature pyramid networks for object detection[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Amsterdam，The Netherlands，2017：2117-2125.

［22］ Gusarev M，Kuleev R，et al. Deep learning models for bone suppression in chest radiographs[C]// 2017 IEEE Conference on Computational Intelligence in Bioinformatics and Computational Biology. Manchester，UK，2017：1-7.

［23］ Ioffe S，Szegedy C. Batch normalization：Accelerating deep network training by reducing internal covariate shift[C]// Proceeding of the 32nd International Conference on Machine Learning. Lille，France，2015：448-456.

［24］ Glorot X，Bordes A，Bengio Y. Deep sparse rectifier neural networks[C]// 14th International Conference on Artificial Intelligence and Statistics. Lauderdale，FL，USA，2011：315-323.

［25］ LeCun Y，Bottou L，Bengio Y，et al. Gradientbased learning applied to document recognition[J]. Proceedings of the IEEE，1998，86(11)：2278-2324.

［26］ Szegedy C，Vanhoucke V，Ioffe S，et al. Rethinking the inception architecture for computer vision[C]//Internaltional Conference on Computer Vision and Pattern Recogintion. Boston，MA，2015：1-10.

［27］ Hu J，Shen L，Sun G. Squeeze-and-excitation networks[C]// Proceedings of the IEEE conference on computer vision and pattern recognition. Salt Lake City，UT，USA，2018：7132-7141.

［28］ Redmon J，Farhadi A. YOLO9000：Better，faster，stronger[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Manchester，UK，2017：7263-7271.

［29］ Kaggle. RSNA pneumonia detection challenge[EB/OL]. https://www.kaggle.com/c/rsna-pneumonia-detection-challenge，2019-04-23.

Pneumonia Focus Detection Based on SRD with Receptive Field Self-Regulation

Li Qiang1，Wu Yuxin1，Guan Xin1，Zhou Jing2

(1. School of Microelectronics，Tianjin University，Tianjin 300072，China；2. International School，Beijing University of Post and Telecommunications，Beijing 100876，China)

With the development of deep learning，the use of convolutional neural networks to diagnose pneumonia has attracted widespread attention，but research on the detection of pneumonia areas is lacking. The feature extraction networks of existing methods require a large number of parameters and calculations and huge storage resources and computing power. Because they cannot automatically adjust the size of the receptive field，it is difficult to determine differences in the sizes of the pneumonia areas in chest X-rays. To solve these problems，in this paper，we propose a method for detecting pneumonia areas based on a self-regulation DenseNet(SRD). First，we design a stress focus technique to preprocess the image，eliminate rib interference by suppressing the rib area，and use Laplacian transformation to sharpen the image and highlight the weak features of pneumonia areas. Next，the preprocessed image is detected using the improved RetinaNet. The feature extraction network uses the proposed SRD approach to replace the feature extraction network ResNet in the original RetinaNet. SRD combines the advantages of dense connections and selective kernel convolution. It requires fewer parameters and calculations and adaptively adjusts the receptive fields. Lastly，the k-means++ algorithm is used to cluster width and height information in the data set，and a representative anchor aspect ratio is selected instead of the fixed selection method in RetinaNet. On the CXR dataset provided by  the North American Radiological Society，compared with the original RetinaNet algorithm，the SRD-121   method achieves a 0.4% increase in the mAP，a 52.2% reduction in the parameters，and a 51.8% reduction in the calculation operations. The experimental results show that the proposed method based on SRD for detecting pneumonia areas has the dual advantages of reducing the number of parameters and required calculations and increasing the mAP score.

convolutional neural network；pneumonia focus detection；image sharpening；receptive field；k-means++

TP391.4

A

0493-2137(2021)05-0508-09

10.11784/tdxbz202002034

2020-02-21；

2020-03-19.

李 锵（1974—  ），男，博士，教授.

李 锵，liqiang@tju.edu.cn.

国家自然科学基金资助项目(61471263)；天津市自然科学基金资助项目(16JCZDJC31100).

Supported by the National Natural Science Foundation of China(No.61471263)，the Natural Science Foundation of Tianjin，China (No.16JCZDJC31100).

(责任编辑：王晓燕)