基于改进的YOLOv3-DN对脑胶质瘤检测分级

2021-04-22李东喜

计算机工程与设计 2021年4期

刘颖，李东喜

(太原理工大学大数据学院，山西晋中 030600)

0 引言

胶质瘤是形状不规则且边界不明确的恶性肿瘤，人工检测难度大[1]。且胶质瘤分为低级神经胶质瘤(low grade glioma，LGG)、多形性胶质母细胞瘤(glioblastoma multiforme，GBM)等[2]，人工分级难度大且费时费力。因此开发计算机辅助诊断(computer aided design，CAD)系统以帮助和支持精准医疗是必不可少的。

核磁共振成像(magnetic resonance imaging，MRI)是检测和分析脑肿瘤的常用成像技术[3]。但不同级别脑胶质瘤间影像学表现重叠较多，且通常边界模糊，仅靠传统的图像分析方式难以对胶质瘤进行准确检测和分级[4]。近年来从医学影像中检测肿瘤感兴趣区域(region of interest，ROI)需要进行大量手动工作[5]，且无法在单个框架中支持检测和分类问题。而深度学习技术作为常规手工特征分类器的替代，可以从整个数据中学习显著特征，并提供较高的识别精度[6]。其中“你只看一次”(you only look once，YOLO)将目标检测和分类统一为回归问题，利用了单个网络就可以对整个图像的信息进行编码并快速帮助预测[7]。并且最先进的YOLOv3版本具有更高的检测精度和速度，在检测小目标方面也表现出色。近年来为了更有效地利用神经网络的输入特征，提出了DenseNet架构[8]，它通过密集块和过渡层两个结构加强了特征在神经网络中的传播，有效地解决梯度消失的问题，提高神经网络的分类精度。

因此本研究使用YOLOv3算法并用DenseNet将之改进来优化具有低分辨率的要素层，构建用于胶质瘤的检测和分类的CAD系统，探讨其性能。为脑胶质瘤患者个体化、精准治疗提供工具。

1 方法描述

本研究提出的基于改进的YOLOv3-DN网络对脑胶质瘤检测和分类的CAD系统包括4个主要阶段：脑胶质瘤MRI图像预处理；利用改进的YOLOv3-DN网络进行模型训练、特征提取；具有置信度模型的ROI检测；用于LGG和GBM的逻辑回归分类。所提出的CAD系统如图1所示。

图1 基于YOLOv3-DN的CAD系统方案

1.1 数据

在癌症影像档案馆(The Cancer Imaging Archive,TCIA,https://doi.org/10.7937/K9/TCIA.2017.GJQ7R0EF)中获取LGG和GBM(2017)的所有术前MRI影像数据以及用于训练数据的分割标签[9]。从两个级别中各选取30例患者的300张肿瘤图层作为研究数据集，而后使用图像旋转90°、180°和270°的扩充技术从原始数据生成新实例来增强数据[10]，为了避免我们的CAD系统出现任何分类偏差，将所有影像随机混合在一起。最后将2400张图像按照4∶1来划分训练集和测试集，为所提出的基于YOLOv3-DN的CAD系统研究做准备。

1.2 数据预处理

从不同的MRI方式获取的图像会受到伪影的影响，它会导致错误的强度级别从而出现误报[11]。本研究选取非参数、非均匀强度归一化(N3)算法的改进版本N4ITK偏场校正来去除不需要的伪像，通过3D Slicer版本4.6.2实现。图2显示了对图像施加偏置场校正的结果，图2(a)强度值较高，而通过消除偏置后，图2(b)显示出在边缘附近有更好的对比度。

图2 N4ITK偏场校正前(a)后(b)

进一步为解决图像的强度值相差较大的情况，还进行了归一化处理，以使平均强度值和方差分别接近于0和1，并且删除了最高和最低1%的强度值，这使所有图像的强度值都处于一致范围内，有助于训练阶段的学习及模型的训练。归一化图层xn生成如下

(1)

其中，x代表原始图层，μ和σ分别是x的均值和标准差。最终将训练和测试数据集在[0，1]的范围内进行归一化并将大小由原始的256*256调整为512*512[12]。为训练模型做准备。

1.3 YOLOv3

YOLOv3网络是从YOLO和YOLOv2网络发展而来的。YOLO网络将检测问题转换为回归问题,它不需要候选区，并且直接通过回归生成边界框坐标来检测潜在的ROI，并从整个整体图像中直接预测其类别概率[13]，这大大提高了检测速度。

YOLO首先将输入的图像分成N×N个不重叠的网格单元，每个网格单元负责检测属于该单元的潜在ROI。IoU(intersection over union)作为在特定数据集中检测相应物体准确度的一个标准，通过人为在训练集图像中标出ROI的真实范围框以及算法得出的预测范围框之间交集的百分比分数，评价真实和预测之间的相关度，并通过与存在肿瘤块的概率相乘以获得置信度，如下所示

(2)

同样，根据相应单元格的条件分类概率Prob(Classi| mass)，检测到的ROI被识别为LGG或GBM。然后，每个特定类别的置信度得分估算如下

Confidence score=Prob(Classi|mass)*Confidence

(3)

置信度分数表示预测框中涉及的ROI以及该ROI的准确性。当网格单元格不包含任何对象时，此置信度得分将变为零。当多个边界框检测到同一目标时，YOLO使用非最大抑制(non-maximum suppression,NMS)方法选择最佳边界框。

YOLOv2在YOLO的基础上，解决了检测误差较大的问题，引入了Faster R-CNN中的锚定框(anchor box)概念，并使用k-means聚类方法生成合适的先验框(priors anchor),使用卷积层替换了YOLO的全连接层。YOLOv2还引入了批处理归一化、高分辨率分类器、维度聚类、直接位置预测、细粒度特征、多尺度训练等、与YOLO相比大大提高检测精度和分类准确度。

YOLOv3是YOLOv2的改进版本。它使用多尺度预测来检测最终目标，并且其网络结构比YOLOv2更复杂。YOLOv3可以预测不同比例的边界框(bounding box)，而多比例预测可以使YOLOv3比YOLOv2更有效地检测胶质瘤边缘的小ROI。

1.4 密集连接的神经网络

深度学习框架的DenseNet网络结构采用残差网络的连接思想，引入了残差层(residual)结构，在保证网络结构很深的情况下，仍能收敛。由于卷积和下采样，在训练神经网络时会减少特征图，并且在传输过程中会丢失特征信息[14]，可以更有效地利用特征信息。它以前馈模式将每一层连接到其它层，因此第l层接收了先前各层的所有特征图x0，x1，…，xl-1作为输入

xl=Hl[x0,x1,…,xl-1]

(4)

其中，[x0，x1，…，xl-1]表示将各个图层特征图进行通道合并。传递函数Hl是批量归一化(BN)、修正线性单元(ReLU)和卷积(Conv)的组合[15]。这使DenseNet可以减轻梯度消失，增强特征传播，促进特征重用并大大减少参数数量。

1.5 提出的算法

本研究提出的基于改进的YOLOv3-DN算法，使用Darknet-53架构作为基本的网络架构，并使用DenseNet结构代替网络中32*32和16*16的下采样层。具体网络参数如图3所示。

图3 YOLOv3-DN网络参数

使用BN-ReLU-Conv(1*1)和BN-ReLU-Conv(3*3)作为传递函数Hl。Xi由64个要素图层组成，每个要素图层有32*32个分辨率。H1使用BN-ReLU-Conv(1*1)对x0进行非线性运算，再用BN-ReLU-Conv(3*3)对结果x1进行运算。H2将相同的操作应用于由[x0，x1]，结果x2和[x0，x1]拼接成[x0，x1,x1]并用作为H3的输入，以此类推，继续向前传播最终拼接成32*32*512。在16*16分辨率的层中，也如上文所述执行特征传播和特征层拼接。最后，将要素图层拼接为16*16*1024。

改进的YOLOv3-DN模型以3种不同的比例预测框：64*64，32*32和16*16对ROI进行检测及分类。

1.6 基于YOLOv3-DN的CAD系统

(5)

修正线性单元(ReLU)选择LeakyReLU激活函数用于所有卷积层(convolutional)，其定义如下，ai是(1,+∞)区间的固定参数

(6)

在整个训练阶段，首先设置网络训练的处理规模(batch=64)及学习率(learning rate=0.001)，用于构建我们提出的CAD系统。生成预测张量(ToP)为

ToP=S*S*[B*(4+1+C)]

(7)

其中，S为16、32和64下的网格单元数；B=3为锚框个数；4指ROI的中心位置(x，y)、宽度(w)和高度(h)信息；1代表置信度；C=2代表LGG和GBM。最终输出3个向量的列表：[16,16,21],[32,32,21],[64,64,21]完成对ROI的检测及分类，流程如图4所示。

图4 基于YOLOv3-DN的CAD系统结构

1.7 训练及测试

本研究为了避免在训练和测试中出现任何偏差，首先仅使用80%的训练数据集来优化提出的基于YOLOv3-DN的CAD系统的参数。随后，使用待训练的胶质瘤图像对其进行微调(即重新训练)。

为了验证，本研究用k折交叉验证(k=5)，以确保数据集中的每个胶质瘤图像都恰好在测试集中一次，并最大程度地减少了分类阶段可能出现的偏差。数据集被随机分为5个子集，每个子集由10%的LGG和10%的GBM组成。这意味着我们对提出的CAD系统进行了5次训练，以获取系统的性能。

本研究是在PC Intel Core i7-6700HQ上进行的，该处理器具有16 GB RAM，以及NVIDIA GeForce GTX 960的GPU。使用Python 3.6和C++作为Ubuntu 14.04操作系统上的编程语言。

1.8 评估

在这项研究中，我们使用客观的方法来评估提出的CAD系统对于胶质瘤图像中ROI位置检测及其分级的性能，评估流程如图5所示。如果检测框的置信度得分小于特定阈值，则将相应的预测ROI视为不可检测情况，这意味着在接下来的分级和检测阶段将排除这些情况。相反，只要满足特定阈值的条件，就可以利用逻辑回归做出分级的最终决定。

图5 评估流程

为了显示所提出的基于YOLOv3-DN的CAD系统的鲁棒性，本研究使用以上数据集，分别采用传统YOLO以及不加入DenseNet的原始YOLOv3两种方法，再次获取对胶质瘤检测、分级结果，进行对比评价。

检测方面，通过5折交叉验证法对3种网络模型的检测性能进行评估。在每折测试中，网络对每个潜在ROI生成标记框和置信概率，其中置信概率小于0.2或IoU小于0.5的情况被视为错误检测。最终通过交叉验证结果的平均值来定量对比分析。

分级方面，使用混淆矩阵来显示所提出的CAD如何区分LGG和GBM。同时，接受者操作特性曲线(recei-ver operating characteristic curve，ROC)下的面积(area under curve，AUC)值也用于评估3种网络模型对胶质瘤分级的性能。其中AUC值接近1.0表示高度准确的诊断率，而AUC值接近0.5表示性能不可靠。ROC曲线定义如下

(8)

(9)

其中，TP和FN分别表示真实的肯定和错误的否定情况。TN和FP分别包含真阴性和假阳性案例。系统的整体分类精度定义为

(10)

2 结果及分析

2.1 概率阈值

本研究提出的CAD系统为每个测试的胶质瘤图像生成许多潜在的ROI。而概率阈值可以控制每个测试图像的潜在ROI的数量，概率阈值为零时，将在图像上显示所有可能的ROI；概率阈值越大，测试数据产生的不可检测数据量会增加。因此，本研究为了避免不必要的ROI并维持较少数量的不可检测数据则需找到合适的概率阈值，最终通过实验确定了概率阈值为0.2时最为适当。如图6(a)～图6(c)所示，分别显示了级别概率阈值为0、0.01和0.2时的潜在ROI结果，边框越粗表示置信度越高，很明显在概率阈值为0.2时，可以提供至少一个潜在的ROI，并忽略所有低可能性的ROI，非常有利于进一步分类。

图6 不同概率阈值的潜在ROI

2.2 ROI检测

本研究基于YOLOv3-DN的CAD系统检测ROI的效果如图7(a)和图7(c)显示了人工标注的胶质瘤位置，图7(b)和图7(d)显示了本研究CAD系统检测到的胶质瘤位置，准确的将ROI框入检测区内。进一步3种网络ROI检测的5倍交叉验证平均结果见表1。传统的YOLO获得了最低的检测准确率86.25%，而更先进的YOLOv3获得了更高的检测准确率89.97%，这表明随着对YOLO模型不断的改进，可以提高对胶质瘤的检测性能，减少错误检测和不可检测的情况。最后本研究提出的YOLOv3-DN模型获得了最高的检测准确率93.71%，验证了本研究在YOLOv3上改进的有效性，使得模型在检测MRI图像中脑胶质瘤位置时具有更好的鲁棒性。

表1 各网络ROI检测的5倍交叉验证平均结果

2.3 ROI分级

ROI分级的评估中排除了每个k倍子集在检测阶段中的不可检测图像。图7(b)和图7(d)显示了本研究CAD系统在检测后的分级结果，准确地将GBM和LGG分别用不同框标注，更好地为医生诊断提供帮助。表2列出5倍交叉验证下系统分级的混淆矩阵和性能。结果表明，LGG在所有k倍子集中的正确分类准确率在95.36%至97.49%间，而GBM在91.18%至93.72%间，显示出对LGG更高的鉴别能力，这与常规分级情况相似，这可能是更复杂的GBM组织结构导致的。并且所有k 倍的AUC和准确性的结果彼此相似，表明所提出的CAD系统在脑胶质瘤分级诊断中的有效性和可行性。而灵敏度、特异性、AUC、分级准确性方面的5倍交叉验证结果的平均值显示出系统对胶质瘤分级有高达94.49%的准确性，对LGG的敏感性为96.47%，对GBM的特异性为92.46%。

图7 ROI检测前后

表2 5倍交叉验证下系统分级的混淆矩阵和性能

相比3种网络在分级方面的性能差异，ROC及AUC值对比分析如图8所示。最新的YOLOv3比传统YOLO的AUC值由0.894提升至0.920，高出了2.58%，显示出YOLOv3的改进在分类方面性能有所提升。而本研究提出的YOLOv3-DN网络与其它两个网络相比取得了最高的AUC得分0.945，比传统YOLO提高了5.7%，比YOLOv3提高了2.8%，表明进一步改进的有效性，反映了该模型作为能够对脑胶质瘤图像检测和分级的CAD系统是更高效可行的。