基于分步目标定位的腰椎间盘自动诊断方法

巩稼民，杨红蕊，郭庆庆，蒋杰伟，潘琼，马豆豆，高燕军

1.西安邮电大学通信与信息工程学院，陕西西安710121；2.西安邮电大学电子工程学院，陕西西安710121；3.西北农林科技大学理学院，陕西西安712100；4.西安市第三医院医学影像科，陕西西安710071

前言

近些年来，已经有数据科学家、放射科医生、计算机视觉人员做了初步研究。Koh 等［6］结合4 种经典分类器（LMS［7］、k-均值、感知机和支持向量机分类器），提出一种计算机辅助框架，用于诊断腰椎间盘突出。Tsai 等［8］采用一种边界逼近法诊断MRI 和CT图像中的腰椎间盘突出。Ghosh 等［9］讨论一种基于Gabor特征［10］、原始特征、灰度共生特征、局部二值模式的复合特征提取方法。Chamarthy 等［11］使用了贝叶斯分类器［12］，用于使用13 个形态学特征检测脊柱狭窄。但是，这些已有的研究都是基于常规的特征提取方法进行的自动诊断，其模型识别精度还稍偏低。针对此问题，本文提出一种基于分步目标定位（Step-by-Step Target Positioning,SSTP）的腰椎间盘自动诊断系统，有助于提高腰椎间盘突出自动诊断的性能。本文提出的分步目标定位方法的精度明显优于目标定位方法，并且在识别腰椎间盘病灶时使用改进的ResNet-20 分类方法较传统ResNet-50 分类方法，准确率也有了相应的提高。该系统能够有效地帮助医生诊断腰椎间盘突出，具有重大的临床意义。

1 方法

1.1 腰椎间盘自动诊断系统

基于矢状腰椎MRI 图像的腰椎间盘突出症自动诊断系统如图1所示，共包含3 个过程：定位腰椎间盘轮廓区域，精细化定位腰椎间盘病灶区域，分类腰椎间盘。定位腰椎间盘轮廓区域和精细化定位腰椎间盘病灶区域这两个过程都属于目标定位，主要功能是去除噪声并解决因目标太小而无法准确定位病灶区域的问题；分类腰椎间盘主要功能是对腰椎间盘的严重性进行分级，主要分为3 类：正常、膨出、突出。

图1 腰椎间盘自动诊断框架图Fig.1 Automatic diagnosis frame of lumbar intervertebral disc

1.2 腰椎间盘病灶区域自动定位

本文在腰椎间盘病灶目标定位上使用的是Ren［13］等于2016年提出的Faster R-CNN网络，因为Faster RCNN网络是在Fast R-CNN网络的基础上的改进算法，其在Fast R-CNN网络的基础上引入了区域建议（Region Proposal Networks,RPN）网络，RPN网络在腰椎间盘病灶特征图上进行候选框的自动提取，有效解决了因采用选择性搜索导致的运算量较大的问题，从而在临床上可提供实效性的腰椎间盘自动诊断［14］。

第一阶段自动定位腰椎间盘轮廓区域，将腰椎间盘MRI 图像输入Faster R-CNN 网络，Fast R-CNN网络与RPN 网络共享卷积层，经过卷积得到输入的腰椎间盘特征图，RPN 网络通过滑动窗口对输入的腰椎间盘特征图进行3×3 的滑动卷积。滑动窗口将这些腰椎间盘特征映射到一个较低维向量（本文中使用的VGG16 网络为512-d），该低维向量进一步输入到区域分类层和回归层。

第二阶段精细化定位腰椎间盘病灶区域，将第一阶段获得的腰椎间盘MRI 图像的轮廓放大3 倍后输入到Faster R-CNN 网络中，该网络首先将conv 层、relu 层和pooling 层组合，提取腰椎间盘MRI 图像的特征映射，得到的腰椎间盘特征映射被RPN 网络和ROI pooling 层共享。RPN 网络用于生成腰椎间盘病灶候选区域。腰椎间盘病灶候选区域与特征映射一起送入ROI pooling 层，提取可代表腰椎间盘病灶候选区域的特征映射，然后输入全连接层定位腰椎间盘病灶的边界。

在定位腰椎间盘病灶区域过程中，训练RPN 网络需要生成腰椎间盘锚框，腰椎间盘锚框由3种面积（1282，2562，5122）和3 种长宽比（1：1，1：2，2：1）组成，本文使用交并比（Interest over Union,IoU）筛选腰椎间盘锚框以确定病灶区域和非病灶区域，从而构建训练样本，腰椎间盘锚框选取规则如表1所示［15］。

表1 腰椎间盘锚框选取规则Tab.1 Selection rules for anchor frame of lumbar intervertebral disc

在训练网络时，本文中分步定位腰椎间盘病灶区域使用的优化算法是批随机梯度下降法，其中损失函数如式（1）所示［16］：

式中，分类和目标定位的输出表示为{pi} 和{ti} ，其中i表示训练中具体的腰椎间盘锚框，pi表示腰椎间盘锚框预测为腰椎间盘病灶区域的概率，pi*表示真实的类别，可用0 或1 表示。若腰椎间盘锚框表示为腰椎间盘病灶区域，则pi*表示为1，若为非腰椎间盘病灶区域则表示为0；ti、ti*分别表示腰椎间盘病灶区域预测框的参数坐标和真实目标框的参数坐标。其回归损失Lreg通过式（2）得到［17］；分别通过Ncls、Nreg和权重λ平衡分类和回归的损失，其中Ncls表示参与分类的腰椎间盘锚框个数，Nreg表示参与回归的腰椎间盘的锚框位置个数。

以往教师在对学生进行学习效果的检查时，只是单单的给学生布置一些习题，让学生独立地完成，但是这种方式同样会引起学生的厌烦心理，久而久之造成学生数学成绩的下降。当前已经研发出了很多科技产品，如各种学习机或者是平板电脑、手机等等，教师可以尝试利用这些高科技产物为学生准备一个简短的小游戏，在学生游戏的过程中，教师可以通过学生表现出来的各种情形直观地得到学生学习情况的真实反馈。

1.3 腰椎间盘病灶自动识别

在分步定位腰椎间盘病灶区域完成后，接着进行腰椎间盘病灶区域的自动识别，本文中使用的网络为改进的残差卷积神经网络，残差卷积神经网络因为建立前面层与后面层之间的“短路连接”而有助于训练过程中梯度的反向传播［18］。

虽然有很多应用已经用到了ResNet 网络［19］，其强大性能也得到了证实，但是它还是有一个显著缺点：通常层数越深的网络需要的训练时间越长，将其应用于实际场景的成本越高。因此，本论文中在基于ResNet-50 的基础上，结合腰椎间盘病灶区域MRI图像的特点，减少网络的层数，以适应医疗影像中样本量较少的应用场景，同时提高腰椎间盘病灶的识别准确率，提出一种改进的20 层的残差网络。改进的ResNet-20 整体结构图由4 部分构成，分别是：conv1、conv2_x、conv3_x、conv4_x。改进的ResNet-20的具体配置信息如表2所示。

表2 改进的ResNet-20的具体配置信息Tab.2 Specific configuration information of improved ResNet-20

输入到改进的ResNet-20网络中的腰椎间盘图像统一被缩放为200×100的尺寸大小。卷积层主要的功能是提取腰椎间盘病灶区域图像的特征，其包含多个卷积核，每个元素都与一个权重系数和偏置量一一对应［20］。腰椎间盘图像经过卷积层处理后，会将输出的病灶区域特征图送入池化层，以实现用较低维度的图像来表示原图像主要的特征信息。不仅可以减少全连接层参数的数量，而且可以防止出现过拟合现象，提高了所提取腰椎间盘病灶区域特征的稳健性。最后，含有3个神经元的全连接层作为输出层，在整个网络中起到分类的作用，该全连接层的输出通过Softmax非线性函数实现腰椎间盘的自动分类。

2 实验结果与分析

2.1 数据集

在本文中使用的MRI 图像和临床诊断报告均来源于西北大学附属医院（西安市第三医院）医学影像科。西北大学附属医院是一家三级甲等综合性医院,在骨病诊断中积累了丰富的病例数据，本文中使用的1 000例的矢状腰椎MRI图像由3名骨科医生共同标注，图像的格式为DICOM。

首先将DICOM 格式的图像转换为jpg 格式，腰椎间盘数据集如图3所示。通常医生使用二维矢状图来确定腰椎间盘病灶区域的严重程度，因此本文的影像是二维矢状图像。T1加权序列、T2加权自旋回波序列属于MRI 的两种比较常见的脉冲序列。相对T1加权，在T2加权MRI 中腰椎间盘与其他结构的差异性更大，因此，本文使用T2加权的磁共振成像。

图3 腰椎间盘数据集Fig.3 Lumbar intervertebral disc data set

本研究从1 000例病人中随机抽取了226例患者的1 130例矢状图进行了训练和测试，正常、膨出和突出样本数分别为634、271和225，每一张腰椎间盘图像标签都是由3名经验丰富的放射科医生共同讨论来决定。

2.2 实验设定

本文与常用的未去噪而直接定位腰椎间盘病灶区域的方法进行对比，两种算法参数取值保持一致。本文仿真实验硬件环境为LT-7048GR-TRG，4 块Pascal Titan X GPU，ubuntu1 6.04操作系统，软件环境为python2.7，开源深度学习框架caffe。

2.2.1 腰椎间盘病灶区域自动定位实验在进行腰椎间盘病灶区域定位时，首先将腰椎间盘MRI图片制作成Faster R-CNN网络需要的数据集，每个类别的数据集随机均分为5等份，其中4份为训练集，余下的1份为测试集。训练Faster R-CNN目标定位网络时，修改类别数以适应腰椎间盘严重级别数，并采用VGG16模型为骨干网络来提取腰椎间盘MRI图像的特征图。

在本文实验中，模型的最优参数设置如下：batch_size 为128，动量为0.9、学习率为0.01，权重衰减为0.000 5，最大迭代次数为60 000。使用平均精度（AP）作为Faster R-CNN 网络定位腰椎间盘病灶区域的评价指标，表示如式（3）所示：

式中，N是不同IoU 阈值的个数，P(k)是第k个阈值下的对应精度，Δr(k)是第k个与第k- 1 个阈值对应召回率之间的变化值。

利用SSTP对腰椎间盘进行识别，得到的测试精度AP值为1，说明全部的腰椎间盘被正确检测出来。同时，相较于利用目标定位识别腰椎间盘得到的测试精度，总体提高了9%的AP值。实验验证了本文提出的SSTP方法优于直接定位腰椎间盘病灶区域的方法。图4为SSTP方法在Faster R-CNN网络最优状态下的AP值和损失。可以看出SSTP方法在定位腰椎间盘轮廓区域和精细化定位腰椎间盘病灶区域时的两个loss曲线随着迭代次数的增大均快速收敛。实验中，部分图像的分步定位效果如图5所示，其中的具体位置信息（图5b中的腰椎间盘从下到上）如表3所示。

图4 SSTP方法的AP值和loss曲线Fig.4 AP value and loss curve of step-by-step target positioning(SSTP)method

图5 腰椎间盘分步定位效果图Fig.5 Results of SSTP on lumbar intervertebral disc

表3 腰椎间盘分步定位图像的坐标位置Tab.3 Coordinate position of lumbar intervertebral disc images after SSTP

2.2.2 腰椎间盘病灶区域自动识别实验目标定位完成后，将腰椎间盘MRI图像以8：2的比例划分为训练集和测试集，生成两个.txt文档，将这两个.txt文档转换成框架可识别的db 文件，利用框架自带的均值处理工具得到均值文件；然后搭建改进的ResNet-20 网络，修改网络参数的分类数以适配腰椎间盘自动诊断问题。

该实验中设置batch_size 为64，动量为0.9、学习率为0.01、权重衰减为0.000 5、最大迭代次数为10 000的最优状态下的参数组合进行腰椎间盘病灶区域样本的训练，实验评价标准为腰椎间盘图像测试集分类准确率（Accuracy），表示如式（4）所示：

其中，M为腰椎间盘测试集样本总数，N为腰椎间盘测试集中正确分类样本数。

使用SSTP 分步定位方法结合改进后的ResNet-20 分类网络自动诊断腰椎间盘，其准确率达到了89.3%，与利用目标定位结合改进的ResNet-20 分类网络的准确率相比较，总体提高了约5.1%；若使用传统未改进的ResNet-50 分类网络，目标定位方法和SSTP 定位方法分别与其结合，得到的准确率分别为82.4%、85.9%，两种方法的准确率均低于改进的残差网络ResNet-20 的准确率。实验结果进一步验证了SSTP分步定位方法去除了非腰椎间盘病灶区域的噪声且放大了间盘而使模型更易获取腰椎间盘病灶区域，进一步使用改进的残差网络ResNet-20 对间盘的分类准确率更高。图6为ResNet-20网络在最优状态下的测试精度和损失。可以看到ResNet-20 网络的训练损失值随着迭代次数的增加不断收敛至几乎接近于0。

图6 ResNet-20网络最优状态下的测试精度和损失Fig.6 Test accuracy and loss of ResNet-20 network in the optimal state

3 结论

本文提出一种基于分步目标定位的腰椎间盘突出自动诊断系统。该SSTP 方法对腰椎间盘MRI 图像进行两步操作，分别是定位腰椎间盘轮廓区域，精细化定位腰椎间盘病灶区域。由于传统的目标定位的方法在实际检测的过程中，会存在一些腰椎间盘病灶区域的漏检情况。因此，本文首先获取腰椎间盘MRI 图像大致轮廓，然后将获得的间盘轮廓进行放大后精准定位病灶区域，大大提高了病态腰椎间盘的检出率，实验表明本文方法可将全部的病态腰椎间盘检测出来。本文在分类过程中，利用改进的ResNet-20网络与ResNet-50网络进行对比，准确率提高了约5%。

这个系统也有以下几点不足之处：首先，本文仅使用了矢状图，探索矢状图和轴状图融合的算法有希望进一步提升诊断模型的性能；其次，本实验使用的数据较少，下一步将通过收集多中心的数据，可进一步提升准确率；最后，在本文算法研究的基础上，还需要开发可临床应用的软件，用临床数据来验证方法的有效性，通过应用可收集更多的数据。