U形网络的脊椎分割改进方法研究

梁淑芬 杨芳臣 秦传波

摘  要： 针对当前U?Net网络模型以及相关卷积网络在脊椎分割中分割边缘精度低，对目标的识别率低等问题，提出几种改进的语义分割网络模型。考虑到脊椎MRI图像中目标区域连续且集中，并存在复数微小區域，边缘特征丰富，运用新型卷积块替换标准卷积结构，利用多路径思想，融入复数编解码器结构，降低运算复杂度，提升边缘特征提取力度，应对不同的特征提取问题。模型在SpineWeb的High anisotropy MRIs of the lower back数据集2 000张脊椎图像上做实验，运用训练好的模型对同组脊椎MRI图像作预测。实验结果显示，网络模型的预测结果与提供的真值标签在Dice系数以及Precision系数等几项评价指标上分别达到0.891和0.894。

关键词： 脊椎分割; 网络模型; U形网络; 结构替换; 特征提取; 图像预测

中图分类号： TN911.73?34                       文献标识码： A                         文章编号： 1004?373X（2020）21?0031?04

Improved spinal segmentation method based on U?net

LIANG Shufen， YANG Fangchen， QIN Chuanbo

（Wuyi University， Jiangmen 529020， China）

Abstract： As the current U?net models and related convolution networks have low accuracy of edge segmentation in spinal segmentation， several improved semantic segmentation network models are proposed. Since the continuity and concentration of target areas in the spine MRI （magnetic resonance imaging） images， plural small areas and rich edge features are considered， a new convolution block is used in the method to replace standard convolution structure. Several codec structures are integrated with an idea of multi?path， which can reduce the computation complexity and improve segmentation edge feature extraction to deal with different feature extraction. The experiments of 2 000 spinal images in SpineWeb′s High Anisotropy MRIs of the Lower Back dataset were carried out， using the trained model to forecast the spine MRI images in the same group. The experimental results show that the prediction results of the network model and evaluation indexes on the provided truth?value label for Dice coefficient and Precision coefficient have reached 0.891 and 0.894.

Keywords： spinal segmentation; network model; U?net; structure replacement; feature extraction; image prediction

0  引  言

脊柱是人体的支柱，具有负重、减震、保护及日常运动的功能。随着人们工作生活节奏的日益加快，脊柱问题成为现代社会普遍存在、亟待解决的健康问题[1?3]。脊椎医学影像的研究对辅助临床诊断解决脊椎问题有重要意义，其中脊椎分割一直是医学界的一项重要挑战[4]。

为实现图像的精准分割，国内外研究学者考虑诸多方法，传统方法中边缘检测法[5]、基于阈值的分割法[6]、区域生长法[7?9]、基于活动轮廓的方法[10]、基于聚类的分割方法[11?12]等。但由于传统方法分割过程繁琐，医学影像采集设备噪声影响等，分割质量有限。

与传统的图像分割方式相比，深度卷积网络具有自动提取特征的特点，深度学习的方法对有标签的数据处理，尤其是语义分割领域具有显见的优势。文献[13]提出的FCN（Fully Convolutional Networks）架构将神经网络应用于端到端的图像语义分割领域，并取得了显著效果。文献[14]提出的基于FCN网络架构的语义分割方法U?Net网络框架，通过带标签训练达到较高精度的语义分割，对医学图像分割的发展启发深远。文献[15]构成的残差网络降低了网络复杂度。文献[16]所述的Dense致密结构，通过特征融合更加紧密的快捷连接，提升了医学图像特征的利用率，增强了语义分割效果。结合残差结构以及可分离卷积结构，文献[17]提出一种卷积块用于降低网络复杂度，减少计算量。文献[18]融合残差结构与注意力机制等，提出一种双解码器的网络结构，提升分割精度等。结合前述基于卷积神经网络的分割方法，针对脊椎图像医学特点，提出基于U?Net架构的语义分割改进网络，实现脊椎影像更精确的脊椎分割。

1  方法介绍

1.1  编解码网络

文献[13]证明了经端到端、像素到像素训练过程的卷积神经网络优于当前语义分割中最先进技术，并通过標准卷积形成卷积块结构，搭建出完全由卷积组成的卷积编解码FCN网络，其结构如图1所示。

文献[19]运用FCN获得较高精度的分割结果;文献[20]运用基于FCN的方法在林木图像上获得了良好的分割效果。

与FCN结构比较，U?Net架构则更灵活，同样采用编?解码器架构，通过完善网络结构中的扩张路径，与收缩路径对应地逐步恢复图像尺寸，二者共同组成一个对称的结构，如图2所示。

文献[21]实现了基于U?Net的肺部影像自动分割;文献[22]分割肺部肿瘤图像，获得了更精确的结果。此外还有些应用于鼻咽喉肿瘤[23]和脊椎分割[24]，效果显著。

编解码网络使用的带标签数据通常很少，经过相应预处理，就能训练得到比较精确的分割结果，适应能力较强。但特征图谱的维度会随网络深度的加深而增加，导致目标分割计算量增加。同时，图像在收缩路径中不断地损失图像细节，到扩张路径时，也会遇到难以恢复图像边缘等问题阻碍。

1.2  基于U?Net的改进网络

针对U?Net应用于医学图像分割时存在的问题，Res?U?Net（Residual U?Net）融入了文献[15]的残差结构，将U型网络中普通卷积块转换成残差块。如图3a）所示，残差块由标准卷积和快捷连接（Shortcut Connection）构成，可降低复杂度，减少计算量。

但残差结构也会损失部分信息，为了稳定图像的分割精度，并进一步降低复杂度，Dense?U?Net网络运用文献[16]的致密结构，如图3b）所示。Dense结构在一定程度上缓解了神经网络训练过程中梯度消失的问题，同时增强了对象特征传播，促进特征复用。

实验表明，致密结构需有较深层的卷积块支撑，且输出端的特征维度比较大。文献[17]提出一种DAB结构（Depth?wise Asymmetric Bottleneck）构成新卷积块，使用ResNet[15]中的瓶颈结构，能在减少参数的同时稳定分割精度。

DAB结构块如图3c）所示，运用可分离卷积的结构思路，结合残差网络降低复杂度的特点，由标准卷积层、分离卷积层和1×1核卷积层组成非对称式DAB卷积块。

改进的网络DAB?U?Net仍使用编?解码器结构，将普通卷积替换为对应的DAB卷积。编码器提取语义信息，解码器获取图像细节;网络运用密集型skip connection，通过Feature Interaction将编码器部分的所有特征整合并传递到高层特征中，减缓因编码降采样导致的信息丢失。

运用文献[18]提出的RIC?U?Net网络结构，同时为更进一步利用DAB卷积块提取的特征信息，在DAB?U?Net基础上增加一条编码路径，保留跳层连接，通过新编码器更新特征提取，补充单条编解码路径损失的信息。改进的网络模型为W型结构，经过不同程度调整，先后有W1，W2和W3三个版本结构，如图4a）所示。DAB?W?Net网络进一步提升特征利用率。

通过增加预编码路径，促使网络提前进入数据压缩阶段，形成DABN?Net网络结构，如图4b）所示。改进的DABN?Net网络增加了预编码路径，采用标准卷积块，初步提取特征，获得更简洁的数据信息后再输入常规DAB?U?Net网络中，强化对目标特征的提取能力，提升分割精度。

实现分割的系统流程图如图5所示，先对数据集作预处理，然后输入到网络中训练。

以图像尺寸为标准，对原图和标签集同步作缩放倾斜等随机形变，实现数据扩增。

2  结果与分析

2.1  实验材料

实验使用SpineWeb的High anisotropy MRIs of the lower back数据集[25?26]。包含195例人体脊柱的腰椎MRI扫描图像，其尺寸范围在512×512～1 024×1 024之间。为方便实验，对所选图像进行预处理增强并规范到512×512，最后按3∶1∶1比例分配实验。根据实际背景，实验设备配置见表1。

2.2  评价指标

为定量分析提出方法的分割性能，检验方法的分割效果，文中运用几种常见的评价指标，包括Accuracy，Sensitivity，Specificity，Precision，[F1] Score，Jaccard Similarity以及Dice Coefficient。根据研究对象特点选择其中五项为各方法作分割性能上的定量评估。

Sensitivity系数，又称召回率，表示所有正像素中标注正确的像素集所占比例，衡量分割方法对正像素的识别能力。

Specificity指标，又称真阴性率，表示所有负像素中被标注正确的像素集合所占比例，衡量分割方法对负像素的识别能力。

Precision表示精度，又称查准率，是图像分割精确性的度量参数，是被标注为正的像素集合中实际为正的像素集合所占比例，衡量模型对正像素点的预测能力。

Jaccard相似性系数，给定两个集合，正负集A，B，Jaccard系数表示集合A，B之间的交集与它们之间的并集的比值。

Dice Coefficient系数为图像中两个目标形状之间交集面积占总面积的比值，值越大，分割结果越好，完美重合时值为1。

2.3  实验结果与分析

实验流程如图5所示，在同一系统下使用不同网络模型对MRI脊椎图像进行训练。经过后处理，将网络预测输出的脊椎分割结果图像转换为二值图像，如图6a）所示。

比较预测结果，显示DABW2?Net、DABW3?Net以及DABN?Net几个分割网络对医学脊椎原图的椎骨细节描述能力更强，展现的细节更为全面，其余包括U?Net，ResU?Net等模型在实验预测过程中，都有不同程度的信息丢失。将训练好的模型应用于临床数据，得到如图6b）所示分割结果。

实验表明，提出的改进网络模型可以进行临床分割，效果显著。

如表2所示，提出的改进网络对脊椎的分割在识别能力上有所强化，分割结果与标签更相似。此外，通过对比原图与标签不难发现，人工标签明显存在一些误差，导致部分模型分割指标数据稍有波动。但总体上，模型性能都略优于传统卷积方法。

3  结  论

本文提出几种改进的基于U?Net网络模型的脊椎MRI医学影像分割网络模型，通过对网络作改进，提升网络分割精度，增加网络深度。将预处理后的图集输入到改进的U型网络模型中进行训练，改进的网络在分割精度方面有所提高，对比同类型算法，所需训练样本较少，训练速度较快。实验结果表明，改进的分割网络能有效分割脊椎MRI图像。

注：本文通讯作者为秦传波。

参考文献

[1] 吴旻昊，孙文超，闫飞飞，等.早发型脊柱侧弯的治疗研究与新进展[J].中国组织工程研究，2017，21（3）：433?439.

[2] 尹庆水.脊椎相关疾病研究现状及面临的挑战[J].中国骨科临床与基础研究杂志，2014（2）：69?72.

[3] 顾菊平，程天宇，华亮，等.面向脊柱生物建模的图像分割与配准研究综述[J].系统仿真学报，2019，31（2）：167?173.

[4] RAMU S M， RAJAPPA M， KRITHIVASAN K， et al. A novel fast medical image segmentation scheme for anatomical scans [J]. Multimedia tools and applications， 2019， 78（15）： 1?32.

[5] 钮圣虓，王盛，杨晶晶，等.完全基于边缘信息的快速图像分割算法[J].计算机辅助设计与图形学学报，2016，24（11）：1410?1419.

[6] 李滚，刘欢，柯善群.脊椎图像分割与椎体信息提取的算法及应用[J].电子设计工程，2017，25（16）：183?186.

[7] 肖明尧，李雄飞，张小利，等.基于多尺度的区域生长的图像分割算法[J].吉林大学学报（工学版），2017，47（5）：1591?1597.

[8] 曾鹏，王正勇，滕奇志.一种基于区域生长算法的脊椎椎体提取方法[J].科学技术与工程，2014，14（6）：222?225.

[9] GAO Huilin， DOU Lihua， CHEN Wenjie， et al. The applications of image segmentation techniques in medical CT images [EB/OL]. [2011?01?26]. https：//www.researchgate.net/publication/252035024.

[10] DOMINIK G， Gl?WKA P， KOTWICKI T， et al. Automatic spine tissue segmentation from MRI data based on cascade of boosted classifiers and active appearance model [EB/OL]. [2018?04?29]. https：//www.ncbi.nlm.nih.gov/pmc/articles/PMC5949193/.

[11] TIAN Yuan， GUAN Tao， WANG Cheng， et al. Interactive foreground segmentation method using mean shift and graph cuts [J]. Sensor review， 2009， 29（2）： 157?162.

[12] 叶伟，陶晶，陈小宇，等.一种新颖的MR脊柱图像自动分割算法研究[J].中国医疗设备，2018，33（9）：61?64.

[13] LONG J， SHELHAMER E， DARRELL T. Fully convolutional networks for semantic segmentation [J]. IEEE transactions on pattern analysis & machine intelligence， 2014， 39（4）： 640?651.

[14] RONNEBERGER O， FISCHER P， BROX T. U?Net： convolutional networks for biomedical image segmentation [C]// MICCAI 2015： Medical Image Computing and Computer?Assisted Intervention. Munich， Germany： IEEE， 2015： 234?241.

[15] HE Kaiming， ZHANG Xiangyu， REN Shaoqing， et al. Deep residual learning for image recognition [C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegas， NV， USA： IEEE， 2016： 770?778.

[16] HUANG Gao， LIU Zhuang， VAN DER MAATEN L， et al. Densely connected convolutional networks [EB/OL]. [2018?01?28]. https：//www.researchgate.net/publication/319770123.

[17] LI Gen， YUN I， KIM J， et al. DABNet： depth?wise asymmetric bottleneck for real?time semantic segmentation [EB/OL]. [2019?07?26]. https：//github.com/nemonameless/DABNet.

[18] ZENG Zitao， XIE Weihao， ZHANG Yunzhe， et al. RIC?Unet： an improved neural network based on Unet for nuclei segmentation in histology images [J]. IEEE access， 2019， 7： 21420?21428.

[19] 郭树旭，马树志，李晶，等.基于全卷积神经网络的肝脏CT影像分割研究[J].计算机工程与应用，2017，53（18）：126?131.

[20] 黄英来，刘亚檀，任洪娥.基于全卷积神经网络的林木图像分割[J].计算机工程与应用，2019，55（4）：219?224.

[21] 袁甜，程红阳，陈云虹，等.基于U?Net网络的肺部CT图像分割算法[J].自动化与仪器仪表，2017（6）：59?61.

[22] 周鲁科，朱信忠.基于U?Net网络的肺部肿瘤图像分割算法研究[J].信息与电脑（理论版），2018（5）：41?44.

[23] 潘沛克，王艳，罗勇，等.基于U?net模型的全自动鼻咽肿瘤MR图像分割[J].计算机应用，2019，39（4）：1183?1188.

[24] 刘忠利，陈光，单志勇，等.基于深度学习的脊柱CT图像分割[J].计算机应用与软件，2018，35（10）：206?210.

[25] EGGER J， NIMSKY C， KOLB A. Robust detection and segmentation for diagnosis of vertebral diseases using routine MR images [J]. Computer graphics forum， 2015， 33（6）： 190?204.

[26] EGGER J， ZUKI? D， FREISLEBEN B， et al. Segmentation of pituitary adenoma： a graph?based method vs. a balloon inflation method [J]. Computer methods and programs in biomedicine， 2013， 110（3）： 268?278.

作者简介：梁淑芬（1975—），女，广东江门人，硕士，副教授，主要研究方向为模式识别、信号处理与通信研究等。

杨芳臣（1995—），男，江西宜春人，硕士，主要研究方向为图像处理。

秦传波（1982—），男，安徽宿州人，博士，讲师，主要研究方向为生物特征识别、医学影像处理。