基于D-UNET的胎儿产前超声检测

李志昂， 马宗庆， 王 艳， 张 波， 罗 红， 周激流

(1.四川大学电子信息学院， 成都610065； 2.四川大学计算机学院， 成都 610065；3.四川大学华西第二医院超声科， 成都 610065)

1 引 言

出生缺陷会导致新生儿死亡，会给新生儿家庭带来沉重打击与负担.产前检查可以及早发现胎儿缺陷，对判断是否继续妊娠具有较高的应用价值.超声成像是利用超声声束扫描人体，通过对反射信号的接收、处理，以获得体内器官的图像.医学超声成像无辐射、实时且廉价,已成为胎儿产前诊断的首选影像模式.通过超声检查不仅可以及时发现胎儿的体表缺陷，还可对胎儿的解剖结构进行测量，进而发现潜在异常.产前超声诊断通过对解剖结构的标准切面定位以及腹围，股骨，头臀径等生物学参数的测量，可以对胎儿的生长状况进行检测以及早发现异常，从而减少婴儿先天畸形率、婴儿和孕妇的死亡率.产前超声诊断的关键在于对超声图像检查的准确性.在实际超声检测中，检测结果通常依赖于医生手动进行检测，该方法操作重复且效率低下同时严重依赖医生的经验，这些缺点常常会导致检测的准确率下降.因此，迫切需要针对胎儿生物参数的自动测量方法来减轻对医师的依赖，从而降低误诊率.

目前，在医学图像领域，已有大量的传统算法和机器学习模型用于检测胎儿的生物参数.Chalana等[1-3]提出基于活动轮廓模型的方法来检测头围，但其检测不能全自动进行并且在训练轮廓各点时对手工操作要求高.Shan等[4-5]提出了基于可形变模型的方法检测头围，但该方法没有考虑纹理结构的空间特征从而检测准确率并不高.另外，Zhang等[6]提取了胎儿超声的纹理特征，根据纹理特征检测边缘，再根据距离计算股骨长.Wang等[7]利用最大熵分割法计算股骨区域中最大矩阵的对角长作为股骨长.罗娜等[8]提出一种基于Frangi滤波器的股骨自动测量方法，能自动检测股骨区域，并对股骨进行定位.李璟等[9]提出了一种基于随机森林的算法从超声图像中检测感兴趣部位.这些方法虽然能在一定程度上检测感兴趣部位但也普遍存在一定的局限性，即无法保证精度与自动化测量同时达到较高的要求.

近年来，随着深度学习的发展，基于深度卷积神经网络的算法在各个领域都得到了广泛的应用且取得了较好的效果[10-12].而在医学图像中，医学图像分割是最为常见的基于深度卷积神经网络的研究课题.胡光亮等[13]和Özgün等[14]分别提出了基于卷积神经网络(CNN)和UNET[15]的分割算法来完成鼻咽肿瘤的区域分割任务和肾脏分割任务.Zhang等[16]提出了一种基于深度卷积神经网络对多模态脑部图像进行分割.Brosch等人[17]针对多发性硬化症提出了一种三维类UNET网络结构.

虽然深度卷积神经网络被广泛用于医学图像任务中，但针对胎儿超声图像的分割与参数检测的算法模型还很少.基于此，本文提出一种新型的D-UNET网络结构来进行胎儿超声图像感兴趣部位的自动分割以及相应的生物参数测量.该结构基于UNET，保留了UNET具有代表性的跳跃连接结构，并采用扩张卷积增大卷积核的感受野，使得在特征提取的过程中，网络能提取更多的上下文信息，从而消除局部歧义，得到更精确的分割结果，对股骨，腹围以及头臀径等结构进行更精准的定位，进而得到更加精准的生物参数测量值.

2 方 法

2.1 扩张卷积

近来的研究方法指出，上下文信息对图像分割的精确度有着至关重要的作用.然而，基于传统的卷积核，获得更多的上下文信息就要使用更大的卷积核，由此也会增加更多的参数，带来更多的时间和显存的消耗.针对这一问题，Yu等[18]提出了一种新的扩张卷积(Dilation Convolution)方式.扩张卷积原理如图1所示.图1中的圆点表示三种卷积方式的卷积核，大小都为3×3卷积，灰色区域表示感受野大小.图1(a)中扩张率为1，感受野大小为3×3，相当于普通卷积；图1(b)中扩张率为2，感受野大小为7×7.若采用图1(a)中卷积策略，要获得7×7大小的感受野，则需要7×7大小的卷积核，此时会相应增加参数量.类似的；图1(c)图的扩张率为4，感受野大小为15×15，若采用图1(a)卷积策略，要获得15×15的感受野，则需要15×15大小的卷积核.对比图2(a)～(c)可以看出，相比于普通卷积，扩张卷积在不增加参数数量的情况下具有更大的感受野，并能保证输出的特征映射大小保持不变.即扩张卷积在不增加参数的情况下能比普通卷积获得更多的上下文信息，进而得到更好的分割效果.

图1 扩张卷积示意图Fig.1 The schematic of dilation convolution

图2 D-UNET网络结构图Fig.2 The architecture of D-UNET

2.2 带参数的线性整流激活函数

激活函数的加入能使网络的输出具有非线性表达能力，理论上可以近似拟合任意函数.在传统的的网络模型中每一层卷积后通常采用ReLU激活函数，其表达式如下.

(1)

ReLU在训练过程中收敛速度较快，因此被广泛应用于各类网络模型中.但观察式(1)可以发现，当ReLU函数对应输入小于零时，函数输出均为0，从而导致神经元处于非激活状态，造成网络参数无法更新的问题.针对这一问题PReLU激活函数被提出.PReLU将小于0部分设置一个相对小的且虽数据变化的权值.从而避免神经元处于非激活状态，其表达式如下式.

(2)

式(2)中的a是可学习的参数.

2.3 D-UNET

本文提出的D-UNET网络结构如图2所示，该网络结构基于UNET，由图中左侧的收缩编码部分以及右侧的解码器部分组成，其中跳跃连接用以保存收缩编码过程中可能丢失的编码路径信息.收缩编码部分包括4个卷积块.每个卷积块包含3个3×3的卷积层，每个卷积层后面都会经过一个批标准化[19](Batch Normalization, BN)和一个带参数的线性整流(Parametric Rectified Linear Unit, PreLU)激活函数.批标准化的加入可以加快网络的收敛速度并控制过拟合，激活函数可以使网络具有非线性表达能力.每个卷积块将加倍特征图的数量.经过4个卷积块，特征图数量增加到512.另外，与传统的UNET不一样，每个卷积块的卷积都采用扩张卷积的策略，扩张大小分别为3,6,12,18(如图2所示)，如2.1节介绍，扩张卷积的策略能在不增加参数量的前提下提高网络上下文信息的提取能力.对编码得到的特征图，一方面我们将其经过一次全局池化以提供全局上下文信息，另一方面我们将特征空图通过上采样并和全局上下文信息一起通过跳跃连接与对应编码端部分级联，在经过一层1*1的卷积对特征图进行压缩，从而减少参数数量.通过逐层上采样，最终恢复到与输入图像同样大小，最后经过sigmoid层将输出结果放缩至0～1范围内，以输出最终的概率图，每个像素点的值对应表示属于分割部分的概率.

3 实验准备与实验结果

3.1 数据集准备

本文实验数据集来自四川大学华西医院，主要包括三个不同部位的数据：腹围、头臀径以及股骨.图3为本文所使用数据集的图像示例，图3(a)～(c)为胎儿腹围、头臀径以及股骨的标准切面，(d)～(f)是专家医师手动标注图，图3(g)～(i)是通过专家医师手动标注图生成的标准灰度掩模图.将图3(a)～(c)的标准切面图输入模型进行训练并将得到的结果与图3(g)～(i)的灰度掩模图进行损失计算，以此来计算损失并优化网络.

图3 标准切面与对应掩模图示例Fig.3 Examples of standard planes and corresponding mask

三个不同部位的数据集分别包含800张图片，其中560张作为训练集，240张作为测试集.数据集在未经处理之前在图片上都含有一些病人的敏感信息，包括病人的姓名性别等，经过裁剪将不必要的部分去掉.另外，为了增加数据量，提高网络的性能，减小过拟合的风险，本文做了相应的数据增强：首先对图片做固定裁剪，将大小为1716*1076的原图以不同的中心位置将其裁剪成5张512*512大小的图片，然后再随机水平翻转与或垂直翻转.

3.2 对比方法与评价指标

为了验证本文提出的D-UNET的性能，本文与三种深度卷积神经网络模型进行对比，三者分别为：FCN[20]，Segnet[21]以及UNET[15].FCN是一种端对端的模型，对任意的输入大小可以产生相应大小的输出，具有高效的推理和学习能力.Segnet采用Encoder-Decoder结构，并且在每次池化时都会保存max选出的权值在卷积核中的相对位置从而在上采样时进行恢复.UNET由两条路径组成:一条收缩路径和一条扩展路径.前者将输入图像编码成一组高级特征，构成输入的紧凑的中间表示，后者则利用这些特征生成一个像素级的分割掩码.此外，它还包括跳接连接，它将浅层的输出连接到后续层的输入，目的是传递在编码过程中可能丢失的信息.

为了定量的评估算法的分割性能，本文共采用了三种评价指标对本文模型性能进行定量的分析.

DSC(Dice Similarity Coefficient)用于度量实际分割结果与理论结果的重合程度.

(3)

其中，G表示医生手动标注的掩模图；P表示我们模型生成的掩模图；M(G∩P)表示模型分割区域与目标区域重合部分的大小，即分割正确的像素点个数；M(G)表示目标区域大小，即目标区域的像素点个数；M(P)表示模型分割区域大小.

PM(Prevent Match)可以度量漏分割的情况，而CR(Correspondence Ratio)可以度量误分割的情况.

(4)

(5)

其中，TPs表示模型分割正确的区域，即模型分割结果中分类正确的像素点的个数；FPs表示错误分割的区域，即模型分割结果中分类错误的像素点个数；G表示医生手动标注的掩模图；三者都是值越大评价结果越好.另一方面，自动参数测量有临床诊断的需要，本文还做了参数测量的评价.本文将计算不同模型分割得到的目标与专家手工标注的目标长度之间的差异，差异越小，说明模型效果越好.

3.3 胎儿腹围超声图像分割结果

本文所提方法及方法在腹围上的分割结果示例如图4所示.其中，较亮的线表示医师标注的结果，较暗的线表示各方法生成的分割结果.从图中的结果来看，FCN和Segnet的方法存在一些肉眼可见的缺陷，分割得到的边缘并不平滑.在测量对应的腹围周长时，这可能会带来较大的测量误差.而本文提出的D-UNET在边缘重合以及边缘平滑度上都优于其他三种算法.表1展示了各方法在胎儿腹围超声图像分割任务中各个指标的均值和标准差.通过观察表1可以发现，相较于其他三种方法，本文提出的D-UNET结构在DSC,PM,CR三个定量指标上都有较大程度的提升.总的来说，本文提出的D-UNET方法在分割准确性以及边缘平滑度上都得到了很高的提升.由此说明我们提出的D-UNET方法在经过网络改进后确实提升了分割的性能.

(a) source (b) FCN (C) Segnet (d) UNET (e) D-UNET

图4 腹围分割效果图

Fig.4 Segmentation results of abdominal circumference

(a) source (b) FCN (C) Segnet (d) UNET (e)D-UNET

图5 头臀径分割效果图

Fig.5 Segmentation results of crown-rump length

表1 各方法在腹围数据集上的性能比较

Tab.1 Comparison of different methods on abdominal circumference

腹围DSCPMCRFCN0.962(0.038)0.966(0.038)0.945(0.057)SEGNET0.973(0.018)0.974(0.019)0.960(0.024)UNET0.965(0.030)0.965(0.041)0.947(0.046)D-UNET0.975(0.018)0.981(0.015)0.966(0.022)

3.4 胎儿头臀径超声图像分割结果

本文所提方法及方法在头臀径上的分割结果示例如图5所示.相对于股骨，头臀径是更困难的分割任务，主要表现在头臀径的形状更复杂，边缘变化更多.此外，头臀径的左下方部分的像素值与周围组织接近.在该分割任务中，FCN,Segnet,UNET都出现了比腹围更严重的边缘不平滑问题，FCN方法甚至出现了误分类的情况.本文提出的D-UNET虽然分割的总体轮廓与专家医师标注得到的(图中较亮的线)区域非常接近，但在下方头颈部也出现了小的粗糙边界，其可能的原因在于源图中该部位的像素点与周围组织过于接近导致分割偏差，但其它部位边界依旧较为平滑.在表2中，D-UNET依旧获得了总体来看最好的分割结果.虽然Segnet方法在PM指标上与D-UNET有一样高的值，但Segnet网络相较本文的方法带来了更多的时间和空间的消耗.总的来说，在头臀径数据分割任务中，本文的D-UNET方法在保持边界相对平滑的情况下也达到了最佳的分割效果.

表2 各方法在头臀径数据集上的性能比较

Tab.2 Comparison of different methods on crown-rump

头臀径DSCPMCRFCN0.897(0.034)0.919(0.021)0.853(0.045)SEGNET0.942(0.017)0.928(0.014)0.907(0.021)UNET0.915(0.033)0.925(0.017)0.876(0.041)D-UNET0.957(0.009)0.928(0.013)0.922(0.014)

3.5 胎儿股骨超声图像分割结果

本文所提方法及方法在股骨上的分割结果示例如图6所示.股骨的测量相对其他两个数据集更难，一方面，股骨相对腹围以及头臀径，分割的区域更小，另一方面，股骨形态各异，长短不一，位置不固定.由图6可以看出，除本文提出的D-UNET外，其他三个方法分割的边界都不平滑，都出现了明显的锯齿状边界，两条线与两条线未重合的部分明显增多.由于分割区域的复杂性，分割的结果存在着更多的误分类与漏分类的情况.表3中的的各项指标远低于表1和表2中的相应指标也说明了这一点，其原因在于股骨的分割区域更小以及股骨形态与位置的不固定.总体来说，本文提出的D-UNET结构分割的结果无论在视觉效果上还是指标上都优于其他三种算法.由此说明本文的改进是有效的.

表3 各方法在股骨数据集上的性能比较

Tab.3 Comparison of different methods on femur

股骨DSCPMCRFCN0.697(0.044)0.548(0.062)0.538(0.054)SEGNET0.717(0.032)0.560(0.048)0.559(0.041)UNET0.725(0.034)0.587(0.051)0.572(0.044)D-UNET0.760(0.031)0.625(0.049)0.616(0.043)

(a) source (b) FCN (C) Segnet (d) UNET (e) D-UNET

图6 股骨分割效果图

Fig.6 Segmentation results of femur

图7 腹围长(AC)，头臀径长(CRL)以及股骨长(FL)的测量值

4 临床指标

DSC，PM,CR等指标关注的是对结构的定位是否准确，并不凸显其临床意义.腹围的周长，头臀径以及股骨的长度等实际生物参数的测量具有更明显的临床诊断的价值.长度测量结果是否在正常范围内，对判断或预测孕妇孕期，估计胎儿尺寸和质量具有十分重要的意义.因此，长度测量越准确，对医生的参考性就越大.图7展示了各方法在每个生物参数上的测量值以及医生手动标注的标准测量值.

图7中，横轴为测试样本数，纵轴为长度.三个测量值中，UNET和FCN的测量值偏离标准测量值较大，而Segnet与本文提出的D-UNET的方法测量值与标准测量值接近.在腹围和头臀径的测量中，D-UNET方法的测量值几乎等同于医生手工标注的标准测量值(D-UNET曲线几乎将标准测量值曲线所覆盖).对于股骨的测量，D-UNET的测量值虽与标准测量值存在一些偏差，但能保持较好的总体一致性.比如在股骨长度测量图的末端，其他三个对比方法都出现了不同程度的偏差，而本文中提出的D-UNET方法仍能保持与标准测量值相近的测量值.通过上述生物参数测量值的比较，证明了本文算法能实现很好的精度，在临床上可以很好的辅助医生进行测量工作.

5 结 论

本文针对胎儿生物参数的自动测量问题提出了一种基于卷积神经网络的深度学习算法D-UNET来辅助医生进行自动测量.本文提出的D-UNET结构，在保留了UNET优点的同时，会考虑更多图像上下文信息并且不会增加网络的计算量，不会增大网络的空间和时间消耗.

该D-UNET算法解决了一些其他深度卷积神经网络分割算法存在的一些问题，如边缘不够平滑，误分类样本多等，提高了分割的精度.通过与三个先进的深度卷积神经网络做对比，说明了D-UNET的有效性.通过在腹围头臀径以及股骨三个数据集上的定量和定性的比较，本文提出的D-UNET结构都表现了最好的性能.但在实验中也发现，在面对分割区域更小，更复杂的分割任务时，现有的方法仍存在漏分类与误分类的情况，有很大的改进空间，拟在后续实现更高精度的自动分割算法.