基于全卷积网络的胎儿脑部超声图像分割算法

叶海，冯开平，谢红宁

（1.广东工业大学计算机学院，广州510006；2.广东工业大学艺术与设计学院，广州510090；3.中山大学附属第一医院妇产超声科，广州510080）

0 引言

胎儿中枢神经系统（Fetal central Nervous System，CNS）是世界上最为常见的胎儿先天性疾病之一，相关研究[1]表明出生儿中中枢神经系统的畸形发生率高达3-4%，仅次于先天性心脏病。随着超声技术的不断发展，胎儿超声技术由于其独特的优势被广泛运用于产前诊断，有效地减少和预防缺陷儿的出生，提高了人口质量。但胎儿中枢神经系统的发育是一个十分复杂的过程，尤其是胎儿脑部的病变特征十分细微难以分辨，而有丰富临床经验的产科医生和超声设备在基层地区十分稀缺。所以，利用深度学习方法为医生提供一个可靠的辅助诊断工具是十分有意义的。

近年几年来，胎儿超声图像处理有一些已发表的工作。Yu Z 等人[2]提出一种基于深度学习的胎儿超声标准切面的识别方法，Baumgartner 等人[3]利用深度学习方法实现了标准切面的实时检测，用以辅助医生作为临床诊断的工具。医学作为临床诊断的一个重要步骤在深度学习领域已经有越来越多的研究和成果，目前如何利用深度学习方法实现胎儿疾病诊断将成为下一个研究的重点和难点。

胎儿超声图像中存在大量的噪声，不利于异常疾病的分类和诊断。有别于通用其他医疗影像分类，胎儿超声图像识别的实质是细粒度图像识别，需要对相似度极高的病变区域进行分割。目前已有许多针对不同部位和种类医疗影像分割方法，周成礼等人[4]提出基于最大熵的股骨分割方法，王恒立等人[5]提出和本文类似的全卷积网络对乳腺癌进行分割，而对于胎儿脑部区域细粒度图像的分割方法少有相关的研究。本文提出基于全卷积的图像分割方法对颅骨光环进行分割，并加入空洞卷积进行改进。此分割方法也可轻易地扩展到其他医疗图像分割领域，作为消除噪声和目标区域提取的一种手段。

1 方法

1.1 数据组成及预处理

本实验数据集由16209 张18 至32 周正常胎儿脑部超声图像组成，为了提升模型的鲁棒性和可靠性，使用3 种不同格式的图片作为本次实验的数据集。分别是由影像归档和通信系统（Picture Archiving and Communication Systems，PACS）导出的单幅图超声图像、双幅图超声图像以及由视频切割出的帧，同一格式的所有超声图像都是来自各种各样的生产环境和机器型号，以保证本次实验的结果对真实生产环境有一个相对准确的评估。不同格式数据组成见表1。

表1 不同格式数据训练集和测试集划分

在进入模型之前，将所有原始图像从三通道的彩色图像转化为单通道的灰度图像，并对每张图像做一次z-score 标准化操作，即每张图片减去所有图片的均值并除以他们的标准差，将有数据分布差异的图像转化为统一的量级，以保证数据集的可比性，增强网络的稳定性。z-score 标准化可表示为：

其中x 为原图像素值，μ 为数据集像素均值，σ 为数据集像素标准差，经z-score 标准化的数据集将被resize 成256×256 大小作为模型的输入。最终将所有数据划分为训练集和测试集。训练集和测试集的划分结果见表1。

1.2 U-Net网络模型

U-Net[6]是全卷积网络（Fully Convolutional Network，FCN）[7]的一种改进模型，它由一个256×256 尺寸的灰度图像作为输入，同样256×256 尺寸的特征图作为输出。整个U-Net 架构可分为两个部分，伴随下采样的特征提取过程和伴随上采样的特征扩张过程。下采样过程中，原始输入图像将通过两个3×3 大小，步长（stride）为1，填充（padding）为1 的卷积核，每个卷积核后都跟随着一个线性整流函数（Rectified Linear Unit，ReLU）作为激活函数，随后经过2×2 的池化层下采样。在下采样过程中，采用上述操作后的每组特征图数量变为原来的两倍，尺寸变为原来的一半。上采样过程中，被压缩成8×8 大小的1024 张特征图通过2×2大小的转置卷积[8]进行上采样，此外每次上采样后的特征图将与下采样过程中相应大小的特征图做级联（Concatenate）操作用以融合未采样之前的特征信息，再通过与下采样过程中同样的卷积，重复五次后最终得到一个原始图像尺寸的单通道图像作为模型的输出。本实验U-Net 模型结构如图1 所示。

图1 空洞卷积在不同扩张率下的感受野

1.3 空洞卷积

大多数DCNN 中都有一个明显的缺陷，即采样是一个不可学习的过程。采样（向上或向下）特征图后，会丢失特征图原有的内部数据结构和空间层级信息，这意味着一组小区域的像素无法通过相反的采样操作进行重构。直观地讲，U-Net 模型在下采样过程中图像经过数次池化（pooling）操作所丢失的信息在上采样过程中无法被弥补，而分割颅骨光环区域不仅需要纹理、边缘、颜色等局部图像特征，还需要获取脑部整体结构和不同器官之间位置排列关系。为了更好地提取这种全局信息，对原始的U-Net 中添加了空洞卷积（Dilated Convolution）[18]，空洞卷积可以有效地提升感受野的同时不需要减小图像大小，避免池化操作带来的信息损失，是获取广泛信息的一种有效方法。

图2 空洞卷积在不同扩张率下的感受野

空洞卷积的实现形式如图2 所示，空洞卷积将卷积中连续的像素间隔开，从而扩大感受野。图2（a）中卷积核大小为3×3，扩张率为1 的空洞卷积（Conv 3×3，dilation=1）和普通卷积操作一样感受野为3×3。而图2（b）中扩张率为2 的空洞卷积只对红色像素点做卷积操作，实际卷积核大小还是3×3，但感受野已经增大为蓝色区域的7×7。换句话说，经过空洞卷积的特征图可以比非空洞的那一层“看到”更多，对于需要处理大尺寸特征图的初始卷积层来说，空洞卷积可以有效地忽略一些细节而更专注于整体结构信息的获取。

本次实验经过对比和分析，将原始U-Net 中下采样过程的第二层和第三层卷积层替换为扩张率为2 的空洞卷积。

2 实验与讨论

2.1 实验结果分析及对比

本文采用相似度系数（Dice coefficient）、精确率（precision）、召回率（recall）和两者的调和平均数F1-score 评价原始模型和加入空洞卷积后模型的性能，即对给定的测试数据集，对两种模型的分割结果分别做定量分析。精确率和召回率是一组相互影响的评价指标，精确率用来衡量正确分割的像素中属于分割结果像素的比例，召回率用来衡量正确分割的像素中属于人工标注像素的比例。在理想状态下实验追求两者都高，但实际情况是精确率和召回率两者相互制约，往往两种标准难以对比。F1-score 是一种精确率和召回率的调和平均数，用来衡量精确率和召回率之间的总体平均分布程度，能够利用两者更好地评估模型的性能，F1-score 越高说明模型的总体性能越好。

原始模型和改进模型各个评价指标如表2 所示。由表2 可以看出，经过空洞卷积改进过的分割方法在精确率上比原始方法更高9.6%，这表明改进后的方法会分割地更精细，会尽可能将冗余信息都排除在分割区域外，剔除更多的噪声。但召回率的下降7.6%同时也意味着模型可能会过分割一些有效区域，例如本文中颅骨光环的颅骨区域。在标注时本实验将椭圆区域尽可能扩大到颅骨光环外围区域，以方便例如头型异常等疾病的后续识别工作，低召回率对于脑部疾病诊断的负面影响并不大。但从整体上看，F1-score 和Dice 系数分别提升了1.2%和1.1%，实验证明加入空洞卷积对于U-Net 分割结果取得了良好的效果。

表2 各结构U-Net 模型分割评价结果比较

2.2 实验结果分析及对比

图3 不同切面和数据格式分割效果

图3 随机选取了不同切面和数据格式的超声图像，经过分割模型后的结果。其中左图为原图，右图中蓝色椭圆区域为分割结果所拟合的椭圆，对拟合的椭圆区域做外接矩形框，将分割图像提取，即可得到需要的目标分割图片。

图中（a）、（b）两幅图比较了小脑切面和双顶径切面在同一分割模型下的分割结果，（c）图和（a）、（b）两图比较了视频帧和单幅图在同一分割模型下的分割结果。对比后发现，模型对于不同格式和切面的数据集有良好的分割结果，具有一定的鲁棒性和稳定性。同时分割结果中保留了胎儿脑部各个组织结构和器官，剔除了无关的噪声和声影区域，达成了去除噪声的目的。

3 结语

提出了一种带有空洞卷积的U-Net 分割模型对胎儿脑部超声图像有效区域进行自动提取，训练后的模型使用测试数据集对不同结构的模型进行测试并进行定量分析。对实验结果分析发现，使用空洞卷积的U-Net模型会提高精确率提升并且降低召回率，扩张率的选择对模型有很大的影响，若扩张率使用不当会导致改进模型比原模型分割效果差。实验中所有模型的预测耗时并无显著差异，表明加入空洞卷积的U-Net 能够有效提升分割准确率和分割效率，同时实验分割效果分析表明模型对不同切面和生成环境下的数据都具有良好的分割效果，具有良好的稳定性和鲁棒性。此方法能够有效和可靠地去除医疗图像噪声，为提高后续胎儿脑部超声图像检测和分类准确率打下良好的基础。