基于改进MultiRcsUNct网络的甲状腺超声图像分割

石 威，李昕泽，黄文昌，王宁浩1;，焦 阳，崔崤峣

（1. 中国科学技术大学生物医学工程学院（苏州） 生命科学与医学部，安徽合肥 230026；2. 中国科学院苏州医学工程技术研究所医用声学室，江苏苏州 215163）

0 引 言

甲状腺是人体重要的器官，其大小形态的变化在临床医学的诊断中有很重要的意义。目前，临床上常用超声来检查甲状腺[1-3]，但是由于甲状腺周围结构复杂，且甲状腺的形状和大小具有多样性[4]，导致对甲状腺的分割比较困难。

随着医学影像技术的发展，临床检查普及了计算机辅助诊断手段，促进了医学图像分割技术的发展，Long等[5]提出了全卷积神经网络（Fully Convolutional Nctwork， FCN），该网络将图像级的分类网络应用到图像分割领域，实现了像素级分类；Ronncbcrgcr等[6]基于FCN分割结果较粗糙的缺点，提出了U-Nct，该网络采用了对称式的编码-解码结构，并采用跳跃连接将编码阶段与解码阶段的特征相融合，从而实现了更精确的分割；Ding等[7]提出了一种改进的U-Nct模型（RcAgU-Nct），该网络模型将改进后的残差单元嵌入编码和解码路径之间的跳跃连接中，并引入注意力机制将浅层和深层获得的权值特征映射加倍；Ibtchaz 等[8]提出了MultiRcsUnct网络，将原有的卷积层替换成改进的Inccption块，能比较好解决图像不同尺度的问题，并引入Rcs Path模块，减小了编码器与解码器对应阶段之间可能存在的语义鸿沟；Chcn等[9]提出一种即插即用的新型卷积 Octavc卷积，将特征图分为高低频通道，减少空间冗余，且该卷积可以在不改变网络结构的前提下替换传统卷积；沈雪雯等[10]提出了一种基于 U-Nct++ 的空间分频超声图像分割注意力网络（SFDA-Nct），该网络引入了 Octavc卷积、CBAM注意力模块等实现超声图像的分割；唐柳等[11]在U-Nct架构的基础上，结合Octavc卷积，提出了一种用于超声心动图的分割网络。

由于超声图像存在大量的固有缺陷，如斑噪声严重、对比度低、伪影等，自动准确分割超声图像非常困难。这些缺陷综合起来，使得分割效果不理想[12-14]。本研究针对甲状腺超声图像的特性，以MultiRcsUNct网络为基线，利用其MultiRcs模块实现对不同大小和形态的甲状腺的分割，并结合Octavc卷积，将训练过程的特征图按通道分为高频和低频部分。高频部分描述了灰度剧烈变化的边缘和细节信息，低频部分描述了灰度平稳变化的轮廓信息[15]，对两部分设置不同的权重，重点关注高频的边缘和细节信息，可有效地从信噪比较低的超声图像中分割出甲状腺，且对于边缘的分割更加精细。

1 方 法

1.1 MultiRcsUNct网络

MultiRcsUNct网络是基于U-Nct提出的一种新型的网络结构[8]，与U-Nct网络结构相似，网络分为编码和解码两部分，如图1所示。该网络在U-Nct的基础上引入多残差（MultiRcs）模块和残差路径（Rcs Path）模块。MultiRcs模块的结构如图2所示，该模块借鉴了Inccption网络的思想，分别使用3×3、5×5、7×7不同尺寸的卷积核来提取特征，并将输出结果按通道方向拼接，以学习不同尺寸的空间特征，该模块使用2个3×3的卷积层来代替5×5的卷积层，使用3个3×3的卷积层代替7×7的卷积层，减少了网络参数量且可以加速网络训练，同时，引入了使用1×1卷积的残差结构。使用该模块替换了U-Nct的卷积层。

图1 MultiRcsUNct网络结构Fig.1 The architecture of MultiResUNet network

图2 MultiRcs 模块结构Fig.2 The structure of MultiRes module

Rcs Path模块结构如图3所示，没有直接将编码器的特征图与解码器特征图简单拼接在一起，而是通过一系列卷积层传递编码器特征。这些额外的非线性操作可以减少编码器和解码器特征之间的语义差距。此外，还引入了使训练更容易、并且在深度卷积网络中非常有用的残差连接。

图3 Rcs Path 模块结构Fig.3 The structure of Res Path module

1.2 Octavc卷积方法

Octavc卷积借鉴了自然图像中高频信息描述图像的细节特征、低频信息描述图像的轮廓特征的思想。该方法指出对于普通卷积，所有输入和输出特征图具有相同的分辨率是没有必要的，因为一些特征图表示低频信息，存在空间冗余，可以进一步压缩。为了减少空间冗余，将特征图按通道方向分为高频XH和低频XL两个组，并且将低频特征图的空间分辨率降低为高频特征图的一半[9]。Octavc卷积层如图4所示。

图4 Octavc卷积模块结构Fig.4 The structure of Octave Convolution module

图4中，C表示通道数，h、w表示特征图的尺寸，α∈[0，1]表示高低频信息的比例，所以，最终的输出可表示为

YH和YL的表达式为

其中：upsamplc（X，n）表示系数为n的上采样操作，pool（X，n）表示参数为n的池化操作，f（X，W）表示卷积核为W的卷积操作。

Octavc卷积被设计为即插即用，无需调整网络结构，也不用调整参数，即可用在常用的卷积神经网络中，该方法在第一层 Octavc卷积中设置αin=0、α°ut=1，实现将输入的特征转化为多频特征表示，在最后一层 Octavc卷积中设置αin=1、α°ut=0，实现最终的单个频率特征的输出。在其他特征层，设置αin=α°ut=α。

1.3 Oct-MRU-Nct网络

由于甲状腺超声图像形态不确定，且信噪比低，斑点噪声较多，导致使用常规的分割算法无法准确分割出甲状腺。MultiRcsUNct网络针对形态不确定的问题有了较好的解决方案，但是无法解决图像噪声等问题。本研究将 MultiRcsUNct网络与Octavc卷积相结合，提出了改进的 MultiRcsUNct网络（简称 Oct-MRU-Nct）。

Oct-MRU-Nct网络在网络特征提取部分，将MultiRcsNct网络的传统卷积替换为Octavc卷积，有针对性地对图像的高低频特征进行学习，并降低低频特征的空间冗余，在能学习不同空间尺度特征的前提下，可以有效地从信噪比较低的图像中分割出待测目标。Oct-MRU-Nct网络的结构如图5所示。

图5 Oct-MRU-Nct网络结构Fig.5 The architecture of Oct-MRU-Net network

Oct-MRU-Nct网络保留 U-Nct网络的基本结构，对输入图像做平均池化，将其分辨率降低为原图的一半，并将其和原图同时作为Octavc MultiRcs模块的输入。在下采样阶段，使用了 4个 Octavc MultiRcs模块进行特征提取，Octavc MultiRcs模块的结构如图6所示。对每个Octavc MultiRcs模块得到的特征进行Rclu激活以及批归一化操作。在上采样阶段，使用转置卷积增大特征图的分辨率，然后再经过Octavc MultiRcs模块进行特征提取，并通过Octavc Rcs Path模块将下采样阶段与上采样阶段的特征进行融合，Octavc Rcs Path模块如图7所示。编码器特征和解码器特征映射之间的语义差距可能会随着网络加深而减小，所以在Octavc Rcs Path1、2、3、4中逐渐减少了Octavc卷积模块的数量，分别使用了4、3、2、1个Octavc卷积模块。

图6 Octavc MultiRcs模块结构Fig.6 The structure of Octave MultiRes module

图7 Octavc Rcs Path模块结构Fig.7 The structure of Octave Res Path module

最后，将Octavc MultiRcs模块的低频输出进行上采样，增大其分辨率，与高频通道的输出相加，并使用1×1卷积融合其通道间的差异，最终输出同时包含高低频信息的结果。

2 实验与分析

2.1 实验准备

本实验使用的数据集为Wundcrling等[16]提供的甲状腺公开数据集，其中包括以11～16 MHz频段超声换能器采集的16位健康志愿者的甲状腺图像，并通过手动标记得到对应的标签。经过数据清洗，去除一些缺失值，即没有甲状腺的图像，保证所有参与训练的数据都是有效的，最终保留了1 000个训练图像和200个测试图像作为数据集。

本文的实验在 Windows10平台下进行，基于Tcnsorflow2.1.0和Kcras2.3.1深度学习框架搭建了训练环境。在训练网络时，选择了二值交叉熵作为损失函数，选择了Adam作为优化器，初始学习率设置为 1×10-4。

本文采用图像的平均交并比（Mcan Intcrscction ovcr Union， mIoU），Dicc 系数（Dicc cocfficicnt）以及灵敏度（Scnsitivity， SE）作为算法评价指标。评价指标如式（4）～（6）所示：

式中：c表示类别数（前景或者背景），PT表示正确分类的正样本数，即预测为正样本，实际也是正样本；PF被错误地标记为正样本的负样本数，即实际为负样本而被预测为正样本；NF指被错误地标记为负样本的正样本数，即实际为正样本而被预测为负样本。

2.2 实验及结果

分别使用 U-Nct网络、MultiRcsUNct网络与Oct-MRU-Nct网络针对甲状腺数据集进行训练及测试。α越大，低频通道所占比例就越大，网络参数量会相应地变小。为了研究不同的α值对网络性能的影响，本实验选择了3个α进行测试，测试结果如表1所示。

表1 不同参数α的网络性能Table 1 The performances of the networks with different parametersα

由表1可以看出，当α=0.25时，mIoU=0.911，当α=0.75时，mIoU=0.895，α从0.75变为0.25时，模型参数量仅增加了 104 731，但性能有较大的提升。α越小，网络模型参数量越大，网络性能相对越好，但是如果α=0时，此时全部是高频通道，网络无法学习低频特征，失去了Octavc卷积的意义。所以本实验选择α=0.25探究网络的性能。

训练过程中的mIoU如图8所示，可以看出，Oct-MRU-Nct网络在第35次左右收敛，mIoU最终收敛在为0.91，MultiRcsUNct网络在第45次左右收敛，mIoU最终收敛在为0.89，U-Nct网络在第65次左右收敛，mIoU最终收敛在为 0.87，所以Oct-MRU-Nct网络收敛后的mIoU相较于U-Nct网络和 MultiRcsUNct网络都有明显的提升，且Oct-MRU-Nct网络收敛速度较快。

图8 训练过程中三个不同网络的平均交并比（mIoU）Fig.8 The mIoUs of three different networks in training process

测试结果如图9、10 所示，其中，图9（a）、10（a）表示原始图像，图9（b）、10（b）表示标签图像（Ground Truth），图9（c）、10（c）表示使用 U-Nct网络分割结果，图9（d）、10（d）表示使用 MultiRcsUNct网络分割的结果，图9（c）、10（c）表示使用本文方法（Oct-MRU-Nct网络）分割的结果。从图9中可以看出，相较于MultiRcsUNct网络和U-Nct网络，Oct-MRU-Nct网络由于使用高低分频的思想，对高频细节信息更加敏感，分割的边缘比较精细，如图中蓝色框标注处所示。从图10中可以看出，U-Nct网络对小目标无法实现有效分割，而 Oct-MRU-Nct网络和MultiRcsUNct网络由于使用了多尺度特征提取的思想，对小目标表现更加友好，相对MultiRcsUNct网络，由于 Oct-MRU-Nct网络较多地关注高频细节信息，对小目标分割效果更好。

图9 三种不同算法的结果对比（1）Fig.9 Comparison of three different algorithms (1)

图10 三种不同算法的结果对比（2）Fig.10 Comparison of three different algorithms (2)

测试集在三个模型上针对上述指标进行了分析，并且结合了冉冬梅等[14]提出的针对甲状腺超声图像分割的传统算法进行对比，结果如表2所示。从表2中可以看出，在参数量相差不大的情况下，Oct-MRU-Nct网络模型性能较好，在各个评价指标上都有提升，相比MultiRcsUNct网络，Oct-MRU-Nct网络在mIoU提高了0.017左右，Dicc系数提高了0.013左右，在SE指标上提高了0.021左右。说明本文算法对于甲状腺超声图像分割有较好的效果。

表2 三种算法性能比较的结果Table 2 The performance comparison results of the three algorithms

3 结 论

本文提出了一种基于 Oct-MRU-Nct网络的甲状腺超声图像分割算法。该算法通过引入MultiRcs模块，更好地学习了不同的空间特征；通过引入Rcs Path模块，减少编码器和解码器特征之间的语义差距；通过引入Octavc卷积的分频机制，对高频细节更加敏感，分割的边缘更加精细。实验结果表明，本文算法在相同的硬件环境及相同量级的参数量下，mIoU，Dicc系数，SE等指标都有明显的提升。这说明该算法对甲状腺超声图像有较好的分割效果。从分割结果可知，本文算法具有检测小目标的能力，且对边缘和细节的分割效果更加精细。

本文中的算法对甲状腺超声图像具有通用性，可针对甲状腺不同的疾病进行检测，且有较高的准确率和鲁棒性。但由于Octavc卷积中的参数α需要人为设定，缺乏自适应性，一定程度上影响了甲状腺超声图像的分割效率。因此，在今后的研究中，将考虑如何自适应设置参数α，提高甲状腺分割效率。