基于残差U-Net网络的染色体图像分割方法

张 林，张雪利，路 霖，刘 辉

(1.中国矿业大学 地下空间智能控制教育部工程研究中心，江苏 徐州 221116;2.中国矿业大学 信息与控制工程学院，江苏 徐州 221116)

0 引 言

人体健康细胞中存在23对染色体，其中前22对为常染色体，最后一对为性染色体[1-2]，它们作为遗传物质的主要载体[3-4]，在相同的生长阶段呈现各自固定的形态。但是，在放射线照射、化学药物等污染条件下染色体有可能形成病变，表现为数目或形态的异常，从而引发遗传性疾病[5]。目前的染色体异常与否依赖于其成像分析，常见的成像技术包括GRQ带技术、荧光原位杂交技术(fluorescence in situ hybridization，FISH)、光谱核型分析技术等，这些技术已成为唐氏综合征[6]、威廉姆斯综合征[7]等遗传性疾病诊断的重要依据[8-9]。目前，诊断染色体异常主要是依靠自动分析系统，但当染色体出现重叠时，则需要人工先将重叠的染色体分割，再进行自动识别。这样的流程存在以下问题：一方面，识别的效果完全依赖于人工分割，主观性较强；另一方面，人工分割增加了诊断的成本。因此，研究一种准确率高并且诊断成本低的自动分割方法已成为核型分析领域的关键问题。

近年来，卷积神经网络广泛应用于医学图像处理领域[10-14]，U-Net作为一种高效实用的卷积神经网络，在图像语义分割任务中表现出显著优势[15-17]。例如Olaf等[18]提出了一种基于U-Net网络实现细胞的分割方法，姜慧明等[19]提出了一种基于改进U型卷积网络实现细胞核的分割方法。在染色体分割中，Hu等[15]提出了构建包含卷积层、池化层和反卷积层的U-Net网络，实现了重叠染色体的快速准确分割。然而，研究发现，网络中广泛使用的池化层丢失了很多对图像分割具有重要作用的位置信息，并且可能会丢失整体和部分之间的关系。此外，网络层数的增加会带来梯度消失问题，从而降低图像分割的准确率。

本文针对上述问题构建了一种改进的残差U-Net网络分割方法。该方法通过在U-Net中集成残差结构，实现染色体重叠区域和非重叠区域的分割；通过空洞卷积替换标准卷积，减少了特征信息的丢失；通过不同尺度的空洞卷积替换U-Net网络底层的卷积层，实现了多尺度感受野提取特征；通过改进压缩路径和扩张路径中间的跳跃连接，可以使不同尺度特征进行融合。

1 方 法

1.1 数据来源及预处理

本文使用的是Kaggle上公开的染色体图像数据库[20]，如图1所示。将获得的图像进行重叠从而获得重叠染色体，具体操作为:①将DAPI和Cy3图像合并成一张图像，并提取出其中的46条染色体；②将46条染色体图像进行平移、旋转等操作，并将2条不同的染色体进行重叠，最后获得13 434张88×88像素的灰度图像。与此同时，还获得了标签图像。

图1 基于FISH技术获取的染色体图像Fig.1 Chromosome image acquired by FISH technology

1.2 分割网络

U-Net网络包括收缩路径和扩张路径2部分，作为全卷积网络(fully convolutional network，FCN)的改进，不再是对图像的简单编、解码。U-Net通过结合收缩路径提取的特征和上采样过程中的特征，能够保留下采样过程中的重要特征信息并且利用标准卷积代替全连接层，大大减少了训练参数，提高了网络运行的效率。但是池化层还是会丢失很多对图像分割有意义的位置信息，可以考虑采用空洞卷积替换卷积层和池化层。随着网络层数的增加，可能会出现梯度消失或网络退化的问题。梯度消失问题可以通过标准的初始化和正则化来解决；网络退化问题是冗余的网络层造成的，为使冗余网络层能够完成恒等映射，在网络中引入残差模块，残差模块中使用短跳跃连接可以解决上述问题[21]。

U-Net中的跳跃连接也被称为长跳跃连接，主要是将收缩路径中的特征传输到扩张路径中用于后续的分割。此外，U-Net网络只把收缩路径和扩张路径中相同尺度的浅层特征和深层特征进行融合，虽然将浅层提取的一些简单特征进行利用，但还是会出现特征信息的丢失[22]。因此，为充分利用多个浅层提取的特征，本文将收缩路径中不同尺度的特征进行融合，再和扩张路径提取的特征融合。跳跃连接的结构如图2所示。

图2 跳跃连接的结构Fig.2 Structure of skip connection

本文借鉴空洞卷积的思想，提出了一种多尺度空洞卷积模块，其结构如图3所示。在重叠染色体分割中，染色体重叠区域大小不一，理论上大小不一的感受野能够更好地提取特征。空洞卷积通过调整膨胀率，可以得到不同尺度的感受野，获得多尺度特征信息[23-24]。鉴于此，本文采用不同尺度的空洞卷积替换U-Net网络底层的卷积层。本文根据使用的图像中目标区域大小的不同，设置膨胀率分别为1，3，5，从而能有效地分割不同尺度的重叠区域，提高网络整体的分割性能。

图3 多尺度空洞卷积结构Fig.3 Structure of multiscale dilated convolution

本文所提的网络主要由U-Net网络、残差模块、空洞卷积、跳跃连接和多尺度空洞卷积模块组成。该网络有3个优点：①残差模块可以简化网络的训练；②残差模块内以及U-Net的浅层和深层之间的跳跃连接有助于信息的传播，使其保留更多的特征信息；③多尺度空洞卷积可以获取不同尺度的特征信息，提高网络的分割准确性。

在本文中，采用残差U-Net网络对重叠染色体进行分割，每层由3个空洞卷积层和1个残差模块组成。每个卷积层中都包含了批归一化层和线性整流(rectified linear unit, ReLU)激活函数，并且通过调整空洞卷积的步长来增加特征图的感受野。在U-Net网络底层使用多尺度空洞卷积替换标准卷积，压缩路径和扩张路径中间的跳跃连接采用不同尺度的特征融合，使得网络能够提取更多的空间特征以达到更好的分割性能。在扩张路径中，反卷积的作用是对特征图进行上采样，恢复特征图的分辨率。网络的输出层由1×1卷积层和Sigmoid激活函数组成[25-27]。其中，1×1卷积层用于减少特征图的数量，Sigmoid激活函数用于计算特征图中每个像素的类别，从而输出图像分割图。其网络结构如图4所示。

图4 残差U-Net网络结构Fig.4 Structure of residual U-Net

1.3 相关参数

本文的卷积层采用了ReLU激活函数。当x>0时，它不存在饱和问题，并能保持梯度不变，可以解决梯度消失的问题。网络的输出层采用的是Sigmoid激活函数，输出为(0, 1)，作为使用最广泛的激活函数，在特征相差不大时效果较好。

另外，本文的损失函数使用了交叉熵损失函数和Tversky损失函数，交叉熵损失函数的表达式为

(1)

本文使用的数据集中，染色体区域(前景)占整个图像的小部分，而周围的背景占比很高。因此，网络在使用交叉熵损失函数进行最小化处理时，会使损失函数更倾向于背景。为了解决这个问题，本文使用了Tversky损失函数，其表达式为

(2)

(2)式中：Tp为原属于目标区域的像素被预测为相应区域的像素数目；FP为原不属于目标区域的像素但被预测为相应区域的像素数目；FN为原属于目标区域的像素但未能被正确预测为相应区域的像素数目；α和β分别是假阴性和假阳性的系数，且α+β=1，通过调整α和β可以平衡FP和FN，减小前景和背景占比失衡对实验结果的影响。

2 实验及分析

2.1 数据集

本文从所建的数据库中随机选取64%，16%，20%的数据分别作为训练集、验证集、测试集。其中，训练集用来训练模型，验证集用来调节模型的参数使其性能达到最优，测试集用来测试模型的性能。数据集如图5所示。

图5 实验数据集Fig.5 Experimental dataset

2.2 评价标准

本文采用交并比(intersection over union，IoU)作为模型的评价标准[15]，表示为

(3)

此外，本文在实验中发现，染色体重叠区域可能很小，在这种情况下，即使是极少的像素判断错误也会导致重叠区域IoU1(2条染色体重叠部分的IoU值)得分的大幅降低，过分扩大了这类错误的影响。因此，在重叠区域IoU1得分基础上，本文额外提出计算每个染色体的IoU2(2条染色体IoU得分的平均值)得分，和重叠区域IoU1得分一起作为模型的评价指标。

2.3 参数设置及训练

网络在训练的过程中，采用Adam优化器进行优化。网络训练次数的选择对网络的分割性能至关重要。如果训练次数太少，模型无法很好地拟合训练数据的分布，会出现欠拟合；如果训练次数太多，模型过度依赖训练数据的分布，容易出现过拟合。图6展示了训练集、验证集的损失值与迭代次数的关系，可以看出，损失值随着迭代次数的增加而降低。当训练次数超过30 时，验证集的损失值趋于稳定。因此，本文实验中的训练次数设置为30。

图6 迭代次数和损失值的关系Fig.6 Relationship between the number of iterations and the loss

2.4 实验结果及分析

为了评估残差U-Net网络中残差模块、空洞卷积、跳跃连接和多尺度空洞卷积对分割结果的有效性，设计了8组对比实验，评估不同情况下网络的分割性能，如表1所示。可以看出，在相同的数据集和评价标准下，将标准卷积替换成空洞卷积的分割结果明显高于标准卷积的分割结果，使用多尺度空洞卷积模块提高了网络分割准确率，将网络中普通的跳跃连接替换成不同尺度的特征融合提高了网络的整体性能。在网络中增加残差模块，减少了信息丢失的问题，保护了信息的完整性，并且有效避免了网络退化的问题。

表1 消融实验结果对比

表2给出了不同分割网络在染色体数据上的分割结果。 可以看出，本文提出的网络优于现有的图像分割方法，和U-Net网络相比，IoU分别提高了1.5%和2.37%。

表2 不同网络结果对比

为了评估Tversky损失函数的有效性，在基于残差U-Net网络上进行了对比实验，其结果如图7所示。可以看出，当α=0.4，β=0.6时，前景和背景的占比失衡对实验结果的影响最小，IoU1为96.36%，IoU2为97.31%。

图7 比较实验结果Fig.7 Results of comparative experiments

不同算法的分割结果如图8所示，进行对比可以发现，利用残差U-Net网络得到的分割图像与标签图像差距最小。相较于其他网络，残差U-Net网络可以更好地处理边缘信息，分割效果图更贴合真实图像。

综上所述，本文提出的方法的分割结果比现有的图像分割方法更准确。在原有的U-Net网络中加入残差模块，可避免网络深度增加导致的退化问题；使用空洞卷积替换标准卷积，可以减少特征信息的丢失；采用多尺度空洞卷积替换U-Net网络底层的卷积层，实现了图像特征的多尺度感受野提取，提高了整体的分割性能；压缩路径和扩张路径中间的跳跃连接使用不同尺度的特征信息，实现了高度灵活的特征融合。此外，使用Tversky损失函数可以很好地解决前景和背景失衡对整个分割结果的影响。

图8 不同算法的分割结果Fig.8 Segmentation results of different algorithms

3 结束语

本文构建了一种残差U-Net网络用于重叠染色体的分割。该网络通过引入残差模块，解决了网络深度增加带来梯度消失，导致网络训练效果欠佳的问题；引入不同尺度的特征信息，实现了高灵活特征融合；引入多尺度空洞卷积的叠加，降低图像尺寸的同时获得不同尺度的感受野，减少了特征信息的丢失，以适应不同尺寸的染色体重叠区域的分割需求。实验结果表明，采用残差模块、空洞卷积、多尺度空洞卷积和多尺度特征融合叠加的方法，选择Tversky作为损失函数，能够有效提高重叠染色体的分割性能，所提分割网络的性能优于其他模型，验证了Tversky损失函数的有效性。但本文构建的残差U-Net网络仍存在计算量较大的缺点，在未来的工作中，将着重研究保证重叠染色体分割性能前提下的模型裁剪问题。