基于APC-UNet模型的皮肤病变区域分割研究

张博源，黄成泉，王 琴，万林江，周丽华

(贵州民族大学 a.数据科学与信息工程学院；b.工程技术人才实践训练中心，贵阳 550025)

引 言

皮肤癌是一种生长于皮肤表面的癌症，通常由异常的细胞所致，同时也能扩散到身体的其他部位，并且由于它本身的特性，其肿瘤在皮肤表层中通常可以清晰地观测到。皮肤癌作为最常见的癌症之一，其出现几率超过了肺癌、结肠直肠癌与前列腺癌。当前最常见的3 种皮肤癌[1]分别是基底细胞癌(BCC)、鳞状细胞癌(SCC)与黑色素瘤，其中BCC、SCC 与其他不常见的皮肤癌又被划分为非黑色素瘤皮肤癌，而黑色素瘤尽管并不最常见，但却是恶性程度最高的。黑色素瘤有时是由痣发展而来，治疗手段是对其进行手术切除。因为皮肤癌具有易发现的特点，所以在大多数情况下，皮肤癌可在患病早期被发现，因而可以对皮肤病变区域进行及时治疗，从而延长患者寿命或者增加患者的存活率。而在早期皮肤癌的诊断阶段，通常需要医师具备专业的医学知识和丰富的临床诊断经验，尽管如此，医师仍存在误诊的情况。通过计算机辅助检测的方法对皮损皮肤镜图像进行自动分割，已成为医师研判患者病情的重要辅助手段，能够为医师提供诊断参考和制定准确的治疗方案。

随着近些年来深度学习技术的蓬勃发展和迅速跟进，越来越多的基于深度学习的皮肤病变区域分割方法被提出。齐永锋等[2]提出了一种改进稠密卷积网络的皮肤损伤分割方法，通过改善网络结构使特征信息得以充分传递，分割准确率相较于其他算法显著提升，但提出的方法需要堆叠非常深的神经网络才能实现不错的分割准确率，这对训练网络具有非常大的挑战性。王雪[3]提出基于U-Net 多尺度和多维度特征融合的皮肤病变区域分割方法，解决了U-Net模型特征提取单一和空间上下文信息丢失的问题，但是该方法与之对比的模型太少，缺乏一定的说服力。蒋新辉等[4]针对皮肤病变区域分割效果差的问题，提出了一种基于U 型结构的上下文编解码网络，通过融入高效双通道注意力和空洞空间金字塔池化来获取更多的空间信息和语义信息，以此提高分割精度，并且分割效果不错，但是该方法使用了预训练的编码模块，后期需要针对皮肤病变区域分割任务进行微调。以上所述的方法在皮肤病变区域分割领域均取得了不错的分割效果，但是也存在些许不足，诸如对比模型太少以及需要预训练模型等，此外这些研究未提及皮损皮肤镜图像一般存在的样本类别不均衡的问题。

针对以上方法存在的问题，本文在U-Net模型[5]的基本框架下，对U-Net模型进行适当改进，通过在U-Net模型的编码器中融入空洞空间金字塔池化模块(Atrous Spatial Pyramid Pooling, ASPP)[6]和ParNet模块[7]以提升模型的特征提取能力，在解码器中嵌入带有注意力机制的Coordinate Attention（CA）模块[8]以增强模型的定位能力，提出一种基于Atrousspatial-pyramid-pooling Parallel Coordinate-attention U-Net （APC-UNet）模型的皮肤病变区域分割算法，并且引入了Lovász -hinge损失函数来解决皮损皮肤镜图像样本类别不均衡的问题，以此来提高对皮损皮肤镜图像的分割准确性，并且增加对比模型来加强对比效果。

1 算法原理

本文提出的APC-UNet 模型是通过卷积神经网络执行一种有监督的深度学习。首先将皮损皮肤镜图像输入到网络，然后通过训练的方式进行特征学习并输出得到分割结果图；最后将分割结果图与专家标注的标签进行对比。

1.1 APC-UNet模型

本文在U-Net 模型基础上进行适当改进，提出了一种针对皮肤病变区域分割的APC-UNet 模型，其结构如图1 所示，它在U-Net 模型中结合了注意力模块和空洞空间金字塔池化(ASPP)模块，以此提升皮肤病变区域分割的准确性。APC-UNet 模型对U-Net 模型进行了以下改进：1）对U-Net 模型的框架进行改进，减少U-Net模型的一个下采样层，相应地减少一个上采样层，这样有助于减少计算量，增加模型的推理速度。2）对U-Net模型的编码器进行改进，编码器的作用是通过下采样实现特征提取，将其中用于下采样的卷积层替换为ResNet 模型[9]中的Residual 模块，同样起到下采样的作用。模型一共进行了3 次下采样，在前两次下采样后，融合ASPP 模块和ParNet 模块，ASPP 模块有助于从不同感受野捕获皮损皮肤镜图像病变区域的特征，ParNet模块可以防止模型过拟合，由于ASPP模块的感受野比较大，同时第三次下采样后的特征图的分辨率较小，因此第三次下采样不适合再融合ASPP模块和ParNet模块。3）对U-Net模型的解码器进行改进，解码器的作用是通过上采样来恢复图像尺寸实现端到端的输出。在解码器的前两次上采样拼接后，嵌入了CA 模块，帮助模型实现病变区域的准确定位，从而实现皮损皮肤镜图像的准确分割。

图1 APC-UNet模型的网络结构

1.2 Residual模块

Residual 模块的作用是进行下采样，其结构如图2 所示。Residual 模块中包含了两个3×3 卷积核和一个1×1 卷积核，通过一个拼接操作将1×1 卷积核卷积后的结果与第二次3×3卷积核卷积后的结果进行特征融合，再使用ReLU 函数激活。本文中的Residual 模块代替了U-Net 模型中原本的下采样模块，在实现下采样的同时，通过拼接1×1卷积核控制特征信息的表达能力和减少模型的计算量，以此将特征信息有效地向下传递并加快模型的推理速度，还避免了训练过程中因网络深度过深而导致的梯度消失问题，从而保证模型训练的稳定性。

图2 Residual模块的网络结构

1.3 ASPP模块

由于皮损皮肤镜图像病变区域的复杂性，其容易受各种因素影响，比如病变区域大小不一致，病变区域与皮肤的对比度低，病变区域有毛发遮蔽等特点，所以需要充分提取皮损皮肤镜图像的特征信息，因此本文将ASPP 嵌入到编码器中，其好处在于以不同的感受野从多尺度获取图像的特征信息，从而获取上下文信息，该模块的结构如图3 所示。ASPP 模块主要包含了多种不同膨胀率的空洞卷积和池化，能够以不同的感受野捕获特征，并且克服了传统卷积计算量大和损失分辨率的问题，将各空洞卷积和池化的结果进行拼接实现特征信息共享，然后通过卷积融合这些特征信息。由于空洞空间金字塔池化中原本的空洞膨胀率过大，本文对空洞卷积的膨胀率进行了调整，根据模型的下采样次数和实验分析，最终确定将空洞膨胀率重新设置为3、6、9，以此适应本文改进的模型。

图3 ASPP模块的网络结构

1.4 ParNet模块

ParNet 模块主要由3 部分组成，分别是Skip-Squeeze-Excitation（SSE），以及两个不同的卷积核，其中SSE 部分主要进行了一次全局平均池化操作，然后使用Sigmoid 激活函数，将SSE 与两个不同的卷积核的卷积结果进行融合，再通过SiLU 函数激活。由于ASPP 模块具有非常强的特征提取能力，为防止模型过拟合，同时为模型添加更多的非线性能力，所以在每个ASPP 模块后紧跟ParNet 模块。ParNet模块的结构如图4所示。

图4 ParNet模块的网络结构

1.5 CA模块

本文在U-Net 模型的解码器中嵌入了Coordinate Attention（CA）模块。由于改进的U-Net模型的解码器已经充分捕捉了皮损皮肤镜图像的特征信息，而解码器部分需要建立长程依赖关系，实现通道关系的建立和空间位置信息的学习，从而帮助模型定位目标。CA 模块的结构如图5 所示，首先通过两个池化核实现空间中两个方向上的特征信息学习，再将两个方向的特征信息进行拼接，通过压缩通道实现通道关系的建立，再使用1×1 卷积核进行扩展实现特征信息共享，然后将得到的特征信息进行拆分，分别形成两个注意力权重，最后作用于输入的特征图，以此实现感兴趣区域目标的准确定位。

图5 CA模块的网络结构

2 损失函数

由于皮肤病变区域的大小差距可能十分悬殊，所以通常皮损皮肤镜图像数据集存在样本类别不均衡的问题，为了解决这一问题，本文使用Lovászhinge 损失函数对皮损皮肤镜图像进行分割计算。Lovász-hinge 损失函数是一种基于IoU 的损失函数[10]，可以通过对IoU 优化进行损失计算，IoU 也被称作Jaccard指数，其计算如式(1)所示：

而Jaccard loss的公式为：

其中，y*为标签向量͂为模型的预测向量，c为某个类别。

由于Jaccard loss 只能够进行离散情况下的损失计算，但是神经网络的预测输出是连续的，所以上式无法进行求导计算，如果不能求导就不能进行参数更新，因此Jaccard loss 不可以直接用于神经网络中。由于Jaccard loss 是子模函数，所以可以通过Lovász extension[11-13]进行扩展而变得连续可导，而Jaccard loss 通过Lovász extension 扩展后就成为了Lovász-hinge损失函数，从而可以解决上述问题。

3 实验结果及分析

3.1 数据集

本文选用的数据集来源于国际皮肤影像协会(ISIC)，该协会提供了公开的ISIC2018皮肤镜图像数据集[14-15]，该数据集包含了2594 张皮损皮肤镜原始图片(Image)以及对应的标签(Label)。由于数据集中图片尺寸过大且大小不一，对计算机的计算负荷较大，于是将原图和标签统一重塑为256×256 分辨率的图片。本文将数据集中的图片随机划分为训练集和测试集，其中训练集为2000 张，而测试集为594张。

3.2 实验环境

本文的实验环境基于深度学习框架PyTorch 结合Python 编程语言进行搭建。计算机的配置如下：操作系统为ubuntu16.04，系统内存为16 GB，CPU 为Intel Core i7-7700K@4.2 GHz，GPU 为 NVIDIA GeForce GTX 1080，显存为8 GB。本文实验用Adam优化器进行网络优化，网络初始学习率设置为0.0001，所有模型批量大小均为8。

3.3 实验参数设置

为了探究本文提出的模型在训练集上损失值与最优迭代次数的关系，将初始迭代次数设置为100，实验结果如图6 所示。从图6 中不难发现，损失值总体上随着迭代次数的增加而稳步下降，在迭代次数达到70 附近时，损失值已经逐步趋于平稳，因此将本文实验中的迭代次数设置为70。

图6 损失值的变化趋势图

3.4 评价指标

本文为了对提出的模型进行准确地评估，引入5 种评价指标，分别是Dice 系数、IoU、精确率(P)、召回率(R)以及准确度(A)，从而实现对客观实验的真实评价。在图像分割任务中，分割的样本可以分为4个类别，TP代表分类正确的正样本；TN代表分类正确的负样本；FP代表被错误分类为正样本的负样本；FN代表被错误分类为负样本的正样本。5 种评价指标的公式如下：

3.5 APC模块的消融实验

为了验证本文提出的改进模型对皮肤病变区域分割的有效性，本节增加了关于APC 模块的消融实验，消融实验以U-Net模型作为基准模型，分别以ASPP 模块、ParNet 模块、CA 模块为组件，按照一定的组合规律将组件融入到U-Net 模型中，实验结果见表1。

表1 基于U-Net模型的APC模块的消融实验 %

从实验结果可知，相比于没有加入组件的U-Net 模型，加入组件的U-Net 模型都可以表现出更好的分割性能，因此不论加入哪个组件，都对UNet 模型的分割结果具有增益效果，在加入所有组件时，模型的分割性能达到最优，Dice、IoU、精确率、召回率和准确度都有了较大提升。

3.6 不同模型的分割结果对比

为了展现本文提出的模型的分割效果，通过与当前经典的5 个基于深度学习的分割模型在ISIC2018 数据集上进行比较，本文选用了测试集中6 张皮损皮肤镜图像作为展示，实验结果如图7 所示。其中第一行为皮损皮肤镜图像，第二行为皮损皮肤镜图像的标签，第三行为U-Net 模型的分割结果，第四行为Attention-Unet 模型[16]的分割结果，第五行为SegNet 模型[17]的分割结果，第六行为FusionNet 模型[18]的分割结果，第七行为PSPNet 模型[19]的分割结果，第八行为本文提出的APC-UNet模型的分割结果。

图7 不同模型在ISIC2018数据集上的分割结果对比

从图7 可见，皮损皮肤镜原始图像的情况各不相同，如图像中存在病变区域及轮廓不明显，病变区域及周围有毛发遮蔽的影响，病变区域的形状和大小各异，患者皮肤的肤色和纹理对病变区域的干扰，这些因素都客观地影响了对皮损皮肤镜图像中病变区域的准确分割。尽管几乎所有模型都能对病变区域完成大体的分割，但是准确性上有较大差别，U-Net 模型和Attention-UNet 模型的分割结果相对来说是最差的，对病变区域漏分和错分的情况较为明显。SegNet模型对病变区域不明显的图像的分割效果较差，容易导致漏分的情况出现。FusionNet模型和PSPNet模型的分割结果有明显的改善，但是轮廓的细节不够清晰和准确，而本文提出的APCUNet 模型在病变区域上的漏分和错分情况很少，同时对病变区域的轮廓边缘保留了更多细节，从而可以更加精确地分割皮肤病变区域。

图7的实验结果显示了本文提出的模型与其他模型的对比结果，但是没有从指标层面来分析。通过指标直接验证模型的分割效果，结果见表2。

表2 不同模型在ISIC2018数据集上的分割性能对比 %

从表2 可见，U-Net 模型和Attention-UNet 模型的分割结果是最差的，与图7 的实验结果表现基本一致，FusionNet模型和PSPNet模型的分割结果也较为不错。而本文提出的模型通过U-Net模型改进而来，在召回率适中的情况下，Dice、IoU、精确率和准确度都是表现最好的，相比于基准模型U-Net，本文提出的模型在Dice、IoU、精确率、召回率和准确度方面都有较大提升，分别提升了6.14%、8.11%、6.79%、2.28%和2.49%。因此实验结果表明，本文提出的APC-UNet模型优于其余5种分割模型。

4 结束语

皮肤癌严重威胁人的生命健康安全，而早期通过计算机对皮损皮肤镜图像的皮肤病变区域实现自动分割是医师诊断病情的重要辅助手段，有助于制定下一步的治疗方案，以此可以延长患者寿命或增加患者存活率，因而实现对病变区域的准确分割对医师研判病情有着重大的现实意义。针对皮损皮肤镜图像的病变区域分割不准确的问题，本文提出了一种基于APC-UNet 模型的皮肤病变区域分割研究算法，通过融入ASPP 模块和ParNet 模块来改进U-Net 模型的编码器以此提升特征提取能力，在解码器中嵌入带有注意力机制的CA 模块来改善模型的定位能力以此实现准确地分割，并且在国际皮肤影像协会提供的ISIC2018 数据集上进行验证。实验结果表明，本文提出的APC-UNet模型优于5种经典的对比分割模型，相比于基准模型U-Net，Dice提升了6.14%，IoU提升了8.11%，精确率提升了6.79%，召回率提升了2.28%，准确度提升了2.49%。因此，本文提出的APC-UNet 模型可以为皮损皮肤镜图像的病变区域分割问题提供一种较好方法，且其分割性能具有一定优势。