基于DeepLab改进网络下的舌图像分割算法

徐 武，陈盈君，汤弘毅，杨昊东

(云南民族大学电气信息工程学院，云南 昆明 650000)

1 引言

舌图象诊断是中医望诊学的重要诊断依据，医生通过观察舌体确定疾病发生的部位及治疗方法。智能化的出现决定了中医学与现代化相结合的趋势，有效利用现代科学技术丰富和发展中医学成了主要研究方向。图像诊断面临的首要问题是，在舌图像处理过程中，减少嘴唇、下巴、脸部等固定干扰因素以及其它无关噪音遮挡舌体等不固定因素的影响，可以在复杂场景下精确提取完整的舌体。传统的舌图像分割技术通过对比像素之间相似程度分割不同的区域，将目标区域与目标区域、目标区域与背景区域分割开。

文献2在LAB颜色空间基础上采用颜色增强算法起到了分割舌图像的目的，此优化算法减少了计算量，减少分割预测时间，但是对分割边缘不能进行精确识别。文献[3]提出了SegNet网络用于舌图像分割，有着较高的分割精度以及更快的分割速度，但是处理结果会丢失许多高频细节信息。本文针对传统的舌图像分割技术存在的问题，提出舌图像分割优化算法。以传统的神经网络DeepLab v2为基础设置带孔卷积，改变池化层的参数，增大特征图谱，从而获得更好的边缘信息。针对采样和分割过程中的无关噪音(如采样过程中除舌体外物体的遮挡；分割过程中局部区域的丢失)，提出了生成对抗网络OSIM通过对特征图进行解码、编码操作，以及通过计算损失函数的数值去判别与原图像的相似性，得到抗干扰能力强的去噪结果。通过带孔的金字塔网络从浅至深地融合不同层级特征，深层信息使分割具有更好的鲁棒性，浅层信息对细节部分进行更精确处理。

本文针对舌图像提出DeepLab v2网络分割的改进算法，可以从嘴唇、下巴、脸部等颜色相似的部位中有效地提取目标舌体区域，并且可以有效地还原被无关噪音遮挡的舌体区域，防止舌体轮廓丢失，有效提升了分割的精确性，显著提升了算法的抗噪能力。

2 DeepLab v2网络及改进

DeepLab v1是基于传统卷积神经网络(CNN，Convolutional Networks)和概率图模型(PGM，Probabilistic Graphical Model)的结合，提高了网络性能且优化了分割结果。DeepLab v2增加了多视野区域，并引入空间金字塔(ASPP， Atrous Spatial Pyramid Pooling)结构，融合不同级别的语义信息。

在使用DeepLab v2网络提取舌图像时，存在以下两个主要问题：首先，由于舌体与周围部位存在相似性，在提取过程中存在原始信息丢失的问题或者出现误提取现象，这导致网络深层的特征图保留目标信息不完整，目标舌体将会不完整。其次是舌体角度、提取光线不能保证相同，这导致了舌体的原始数据空间混入无关噪音，原始噪音逐步传递给输出特征图，使得提取的舌体特征质量下降，影响目标的识别和分割精度。

在DeepLab v2网络的基础上引入带孔卷积算子起到保留图像细节，提升分割结果分辨率的作用。通过改变池化层的参数得到不同的网络特征图谱，在不增加参数的前提下，得到不同感受野尺寸，从而得到不同的语义信息和空间信息。在改变池化层参数的同时，要防止边界信息损失过多，应避免特征图谱缩减过小。

传统的DeepLab v2网络存在5个最大池化层，在DeepLab v2网络的conv1＿x～ conv5＿x卷积层中，每个池化层参数为r=2的前提下进行实现，为了避免特征图谱缩减过小，本文设置池化层的参数值，通过改变上一层池化层的参数控制下一层特征图谱的尺寸。具体改进如下：将DeepLab v2网络中conv4＿x、conv5＿x卷积层设置带孔卷积算子，可以设置池化层参数改变输出尺寸，第一、第二、第三层池化参数设置为r=2，第四和第五层池化参数设置为r=1，公式如下

(1)

j

、

j

分别是输入、输出卷积层的特征图尺寸，输出尺寸如图1所示。防止特征图谱过度减小，这里需要保持最终特征图为一个较大尺寸。在传统DeepLab v2网络中参数全设置为2的情况下，最终的特征图(卷积网络之后)比输入图像尺寸缩小32倍。而本文设置带孔卷积算子，特征图尺寸将缩小8倍，是原网络特征图最终尺寸的8倍，通过设置参数条件增大最终特征图的尺寸，使边缘信息更加精确化，起到保留图像细节，提升分割结果分辨率的作用。

图1 卷积层结构

3 OSIM去噪模块

在采样和分割过程中可能存在影响特征图谱的无关噪音，这导致所得特征图与真实特征图出现偏差。为了减少无关噪音对结果的影响，设计生成对抗网络OSIM作为修复模块，如图2所示，OSIM网络可分为三部分，其一是生成器，作用是生成区域特征值；其二是局部判别器，作用是判断还原新区域与原始区域是否符合；其三是全部判别器，作用是判断还原后区域与完整舌体是否符合。主要原理是生成器对含有噪音遮挡区域进行迭代还原，通过局部判别器、全部判别器判断还原的新区域符合真实舌体特征停止迭代。

图2 OSIM网络结构

3.1 生成器

生成器的主要原理是，对于网络中含有无关噪音遮挡的舌体图像，生成器通过编码网络对原遮挡区域进行编码分析并产成预测特征，将预测的新特征图输入到解码网络，经过全连接层将提取到的特征综合起来，为提升无关噪音影响区域的还原精度，需要进行大量迭代实验。

3.2 判别网络结构

生成器的生成特征并不能有效地还原目标的输入图像，还需要通过判别器网络进行判别生成的图像是否符合原图像。这里可以在编码、解码网络的基础上设计出一个全局判别器和局部判别器进行判别。全局判别器和局部判别器都是以DeepLab v2网络作为基础结构，在conv5到池化层的基础上并增加一个sigmoid分类层，因此全局、局部判别器具有相同的网络结构。全局判别器是引导还原后的遮挡区域在结构上与其周围区域相近，而局部判别器针对无关噪音区域的内部细节，引导还原后的特征在内容上与真实特征相似。

3.3 损失函数

为保证生成的新特征与真实舌体特征在内容上相似，可以使用欧式距离来度量生成特征与真实特征之间的差异，生成器损失函数计算公式为

(2)

式中

M

—特征图上的像素点数量；

x

—舌体的真实特征值；

x

′—生成器产生的特征值局部、全局判别器的损失函数计算公式为

E

- () [log(1-

D

(

G

(

z

)))]

(3)

式中

L

—局部判别器损失函数；

L

—全局判别器损失函数；

E

～()—真实数据分布

E

～()—遮挡噪音分布；

D

(

x

)—生成数据的判别；

G

(

z

)—产生噪音的数据值

OSIM

的总损失函数

L

是生成器、局部判别器和全局判别器三部分损失函数的和，其计算公式为

L

=

L

+

L

+

L

(4)

4 空间金字塔池化模块

在不同卷积层中，输出特征图存在不同的语义信息、空间信息和细节信息，高层卷积层更好地反映了语义信息；而在低层卷积层中，特征图保留目标更多的细节信息以及空间信息。基于Atrous卷积的空间金字塔采用并行结构，多个采样率不同的Atrous卷积层获得不同特征，通过不同比例获取图像上下文信息。为了目标特征更加丰富，通过引用基于Atrous的空间金字塔模块，不仅可以融合多尺度的特征信息，还可以使分割结果具有更好的鲁棒性。结构如图3所示。

图3 基于Atrous卷积的空间金字塔结构图

5 融合算法结构

本文所提出的融合改进DeepLab v2网络和OSIM网络算法采用的是一种串行结构，如图4所示。该算法由3部分组成：1)含带孔卷积算子的卷积层。2)OSIM去噪网络。3)空间金字塔池化模块。首先将原图像输入卷积层提取特征，引用带孔卷积算子提升分割结果分辨率；然后通过OSIM网络进行去噪处理，提升特征图像精确性并对原图像进行还原；最后通过基于Atrous卷积的空间金字塔融合多尺度特征信息。

图4 融合算法

6 实验结果与分析

6.1 不同网络分割的结果

在舌图像分割过程中，光照对舌体颜色呈现有很大影响，为了测试改进网络在实际中的分割效果，本文选取了封闭环境下采集到的舌图像进行测试。选取了一个具有嘴唇、下巴、脸部等干扰因素的典型图片作为原始图片，针对SegNet、Mask R-CNN、DeepLab v2和融合网络进行分割效果的对比。

图5 舌象分割图

如图5所示的实验结果。从图中可以看出，SegNet网络对与舌体颜色相似的嘴唇和下巴部分区域分割精度较低；Mask R-CNN网络分割出的舌体完整性较差，无法精确识别出边缘区域；融合算法相对传统DeepLab v2有更精确的边缘处理能力，对不同角度的舌体有更好的分割效果。

针对各个方法的客观分割精度进行测量以及对各个方法的模型测试时间进行统计。

本文采用的评价指标为平均交并比(mean Intersection over Union,mIoU),IoU是真实值与预测值的交集与并集之比，mIoU是交集与并集之比的平均值，它的结果可以直接反应为算法处理的精度。计算公式如下

(5)

k

-类别个数；

p

-被预测为

j

类中，类别为

i

的像素的个数；

P

-类别为

i

的同时被预测为

i

类的像素之和

表1给出了不同网络的分割精度和单张图像预测时间。

表1 不同网络分割方法的性能比较

在中医舌图像分割中，由于mIoU可以直接评价分割算法精度，算法精度随着mIoU值的增大而增大。实验结果表明，改进算法的mIoU值和预测时间分别为97.81%和0.0028s，比DeepLab v2网络提高了2.03个百分点，比Mask R-CNN、SegNet网络提高了4.2个百分点和5.04个百分点；改进算法的预测时间与SegNet、DeepLab v2网络相差无几，相对Mask R-CNN网络有大幅度提升。本文在DeepLab v2网络的基础上进行改进，分割精度远远高于其它算法，验证了融合在保证速度没有明显降低的前提下，具有更好的分割精度。

6.2 基于OSIM网络处理能力的分析

图6 带无关噪音的舌象分割图

如图6所示的实验结果。设计插入OSIM网络的特征修复可以有效地识别出被无关噪音，并分割出完整的舌体图像，但是消耗了额外的计算量。

为了更直接的验证OSIM对遮挡模块的处理能力，这里对比加入OSIM处理前的网络1与加入OSIM处理后的网络2，选用查全率

P

、正确率

P

作为模型性能的评价指标，

(6)

(7)

其中查全率是还原出舌图像的正确区域与实际的比值；正确率是指还原的错误区域与检测出舌图像的比值差。网络2的查全率比网络1提高了近24

.

2个百分点，网络2的正确率比网络1提高了近11

.

0个百分点，网络2还原出舌图像的正确区域远远高于网络1，网络2的还原错误区域远远下降，验证了加入

OSIM

处理的网络1具有更高的修复能力和更好的抗干扰能力。

表2 基于OSIM网络还原的特征比较

7 结论

针对嘴唇、下巴、脸部等固定干扰因素以及其它无关噪音遮挡舌体等不固定因素对舌图像分割产生影响的问题，在传统舌图像分割的基础上进行改进，将DeepLab v2网络中卷积层设置带孔卷积子并增加生成对抗网络OSIM模块进行分割，能够在提高边缘区域精度的同时，处理原始图像中掺杂无关噪音和处理过程中目标区域丢失的问题，对不同环境具有一定的抗干扰能力。对比传统的舌图像分割，此方法在保证速度没有明显降低的前提下，大大提升了分割精度，并具备除噪能力，使舌图像分割具有较高的实时性。