基于深度学习的中医舌象图像分割研究

★ 钟振 杨朝阳（福建中医药大学中医证研究基地 福州 350122）

中医通过“望闻问切”四种诊断方式，获取患者与疾病相关的体征信息，再基于辨证论治对疾病进行诊断。舌诊是中医临床诊断的重要内容之一，对舌诊进行客观化研究是中医现代化研究的重要组成部分。其中，舌象图像分割技术在舌诊客观化中扮演了一个非常重要的角色。具体来说，这种技术将舌体从中医舌象图像中分离出来［1］，它可以确定舌体的边缘，减少周围环境的影响，更能为之后的舌诊客观化研究提供方便。

1 研究背景

常用的舌象图像分割方法主要包括基于边缘检测的分割法［2-3］、基于颜色与模型的分割法［4-9］、基于深度学习的分割法［10-11］。

在基于边缘检测的分割法中，王爱民等［2］采用矢量Prewitt算子和多尺度组合正则化，提出一种新的边缘检测方法。该算法先对图像进行正则化处理，然后结合多尺度的矢量Prewitt算子对图像边缘进行检测，最后将检测出的边缘对舌象图像进行分割。Zuo W等［3］结合边缘检测和主动轮廓模型进行分割，该方法首先检测舌体的初始边缘，然后过滤无用边缘，最后结合主动轮廓模型分离舌体与背景。

在基于颜色与模型的分割法中，Li Z等［4］提出了基于HSI和RGB色度空间的阈值化中医舌象图像分割方法。该方法首先对HSI（色相，饱和度和强度）色度空间的色相分量进行转换以确定初始舌体区域。然后对RGB色度空间的红色分量进行图像阈值处理，找到舌根与上唇之间的间隙区域，最后进行形态学运算确定最终舌体区域。Ning J［5］提出了一种基于区域融合的自动舌象图像分割算法。该算法首先使用分水岭算法将舌象图像分割成许多小区域，然后将颜色相似的区域合并，最后使用Snake算法来细化区域合并结果并获得最终的分割舌体。卫保国等［6］首先使用半自动分割方法大致描绘出舌体区域的边缘轮廓线，获得初始边缘点，再对初始的边缘点进行拟合得到更平滑的舌体轮廓。孙炀等［7］提出分裂-合并算法进行中医舌象图像分割。该方法基于舌像的RGB颜色特征，根据颜色将舌像分裂成不同区域，合并相似的区域，最终合并的结果为分割结果。Li W等［8］提出了一种新的主动轮廓模型作为分割方法。通过HSV空间中的舌头特征初始化Snake的初始轮廓。再用多分辨率小波（Gabor）生成图像边缘能量的主动轮廓模型并分割出最终的舌体。Pang B等［9］提出了一种基于双椭圆形可变形模板和活动轮廓模型（即双椭圆形可变形轮廓）的中医舌象图像分割方法，该方法先采用双椭圆形可变形模板得到大体的形状特征，然后使用活动轮廓模型约束形状特征，得到分割的舌像。然而，舌体与嘴唇颜色接近，用上述方法很难将舌体与嘴唇分开。

在基于深度学习的分割法中，王丽冉［10］采用两阶段卷积神经网络进行舌体分割，第一阶段确定舌体定位，降低背景信息的干扰，第二阶段通过Fs-net对定位的舌体进行精细分割。该方法能较好地分割舌象图像。Zhou C［11］针对舌体定位和分割的提出了一种端到端的网络模型。该网络运用特征金字塔网络提取多尺度舌体特征。然后利用多尺度舌体特征图分离舌体与背景。

2 方法

本网络基于PyTorch框架，实验的具体流程为：收集舌象图像、标注舌象标签、进行数据增强、部署深度学习框架。并采用数据增强之后的数据集进行舌象图像分割的训练与测试。

2.1 数据收集与数据准备本文选用国际照明委员会（CIE）推荐使用的代表日光的标准光源D65进行照明。自然光下使用该标准光源,采集中医高清舌诊图像120张，像素为480×640，照片格式为jpg。在标签制作部分首先使用人工检查的方式对舌体和背景进行判断，再使用PhotoShop对舌体和背景进行分割生成标签，最后交由中医学教授进行二次评估筛选不合格的标签，并进行重新分割，直到合格。此外，舌象图像按数字排列顺序进行命名，起点为000，舌像和标签形式如图1。

图1 原始中医舌象图像与标签

2.2 数据增强由于深度学习的模型在小数据集下容易出现过拟合，因此训练一个成熟的模型需要大量的舌象图像数据。本文使用数据增强技术获取足够的训练数据。具体来说，先用python语言编写数据增强程序，然后输入原始图像和标签，并运用数据增强程序旋转，平移，缩放，添加噪声等方法，将原始的120张带标签的舌诊图片增加到12000张以进行网络训练。原始舌象图像及增强之后的舌象图像见图2。

图2 原始中医舌象图像与增强图像

2.3 舌像分割网络本文使用U-Net进行中医舌象图像分割。该网络包含两个部分：编码器和解码器（见图3）。编码主要用于压缩和提取舌像特征，它包含10层卷积核为3×3卷积层。每层卷积层之后采用批归一化加速网络训练，以及ReLU激活函数提高神经网络对模型的表达能力。此外，在压缩特征步骤，笔者在每两个卷积层后使用池化核为2×2最大池化层，该池化层只保留每个2×2网格内像素特征的最大值，通过最大池化层，特征被压缩至原来的四分之一，以便后续的特征提取。

解码器通过基于编码器提取的特征重构输出。其中，卷积核为3×3反卷积层用于重构需要预测的特征。此外，为了加强浅表特征的表达能力，笔者采用跳跃连接操作，该操作直接将对应的编码特征层和解码层特征一一拼接（如图3），该操作显著加强网络的分割能力。网络框架如下。

图3 U-Net网络结构图

2.4 基于PyTorch构建模型结合U-Net和数据增强技术，训练的中医舌像模型能在中医舌像分割中有良好的表现。为了构建精确模型，笔者首先参照论文，用PyTorch框架构建U-Net［12］模型。然后使用经过人工分割的舌像图片训练模型的参数。具体的训练流程为：初始化网络权重，加载实验数据，提取舌象图像特征，预测舌象图像标签，判断预测的标签是否与人工标签相符合，计算损失，反向传递损失并更新网络参数，迭代前面的步骤直到达到目标迭代次数，完成训练，生成中医舌象图像分割模型，在测试集上进行测试，评估模型的性能。

在训练过程中，训练迭代次数为1 000次，学习率为10-3，训练批量设置为8，网络优化器设置为Adam，损失函数为交叉熵损失函数。该网络的实验环境：CPU处理器为i7八代处理器，GPU处理器为NVIDIA 1080ti，内存为16G，硬盘500G。实验平台为Window 10。

3 结果

3.1 模型效果评估为了评估白细胞分割算法的性能，本次实验采用精确率（Precision）、Dice系数（Dice coefficient）、mIoU（MeanIntersection over Union）、以及错分类误差（Misclassification Error, ME）进行评价。这些参数通过网络预测的结果与人工分割的标签进行对比以判别结果。例如，同一张舌象图像，预测的舌体与人工标签相同则为真阳性（TP），若不同则为加假阴性（FN），若人工标注的舌体像素没有被预测则称为真阴性（FP），若预测的和人工标注的都为背景则为真阴性（TN）。计算公式为：

3.2 实验结果为了验证本文算法的有效性，笔者把本文的算法、基于深度学习及数据增强的FCN［13］算法和未进行数据增强的U-Net算法在包含30张舌像数据集上进行测试。笔者采用了4个评估指标：精确率（Precision）、Dice系数（Dice coefficient）、mIoU（MeanIntersection over Union）、以及错分类误差（Misclassification Error, ME）来评价分割效果。其中精确率、Dice、mIoU越高效果越好，错分类误差越低效果越好。表1是几个算法的测度平均值，笔者把最好的结果进行加粗标记。从表1可以看出，本文算法的精确率为0.9545、Dice系数为0.967 3、mIoU系数为0.956 3、错分类误差为0.017 8。从实验结果分析，相较其他算法，本文算法取得了最优的结果。

表1 舌像分割结果

从可视化结果分析（见图4），在宏观上，基于深度学习的算法均可以精准定位舌体方位，且对舌体周围环境不敏感，对中医舌象图像表现出较强的适应性。但在微观上，本文算法对于舌体边缘的分割好于FCN及未进行数据增强的U-Net。

图4 中医舌象图像分割测试结果可视化图

4 讨论

舌诊是中医辨证论治的一个重要核心之一，它在中医临床诊断中起着重要的作用。通过舌诊中医医生可以了解人体脏腑的虚实，辨别病邪的深浅，病性的寒热，判断病势的轻重变化。然而，传统的中医舌象辨识依赖医生肉眼的观察与经验［14］，容易被个人的主观意志、外部环境（比如光线、温度等）影响［15］。中医舌诊客观化旨在建立客观统一的辨识标准。中医舌象图像分割是舌诊客观化的基础之一，主要用于分割舌体和背景，减少周围环境的影响，为后续的舌象图像处理打下基础。传统的算法在它们的数据集上展现了不错的性能，但它们依赖一些特定的光照条件和环境，且容易混淆舌体和嘴唇，这将为后续的舌诊客观化带来困难。本研究模型首先通过编码器进行舌象图像特征提取，再通过解码器进行舌象图像分割预测，以端到端的方式精确分割舌象图像的舌体和背景，且结合数据增强技术解决了中医舌像数据量少的问题，具有较强的泛化能力，能较好地完成舌诊客观化下的舌象图像分割。

从实验结果分析，本模型可以较好地分割从中医舌象图像中分割出舌体和背景，且不受舌象图像位置的影响，当舌体位置或舌体方向不一致时，该模型仍能进行较好的分割。同其他深度学习分割算法相比，本算法对舌体边缘的分割优于FCN。这是由于FCN结构简单，细节分割较差；此外，本算法显著优于未进行数据增强的U-Net，这是因为原始数据的训练数据较少。因此未进行数据增强的U-Net很容易出现过拟合，导致分割结果不佳。

此外，从可视化结果（图4）可以看出，本模型分割的舌体边缘常附带背景像素或缺失少量的舌体像素，因此本模型对舌体边缘分割的精确度还需加强。虽然本研究已经通过跳跃连接融合浅层特征和深层特征，但融合的浅层特征不够充足，这也是导致舌象图像的边缘精度不够高的原因。尽管本模型对舌体边缘的分割稍显不足，但0.954 5的精确率，Dice系数为0.967 3、mIoU系数为0.956 3、0.017 8的错分类率，以及对周围环境较强的适应性说明：本模型可以较好的完成中医舌象图像分割。

虽然基于深度学习和数据增强技术舌象图像分割具有一定优点，但仍存在一些问题。（1）标签问题，深度学习的标签来源于人工分割，但是人为的分割会不可避免的带来一些误差，因此需要设计一种程序客观地评估误差的范围是否合理。（2）应用问题，舌象图像分割在舌诊客观化中扮演了一个十分重要的角色，但它主要起辅助作用。因此需要设计一种新的网络，结合分割网络自动进行舌象诊断。例如，输入图片，系统自动诊断舌象图像的舌质与舌苔。（3）边缘精度问题，虽然基于深度学习的舌象图像分割取得了较好的结果，但网络浅层特征提取欠缺，边缘分割精度较差。因此需要设计一种更有效的浅层特征提取层结合U-Net，减少舌体边缘分割的误差。此外，深度网络模型对边缘的分割精度较差，如何设计一种更有效的浅层特征提取模型，如何结合分割网络对舌象图像进行自动诊断，使之能实地的应用，仍值得进一步研究。