计算机辅助舌象分析诊断研究进展*

唐智贤 李 萍 曾雅楠 张一乐 郑宇翔

(上海健康医学院医学影像学院 上海201318) (上海健康医学院医疗器械学院 上海201318)

李恒峰 魏千翔

(上海艾亘医疗科技有限公司 上海200135) (上海健康医学院医疗器械学院 上海201318)

肖正光

(上海交通大学医学院附属同仁医院 上海200050)

1 引言

中医四诊“望、闻、问、切”是中医学辨证论治的精髓，其中望诊居“四诊”之首[1]。舌诊是望诊的重要组成部分，医生通过观察舌头的色泽、形态的变化来辅助诊断及鉴别机体生理功能和病理变化。然而传统的舌诊是由人眼观察，很难对舌头图像进行定量存储和处理，影响舌诊的标准化、客观化和定量化。计算机辅助舌象分析诊断技术应运而生。一般的计算机辅助舌象分析诊断流程，见图1。本文通过搜集整理近年的相关文献，从上述流程对舌图像处理技术研究进行综述。

图1 计算机辅助舌象分析诊断流程

2 舌图像采集

舌图像采集是计算机辅助舌象分析诊断中最基础的步骤。近年来多种舌图像数据采集系统相继出现，国内有学者[2]选择索尼900E摄像机，配合使用色温为4800k的卤钨灯光源建立计算机辅助舌诊系统。日本学者[3]使用高光谱照相机和色温为5500k的氙灯光源实现舌图像的采集。上海道生、普瑞森、欣曼等公司也研发出相应的舌象数据采集系统。不难发现，目前主流的舌诊仪核心部件为数字相机，并且舌象采集装置的整体外观也在向小型化、便携化的方向发展。然而舌图像采集系统的设计尚不存在通用标准，不同的采集系统，光源色温不一，成像相机型号多变，成像环境各异，这些因素都对采集到的舌图像产生不可估量的影响。

3 舌图像预处理

在计算机分析之前，往往需要对舌图像进行预处理，尤其是颜色校正，以还原舌头的真实颜色。最常见的校正方法是使用标准色卡作为参照[4]，其他还有查表法、多项式回归法、支持向量机、神经网络等形式[5]。目前舌图像颜色校正算法能力有限，在不同颜色空间，采用不同的标准色板，使用不同的颜色校正算法将会产生很大差别。

4 舌象定位与分割

4.1 阈值法

阈值法主要利用舌象与背景颜色的差异，通过设置阈值对图像的像素点进行分类。其优点是算法实现简单、效率高，但是对图像的要求较高，鲁棒性较差。如项里伟[6]将舌象变换到医院信息系统空间中，运用灰度投影法定位舌体。余兆钗、张祖昌和李佐勇等[7]在RGB色彩空间中的红色通道执行阈值分割，得到舌体分割结果。姜朔、胡洁和夏春明等[8]在RGB、HSV色彩空间中，运用 OTSU阈值法对舌像进行二值化，结合形态学运算得到舌像分割结果。

4.2 可变形模型

自Kass M、Witkin A和 Terzopoulos D[9]提出活动轮廓模型以来，各种基于可变形模型的图像分割算法迅速发展起来并已应用在舌体分割中。该类方法的优点是分割精度较高、鲁棒性较好，但是计算时间长，且依赖初始曲线的精度。如刘晨星、张海英和杨浩[10]首先引入Perona-Malik方法处理原始图像的边缘信息，随后使用Snake模型实现舌体分割。有学者[11]将舌头形状及其在舌头图像中的位置先验知识加入主动轮廓模型的能量函数之中。毛红朝[12]利用主动形状模型的特征点定位方法实现舌体定位。

4.3 图结构模型

基于图结构模型的算法是一种快速的分割算法。该类算法在分割的速度上十分迅速，缺点是需要人工介入。如许志磊、邵一波和姚拓中[13]利用 GrabCut算法得到准确完整的舌体图像。陈善超、符红光和王颖[14]提出一种图论分割结合多分辨率分割的舌图像分割算法。

4.4 机器学习

在舌图像定位与分割方面，机器学习方法应用较为广泛。目前基于机器学习的分割算法大致可分为两大类，即传统机器学习方法和深度学习方法。传统的机器学习方法分割速度快、精度高，但人工设计特征较困难，且算法需要大量带标签的数据。如Liu W、Zhou C和Li Z等[15]提出一种基于稀疏表示的块驱动分割方法预测舌区域。Li X、Li J和 Wang D[16]提出一种特殊的级联分类器用于舌象定位。韩立博、胡广芹和张新峰等[17]利用K-means聚类方法对舌图像进行分割。而深度学习可以自动学习图像的特征，且具有并行性、自适应性、抗噪性等特点。如 Tang W、Gao Y和 Liu L等[18]使用卷积神经网络(Convolutional Neural Network，CNN)进行舌区检测。王丽冉、汤一平和陈朋等[19]提出粗分割结合精分割的两阶段CNN用于舌体分割。Cai Y、Wang T和 Liu W等[20]尝试用一种包含类间和类内代价的损失函数来提高CNN的分割性能。Li L、Luo Z 和Zhang M等[21]采用U-net作为网络主干，实现舌体分割。颜建军、徐姿和郭睿等[22]使用Mask R-CNN进行舌图像分割。Tang Q、Yang T和Yoshimura Y等[23]使用一级探测器SSD和MobileNetV2检测舌头区域。

5 舌象分析

5.1 舌色分类

色诊是舌诊的核心内容。在舌诊颜色分类问题中，比较成熟的算法是基于色度学的图像分类。有学者[24]选择RGB颜色模型对舌色进行分类，也有学者采用CIELAB颜色模型[25]。近几年，基于机器学习的舌色分类算法逐渐被提出，Qu P、Zhang H和 Zhuo L等[26]使用稀疏表示的分类器自动分析舌质颜色和舌苔颜色。Hou J、Su H Y和Yan B等[27]使用CNN对舌头颜色进行分类。邵尤伟[28]使用深度残差网络对舌色和苔色进行分类。

5.2 舌形态特征分析

舌形、舌态、舌神可从侧面反映机体的病理变化。对于舌形态的分析，陆萍[29]使用支持向量机辨别齿痕以及诊断裂纹。宋超、王斌和许家佗[30]提出一种深度迁移学习方法，对齿痕、裂纹、厚薄舌苔进行分类，平均准确度高达94.88%。龚一萍、陈海燕和卜佳俊等[31]依据齿痕幅度的大小定量齿痕的程度，用TAMURA纹理法来测定老嫩舌。

5.3 舌象与疾病之间的关联性分析

从量化角度探讨中医舌诊与临床疾病之间的关联，是当下计算机辅助舌象分析诊断的研究热点。许多科研机构致力于构建舌诊与证候、疾病、客观指标之间的内在联系，以指导疾病的诊断。邱童[32]基于 Faster-RCNN 和多特征融合方法，预估患者是否处在健康状态。Shamim M、Syed S和Shiblee M等[33]采用VGG19分析舌体，推测机体是否出现病变。刘召婕[34]使用支持向量机，基于舌象对糖尿病、肺癌等疾病进行预测。

6 结语

近年来计算机辅助舌象分析诊断取得大量研究成果，尤其是以深度学习为代表的智能诊断方法得到快速发展，但这些研究工作还需要进一步完善。第一，舌图像数据收集没有统一标准，且带标签的舌图像较少，如何采集可靠的样本、设计标准的采集设备等仍是亟待解决的问题；第二，舌图像所包含的信息丰富，已有的舌象分析大多还是聚焦于舌质和舌苔的颜色分析，关于舌形、舌态、苔质、舌神等方面的特征分析研究较少；第三，单纯利用舌象来辨识具体疾病依然有其局限性。今后有关研究方向应侧重于以下几个方面：第一，建立大样本病证结合的舌象数据库；第二，利用深度学习方法，深入挖掘舌象高阶特征，进一步提升计算机辅助舌象分析诊断系统的性能；第三，将舌象量化信息与脉象等其他信息相联系，联合挖掘舌象数据与疾病诊断、治疗的特定关系，以此作为支撑中医临床辨证和疗效评价的依据。上述研究的深入开展将有力促进中医四诊客观化的进程，有望获得新突破。