基于图像分割的舌象检测方法

郑 丰,黄晓阳*,王博亮,王彦晖

(1.厦门大学信息科学与技术学院,福建厦门361005;2.厦门大学医学院,福建厦门361102)

基于图像分割的舌象检测方法

郑 丰1,黄晓阳1*,王博亮1,王彦晖2

(1.厦门大学信息科学与技术学院,福建厦门361005;2.厦门大学医学院,福建厦门361102)

传统的数字化舌诊研究系统多是建立标准的采集环境进行舌象采集,在密闭、光照稳定的环境下得到高质量的舌象图像.而在开放环境下,光照情况以及拍摄角度等往往较为复杂,因此,进行舌象分析时,首先需检测图像中是否存在合适的可供后续分析的舌象.针对这一特点,提出了一种基于图像分割的舌象检测算法.该算法首先对图像进行颜色校正的预处理,接着对图像进行分割得到多个连通域,通过判断连通域特征得到最终舌体区域后,再利用区域的纹理特征达到舌象检测的目的.实验结果表明,该方法具有较好的鲁棒性,且有较好的检测率,能够实现开放环境下的舌象检测.

舌象检测;图像分割;开放环境

舌诊是中医的重要诊断方法.传统的中医舌诊,主要依靠医生的肉眼观察,并进行分析判断,诊断结果往往与医生的经验和知识水平有关[1].近年来,信息技术的发展推动了中医舌诊客观化、数字化和自动化的进程.国内外学者对此进行了许多有益的探索,并开发了一些舌诊系统,如国内的清华大学结合临床经验研制了中医舌诊自动识别系统[2].台湾国立中山大学对舌象采集与舌象特征进行深入研究,提出了电脑化中医舌诊系统[3].北京工业大学信号与信息处理研究室提出了包括颜色校正、区域分割、舌质舌苔分离等一系列舌象处理流程,并开发了中医舌象分析仪[4].香港理工大学人体生物特征识别研究中心,开发了完整的舌象采集分析系统[5].厦门大学医学图像处理实验室与厦门大学医学院中医系合作,进行了深入研究,并自行开发研制了中医舌诊辅助中成药使用系统[6-7].在舌象分割方面,香港理工大学也进行了许多有益的探索[8-9].这些系统采用软硬件结合的方法,在标准的采集环境下,利用数码相机等设备采集舌象,将其传输到计算机中,运用计算机图像信息分析系统对采集图像进行分析,从而得出中医诊断学的判断.

这些中医舌诊系统的拍摄环境通常是固定的,即在密闭、光照稳定的环境下拍摄采集,这样能够得到高质量的舌象图像,但这些设备仪器大都比较笨重,不易携带,且价格较为昂贵,具有一定的局限性.随着智能手机的普及,通过移动设备在自然环境下进行舌象采集,获得个人健康信息逐渐成为一个发展方向.如厦门强本科技有限公司设计了一种基于移动终端的中医舌象分析系统[10],对移动设备采集的舌象进行分析,但随之而来的问题是,由于在开放环境下采集舌象,存在光源色温、光线强弱、拍摄角度、设备差异等诸多不确定因素的影响,导致图像中舌象区域的颜色失真、面积过小、分辨率低等问题,使得最终获取的结果同固定条件相比,采集的舌象图像往往存在较大差异,对后续的分析带来影响,甚至由于拍摄者的原因,采集的图像中不存在可供分析的舌象图像.因此,增强系统的容错率与鲁棒性显得十分重要,在对舌象进行分析前,对图像进行舌象检测是必要的一个步骤.舌象检测目的是判断采集的图像中是否存在合适的可供后续分析的舌象,并筛除一些低质量的图像,是进行后续舌象分析的步骤之一,其准确性直接影响整个系统的容错率.厦门强本科技的中医舌象分析系统通过将舌象图像转换到霍夫空间并有监督的训练大量数据,从而建立检测模型,该方法虽然实现了舌象检测功能,但存在对数据集依赖高的不足之处.本文中针对这一特点,提出了一种基于图像分割的舌象检测方法.

1 舌象检测

舌象检测的目的是为了判断图像中是否存在合适的可供后续分析的舌象,并筛除一些低质量的图像,是进行后续舌象分析的步骤之一.本文中针对开放环境下移动设备采集舌象图像的特点提出了一种基于图像分割的舌象检测方法,具体流程为:舌像采集,颜色校正,图像分割,区域特征比对,纹理特征判断.

该方法首先对图像进行颜色校正的预处理,减少因外界光源色温带来的影响.然后对图像进行分割,得到多个可能的舌体区域,并对各区域进行特征判断,得到最终的舌体区域,而后通过比较区域纹理特征进行判断.颜色校正部分采用灰度世界算法[11],并针对舌象图片特有的颜色特征设定收敛值.舌象分割部分采用最大类间方差、色调阈值分割和R、G、B 3色分量差值分割相结合的方法进行初步分割,并利用形态学运算去除噪点,平滑连通域.区域特征判断部分通过对比各区域的形状特征得到最终舌体区域,舌象的纹理特征判断则采用灰度共生矩阵为特征进行检测.实验结果表明,本文中提出的方法进行舌象检测能够获得较好的结果.

1.1颜色校正

在使用手机、数码相机等设备拍摄时,由于拍摄的环境不同、光照影响以及采集设备的白平衡处理,会导致图像的颜色失真,而颜色作为舌象分析中极为重要的一个特征,处理好颜色校正显得尤为重要.厦门大学医学图像处理实验室针对自然环境下舌诊图像提出了一种偏色检测与颜色校正方法[12].本文中采用经典的灰度世界算法对图像进行颜色校正,并在此基础上,分析标准采集环境下舌象图片R、G、B 3通道均值分别与图像整体均值的比值αi,针对舌象图片的特点调整算法收敛值.

灰度世界算法假设对于任意图像,当它有足够的色彩变化时,图像中的R、G、B分量的均值会趋于相等.而舌象图像中的R、G、B分量的均值与图像整体均值存在不同的比例关系,因此,本文中针对这一特点引入αi系数,改进后的算法按照下式调整图像R、G、B 3个通道的均值来实现颜色校正.

其中,Ravg、Gavg、Bavg分别为3个颜色通道的均值,Rd、Gd、Bd校正后的像素值,Rs、Gs、Bs为原始图像像素值.实验结果表明,经过调整系数后的灰度世界算法能够更加符合舌象图片的特性.

为了更客观地分析颜色校正结果,本文中采用颜色恒常性研究中普遍使用的色差[13]计算方法.色差是在L、a、b颜色空间中对颜色差异的度量,用ΔE表示.两幅图像之间的平均色差值ΔEmean越小,图像颜色越接近.其计算公式如下:

其中,ΔL、Δa、Δb分别为对应像素点的差值,ΔEp为单个像素的差值,m和n为图像宽高.

图1给出了灰度世界算法校正结果.表1给出了灰度世界算法处理偏色图片时的色差统计信息.结果表明,经过灰度世界算法校正后的图像与偏色图像相比,更加接近于标准图像(图1).

图1　灰度世界算法校正结果Fig.1 Correction results of gray world

表1　偏色图像与算法校正结果同标准图的色差值ΔEmeanTab.1 ΔEmeanvalues of corrected tongue images and color cast images with the standard ones

1.2图像分割

由于开放环境下采集的舌象图像中大都存在背景(如衣服)、人脸以及嘴唇等非舌象图像,进行舌象检测时,需把舌象从这些非舌象区域中分割出来.本研究根据这一特点,提出一种基于最大类间方差、色调阈值分割和R、G、B 3色分量差值相结合的方法进行图像分割,并结合形态学运算去除噪点,平滑连通域.其中,最大类间方差用于提取人脸区域,删除背景环境图像;色调阈值分割用于区分皮肤与舌象,删除舌象周围肤色图像;R、G、B 3色分量差值用于分割舌象边缘与周围皮肤,增强舌象边缘.

1.2.1最大类间方差法

最大类间方差法是一种自适应的阈值方法[14],它按照图像的灰度值将图像分为前景和背景两部分.背景和前景之间类间方差的大小决定了构成图像两部分的差距大小.当部分前景错分为背景或者部分背景错分为前景时,都会导致类间方差变小.因此,类间方差最大意味着错分概率最小.在进行有意识的舌象拍摄时,图像中人脸区域为前景,因此,利用该方法有效地删除衣服等背景环境图像.

设图像f(x,y)的灰度取值范围G=[0,L-1],各灰度值出现的概率为Pi,阈值T对图像进行二值化后分成两部分和两部分的概率分别为和α1=1-α0,平均灰度值分别为和则两部分的最大类间方差为:

图2　最大类间方差法处理结果Fig.2 The result of otsu

1.2.2色调阈值分割

HSV(hue,saturation,value)是根据颜色的直观特性创建的一种颜色空间,其中H表示色调,由于舌象的颜色特征与皮肤颜色存在差异,因此本研究利用HSV色彩空间中的色调分量H来区分肤色与非肤色区域,从而去除人脸对系统的干扰.人的肤色与舌象的色调H的差异较大,因此本文利用色调阈值分割将图像二值化.当色调介于某个区间时,认为是肤色,处理结果如图3.可以看出,该方法在肤色与舌象的分离上能够得到很好的效果,删除了图像中的肤色区域(黑色).

图3　色调阈值分割处理结果Fig.3 The result of hue threshold

1.2.3R、G、B 3色分量方差法

R、G、B 3色分量方差法是根据大量的观察实验指出舌象边缘的R、G、B 3色分量与周围皮肤有较大差异,提出的边缘增强公式,在舌体区域分割中取得了一定的效果[3].将该方法作为判断舌头边缘与周围皮肤的一种方法并用于本文提出的混合算法中.

设大小为M×M的图像f(x,y)的R、G、B取值范围为[0,1],则对于每个像素点(m,n)计算:

其中fm,n表示最终像素点的R、G、B取值,处理结果如图4所示.可以看出,该方法能够进一步地分割舌象边缘与周围皮肤.

1.3区域特征判断

对采集的舌象图像经过上述3种方法计算后得到3个结果图像,对这3个结果图像进行“与”运算后即表示同时满足上述3个步骤.经过处理的图像中存在一些大小形状各异的连通域,这些连通区域是舌象可能存在的区域,因此需要对各个连通域作进一步的分析判断,从而确定最终的舌体区域.由于进行有意识的舌象拍摄时,采集的图像中舌象区域的面积、长宽比、舌象位置等具有特定的取值范围,因此,根据舌象的这些形态特征设计的的区域特征判断的规则如下:

图4　R、G、B 3色分量方差法处理结果Fig.4 The result of R、G、B threshold

1)得到连通域的凸包[15]Si;

2)计算凸包Si与图像S的面积比Sarea=Si/S,删除面积比小于0.02的区域;

3)计算连通域质心Ci离图像中心C0的欧式距离

4)计算连通域最小右边界矩形的长宽比Rscale= W/H;

5)采用Hu[16]的7个不变矩mi对比Si与标准舌象形状S0的匹配度

6)根据下式计算最大值,最终选出舌体区域.

经过本步骤的区域特征判断,图像中剩余的连通区域为最有可能存在舌象的区域.实验结果表明,该规则能够以较高的准确率筛选出舌象区域.

1.4纹理特征

对于通过上述步骤得到的区域,是最可能存在舌象的区域.上述基于图像分割、区域特征判断等方法都是基于图像的形状特征.为了提高舌象检测的准确率,选择纹理特征进行进一步的判断.纹理特征是与视觉感受密切相关,是图像中普遍存在的特征,是描述和识别物体的一种重要的整体性特征.近些年来,对于纹理特征提取的各种理论或方法已经基本形成,主要有统计方法、结构方法、信号处理方法、几何方法和模型方法.而本中采用最常用且经典的统计方法,灰度共生矩阵(GLCM).该特征是被广泛应用并具有较好的鉴别能力的方法.它运用统计学中的概率来研究图像中灰度的空间相关特性.

对于图像中的任意一点(p,q)和偏移它的另一点(p+Δp,q+Δq),形成一个点对(m,n),其中m是点(p,q)的灰度值,n是点(p+Δp,q+Δq)的灰度值.固定Δp和Δq移动点(p,q),就会得到相应的点对(m,n),设灰度值的级数为L,则相应的灰度值组合为L2.将最终整幅图像的统计结果计算(m,n)的出现频率,归一化为概率Pmn,则灰度共生矩阵的联合概率密度分布为[Pmn]L×L.根据概率密度分布可以得出角二阶矩PCON、对比度PASM、熵PENT、逆差矩PIDM、中值PMEAN和灰度相关PCON6个纹理特征[17].

本文中通过计算水平、垂直、对角偏移量的纹理特征,分别按上述公式(10)计算,共得到18维的特征向量.以这18维特征为基础,人工选择10幅标准环境下的舌象图像,分别计算每个维度的平均值平均值F作为标准特征向量,并计算待判断的舌象图像的向量f与标准舌象特征向量F的特征相似度,采用下列公式计算,若结果D小于阈值T,则判断为舌象.

100幅非舌象区域与舌象区域同标准特征向量的特征相似度均值分别为0.904 7和2.024 2.可以看出,舌象区域与非舌象区域的纹理特征相似度具有较大的差别,以此作为特征可以较好的区分舌象区域.

2 实验结果

如图5所示,图5(a)为手机在光照明亮的自然环境下采集到的舌象,图5(b)为经过舌象分割结果的图,图5(c)为经过区域判断后的图,图5(d)为检测结果,图上的红线即为本文算法检测出的舌象.从结果图上可以看出,本文的算法能够从图像中识别、检测出舌象所在的位置,达到了舌象检测的目的.为了更客观的分析本文方法的有效性,随机选出一批移动设备采集的样本集,包括575张含有舌体的图像与634张不含舌体的图像,通过人工判别的方式来判断本文算法的检测结果.实验结果为对所有样本的检测结果,其中有988张图像检测正确221张检测失败.计算系统的准确率P=(tp+tn)/N与召回率R=(tp+fp),其中tp为正例中判断对的样本数,fp为正例中判断错的样本数,tn为反例中判断对的样本数,N为样本总数.计算得系统的准确率为81.72%,召回率为83.31%.实验结果表明,本文的方法对大部分图像(非严重偏色、光照强弱适中、轻微模糊)有较好的结果,能有效地在图像中检测舌象区域,具有较高的准确率与召回率.部分图像由于光线、模糊导致图像严重失真的原因,造成检测失败.

3 结 论

本文中对开放环境下的舌象检测方法进行了研究,针对移动设备在开放环境下采集图像这一特点,提出了一种基于图像分割的舌象检测方法,并针对舌象图片这一具体情况,改进并结合多种算法,在实验中取得了良好效果.在对图像进行分割时,结合色调阈值分割、最大类间方差和R、G、B 3色分量差值,通过弱分割法的结合,增强了舌象分割效果,最后再由区域筛选与纹理特征判断达到了舌象检测的目的.实验结果表明,本文的算法流程具有较高的鲁棒性,且具有较高的检测率,能够实现开放环境下的舌象检测.同时对于因光源偏色严重、光线过强过弱造成的颜色失真与拍摄抖动模糊造成纹理失真的舌象图像,没有进行后续分析的价值,因此,建议在光源稳定、光线强弱适中的环境下采集较高质量的图像.

舌象检测的难点在于如何克服环境因素的干扰,包括光线与背景等.在本文中,颜色校正采用了改进的灰度世界相算法,虽然针对舌象图片进行了系数改变,但灰度世界算法的线性校正方法容易导致校正后的图像灰度值过大或者过小.舌体判断部分,本文中采用了纹理特征进行判断,后续的研究中可以进一步结合其他特征进行更为精准的判断.

图5　舌象检测结果Fig.5 Mainsteps of tongue detection

[1] 王彦晖,何宽其,陈少东.观舌养生[M].福州:福建科技出版社,2009:1-2.

[2] 余兴龙,竺子民,金国潘,等.中医舌诊自动识别系统[J].仪器仪表学报,1994,15(1):67-71.

[3] 蒋依吾,陈建仲,张恒鸿,等.电脑化中医舌诊系统[J].中国中西医结合杂志,2000,20(2):145-147.

[4] 蔡轶珩,刘长江,沈兰荪.新型舌象分析仪的设计方案[J].测控技术,2005,24(5):34-36.

[5] 王兴政,张大鹏.中医舌象采集分析系统设计研究[C]∥中国中西医结合学会诊断专业委员会2009年会论文集.福州:[s.n.],2009:286-293.

[6] 楚宇燕.基于中医望诊的舌象特征提取与健康信息分析技术研究[D].厦门:厦门大学,2008:23-47.

[7] 杨大生.中医舌体自动化分割及质苔分离的关键技术研究[D].厦门:厦门大学,2007:15-45.

[8] CUI Z C,ZUOW M,ZHANG H Z,et al.Automated tongue segmentation based on 2D Gabor filters and fast marching[J].Intelligence Science and Big Data Engineering,2013,8261:328-335.

[9] WU K,ZHANG D.Robust tongue segmentation by fusing region-based and edge-based approaches[J].Expert Systems with Applications,2015,42(21):8027-8038.

[10] 王博亮.一种基于移动终端的中医舌象分析系统:中国, 2014200304657[P].2014-12-03.

[11] RIZZI A,GATTA C,MARINI D.A new algorithm for unsupervised global and local color correction[J].Pattern Recognition Letters,2003,24(11):1663-1677.

[12] 刘齐,黄晓阳,王博亮,等.自然环境下舌诊图像偏色检测及其颜色校正方法[J].厦门大学学报(自然科学版), 2016,55(2):278-284.

[13] WANG X,ZHANG D.A high quality color imaging system for computerized tongue image analysis[J].Expert Systems with Applications,2013,40(15):5854-5866.

[14] OHTSU N.A threshold selection method from graylevel histograms[J].IEEE Transactions on System Man &Cybernetics,1979,9(1):62-66.

[15] GRAHAM R L,YAO F F.Finding the convex hull of a simple polygon[J].Journal of Algorithms,1983,4(4): 324-331.

[16] HU M K.Visual pattern recognition by moment invariants[J].IRE Transaction on Information Theory, 1962,8(2):179-187.

[17] HARALICK R M,SHANMUGAM K,DINSTEIN I. Textural features for image classification[J].IEEE Transactions on Systems Man&Cybernetics,2010,3 (6):610-621.

A Method for Tongue Detection Based on Image Segmentation

ZHENG Feng1,HUANG Xiaoyang1*,WANG Boliang1,WANG Yanhui2

(1.School of Information Science and Engineering,Xiamen University,Xiamen 361005,China; 2.Medical College of Xiamen University,Xiamen 361102,China)

Traditional Chinese-medicine tongue diagnosis automated analysis systems mostly collect tongue images in a standard collection environment,and thus can obtain high-quality images.However,for the open environment,the illumination and shooting angle varies with each individual.Therefore,we should ensure that images contain the tongue.For this characteristic,we propose an imagesegmentation-based tongue detection method.First,a color correction method is used for pretreatment.Then the image segmentation method divides multiple connected domains.Finally,we achieve the purpose of tongue detection by analyzing features of connected domains.Experimental results show that the proposed method effectively solves the problem of tongue detection inopen environments, and achieves higher robustness and detection rates.

tongue detection;image segmentation;open environment

TP 391

A

0438-0479(2016)06-0895-06

10.6043/j.issn.0438-0479.201603016

2016-03-08 录用日期:2016-05-09

国家自然科学基金(61102137,61271336);厦门市重大科技计划项目(3502Z20100006)

xyhuang@xmu.edu.cn

郑丰,黄晓阳,王博亮,等.基于图像分割的舌象检测方法[J].厦门大学学报(自然科学版),2016,55(6):895-900.

ZHENG F,HUANG X Y,WANG B L,et al.A method for tongue detection based on image segmentation[J].Journal of Xiamen University(Natural Science),2016,55(6):895-900.(in Chinese)