自然环境下舌诊图像偏色检测及其颜色校正方法

刘 齐,黄晓阳*,王博亮,王彦晖(1.福建省智慧城市感知与计算重点实验室(厦门大学),2.厦门大学信息科学与技术学院,福建厦门61005;.厦门大学医学院,福建厦门61102)



自然环境下舌诊图像偏色检测及其颜色校正方法

刘 齐1,2,黄晓阳1,2*,王博亮1,2,王彦晖3
(1.福建省智慧城市感知与计算重点实验室(厦门大学),2.厦门大学信息科学与技术学院,福建厦门361005;3.厦门大学医学院,福建厦门361102)

摘要:针对自然环境下中医舌象采集中的颜色偏差问题,提出了一种中医舌诊图像的偏色检测及其颜色校正方法.首先根据舌诊图像的颜色分布特征在Lab颜色空间采用基于等效圆的方法进行偏色检测,然后采用改进的灰度世界和完美反射相结合的颜色校正方法对舌诊图像进行处理.实验结果表明,本文提出的偏色检测方法更加符合舌诊图像的实际需求,可以更准确地反映主观感受到的偏色程度;提出的颜色校正方法不需要标准色卡的辅助,相比传统的颜色校正方法,本文方法得到的结果更理想.

关键词:舌象处理;偏色检测;颜色校正;Lab颜色空间

中医认为,人体是一个有机的整体,而舌是全身脏腑器官的缩影之一,各个组织器官的健康状况均可以通过神经、脉络反映到舌的不同区域[1-2].因此,舌诊是中医临床上重要的诊察手段.传统的中医舌诊会受到医生知识水平、诊断技巧和光照条件等因素的限制,客观性和可重复性较差.因此需要采用图像处理技术对舌诊过程进行定量分析.如蔡轶衍等[3]提出了包括颜色校正、区域分割、舌质舌苔分离等一系列流程,并开发了中医舌象分析仪.厦门大学医学图像处理实验室与医学院中医系合作[4-5],并自行研制出中医舌诊辅助中成药使用系统[6].Wang等[7-8]开发了完整的舌象分析系统,可以获取高质量的舌诊图像并将误差控制在肉眼难以识别的范围以内.这些舌象分析系统都具有很高的准确度和稳定性,能够真实地还原舌象特征并进行分析诊断,还在大量临床应用中证明了其实用价值.但这些系统的采集过程都是在固定光源下进行.

随着手持拍摄设备的普及,采用手机在自然环境下进行舌象采集逐渐成为一个发展方向.但是,中医望诊要求在白天充足、柔和的自然光条件下观察舌象,而人们在舌象的采集过程中,存在光源色温、光线强弱、拍摄角度等诸多不确定因素的影响,使得最终获取的结果同理想条件相比,会存在一定程度的偏色,影响后续处理过程.目前常见的校正方法是在采集舌象的过程中使用标准色卡作为参照[9-14],通过线性回归[15]、支持向量回归[16]或神经网络[17]等方法将色卡颜色映射到标准光照下的颜色值来进行.这种方法虽可以取得较好的效果,但采集过程复杂,且计算复杂度较高,不利于舌像采集工作的推广.因此,建立一种不借助色卡、可在自然环境下判断和校正偏色的方法,获得符合诊断要求的舌诊图像,具有重要意义[18].

校正舌诊图像偏色的前提条件是要检测出图像中是否存在偏色以及确定偏色程度.本文采用改进的基于等效圆的偏色检测方法,同传统方法相比,综合考虑了舌诊图像的色度分布特性,具有较高的准确度和适应性.在偏色检测的基础上对舌象进行颜色校正.在不借助标准色卡的前提下,只能通过已有图像的颜色分布特征进行分析.传统的基于图像分析的颜色校正方法有灰度世界法(gray world,GW)[19],镜面法(perfect reflection,PR)[19]等.本文在考虑舌象颜色分布特征的基础上,将2种传统方法结合,对其进行改进,发挥了2种方法的优点,取得了较好的结果.

1 舌诊图像偏色检测

1.1颜色空间转换

传统的RGB颜色空间最大的局限性在于当用欧氏距离来刻画2种颜色之间的差异时,计算出的差距无法正确表征人们实际感知到的真实差异.因此本文采用的基于等效圆的偏色检测算法是在CIE Lab颜色空间[20]实现的.其中的L分量用于表示像素的亮度,a表示从红色到绿色的范围,b表示从黄色到蓝色的范围.

从RGB空间到Lab空间的转换需要借助XYZ颜色空间.RGB空间到XYZ空间的转换公式如下:

XYZ空间到Lab空间的转换公式如下:

其中:

在以上公式中,Xn,Yn,Zn是XYZ空间内相对于参考白点的三刺激值.在CIE标准光照D65下,三者的值分别为Xn=95.047,Yn=100,Zn=108.883.

1.2传统偏色检测方法

偏色检测的传统方法主要包括直方图统计[21]、灰平衡法[22]、白平衡法[22]等.直方图统计法直接计算图像中R、G、B通道的颜色均值,虽然可以获得图像整体的颜色信息,但无法具体分析偏色原因.灰平衡法基于灰度世界假设,将RGB颜色空间转换到Lab颜色空间,计算各像素点同灰色点之间的距离,只适用于满足灰度世界假设的图片,对整体偏红的舌诊图像效果不理想.白平衡法认为图像中的高光区域反映了光源的颜色,同样是在Lab颜色空间,通过计算高光区域同理想光源的颜色差值判断图像偏色程度.由于舌诊图像不一定存在高光区域,该方法同样存在局限性.

1.3舌象偏色检测方法

数字图像的偏色不仅与图像色度的平均值和图像中的亮度极大值有直接关系,还与图像的色度分布特性有关.如果一幅图像在Lab颜色空间中a-b色度坐标平面上的二维直方图中色度分布基本上为单峰值,分布较为集中,且色度平均值又较大时,一般都存在偏色,而且色度平均值越大,偏色越严重[22].基于以上原因,徐晓昭等[22]提出了一种基于等效圆的偏色检测方法,计算方法如式(1)～(5):

式中,m、n分别为图像的宽和高.在a-b色度平面上,等效圆的中心坐标为(da,db),半径为M,等效圆的中心到a-b色度平面中性轴原点(a=0,b=0)的距离为D.D越大说明图像的平均色度越大,M越小说明图像中的颜色分布较为集中.由D和M的比值计算得到偏色因子K,K值越大,图像偏色越严重.

这种检测方法利用图像的颜色分布特征,综合考虑了平均色度和集中程度.但是标准舌诊图像本身在这两方面具有一定的偏差,即对舌诊图像而言,并非K值越小偏色程度越轻.如图1(a)、(b)、(c)所示为偏红色程度依次减弱,图1(d)为标准光照下的舌诊图像,图1(e)和图1(f)分别为偏蓝和偏绿色时的舌诊图像,各图像的K值见表1.其中,标准光照下的图1(d)的K值为3.241,而偏色光照下的图1 (e)的K值为2.846.偏色舌象的K值反而小于标准舌象的K值.因此仅通过K值不足以进行偏色舌象的检测.

图1　存在不同程度偏色的舌象Fig.1 Tongue images with varying degrees of color cast

为解决这一问题,本文通过将舌诊图像中的D、M值与标准光照下的D、M值进行对比,来进行偏色检测并量化颜色校正算法的效果.定义舌像偏色误差XTCD(tongue color deviation,TCD)用于定量评价舌像偏色程度,其计算方法如下:

其中,D'和M'分别是根据实验统计数据获得的标准光照下舌诊图像D、M的均值.XTCD值的大小直接反映了偏色舌像同标准舌像之间的颜色分布差异,可以用于定量分析舌像的偏色情况.此外,根据实验数据统计值,对TCD设定一个阈值,当图像的XTCD值超过该阈值时,表明舌诊图像偏色严重,对该图像不再进行后续的颜色校正.

2 偏色舌象的颜色校正

2.1传统颜色校正算法

目前常用的颜色校正算法主要有灰度世界算法和镜面法2种,这2种算法都基于针对图像内容的某种假设进行,不需要借助标准色卡即可得到较好的校正结果.

灰度世界算法是以灰度世界假设为基础的.灰度世界假设即为任一幅图像,当它有足够的色彩变化时,则图像中R、G、B分量的均值会趋于相等.灰度世界算法通过将偏色图像中的3个颜色通道均值调整至相等状态来实现颜色校正,如式(6)、(7).其中, Rave、Gave、Bave分别为3个颜色通道的均值,R1、G1、B1为原始图像像素值,R2、G2、B2为调整后的像素值.

该算法的问题在于,当图像中存在大片单一颜色时,灰度世界算法会产生过度校正,其根本原因是图像不再满足“灰度世界”假设.

镜面法则基于另一种假设:在一幅图像中,一个白色的物体在任何光源色温下的图像,其R、G、B通道的值皆为极大值.镜面法就以白色物体为基准,通过对3个颜色通道的线性变换,将图像中极大值点调整为白点,以实现整个图像的颜色校正,如式(8).其中, Rw、Gw、Bw为白点的值,一般取255.Rmax、Gmax、Bmax分别为原始图像3个颜色通道的最大值.

但是,当图像中不存在白色物体时,镜面法会产生错误校正.而当图像中极大值点即为白点时,镜面法将完全失效.

2.2舌象颜色校正方法

在通常采集到的舌诊图像中,人体皮肤和舌体表面占了很大比例,使得图像不符合灰度世界假设,容易出现过度校正的现象.针对这种情况,本文算法实现过程中采用了基于标准差加权的灰度世界法[22](standard deviation weighted gray word,SDWGW).该算法在计算RGB通道的均值时,将图像分块,计算每一块的像素标准差,根据标准差的大小对该图像块赋予权值.标准差越大的图像块(主要出现在舌体周围环境部分),颜色变化越丰富,将获得更大的权值.这样可以将单一颜色的图像块(主要出现在人体皮肤、舌体部分)等价视为具有丰富色彩的面积较小的图像,减少大片单一颜色对通道均值的影响,使获得的图像统计信息更接近灰度世界假设,得到更好的校正效果.

本文方法的具体计算步骤如下:

首先将图像分成16×16的小块,假设共分为n 块.实际分块时,如果图像大小不是16的整数倍,边缘部分可以舍弃,对校正结果影响不大.按照式(9)计算出图像的颜色分量加权均值YSDW:

式中,Rave(k)、Gave(k)、Bave(k)表示第k个块颜色分量的均值,Rstd(i)、Gstd(i)、Bstd(i)表示第i个块颜色分量的标准差.获得颜色分量的加权均值后,建立式(10)～(13)所示的二次方程.

式中,u,v是需要求解的通道二次变换系数,除此之外其他参数均为已知量.式(12)使得变换结果满足标准差加权的灰度世界假设,式(13)使得变换结果满足镜面法假设.由方程组求得u、v之后根据式(14)即可得出R、G、B 3个颜色通道的最终的校正结果R'、G'、B'.

3 实验结果及分析

3.1舌诊图像偏色检测

采用等效圆偏色检测方法,对于图1中的各采样图像进行分析,可得表1.

表1　各偏色图像的检测结果Tab.1 Detection results of each image

从表1中可以看出,随着偏色程度的加重,M、D值都会逐渐增加,同标准光照下的M、D值差异也越大.图1(e)和图1(f)虽然存在偏色但是K值比标准光照下的图1(d)小,说明仅通过K值无法准确衡量偏色程度.而XTCD值的大小同主观感受的偏色程度比较一致.此外,XTCD值的变化速度大于K值,有利于更加精确地量化舌诊图像的偏色程度.根据本文确定的XTCD阈值25可以筛选出图1(c)、(d)、(f)有进行颜色校正的价值,而图1(a)、(b)、(e)由于偏色严重,不适宜作进一步处理.

3.2舌诊图像颜色校正

为了避免图像采集过程中拍摄角度、舌体位置、背景等不确定因素对颜色误差分析的影响,本文首先在正常光照环境下[23](D65标准光源,色温值为6 500 K)采集90幅标准舌象,然后使用图像编辑软件对标准图像进行颜色调整,模拟实际拍摄中的颜色误差,生成偏色图像.这种方法获得的测试图像同标准图像之间的差异完全是因为颜色的不同,可以更加精确地反映颜色校正结果.

本文分别对比了传统的镜面法、灰度世界法、标准差加权的灰度世界法以及本文的方法.

首先进行单个图片的分析.对一幅舌诊图像进行偏色模拟,标准情况和偏色情况如图2所示.图片下方是对应的颜色分布直方图,以便更直观地展示图像的色彩变化.直方图横轴表示像素值的大小,从左至右依次递增.纵轴表示该像素值对应的像素点个数.可以看到,偏色图像的直方图中红色分量明显增加,同图片的主观感受一致.

图2　偏色舌象的软件模拟Fig.2 Software simulation of color cast

采用不同校正算法对图2中的偏色图像进行处理,所得的结果如图3所示.

由图2中的颜色分布直方图可以看出,标准光照下的舌诊图像由于人体所占比例较大,RGB通道分布不一致,并不完全符合灰度世界假设.因此,仅采用灰度世界法会导致过度校正的问题,如图3(a)所示.同时,偏色图像由于最亮点的颜色值已经达到最大值,也不符合镜面法的计算条件,仅采用镜面法对偏色图像改善不明显,如图3(b)所示.标准差加权的灰度世界算法虽然考虑到了单一色块的影响,但仍然存在过度校正的问题,如图3(c)所示.采用本文算法综合考虑了两种假设,校正效果最好,颜色直方图中红色分量与标准图最为接近,如图3(d)所示.

表2给出这4种算法对于所采集的90幅舌像的校正结果,分别计算了偏红、偏绿、偏蓝情况下校正结果的TCD均值.从表中可看出,本算法的校正结果TCD均值最小,即同标准图的颜色分布差异最小.

为了更精确地分析颜色校正结果,本文还采用了颜色恒常性研究中普遍使用的色差[24]计算方法.色差是在Lab颜色空间中对颜色差异的度量,用ΔE表示.

图3　各算法校正结果Fig.3 Correction results of each method

表2　90幅舌象校正结果TCD均值Tab.2 Mean TCD value of 90 corrected tongue images

表3　不同偏色舌象校正结果同标准图的色差值ΔEmeanTab.3 ΔEmeanvalue between different corrected tongue images and the standard ones

两幅图像之间的平均色差值ΔEmean越小,图像颜色越接近.其计算方法如式(16)、(17)所示.其中,ΔL、Δa、Δb分别为对应像素点的差值,ΔEp为单个像素色差值,m和n为图像的宽度和高度.

在实验过程中,对于各个算法校正后的图片,计算其与标准光照下的色差值,色差值越小则表明该算法的结果越接近标准图像,效果越好.

表3给出了不同算法处理偏色图片时的色差统计信息.结果表明,同传统算法相比,本文算法具有更强的适应性,对自然环境下采集的舌象的处理所得效果更理想.

为了验证实际情况下的校正效果,本文分别在标准光照(D65标准光源,色温值为6 500 K)和偏色光照(在标准光源下加入彩色干扰灯光)条件下采集舌诊图像.校正结果的对比如图4所示.

从图中可以看出,本文算法的校正结果更接近标准光照下的舌象,修正偏色的同时削弱了灰度世界算法的过度校正现象.各算法校正结果同标准图像之间的ΔEmean对比结果见表4.

真实环境中拍摄的偏色图像的色差值不完全是由颜色变化引起的.实际上,相同光照下拍摄的两张舌诊图像仍然存在ΔEmean为3～5的差别,这来源于拍摄角度的变化和被拍摄者不可避免的细微动作.由于拍摄难度较大,实验过程中本文仅采集了20组互相对应的标准和偏色光照下的舌象,并通过色差值对比了各算法的校正结果,见表4所示.

图4　各算法校正结果Fig.4 Correction results of different methods

表4　各算法校正结果色差值Tab.4 ΔEmeanvalue of each method

除了客观评价的方法以外,本文还对校正结果进行了主观评价.具体过程是由包括2名职业医师在内的7位评判者对不同算法的校正结果给予0～5分的打分(0表示颜色校正结果很差,5表示很好),允许0.5分的精确度.从平均得分和标准方差来观察不同校正算法的表现,结果见表5.

从主观评价的结果来看,本文算法得分最高且最稳定,取得了最理想的颜色校正效果.

表5　各算法主观评价结果Tab.5 The subjective evaluation results of each method

4 结 论

本文对于自然环境下的舌象颜色校正方法进行了研究.为了在缺少标准参照的条件下对舌诊图像的偏色情况进行初步分析,在舌象处理的第一步采用了基于等效圆的偏色检测方法,在Lab颜色空间中判断图像中是否存在偏色以及定量分析偏色程度.这种方法和主观评测的结果比较一致.在对舌诊图像进行颜色校正时,由于缺少标准色卡的参照,只能借助现有图像的颜色统计信息.本文针对舌诊图像的颜色分布特点,采用了一种结合标准差加权的灰度世界和镜面法的颜色校正算法,并通过色差计算评价方法与传统算法进行对比.实验表明,本文的校正算法综合考虑了舌诊图像的特征,所得结果偏色程度更低,相比传统算法具有更好的颜色校正效果.

需要指出的是,由于自然环境下舌象采集自身的缺陷,本文方法的颜色校正效果无法完全达到封闭环境下的校正效果.但在牺牲了一定的准确度的前提下获得较高的便捷性与实用性,仍具有较高的研究价值.

参考文献:

[1] 王彦晖,何宽其,陈少东.观舌养生[M].福州:福建科技出版社,2009:1-2.

[2] 李文书.中医舌诊中若干图像分析关键技术的研究[D].杭州:浙江大学,2005.

[3] 蔡轶珩,刘长江,沈兰荪.新型舌象分析仪的设计方案[J].测控技术,2005,24(5):34-36.

[4] 楚宇燕.基于中医望诊的舌象特征提取与健康信息分析技术研究[D].厦门:厦门大学,2008.

[5] 杨大生.中医舌体自动化分割及质苔分离的关键技术研究[D].厦门:厦门大学,2007.

[6] 刘峰.中医舌诊辅助中成药使用系统中的舌象分析研究[D].厦门:厦门大学,2007.

[7] WANG X,ZHANG D.A high quality color imaging system for computerized tongue image analysis[J].Expert Systemswith Applications,2013,40(15):5854-5866.

[8] WANG X,ZHANG D.A new tongue colorchecker design by space representation for precise correction[J].IEEE Journal of Biomedical and Health Informatics,2013,17 (2):381-391.

[9] HAEGHEN Y V,NAEYAERT J M A D,LEMAHIEU I,et al.An imaging system with calibrated color image acquisition for use in dermatology[J].Medical Imaging, IEEE Transactions on,2000,19(7):722-730.

[10] BARNARD K,FUNT B.Camera characterization for color research[J].Color Research& Application,2002, 27(3):152-163.

[11] YAMAMOTO K,KITAHARA M,KIMATA H,et al. Multiview video coding using view interpolation and color correction[J].Circuits and Systems for Video Technology,IEEE Transactions on,2007,17(11): 1436-1449.

[12] VRHEL M,SABER E,TRUSSELL H J.Color image generation and display technologies[J].IEEE Signal Process Mag,2015,22(1):23-33.

[13] WANG X,ZHANG D.An optimized tongue image color correction scheme[J].Information Technology in Biomedicine,IEEE Transactions on,2010,14(6): 1355-1364.

[14] WANG X,ZHANG D.A comparative study of color correction algorithms for tongue image inspection[M]∥Medical biometrics.Berlin Heidelberg:Springer,2010: 392-402.

[15] LUO M R,HONG G,RHODES P A.A study of digital camera colorimetric characterization based on polynomial modeling[J].Color:Research and Applications,2001,26(1):76-84.

[16] ZHANG H Z,WANG K Q,JIN X S,et al.SVR based color calibration for tongue image[C]∥Machine Learning and Cybernetics,2005.Proceedings of 2005 International Conference on.Guangzhou:IEEE,2005: 5065-5070.

[17] CHEUNG V,WESTLAND S,CONNAH D,et al.A comparative study of the characterisation of colour cameras by means of neural networks and polynomial transforms[J].Coloration Technology,2004,120(1):19-25.

[18] 徐晓昭.开放环境下舌图像颜色校正关键技术的初步研究[D].北京:北京工业大学,2010.

[19] RIZZI A,GATTA C,MARINI D.A new algorithm for unsupervised global and local color correction[J].Pattern Recognition Letters,2003,24(11):1663-1677.

[20] ITTI L,KOCH C.Computational modelling of visual attention[J].Nature Reviews Neuroscience,2001,2(3): 194-203.

[21] NAVALPAKKAM V,ITTI L.Modeling the influence of task on attention[J].Vision Research,2005,45(2): 205-231.

[22] 徐晓昭,蔡轶珩,刘长江,等.基于图像分析的偏色检测及颜色校正方法[J].测控技术,2008,27(5):10-12.

[23] XU H,LUO M R,RIGG B.Evaluation of daylight simulators.Part 1:colorimetric and spectral variations[J]. Coloration Technology,2003,119(2):59-69.

[24] FUNT B,CARDEI V,BARNARD K.Learning color constancy[J].Society for Imaging Science and Technology,1996,1996(1):58-60.

A Method for Color Cast Detection and Color Correction of Tongue Inspection Images Under Natural Environment

LIU Qi1,2,HUANG Xiaoyang1,2*,WANG Boliang1,2,WANG Yanhui3
(1.Fujian Key Laboratory of Sensing and Computing for Smart City,Xiamen University,2.School of Information Science and Engineering,Xiamen University,Xiamen 361005,China;3.Medical College of Xiamen University,Xiamen 361102,China)

Abstract:Color-cast detection and color correction processes are proposed for tongue inspection from images in traditional Chinese medicine(TCM)under natural environments.First,a color cast detection method based on equivalent circle was applied in Lab color space,then the tongue images were processed by a combination of color correction method of improved gray world(GW)with perfect reflection(PR)according to the distribution characteristics of tongue images.Experimental results show that the proposed color cast detection method complies better with the actual requirements of tong images by reflecting the perceived degree of color cast more accurately.Meanwhile,the color correction method can exhibit a better performance compared with the traditional ones without the aid of colorcheckers.

Key words:tongue image process;color cast detection;color correction;Lab color space

*通信作者:xyhuang@xmu.edu.cn

基金项目:国家自然科学基金(61102137,61271336);厦门市重大科技计划项目(3502Z20100006)

收稿日期:2015-04-22 录用日期:2015-07-26

doi:10.6043/j.issn.0438-0479.2016.02.022

中图分类号:TP 391

文献标志码:A

文章编号:0438-0479(2016)02-0278-07

引文格式:刘齐,黄晓阳,王博亮,等.自然环境下舌诊图像偏色检测及其颜色校正方法[J].厦门大学学报(自然科学版),2016, 55(2):278-284.

Citation:LIU Q,HUANG X Y,WANG B L,et al.A method for color cast detection and color correction of tongue inspection images under natural environment[J].Journal of Xiamen University(Natural Science),2016,55(2):278-284.(in Chinese)