基于图像处理的皮肤健康检测研究

南师附中江宁分校 李顾全

河海大学物联网工程学院 赵沛然 李丽媛 蒋艳芳

基于图像处理的皮肤健康检测研究

南师附中江宁分校 李顾全

河海大学物联网工程学院 赵沛然 李丽媛 蒋艳芳

为了满足目前对于皮肤健康检测的新需求,提出一种基于图像处理的皮肤健康检测算法.利用一种优化的Haar分类器和基于相对位置的分割算法,对自拍图像进行处理获得待检皮肤图像.针对光泽、色斑和皱纹三种健康指标,先后利用单尺度Retinex和Bp神经网络对上述指标进行检测分析.实验结果表明,该算法能够较快的完成图像分割与检测功能,并且能够较好的表示出皮肤健康情况.

图像处理;皮肤健康;Haar分类器;单尺度Retinex;Bp神经网络

1 引言

皮肤是人体重要器官之一,它保护人体阻挡细菌、灰尘等的侵入,保证人体内环境的稳定.随着"肌肤监测"的医疗观念的提出,对于皮肤健康检测的研究越来越多[1].能够方便的对皮肤信息进行采集和实时分析,随时掌握皮肤健康状态,是如今皮肤检测相关产业与研究的新方向.

随着图像处理算法的迅速发展,利用图像处理的手段对医学图像分析,发现甚至诊断疾病成为一种新兴医疗解决方案.在目前,利用数字图像处理的方法对皮肤疾病进行辅助诊断被证明是一种有效的手段.通过对指定区域皮肤图像的采集、处理和分析,可以对诸如白癜风、黑色素瘤这类皮肤病的精确识别和临床医学诊断提供客观依据[2-4].自拍如今已经成为人们的一种日常行为,任何一个拥有智能设备的人都可以方便地获取自拍图像.又因为自拍图像中含有丰富的皮肤信息,因此本文将自拍图像作为图像源并通过图像处理技术,设计和实现一种方便使用的皮肤健康检测软件以实现对皮肤情况的检测.

该方案利用一种优化的Haar算法和基于相对位置的分割算法实现对于自拍图像中人脸皮肤的检测和分割,利用Retinex算法和以灰度共生矩阵参量为特征的Bp神经网络,对人脸皮肤的光泽、色斑和皱纹指标进行评判.实验结果表明,该算法能够较为准确地得出皮肤分割图像,并针对上述皮肤指标得出合理的评判结果.

2 图像预处理

2.1 图像增强

增强特征的目的是为了在后续指标提取中凸显皱纹和色斑等特征.直方图均衡化是一种常用的图像增强方法.其原理是通过使用累积函数对灰度值进行"调整"以实现对比度的增强[5].这种方法通常用来增加许多图像的局部对比度,尤其是当图像的有用数据的对比度相当接近的时候,使亮度可以更好地在直方图上分布.这样就可以用于增强局部的对比度而不影响整体的对比度,直方图均衡化通过有效地扩展常用的亮度来实现这种功能.

一般的,可以利用原图的灰度值的概率(直方图)计算原图灰度级的分布情况,再用累计分布函数计算输出的灰度级,再使其分布均衡达到设计目的.

图1 直方图增强效果

图1显示了直方图均衡增强的效果.图(a)为原始图像,图(b)为增强后的图像.通过两张图的对比可以看出增强后的图像在对比度上得到了较大的凸出,使得皱纹等特征变得更加明显.

2.2 图像分割

本文中ROI(Region of Interest)区域是皱纹、色斑集中的额头和脸颊皮肤图像.在本文中首先采用了Haar分类器对自拍图像进行面部图像分割.通过实验发现利用原始Haar分类器不能有效的进行达到预期结果,存在误检的问题.故在原始Haar基础上辅以面积数据进行筛选.最后根据目标皮肤区域相对位置,进行皮肤图像的分割.

2.2.1 面部图像分割

在本文中采用了 Haar 分类器对自拍图像的面部进行分割.Haar分类器是如今处理效果最好的人脸分类器之一,具有运算速度快,准确率高的优点[6].它的原理是:先从自拍图中计算获取 Haar特征,再利用训练好的 Haar 分类器对该特征进行筛选,能通过所有强分类器的结果则可以判定为是人脸图像.

Haar特征是基于图像的灰度变化情况而提出的,一般的将其分为3类:边界特征、线形特征以及中心特征.Haar特征实际上是设计了形如各式的子窗,通过在图像上子窗的滑动计算白色矩形区域的像素点灰度值的和减去黑色区域的像素和,根据得到的值进行面部图像的提取.

图2 人脸分割结果图

图2展示了利用传统的Haar分类器分割人脸的结果图.在经典的图像分割方法中,图像像素的空间信息大,都采用矩形的邻域窗来获取[7].因此,在利用分类器寻找到面部区域后将其坐标再投影回源图像上,并以矩形框圈出.可以看出在(a)图中寻找的面部图像准确有效,而(b)图中除了正确的面部图像外,出现了误检的情况.这是由于目标特征中包含大量信息,在不对特征信息加以选择的情况下,冗余且不相关的信息会影响分类器的功能[8].因此需要对Haar识别的结果进行筛选,以提高正确率.

因为自拍图像在构图上具有两个特点[9-10]:(1)在自拍图像中人物图像在图像中会占据较大一部分的空间.而在背景中那些会被错误识别的成分在大部分情况其面积大小都小于面部的图像.(2)在自拍图像中出现的面部区域一般出现在图像的中上部.根据以上两个特点,设计了一种基于图像结构的筛选算法.算法执行分为三步:

第一步:遍历所有Haar分类器输出结果,计算每一个结果的面积;

第二步:对计算出的面积结果按照从大到小进行排序;

第三步:遍历面积排序后的结果,判断区域的上边缘是否处于源图像的中上方区域.如果是则将其作为面部区域输出,反之则计算下一个区域.若所有结果遍历后均不符合位置条件,则将面积最大的输出.

图3 经筛选后分割结果图

图3为经过筛选后的面部图像分割结果,其成功将背景错误识别区域剔除而保留了正确面部图像区域.达到了算法设计的目的.

图4展示的是最终分割后的面部图像.

图4 最终分割结果图

图5 分割结果示意图

2.2.2 皮肤图像分割

如果直接对所有的皮肤进行分析评判,需要处理大量的像素信息,计算量变大输出结果变慢.而皱纹、色斑大多生于额头和脸颊这两个区域,并且这两个区域的皮肤也能够很好的表现中皮肤光泽情况.根据以上情况,可以将额头和左右脸颊皮肤作为目标区域设计分割算法,将额头和左右脸颊的皮肤作为样本输入,用目标区域皮肤的指标参数代表整个面部皮肤的参数.

额头和左右脸颊在人脸中位置是相对固定的,分别位于脸部的中上,左下和右下.如果拍摄者正视摄像头,那么经过分割后得到的面部图像具有左右对称的特点.这样就可以通过目标区域在图像中的相对位置进行分割,得到目标区域的图像.

图5展示了部分利用相对位置进行分割的结果,它们将作为后续评价指标计算的输入图像与Bp神经网络的训练集.

3 健康指标计算

在本文的研究中对皮肤的光泽、色斑和皱纹三个指标进行分析评价,这三种指标能够较好的表征皮肤的健康情况[11-12].

3.1 光泽检测

皮肤光泽指的是皮肤表层的视觉效果好,给人在视觉上有亮度好、气色好的直观印象.在此引入光泽度指标,光泽度是用数字指标衡量一个物体表面接近镜面的程度,其最早在工业领域中提出,用以评价油漆涂料的涂抹效果.本节将以光泽度为皮肤光泽评价指标,提出一种数字化评价皮肤光泽的方法.

一般情况下可以计算反射图像的像素均值作为衡量光泽的参数.而发射图像可以利用Retinex算法获取.单尺度Retinex(SSR)是图像增强常用的一种算法,它以人眼观察物体方式为模型构造了该算法.当人眼观察一个物体时,物体会经过眼球屈光系统反射到视网膜上形成清晰的物象,然后视网膜上的视锥细胞和视杆细胞将视觉刺激转化成神经冲动,通过视神经传入大脑皮层,产生视觉.

任何一幅给定图像都可以看成是反射图像和反射图像组合而成.其中,反射图像只能通过数学方法获得,一般可以利用中心环绕函数近似求得.本设计就是通过该算法能够获得皮肤的反射图像,而分析反射图像像素分布情况就能了解原始图像的光泽度,从而检测评判皮肤光泽[13].

在文献[13]中,在计算得到了发射图像后利用平均值作为评价分布情况参数,但通过实验发现不同图像的平均值分布较大且不能较好的表征光泽的情况.故本设计中利用平均偏差作为评价指标,在试验中光泽度越低的图像其相对平均偏差值越小且区分度良好.

3.2 色斑、皱纹检测

色斑是指和周围皮肤颜色不同的斑点,是一种色素障碍性皮肤病;皱纹是指皮肤表层下的自由基破坏活性物质而生成的细纹.以上两种皮肤健康指标是人们对皮肤关注度最高的参数,是人们日常护肤的重点.在本设计中,将灰度共生矩阵4个参量作为特征,采用Bp神经网络对色斑和皱纹图像的特征进行特征训练,利用训练好的分类器作为评判工具.

3.2.1 特征选择

灰度共生矩阵是一种表示纹理图像特性的有效手段[14].在灰度共生矩阵中包含有众多信息,考虑实际使用需要在矩阵基础计算纹理特征量,在本系统中利用反差、能量、熵和相关性四个参数作为特征量[15]:

(1)反差:它可以表示区域中的像素值分布和局部变化的情况.当纹理深度和清晰程度较为明显,其计算结果得到的值较大.

(2)能量:是矩阵各像素值的平方和.它反应了图像灰度变化情况以及纹理粗细度.能量值大则表示该区域中的纹理变化规则较为稳定的纹理.

(3)熵:用以度量矩阵中出现的随机事件情况,能够反映图像的复杂情况.当矩阵中的数值趋近相同或出现了某种极小概率事件时,熵会增大.

(4)相关性:能够衡量图像在水平或竖直方向上的连续性.当其中一个方向出现连续信息时,相关性会变大.

3.2.2 神经网络训练

在图像处理领域中使用Bp神经网络是一种常见做法,一般将其运用于分类运算中,而在皮肤健康检测领域中使用这种工具进行分类、识别已经成为一种常用手段[16].从结构上来说,神经网络更类似于人脑,通过神经网络的训练学习,可以得到相应识别函数关系[17].当训练完成后,将一个新的缺陷图像的特征输入时,神经网络会对其特征进行分类输出缺陷类型.在本系统中,将以色斑和皱纹图像的特征作为输入,色斑和皱纹的评分为输出,利用神经网络对其进行训练分类.

在此不详述Bp神经网络的基本原理,简单阐述一下本文采用的网络模型结构与训练样本集.本文中采用的"1-1-1"的网络模型,即1层输入层、1层隐含层与1层输出层.输入层包含有4个神经节点分别为灰度共生矩中的4个参量;经过试验比较,最终隐含层中的神经节点个数为7个;输出则为实验样本的人工评分标签.

4 实验结果与分析

4.1 实验样本

神经网络学习训练的样本共600张自拍图像,均来自于网络中的自拍图像.其中500张作为训练样本,100张作为实验样本.图6展示了部分作为实验样本的自拍图像.

图6 实验样本图

4.2 健康指标提取

对于一张皮肤图像而言,可以计算得出输出图像,对其进行指数计算获得反射图像,最后算反射图像的像素均值的相对平均偏差作为衡量皮肤图像光泽参数.

色斑、皱纹检测将以 Bp 神经网络作为工具,经过图像分割后得到的皮肤图像作为输入,将灰度共生矩阵的反差、能量、熵和相关性,总计4个特征作为特征进行学习训练.检测分为前后两个步骤:训练学习和实际检测.首先通过利用500张学习训练样本,对已经标注好评分的图像进行学习.后利用100张实验样本进行实验,测试训练结果.

图7 指标提取得分统计图

图7中列出了光泽、色斑、皱纹检测的实验结果,满分为10分.通过分析实验数据得出以下结论:

(1)通过比较3组数据的皮肤光泽检测可以看出本文中的光泽指标的提取方法能够较好的利用数值高低区分皮肤光泽的好坏.因此可以认为利用 SSR算法获得反射图像,并计算它的像素均值的相对平均偏差作为衡量皮肤的光泽优劣是一种可行且效果良好的方案.

(2)在比较色斑和皱纹的实验数据时可以发现,利用灰度共生矩作为特征可以较好的区分出色斑和皱纹的多寡情况,因此利用本文介绍的方法可以较为准确的表达皮肤健康的状况.

4.3 耗时计算

本文设计的算法拟运行在服务器上,并且设计对应的手机应用供用户日常进行皮肤检测.故整套流程有较高的实时性.在耗时计算实验中,分别计算了3幅待测图像经过整套流程后耗费时间.表1列出了对实验样本进行整套算法处理所消耗的时间.

表1 耗时结果统计表

通过实验结果可以看出:对该算法运行整套流程的消耗时间大约在110ms左右,基本上可以满足计算快速的要求.为了更好的提高用户体验,可以继续改善算法,在保证检测准确的情况下,减少消耗的时间.

5 结束语

皮肤健康检测研究系统是利用图像处理和模式识别技术,对照片中人脸皮肤的健康状态进行评判,传统 Haar 分类器的基础上实现了皮肤分割,但是对于色斑和皱纹两种目标叠加在同一区域的情况,尚不能良好的进行分割分别提取;使用 SSR 算法对皮肤的光泽度评判时用像素相对平均偏差作为衡量标准.该研究系统代替了传统的目测检测方法和价格昂贵、操作复杂的皮肤检测仪.目前国内对此方向的研究主要处于试验阶段且只大多针对单个项目进行分析,少有真正能够投入实际使用的产品.因此对皮肤健康检测课题在国内具有很大的发展空间.

[1]齐显龙,宋奉宜. "肌肤监测"系列(一)--概述[J].中国美容医学,2011,02:311-312.

[2]罗卫,孟如松,蔡瑞康. 计算机图像分析系统对白癜风皮损及周边正常皮肤的测定研究[J]. 武警医学,2011,12:1059-1060.

[3]苏天珍. 基于皮肤肿瘤轮廓不规则性和表面网状结构的黑色素瘤检测技术研究[D].杭州电子科技大学,2013.

[4]刘志杰. 基于皮肤镜的黑色素瘤识别算法研究[D].电子科技大学,2015.

[5]吴成茂.直方图均衡化的数学模型研究[J].电子学报,2013,03:598-602.

[6]Viola P,Jones M.Rapid Object Detection using a Boosted Cascade of Simple Features[J].Accepted Conference on Computer Vision & Pattern Recognition,2010,1:511.

[7]赵凤,刘汉强. 不同形状邻域空间信息的模糊聚类图像分割[J].计算机工程与应用,2015,(10):12-15+35.

[8]刘薇,戴平阳,李翠华. 特征加权融合的在线多示例学习跟踪算法[J].计算机工程与应用,2015,(12):189-193+234.

[9]陈叶萍.试论自拍摄影与大众文化中的"网络自拍"[D].中国美术学院,2012.

[10]史书.对当代摄影中自拍肖像的解析[D].西安美术学院,2014.

[11]单改仙,甘平,何玲,孙露,李倩楠,江正,贺向前.利用皮肤纹理面积客观评价皮肤老化的研究[J].生物医学工程学杂志,2015,01:142-145.

[12]罗卫,孟如松,赵广.应用计算机图像分析系统对正常人面部皮肤与黄褐斑皮损的测定与研究[J].中国医刊,2008,01:32-33.

[13]焦志鑫,王瑜,王小艺,董银卯,孟宏,赵华. 基于Retinex图像增强算法的面部皮肤光泽度评价研究[J].日用化学工业,2015,08:443-446.

[14]郭航,霍宏涛.灰度共生矩阵在皮肤纹理检测中的应用研究[J].中国图象图形学报,2010,07:1074-1078.

[15]李雁,申铉京,赵德斌. 基于纹理的皮肤检测[J].计算机工程与应用,2003,19:74-77.

[16]顼改燕,徐华,翟忠武,葛庆平.基于Gabor滤波器和BP神经网络的人脸皮肤皱纹区域自动识别[J].计算机应用,2010,02:430-432.

[17]赵立强,张晓华,高振波,张洪亮.基于BP神经网络的主分量分析人脸识别算法[J].计算机工程与应用,2007,(36):226-229.

In order to meet the new requirements of detecting skin health,this thesis proposes a algorithm of detecting skin health based on image processing.The self-image is processed by an optimized Haar classifier and a relative position-based segmentation algorithm to obtain the skin image need to be examined. Single scale Retinex and Bp neural network are uesd to analyze the three healthy indexes of gloss, stain and wrinkles.The experimental results show that the algorithm can implement the image segmentation and detection quickly, and can show the condition of the skin health better.

image processing;skin health;Haar classifier;single scale Retinex;Bp neural network

赵沛然(1994-),男,硕士,研究领域:数字图像处理,模式识别.

李顾全(2000-),男,高中,研究领域:多媒体信息处理技术.

李丽媛(1994-),女,硕士,研究领域:数字图像处理.