一种模糊红外图像人眼快速定位方法

郑 爽，付冬梅



一种模糊红外图像人眼快速定位方法

郑 爽，付冬梅

（北京科技大学 自动化学院，北京 100083）

热像仪拍摄的红外图像能够反映人体表面的温度分布，进而间接反映其生理状态。但红外图像目标边界不清晰，与可见光图像相比目标更加模糊，因此对目标的定位和检测更加困难。本文研究并提出了一种快速自动定位人眼的方法，该方法从模板匹配的角度出发，结合模板和图像子区域的灰度相似度和纹理相似度进行匹配，同时利用Zernike矩和连通域分析筛选搜索点，减少了搜索次数。试验结果表明，本文提出的算法同经典的基于灰度相关的模板匹配算法相比速度更快，准确率更高。

红外图像；人眼定位；模板匹配

0 引言

人的体温和健康存在着密切关系，利用热像仪进行温度测量具有快速、非接触、非入侵的优势，Barnes[1]在Science发表文章提出红外热图像可以反映人的生理异常。近年来，已经有越来越多的学者致力于发掘红外热成像技术在医学辅助诊断中的潜能。T. Kamao等人[2]提出，眼部热红外图像可用于干眼症筛查；Su. T. Y.等人[3]发现眼表温度大幅度变化区域同泪膜破裂区域在位置及面积上具有很强的一致性；Jen-Hong Tan等人[4]基于红外热成像技术提出了一种区分正常人和干眼症人群的方法。但是这些文献均为人工定位眼睛位置，且只针对单只眼进行研究，至少进行两次试验才能获取双眼的温度信息，而且当需要对比双眼温度变化时，由于拍摄时间不同将使得比较结果不准确。为了解决上述问题，提升计算机辅助诊断系统的自动化程度，本文利用AVIO公司生产的H2640红外热像仪拍摄了640×480像素大小的人脸图像，该图像可以同时反映双眼温度，但由于仪器分辨率的限制，为了获得尽量多的眼部温度信息，人脸在图像中不完整。获得人脸图像后，自动而精确地定位人眼从而成为眼部温度分析前的关键步骤。

目前人眼定位技术有主要分为3类：基于灰度特征、基于统计学习和基于模板匹配。谢秀珍等人[5]利用积分投影和“三庭五眼”的先验知识找到眉眼位置，但该方法易受眉毛、发型的影响，造成眼部定位不准确。Shangfei Wang等人[6]提出了一种长波红外热图像人眼定位方法，利用Adaboost算法选择Haar特征并用支持向量机进行分类，但该方法训练过程需要大量样本，计算复杂度高，非常耗时。美国西弗吉尼亚大学Bourlai等人[7]基于模板匹配对红外人脸图像进行眼睛定位，首先根据积分投影曲线找到脸部边界以及眉毛水平位置，然后应用归一化互相关匹配算法，对平均眼模板和人脸两侧眉毛以下区域进行灰度相似度度量，相关系数最高的点即为眼睛位置，但这种经典的基于灰度归一化互相关匹配算法存在计算量大、时间复杂度高的缺陷，且算法稳定性较差。综合上述算法的不足，本文针对红外图像较模糊、目标和背景对比度低等特点，提出了一种快速的基于灰度和纹理特征匹配的人眼定位方法，不仅实现了模糊红外图像的人眼准确定位而且减少了搜索点数提高了算法速率。

1 算法原理

红外图像同可见光图像相比目标更加模糊，非全脸图像与全脸图像相比可利用的面部结构几何关系的先验知识较少。且眉毛和发型对水平积分投影曲线干扰较大，很难根据水平积分投影曲线定位人眼水平位置。同时，仅根据灰度相似度进行模板匹配受非人眼区域干扰较大，定位难度显著增加。本文从模板匹配的角度出发，结合图像同模板的灰度相似度、纹理相似度等信息进行人眼定位，算法主要分为离线部分和在线部分，离线部分主要是平均眼模板生成，在线部分包括脸部轮廓提取、搜索点筛选及配对、模板匹配3个模块。算法流程如图1所示。

1.1 平均眼模板

进行模板匹配之前需定义好眼模板，首先在人脸图像上手动截取人眼所在区域，然后对其进行尺度标准化（本文取100×170像素）和灰度归一化处理，经过眼科专业医生的指导与讨论，本文从140余幅图像中最终选择了50幅眼部图像，它们涵盖了从20～70岁的年龄段、不同性别（男23幅，女27幅）、不同形状和大小，取灰度平均得到平均人眼图像，即平均眼模板，如图2所示。

1.2 基于Zernike矩的脸部轮廓提取

首先，利用限制对比度自适应直方图均衡化对人脸图像进行对比度增强。然后利用7×7尺寸的Zernike算子[8]提取脸部轮廓得到二值边缘图像。图3为理想的边缘阶跃模型。通过将不同阶次的Zernike模板与图像卷积获取图像相应阶次的Zernike矩，从而计算出每个像素点对应的参数、、和，其中为背景灰度，为边缘处阶跃高度，为原点到边缘的距离，为边缘法线与轴方向的夹角，然后通过和的阈值判断该点是否为边缘点。

假设图像为，图像各阶次的Zernike矩用表示，则：

式中：*表示复共轭；(,)为Zernike多项式：

式(1)中：(,)为灰度值，作为常数可移至积分外，计算得00、11、20的7×7尺寸的模板系数为M：

¢表示旋转后的Zernike矩，有：

图1 本文算法流程

图2 平均眼模板

图3 理想的边缘阶跃模型

由于Zernike矩有旋转不变性，可计算出边缘检测需要的4个参数：

＝20/11¢(6)

式中：00、11、20为Zernike矩，11¢为图像旋转后的Zernike矩。

根据边缘判定条件＞tÇ＞t判断像素点是否为边缘，阈值取t＝0.1Max[(,)]，t＝2.5。根据阈值判断[,]为边缘点后，考虑到模板效应，需要把单位圆上计算出来的垂直距离放大/2倍，该点对应的实际边缘点坐标为[s,s]，则有：

图4为轮廓提取结果，其中图4(a)为均衡化后的图像；图4(b)为Canny算子边缘提取结果，虽然其保留了较多细节但同时存在很多干扰，图4(c)为Sobel算子边缘提取结果，相对于前者有了较大改善，但其所提取的轮廓连续性较差，不利于后续处理；图4(d)为Zernike矩算子边缘提取结果，相对于前两者，该方法可以成功提取红外人脸图像的主要轮廓。

1.3 搜索点筛选及配对

对二值图像进行连续两次形态学膨胀，结构元素分别选择线性和圆盘，对膨胀后的二值图像按面积进行连通域过滤，将过滤后连通域的中心作为候选人眼中心，图5为二值图像连通域分析结果，图6在原图中标记了搜索点的位置，“●”表示候选人眼中心点，即搜索点。

以往利用模板匹配以及统计学习的方法对人眼进行定位时，大多对全脸进行搜索，搜索范围大，本文通过轮廓提取和连通域分析可大大减小搜索次数，提升算法运行速率。

图4 轮廓提取结果

图5 连通域分析结果

图6 标记搜索点

之后，对搜索点进行筛选。眉毛发型对水平积分投影曲线干扰较大，很难定位人眼水平位置，如图7所示。将垂直积分投影曲线最左侧和最右侧的峰值点所在的列作为人脸左右边界，可得到人眼垂直位置，如图8所示。去掉脸部边界附近以及鼻子附近的搜索点。

图7 水平积分投影曲线

图8 垂直积分投影曲线

根据双眼左右对称的先验规则对搜索点进行配对，得到候选人眼中心对。设平均眼模板大小为×，以搜索点为中心大小为×的子区域称作候选人眼区域。

1.4 基于灰度和纹理特征的模板匹配

对图像0°、45°、90°、135°方向上距离为1的两个像素点进行统计，得到灰度共生矩阵。根据灰度共生矩阵提取能量Asm、熵Ent、对比度Con、自相关性Corr四个纹理特征，可分别得到平均眼模板和候选人眼区域的纹理特征矩阵[9]。通过计算归一化互相关系数对模板和候选人眼区域进行灰度相似度度量和纹理特征相似度度量，将两类相似度按式(15)进行加权，结果最高的候选区域对即为双眼所在位置。

其中，纹理特征：

式中：X,j代表候选人眼区域，其中心在图像中的坐标为(,)，候选人眼区域和平均眼模板的归一化互相关系数为：

式中：＝1,2；和分别为模板的行数和列数；1为候选人眼区域灰度矩阵；1为平均眼模板的灰度矩阵；2为候选人眼区域纹理特征矩阵；2为平均眼模板的纹理特征矩阵。

相似度加权：

0＝11＋22(15)

式中：12为权重系数；1为灰度相似度；2为纹理特征相似度，本文1取0.1，2取0.9。

2 仿真结果及分析

对所采集的71幅模糊红外人脸图像利用本文所提出的算法进行仿真，并对人脸左右两侧眉毛以下的区域应用经典的基于灰度归一化互相关匹配算法[7]进行处理，将两个结果进行对比，表1为两种算法平均处理时间以及定位准确率。图9为经典算法处理结果，图10为本文算法处理结果。

由表1可以看出，经典的基于灰度相关模板匹配算法耗时长、稳定性差，而本文通过对匹配区域进行筛选使得搜索点大大减少，算法速率提高了3.7倍。由图4(a)中也可以看出图像较模糊，经典算法通常不能准确定位到双眼而本文算法可以进行准确定位，定位准确率提升了1.5倍。

表1 不同算法对比

图9 NCC算法处理结果

图10 本文算法处理结果

3 结论

本文提出了一种模糊红外图像人眼快速定位方法，该方法与经典的基于灰度相关的匹配算法相比，利用Zernike矩轮廓提取和连通域分析减少了搜索次数，将算法速率提升了3.7倍。另外，在匹配过程中，本文不仅对平均眼模板和待匹配子区域进行了灰度相似度度量还结合了纹理特征进行了相似度度量，将准确率提升了1.5倍，为后续眼部温度数据分析打下了良好的基础。

致谢

感谢中国解放军第306医院眼科医生，尤其是罗灵、高付林在图像采集和筛选过程中给予的支持和帮助。

[1] Barnes R B. Thermography of the human body: infrared-radiant energy provides new concepts and instrumentation for medical diagnosis[J]., 1963, 3569 (140):870-877.

[2] Tomoyuki K, Masahiko Y, Shiro K, et al. Screening for dry eye with newly developed ocular surface thermographer[J]., 2011, 151(5):782-791.

[3] SU T Y, CHANG S W, YANG C J, et al. Direct observation and validation of fluoresce in tear film break-up patterns by using a dual thermal-fluorescent imaging system[J]., 2014, 5(8): 2614-2619.

[4] Acharya U R, Tan J H, Koh J E W, et al. Automated diagnosis of dry eye using infrared thermography images[J]., 2015, 71: 263-271.

[5] 谢秀珍, 唐琎, 陈守明, 等. 一种在红外图像中定位人眼的方法[J].计算机工程与应用, 2011, 47(5): 202-205.

XIE Xiuzhen, TANG Jin, CHEN Shouming, et al. Method for eyes localization in infrared image[J]., 2011, 47(5): 202-205.

[6] WANG S, LIU Z, SHEN P, et al. Eye localization from thermal infrared images[J]., 2013, 46(10): 2613-2621.

[7] Bourlai T, Jafri Z. Eye detection in the middle-wave infrared spectrum: towards recognition in the dark[C]//2011(WIFS), 2011: 1-6.

[8] XIAO Peng Z, YUAN Wei B. Improved algorithm about subpixel edge detection based on Zernike moments and three-grayscale pattern[C]//2, 2009: 1-4.

[9] 侯旺, 孙晓亮, 尚洋, 等. 红外弱小目标检测技术研究现状与发展趋势[J]. 红外技术, 2015, 37(1): 1-10

HOU Wang, SUN Xiao-liang, SHANG Yang, et al. Present state and perspectives of small infrared targets detection technology[J]., 2015, 37(1): 1-10.

Fast Eye Detection from Blurred Infrared Images

ZHENG Shuang，FU Dongmei

(,,100083,)

Thermal image taken by infrared thermography can reflect distributing of skin temperature and indirectly reflect the physiological status, but the boundary of the object in infrared image is not that clear. Compared with visible image, ‘the infrared one’ is much more blurred, which makes it harder to locate and detect targets. In this paper, a novel method based on template matching is proposed to detect eyes quickly. It can locate the eyes correctly by means of gray scale correlation and texture correlation between template image and sub-images. And the method of Zernike moment operator and connected component analysis are adopted to reduce the search times. The experiments show that this algorithm performs better in detecting rate and accuracy than classical template matching algorithm based on gray correlation.

infrared image，eye detection，template matching

TP391

A

1001-8891(2016)10-0845-05

2016-01-24；

2016-04-22.

郑爽（1992-），河北人，硕士研究生，研究方向：红外图像处理。E-mail：subrinacheng@163.com.

付冬梅（1963-），女，北京人，教授，研究方向：红外图像技术，人工免疫计算、数据智能分析。E-mail：fdm2003@163.com。

国家自然科学基金（61272358）。