室外环境下红外热图像内眼角定位

孙 磊，陈树越，戚亚明

室外环境下红外热图像内眼角定位

孙 磊，陈树越，戚亚明

（常州大学 微电子与控制工程学院，江苏 常州 213164）

针对室外环境下红外热图像中目标区域受背景过热与周围环境影响，导致目标边界模糊、噪声大等问题，提出了一种室外环境下红外热图像内眼角定位算法。该算法首先对采集的图像进行面部倾斜校正，接着采用Gentle-AdaBoost与HAAR特征相结合进行人脸、人眼粗定位，并引入几何校正对眼睛区域精确定位，最终依据内眼角区域特性提出区域精化与区域生长分割相结合的内眼角定位。在3种不同的红外热图像数据集以及自主采集不同季节的温度区间室外的数据集上进行实验。结果表明：在室外环境下，所提出的方法可有效地定位内眼角，人眼定位准确率达到98.1%，内眼角定位准确率达到97.7%。

室外环境；红外热图像；内眼角定位；特征提取；区域精化

0 引言

伴随COVID-19全面爆发，预防病毒的传播成各个国家关键问题。在此期间社会需要重新组织社交环境，以应对病毒的传播。由于病毒引起患者常见的症状是发热，各个国家规定在进入人口流动性大的场所以及公共建筑区域前都需要体温检测[1]。因此非接触、快速测温的红外热成像仪被广泛使用于这些区域[2]，红外热成像体温筛查成为预防病毒传播的有效方式之一[3]。病毒传播得到控制后，各个国家就要面临组织学生返校，工人复工等问题[4]。预防这些区域的病毒传播同样需要红外热像仪的筛查，一般校园或者工厂门口都是临时搭建的待检通道，处于室外环境中，室外环境下热成像中的背景温度过热会导致前景目标特征区域边界模糊，同时热图像受噪声干扰大，极大地降低了目标区域检测的准确率，继而影响发热筛查的效果。现阶段的研究大多关注室内场所下内眼角定位，针对室外环境下内眼角定位的文献相对较少。

内眼角作为面部最温暖的区域[5]，在测量人体发热筛查中起至关重要的作用，同时是发热筛查的最佳位置[6]。尽管目前对于测量内眼角温度能否代表人体温度还存在争议，但是这是一个非常可靠的区域[7]，能够以非接触、快速的方式进行体温的识别与筛查。在病毒传播期间，能更好地替代传统的额头或者腋下测温来进行巨大人流量的体温筛查工作。

2002年Friedrich等人[8]首次将眼角作为研究对象，通过红外热图像独有热特征用于识别，指出眼睛区域一些特征，比如：眼睛是面部最温暖的区域；眉毛是脸部最寒冷的区域，最后使用传统的直方图进行眼角特征检测。Budzan等人[9]对内眼角定位做了全面的研究，提出基于随机化霍夫变换（RHT,Randomize the Hough Transform）人脸和眼睛的定位算法，使用形态学操作对内眼角区域进行分割。Amanda[10]提出基于知识的方法定位内眼角，根据热图像中眼睛之间的距离与头宽的比值，内眼角在眼部区域位置之间的距离，并将具有特定距离的两个高温点作为内眼角。Chenna等人[11]研究了多模态图像配准的方法来定位内眼角，将可见光图像与热图像检测到的边缘结合起来，一旦获得配准图像，热图像中内眼角位置可以通过可见光图像中位置来定位。尽管上述方法的定位效果都存在一定的优势，但是室外环境下图像噪声更大，边缘的纹理也更加模糊，内眼角区域特征更加难以捕捉。

随着Viola等人[12]在面部检测方面引入了哈尔特征（Haar-Like Features），简称HAAR。Martinez等人[13]研究热图像中人脸各部区域检测，分析了HAAR特征结合Gentle-AdaBoost分类器比结合支持向量机（Support Vector Machines，SVM）分类器的优势更大，也有效地验证了HAAR特征在人眼检测方面的可行性。Wong等人[14]基于前人研究的经验将HAAR特征用于眼睛定位，一旦定位到眼睛，再针对眼睛的轴四分之一区域进行眼角搜索，测量眼角的温度有效地用于发热筛查。

相对于上述方法，本文算法针对室外环境下红外热图像内眼角的定位，考虑到外界环境下目标边界模糊、噪声大等特点，在利用Gentle-AdaBoost与Haar特征相结合的人脸、人眼粗定位基础上，引入几何校正方法对眼睛区域精确定位。同时外界环境下内眼角区域属于弱小目标，无明显纹理特征，提出了区域精化与区域生长分割相结合来定位算法。实验有效证明了在复杂场景下红外热图像内眼角的定位的可行性，同时解决了室外环境下目标边界模糊、噪声大，小目标定位等复杂性问题。

1 面部特征提取与定位

1.1 整体定位框架

本文提出的定位算法由4个模块组成，包括面部倾斜校正、基于HAAR特征级联分类的人脸与人眼粗定位、人眼几何校正精确定位和内眼角定位，整体流程图如图1所示。

图1 内眼角定位流程

1.2 面部倾斜校正预处理

采集的红外热图像中受试者大多会出现头部的左右摆动现象，尤其在实时检测中更加容易出现，这将造成受试者面部倾斜，也不利于实验中眼睛的精确定位。针对这一问题，需要将倾斜的面部图像通过面部所倾斜的角度旋转过来。为了解决面部倾斜的角度，引入双前沿主动轮廓（dual-front active contour, DFAC）分割结合区域中分线算法。

主动轮廓分割最早由Kass等人[15]提出，其不仅在轮廓提取得到广泛运用，在图像分割中也发挥重要作用，而DFAC是Cohen等人[16]提出最短路径理论，主要用于医学图像分割。本文引入该方法主要是其鲁棒性好，速度较快等特点。室外环境下，受背景温度以及周围环境的影响，传统的阈值处理很难准确分割出红外热图像中的人脸。而DFAC分割本质是求局部区域内的某能量泛函的全局最小值，由两条主动轮廓一条内向外不断膨胀，另一条由外向内不断收缩，以两者相遇之处作为新轮廓来分割目标区域，针对复杂的图像具有不错的分割效果，其速度也因使用快速扫描法而更快。其演化过程如图2所示。

图2 双前沿演化过程，从左到右：(a) 初始轮廓；(b) 形态学膨胀；(c) 新分割区域

其中图2中(a)表示初始轮廓将图像分为两个区域分别为内部区域in与外部区域out，(b)中R由通过形态学膨胀而来，R有内边界in与外边界out组成，通过运算，前沿从两个边界同时开始演化，相遇之处即为所求曲线new（(c)的中实线）。new即为新分割的区域。

为了提高DFAC分割面部的精度，初始化轮廓奠定了整个区域分割的基础，由于室外场景复杂场所下，人脸在镜头下不是一直固定，因此本文在初始化轮廓之前首先加入HAAR特征的人脸检测，将检测的人脸区域作为初始化轮廓，这样区域的精确性得到保障，接着围绕初始轮廓构造狭窄的活动区域，提取其内外边界。进行上述演化过程得到全局最小分割曲线new，直到收敛（即new与的差别最小，进行替代）。

面部左右倾斜其特点是面部的器官没有发生变化，只是相对的位置的改变，因此只需将图像按旋转角反向旋转就完成校正。由于面部器官没改变，一般情况下，面部是左右对称的，面部中分线在没有旋转的情况下与轴成90°。而一旦面部旋转，中分线与轴就会形成夹角。1表示旋转角度，具体如式(1)所示：

由式(1)可知，旋转校正主要受夹角的影响，因此中分线的位置是检测目标是否倾斜与校正的关键，由于人脸面部近似于一个椭圆，采用图像处理regionprops中的属性Orientation来确定人脸面部的中分线与轴的夹角。其校正效果见表4与图6所示。

1.3 人脸、人眼区域粗定位

Kopaczka等人[17]的研究比较了机器学习中使用红外热成像人脸检测算法的性能，其研究表明红外热成像下的人脸检测算法大多是从图像中提取特征进行分类。针对室外环境下红外热成像下人脸检测，热图像中的纹理特征尤为重要。为了提高目标检测率，需缩小感兴趣区域（ROI，regions of interest）的搜索范围，消除室外环境中大量无用的背景和噪声。针对室外环境下红外热图像所存在的一些特性，采用HAAR特征作为分类器的检测可以有效解决热图像中灰度变化带来的影响，能更好运用这些灰度特性进行特征分类。近年来，AdaBoost算法已经得到不断的发展与完善，检测率也达到了较高的水平。AdaBoost的核心就是训练出若干个不同的弱分类器，通过这些弱分类器构成表征好的强分类器来区分人脸特征与背景特征。但是针对室外环境下热图像中背景复杂、面部特征模糊，样本区分困难度大，易导致过拟合。而Gentle-AdaBoost算法[18]是在AdaBoost的基础之上对权重进行过优化，在与AdaBoost分类器对比其优势在于稳定性好、对噪声的影响小，对样本的训练有更好的拟合数据。其人脸检测步骤为：首先对样本集进行预处理，接着弱分类器对样本集进行不断地迭代处理保留正确样本，训练出不同的弱分类器并组合起来形成强分类器，最后将训练得到的各级强分类器以级联的方式进行串联，形成一个更为强大的HAAR级联分类器，这样的级联分类器会使目标检测率得到进一步提升。能够排除大量非人脸图像，进而缩短对特征定位速度。如图3所示，是HAAR级联分类器筛查的过程。

图3 HAAR级联分类器筛查过程

在人脸定位基础上，再利用HAAR级联分类器进行眼睛定位。针对热图像中眼睛区域特征模糊，外观复杂度高等问题，在人脸检测HAAR特征基础上又增加了3种特征来提取样本中的显著特征，如图4所示，分别是一个中心环绕特征(e)和两个线性特征(f)、(g)。

上述新加入的特征都是基于眼睛在热图像中的结构所设计的，与可见光图像眼睛定位相比是有区别的，一些细节特征在眼睛区域更加容易体现，比如眉毛与鼻子区域的温度较低，两个眼睛是对称，眼球温度低于眼睛四周区域，新加入的特征能更好的表征眼睛区域一些特性，也更加有利于眼睛区域的定位。人脸、人眼分别训练级联分类器，具体参数如表1所示，将样本图像中感兴趣区域分别缩放至不同的窗口大小来训练HAAR级联分类器，通过HAAR级联分类器进行筛查判别。

图4 矩阵特征其中(a)、(b)边缘特征；(d)、(f)、(g)线性特征；(c)对角线特征；(e)中心环绕特征

表1 HAAR级联分类器训练参数

1.4 眼睛几何校正

基于上述方法眼睛区域定位很容易受到面部其他区域特征的影响比如：眉毛、鼻梁、嘴巴以及面颊等区域的影响。为了进一步减少误检窗口对眼睛区域定位的影响，本文引入几何校正的方法来提高眼睛定位的准确率。几何特征是基于面部知识，如两只眼睛是对称关系，两眼之间的距离在一定的范围内，两个眼睛位置大致在同一水平线上。具体步骤如下：

步骤1 输入检测样本集；

步骤2 通过HAAR级联分类器结合VJ算法检测出人眼区域，计算窗口个数；

步骤3 判断窗口个数并作筛查处理，筛查操作如下：

①在人眼检测中，窗口个数小于等于1时，认为检测结果正确，直接输出。

②窗口个数等于2时，可能存在误检窗口，采用几何特性进行判断，如发现有异常两眼距离过小或者两眼不在同一水平区域，说明结果误检测。否则输出正确结果，检测关系如式(2)、(3)所示：

③窗口个数大于2时，一定存在误检窗口，基于上述②中的关系，同时还要满足公式(6)，直到检测结果正确，检测关系如下(4)、(5)、(6)所示。

x＝1,2,3,…,，x＝1,2,3,…,(4)

y＝1,2,3,…,，y＝1,2,3,…,(5)

步骤4 若上述筛查处理完成后仍然存在误检窗口，则需要缩小检测范围。在重复公式(4)、(5)的基础上，对公式(6)的范围进行更改，检测关系如公式(7)所示：

式中：表示检测到的所有窗口的横坐标；表示检测到的所有窗口的纵坐标；表示检测到的所有窗口的宽；表示检测到的所有窗口的高；左眼窗口坐标为(1,2)，右眼窗口坐标为(1,2)；1、2、3、4为新检测出的眼睛窗口。上述方法检测到的眼睛区域作为定位的结果。在不影响检测精度和速度的前提下，几何校正方法引入提高了定位精度。

1.5 内眼角定位及提取

眼睛区域温度与人体体温相比误差较大，影响测温的准确性。众多研究表明，内眼角区域的温度是最接近人体的体温。因此，针对室外环境下内眼角的定位提出了区域精化与区域生长分割相结合的算法。

Levine等人[19]首先提出将区域生长法成功运用于图像分割方法中。与Otsu等阈值分割的方法相比，区域生长分割充分考虑了分割目标的位置信息，它主要有2个显著的特点：

1）种子点的选择需要有一定的代表性，否则难以分割目标区域，具有依耐性。

2）生长准则的取值对内眼角区域内温度影响较大，需要选择合理的阈值，如果邻域内的像素值小于，则纳入目标区域。其公式(8)如下。

式中：[]表示目标区域；(,)表示种子点的像素值；(,)表示邻域像素值。

3）生长停止条件的阈值1决定区域的大小，1较小内眼角欠分割，1较大内眼角过分割。

首先种子点的选择，在可控室内场景下内眼角温度最接近人体温度，直接选择眼睛区域最大像素作为种子点是可行的[9]，而红外热像仪在复杂室外环境下采集的图像内眼角区域属于弱小目标，无明显纹理特征，受到严重的噪声干扰，上述方法种子点的选择是不可取的。为了应对室外环境下内眼角定位，种子点的选择融入区域精化处理的方法。具体步骤如下：

1）迭代阈值分割：眼睛区域采用改进的自适应迭代阈值分割的方法，找到像素强度接近于眼睛区域最大强度值时更新为新的阈值2，分割采用公式(9)所示。

式中：(,)表示区域像素的灰度值；2表示迭代产生的新阈值；(,)表示分割后的二值图像。二值图像白色区域为像素强度较大的区域，也叫热区域。

2）基于知识的热区域筛查：由内眼角特性可知，左眼的内眼角在右边，右眼的内眼角在左边。对二值图像中的热区域进行剔除处理，算法步骤如下：

步骤1 输入二值图像；

步骤2 判断图像处于面部位置，左眼为1，右眼为2；

步骤3 如果为1，扫描1中所有像素，将1中左半边区域1(,)中所有热区域像素剔除，否则为2，扫描2中所有像素，将2中右半边区域2(,) 中所有热区域像素剔除；

步骤4 输出步骤1或者步骤2中的二值图像3。

3）连通域选择[20]：基于先验知识，热区域中绝大多数区域是受噪声影响产生的，这些区域通常较小。引入连通域进行区域筛查，通过比较热区域中各个连通域的面积，选择热区域面积最大的连通域。经过上述精化处理后对内眼角区域粗定位，在此区域内将像素值最大的作为种子点。

接着生长准则的选择，为了保证内眼定位的准确性，区域生长采用8邻域不断合并，邻域的像素值与每个新的种子像素值差别太大会拉低整个内眼角区域温度，因此本文阈值设为3。就是将种子点与其邻域内待测点之差的绝对值小于3的像素点合并为种子区域。合并的区域都是内眼角区域像素值最大的点。

最后生长停止的条件，Fitriyah等人[21]采用最高9个像素点作为内眼角区域温度检测的标准，内眼角斑点的面积必须最小为9个像素。Budzan等人[9]则是采用9×16的区域作为内眼角区域进行温度检测的，内眼角区域要小，这是为了防止内眼角区域过大，影响内眼角作为温度检测的标准，因此本文条件是当起始的种子点的值与整个种子区域内最小种子点的差值大于阈值1停止生长。1设为5，这样区域内最小像素点与最大像素点差值最大为4，保证内眼角温度检测的准确性，1过大会导致区域更大。

2 实验与结果分析

2.1 数据集处理

为了验证实验对面部特征区域定位有效性，实验运行环境为Intel(R) Core(TM) i5-7300HQ CPU，平台为MATLAB R2018b和Python OpenCV库，使用了4个数据集，分别是The Tufts Face中的红外人脸热图像数据集（http://tdface.ece.tufts.edu/）、OTCBVS中的人脸红外数据集、Sciebo中的红外人脸热图像数据集（https://rwth-aachen. sciebo.de/s/AoSNdkGBRCt WIzX）以及采用FLIR E40红外热成像仪自行采集的校园门口行人的面部数据集。根据Budzan等人[9]的研究表明热成像仪镜头距离面部1.5m左右体温检测的效果最好，有利于提高区域定位的精确性，同时也提高内眼角测温的准确度。因此E40镜头与目标的距离固定为1.5m左右进行拍摄，样本中成像仪温度覆盖了校园门口背景环境0℃～45℃下的热图像。其中The Tufts Face和Sciebo两个数据集是室内环境下的，不属于室外场景，只用于实验训练。基本信息如表2所示。

表2 测试与训练数据的基本信息

OTCBVS数据集包含了22419张图片，其图片来自不同的环境下拍摄的红外人脸。手动分割出5000人脸区域用作人脸检测训练集样本，使用The Tufts Face与OTCBVS数据集分别作为测试集样本。眼睛样本集通过手动分割Sciebo数据集中的眼睛区域，测试集样本采用The Tufts Face与FLIR E40拍摄的数据集分别进行测试。使用跨数据集的实验方式进行人脸、人眼定位，能充分证明方法的稳定性有效性。如图5所示，是FLIR E40拍摄室外不同温度区间下的样本。

2.2 评价标准

人体红外热图像内眼角温度测量的本质就是各区域的定位效果，因此准确率是衡量算法的指标。验证其定位的准确率，即：

式中：Acc是定位的准确率；c是检测到的正确图像个数；T是图像总个数。

图5 样本示例：(a) 0℃～10℃区间拍摄；(b) 10℃～20℃区间拍摄；(c) 20℃～30℃区间拍摄

Fig.5 Sample diagram (a) Shooting at 0℃-10℃; (b) Shooting at 10℃-20℃; (c) Shooting at 20℃-30℃

其次考虑内眼角定位的实时性，将每张图片平均内眼角定位的时间也作为评价标准，即：

式中：是定位耗费时间；是图片张数。

2.3 可行性分析

表3给出了各区域在跨数据集实验中的定位结果，其中LE表示左眼，RE表示右眼，LIC表示左内眼角，RIC表示右内眼角。

表3 感兴趣区域定位平均准确率

各个区域定位实验分别在两个不同的数据集上进行，每个数据集都抽取人脸正面图像400张进行测试。从表3结果可以看出，不同场景下的数据集都可以获得较好的定位效果，但也同样存在一定的差异。人脸检测实验中，在OTC数据集实现了96.8%的准确率，而在TTF数据集上实现了100%的准确率。这是由于OTC数据集本身比TTF数据集大得多，其次OTC采集的是复杂环境下红外图像，其受背景环境影响导致检测的准确率有所下降。而TTF数据集是采集标准的室内环境下人脸热图像并且控制了镜头与面部距离，因此定位效果非常精确。OTC数据集的训练和测试的准确率略低于TTF数据集是合理的。而人眼与内眼角的定位，表3中在TTF数据集上检测的准确率依然高于E40数据集，这是由于E40数据集在室外环境下受环境影响较大，眼睛区域的特征纹理更难捕捉到，内眼角区域受噪声影响大、区域小导致定位效果低于TTF数据集是必然的，也是合理的。

针对面部倾斜校正方法的可行性分析，本文从TTF数据集与E40数据集分别选用400张图片进行测试。表4给出两组实验测试的结果。

表4 面部倾斜校正的结果

表4验证了面部倾斜校正可行性，实验表明TTF数据集与E40数据都有不错的校正效果，TTF数据集的效果较差于E40是因为TTF数据集中包含了大量女性人脸图像，部分女性长发遮面，直接影响面部中分线的划分，导致校正效果受到影响，是合理的。实验效果如图6所示。

图6 实验效果图 (a)、(b)为E40采集的原图像，(c)、(d)为其校正后的图像

为了验证眼睛几何校正方法可行性，选用TTF数据集中的400张图片进行测试，表5是原始分类器模型与引入了几何校正分类器模型的检测结果对比，图7是实验效果图，用几何校正的方法在不影响检测结果的基础上排除了大量的误检窗口，保证了实验的可行性。

表5 几何校正前后检测结果对比

图7 实验效果图（从左往右，从上往下）(a) TTF数据集图；(b) 人脸、人眼定位；(c) 几何校正；(d) 内眼角定位；(e) FLIR E40采集图；(f) 人脸、人眼定位；(g) 几何校正；(h) 内眼角定位

2.4 与基本算法定位效果之间的比较

针对算法的有效性验证，在E40数据集进行对比实验，分别对HAAR级联分类器结合区域生长分割（RG）是否进行特征种类的选择，是否采用几何校正，是否进行区域精化处理，定位结果如表6所示。

定位结果表明与基本HAAR（7 species）级联分类器结合区域生长分割的内眼角定位算法相比较，本文方法在眼睛区域定位的准确率提高了29.1%，在内眼角定位的准确率提高了31.2%。准确率的上升导致定位时间的上升，若每人测温驻留时间为1s，则算法所占时间比为0.238:1，一般可满足实时性要求，可见算法在室外场景下具有较好的实用性。这主要源于HAAR分类器模型上引入了几何校正算法，在进行内眼角定位前对眼睛区域进行了区域精化处理来提高定位的准确率。

表6 本文方法与基本算法定位效果对比

2.5 与其他算法的定位效果对比

在各个数据集上将本文眼睛、内眼角定位算法与其他相关的算法比较，分别是基本HAAR算法、阈值分割（Threshold Segmentation, TS）结合基于知识的面部比例算法（Facial Proportions, FP）[22]、随机霍夫变换（Randomize the Hough Transform，RHT）结合区域生长分割算法（Region growing, RG）[9]以及基于Neural Network定位算法[23]，其定位结果如表7所示，其中L表示左眼，R表示右眼。

由表7可以得出以下结论：

1）本文算法比采用单一的HAAR特征结合RG算法，从人脸、眼睛和内眼角的定位准确率都得到了很大程度的提高。同时在与其他算法在室内场景比较中，眼睛的准确率略占优势，而内眼角定位的准确率到达100%，充分说明了方法在环境可控的室内场景下与室外环境下的内眼角定位均有一定的有效性。

2）眼睛区域纹理特征在室外环境中更加模糊，本文算法在室外环境下与RHT算法在室内环境下相比较准确率低了3%左右，与TS算法在复杂环境下相比较却高出了14%左右。而内眼角定位的准确率无论室内、外环境都要比其它算法更具有优势，充分表明本文算法在室外场景下的内眼角定位稳定性更高。

3）室外环境对比室内可控环境下热成像的内眼角定位各方面的准确率都有所降低，主要受背景环境热源复杂，室外环境复杂等影响因素。但是本文算法在内眼角定位上通过区域精化算法有效地降低了误定位，提升了准确率。在定位速度上不及Neural Network算法，这主要两方面因素，一方面受处理器性能约束，另一方面受室外环境复杂度影响，导致检测速率下降，但对于实时性定位的要求还是能够满足。

表7 5种算法定位效果对比

3 结论

针对室外环境下背景热源过高，外界环境干扰的情况，本文在采用HAAR特征级联分类器粗定位人脸、人眼区域的基础上，引入了几何校正算法对眼睛区域进行筛查精定位，并提出区域精化处理算法结合区域生长分割定位内眼角。与标准的方法相对比，在人脸、眼睛以及内眼角定位的准确率上都有大幅度提升，具有出色的适应性。同时与TS、RHT、Neural Network等方法在实际环境中进行比对，实验结果表明，本文方法在针对室外环境背景热源过高，外界环境干扰的情况下均有一定优势，这也为内眼角在室外环境下红外热成像发热筛查中提供了新的可能性。

但是本算法依然存在不足之处，如：面部倾斜校正抗干扰能力差、针对人眼区域遮挡无法做出判断、复杂场景下的鲁棒性与准确性以及定位速度有待进一步提高。

[1] 陈红强. 非接触式红外热成像测温技术的探析[J]. 中国安防, 2020(5): 35-40.

CHEN Hongqiang. Analysis of non-contact infrared thermal imaging temperature measurement technology [J]., 2020(5): 35-40.

[2] 吕事桂, 刘学业. 红外热像检测技术的发展和研究现状[J]. 红外技术, 2018, 40(3): 214-219.

LV Shigui, LIU Xuexue. Development and research status of infrared thermography detection technology[J]., 2018, 40(3): 214-219.

[3] Nguyen A V, Cohen N J, Lipman H, et al. Comparison of 3 infrared thermal detection systems and self-report for mass fever screening[J]., 2010, 16(11): 1710.

[4] STELLA A B, MANGANOTTI P, FURLANIS G, et al. Return to school in the COVID-19 era: considerations for temperature measurement[J]., 2020, 44(8): 468-441.

[5] MERCER J B, RING E F J. Fever screening and infrared thermal imaging: concerns and guidelines[J]., 2009, 19(3): 67-69.

[6] IX-IXO. Medical Electrical Equipment - Part 2-59: Particular Requirements for Basic Safety and Essential Performance of Screening Thermographs for Human Febrile Temperature Screening:IEC 80601-2-59 [S]. [2008-12-02].

[7] US-ASTM. Standard Practice for Minimum Resolvable Temperature Differ Ence for Thermal Imaging Systems: ASTM1213-14 [S]. [2018-11-01] .

[8] Friedrich G, Yeshurun Y. Seeing people in the dark: Face recognition in infrared images[C]//, 2002: 348-359.

[9] BUDZAN S, WYŻGOLIK R. Face and eyes localization algorithm in thermal images for temperature measurement of the inner canthus of the eyes[J]., 2013, 60: 225-234.

[10] BERG A.[M]. Linköping University Electronic Press, 2016.

[11] CHENNA Y N D, GHASSEMI P, PFEFER T J, et al. Free-form deformation approach for registration of visible and infrared facial images in fever screening[J]., 2018, 18(1): 125.

[12] VIOLA P, JONES M J. Robust real-time face detection[J]., 2004, 57(2): 137-54.

[13] Martinez B, Binefa X, Pantic M. Facial component detection in thermal imagery[C]//2010, 2010: 48-54.

[14] WONG W K, LIM H S, BINTI ISHAK N I N, et al. Fuzzy logic based viola Jones fever detection method in thermal imaging system[C]//, ICETCSIT-2013, 2013: 23-26.

[15] Michael Kass, Andrew Witkin, Demetri Terzopoulos. Snakes: active contour models[J]., 1988, 1(4): 321-331.

[16] Cohen L, Kimmel R. Global minimum for active contour models: a minimal path approach[J]., 1997, 24(1): 57-78.

[17] KOPACZKA M, NESTLER J, MERHOF D. Face detection in thermal infrared images: a comparison of algorithm-and machine -learning-based approaches[C]//, 2017: 518-529.

[18] FRIEDMAN J, HASTIE T, TIBSHIRANI R. Additive logistic regression: a statistical view of boosting: rejoinder [J]., 2000, 28(2): 337-407.

[19] LEVINE M D, NAZIF A M. Dynamic measurement of computer generated image segmentations [J]., 1985(2): 155-64.

[20] BAILEY D G, JOHNSTON C T. Single pass connected components analysis[C]//, 2007: 282-287.

[21] Fitriyah H, Rachmadi A, Setyawan G E. Automatic measurement of human body temperature on thermal image using knowledge -based criteria[J]., 2017, 2(2): DOI: 10.25126/ JITECS. 20172235.

[22] FITRIYAH H, WIDASARI E R, PUTRI R R M. Inner-Canthus localization of thermal images in face-view invariant[J].,, 2018, 8(6):2570-2576.

[23] Marzec M, Lamża A, Wróbel Z, et al. Fast eye localization from thermal images using neural networks[J]., 2016: 1-14.

Inner-Canthus Localization in Infrared Thermal Images in Outdoor Environments

SUN Lei，CHEN Shuyue，QI Yamin

(,,213164,)

Target areas in infrared thermal images in outdoor environments are affected by background overheating and the surrounding environment, causing fuzzy target boundaries and large noise. An inner-canthus location algorithm for infrared thermal images in outdoor environments is proposed to solve this problem. First, the algorithm corrects the facial tilt of collected images. Then, Gentle-Adaboost and Haar features are combined to perform approximate localization of human faces and eyes, and geometric correction is applied to accurately locate the eye region. Finally, based on the characteristics of the inner-canthus region, an inner-canthus location is proposed by combining region refinement and region growth segmentation. Experiments are conducted on three different infrared thermal image datasets and outdoor datasets independently collected at different temperature ranges in different seasons.The results show that the proposed method can effectively locate the inner canthus in the outdoor environment, and the accuracy for human eyes and inner-canthus can reach 98.1% and 97.7%, respectively.

outdoor environment, infrared thermal image, inner-canthus location, feature extraction, regional refinement

TP391.41

A

1001-8891(2022)10-1103-09

2021-07-06；

2021-08-20.

孙磊（1995-），男，硕士，机器视觉、模式识别，E-mail：19081203594@smail.cczu.edu.cn。

陈树越（1963-），男，教授，计算机视觉、图像处理，E-mail：csyue2000@163.com。

江苏省科技厅社会发展项目（BE2018638）。