选煤厂工况环境下人脸识别方法研究

高宏杰， 丛昊然， 郭秀才

(1.甘肃靖远煤业集团有限责任公司， 甘肃 白银 730900；2.西安科技大学 电气与控制工程学院， 陕西 西安 710054)

0 引言

选煤厂作为煤炭加工的重要一环，主要进行原煤筛分、洗选、分离、运输、装车等工序，其生产过程复杂，涉及多过程环节、多系统设备、多操作岗位等[1-2]。目前选煤厂人员识别主要采用人员定位考勤、指纹身份标志、门禁虹膜识别等方式，解决了定点位置人员监测、有限范围内的人员定位跟踪问题。由于选煤厂人员活动轨迹不易确定，有必要在门禁和各操作工位处设置视频监控设备，通过人脸识别实现人员轨迹跟踪。

人脸识别是目前热门的智能识别技术。文献[3]提出了一种基于小波变换的人脸识别方法，能够滤除自然条件下的图像噪声，具有较好的鲁棒性。文献[4]将图像特征向量送入卷积神经网络进行训练和识别，可有效减小不同光照强度的影响，提高识别率，但时间复杂度较高。文献[5]提出了一种基于自适应阈值局部特征融合的人脸识别方法，可较为完整地提取到人脸特征。基于小波变换的人脸识别方法具有稳定和计算量较小的优点，通过非对称区域局部Gabor梯度编码(Asymmetric Region-Local Gabor Gradient Code,AR-LGC)编码算法可取得较好的识别性能[6-7]。但上述研究主要针对自然条件下人脸图像无污染的情况，在选煤厂环境下，人脸图像信息易受煤灰污染、光照变化、安全头盔姿态变化、人员面部角度变化等因素影响，识别难度相对较大。因此，本文在小波变换的基础上，对AR-LGC编码算法进行改进，用改进AR-LGC编码算法对选煤厂人脸图像进行编码，对编码后图像进行特征融合，并通过残差神经网络(Residual Network，ResNet)[8]实现人脸识别。

1 选煤厂工况环境下人脸识别过程

选煤厂工况环境下人脸识别过程如图1所示，包括图像数据的采集、传输、处理、识别等。在门禁、各操作工位等场所安装视频监控设备，采集人员图像信息。对采集的图像进行传输和预处理，并提取图像特征，根据图像特征检测采集的人脸与无污染人脸的相似度，完成人脸识别。

图1 选煤厂工况环境下人脸识别过程

2 选煤厂工况环境下人脸识别方法

对脸部被煤灰污染的选煤厂人员图像进行识别时，稳定地提取到所需的特征信息是关键，这也是本文的研究重点。

2.1 AR-LGC编码算法改进

采用AR-LGC算子提取多噪声影响的选煤厂人脸图像特征时，不能很好反映图像的局部纹理相关性。因此，对AR-LGC编码算法进行改进。以5×5图像为例，改进后的AR-LGC编码算法如图2所示。

图2 改进AR-LGC编码算法

改进AR-LGC编码算法步骤：① 截取适当大小的子邻域窗口，计算中心像素点与其周围邻域像素点的差值，即窗口相关度ci,i=1,2,…,n,n为邻域像素点个数。② 计算ci的平均值，得到子邻域窗口内像素平均相关度cavg[9]。③ 计算子邻域内相关度标准差σ(式(1))，当|ci-cavg|<σ时，将窗口赋0,反之赋1。④ 用AR-LGC算子对子邻域窗口编码，求取2次编码值PA，PB的均值P,将P作为更新后的中心像素值。

(1)

(2)

式中：s()为比较函数。

改进AR-LGC编码算法通过对参数cavg的计算增强纹理相关度，解决了选煤厂人脸图像纹理相关度不足的问题，在弱化干扰特征的同时，保留了选煤厂人脸图像中更多重要特征，缓解了人员面部受煤灰污染的问题。

2.2 特征融合

由于特征图谱编码后数据量过大，需要对图像进行有效降维。采用二维Gabor滤波器组将原始图像分解为5个尺度、8个方向的特征图谱，用改进AR-LGC编码算法进行编码，对编码后同一尺度下不同方向的图谱进行特征融合。设Id,v为不同尺度和方向的特征图谱，d=0,1,…,7,v=0,1,…,4,对同一尺度、8个方向的图谱进行排列，如图3所示。

图3 图像融合编码原理

计算8个方向对应像素点的均值Iavg,v：

Iavg,v=(I0,v+I1,v+…+I7,v)/8

(3)

以Iavg,v为阈值，对特征图谱进行二值化处理，得到十进制编码值Iv：

(4)

式中p为二值化参数。

特征融合精简了同一尺度下的特征信息，通过遍历计算，将原来的40幅特征图谱压缩为5幅融合图谱。通过特征融合解决了对输入图像进行Gabor变换时产生的特征冗余问题，在减少特征数量的同时，保留了重要的特征信息。

2.3 特征识别

选煤厂复杂工况环境下提取的人脸特征，利用传统人脸识别方法难以获得较好的识别效果。传统的卷积神经网络存在梯度消失或梯度爆炸的问题，ResNet解决了随着网络层数增加而出现的过拟合问题，且具有较强的自适应能力。因此本文采用ResNet进行选煤厂工况环境下的人脸识别。

ResNet残差学习单元结构如图4所示。其中x为输入，H(x)为输出，若把x和H(x)分别称为真实值和估计值，则F(x)为残差。将多个残差模块进行组合，得到残差网络模型。

图4 ResNet残差学习单元结构

2.4 人脸识别模型

复杂环境下利用图像融合方式提取出人脸特征后，可有效增强不同尺度方向的图像特征信息和子邻域内的纹理相关性，在弱化干扰特征的同时解决了选煤厂人脸的面部污染问题[10]。利用ResNet训练特征时，良好的前馈修补机制可削弱人员安全头盔姿态变化、人员面部角度变化和光照差异等因素对识别效果的影响。本文结合改进AR-LGC编码算法和ResNet建立人脸识别模型，流程如图5所示。对归一化的选煤厂原始人脸图像进行Gabor小波变换，得到8个方向、5个尺度下的特征图谱；用改进AR-LGC编码算法进行编码，对编码后图像进行特征融合，得到融合特征图；将融合特征图划分为多个子块，统计分块直方图并加权级联得到直方图特征向量H；将H送入ResNet中训练，实现对选煤厂人员的人脸识别。

图5 人脸识别流程

根据文献[11]，确定本文的最佳分块数目为25(5×5)。考虑到不同子块对人脸特征的贡献程度不同，以不同子块作为不同区域，采用定量描述信息量的信息熵方法计算权重[12]：计算区域k的信息熵EU，k和信息权重ωk，将区域k的特征值hk与信息权重相乘得到反映特征信息的人脸特征向量H：

(5)

ωk=EU,k/EU

(6)

(7)

式中qj,k为随机事件的概率;EU为整个图像的信息熵。

信息熵方法可根据选煤厂人脸图像不同区域特征的重要性差异，更加精准地计算出人脸特征向量。ResNet网络层数并不是越深越好，需要均衡性能与运算量，根据文献[13]，选择ResNet-34作为特征训练网络。

3 实验结果及分析

在Windows10、Visual Studio 2017环境下，采用C++语言编程实现人脸识别。采集选煤厂不同工位的大量人脸样本进行实验，部分样本如图6所示，尺寸均为130×140。

图6 选煤厂人员实验样本

特征提取及融合效果如图7所示。采用二维Gabor滤波器得到5个尺度、8个方向的特征图谱，用改进AR-LGC编码算法对特征图谱进行编码，再对同一尺度、不同方向的图谱进行特征融合，得到特征融合图；将特征融合图划分为25个子块，统计分块直方图，采用信息熵加权，得到灰度直方图，最后进行直方图级联，获取人脸特征向量。

图7 特征提取及融合效果

不同条件下的人脸特征提取结果如图8所示。对比图8(a)和图8(b)可知，当选煤厂人脸受到煤灰污染时，采用本文方法提取的特征保留了局部特征粗粒度，污染后的特征纹理图与干净人脸的特征纹理图相似度达到95.5%，具有较好的抗噪性。

(a) 入厂前的特征提取结果

针对不同工位采集到的选煤厂人脸样本，采用局部二值模式(Local Binary Patterns,LBP)算法、AR-LGC算法和改进AR-LGC编码算法进行编码，通过识别率、平均耗时[14]反映算法的识别性能，结果见表1。

表1 多种算法性能比较

由表1可知，与LBP算法相比，本文方法的识别率提高了5.5%，平均耗时增加了0.042 8 s；与AR-LGC算法相比，本文方法的识别率提高了3.3%，平均耗时增加了0.206 9 s。综合考量识别率和时间复杂度，本文在牺牲部分时间性能的条件下提升了识别率，牺牲的时间性能在可接受范围内。

4 结论

(1) 研究了一种选煤厂工况环境下的人脸识别方法，通过改进AR-LGC编码算法增强纹理相关度，解决了选煤厂人脸图像纹理相关度不足的问题，在弱化干扰特征的同时，保留了选煤厂人脸图像中更多重要特征，缓解了人员面部受煤灰污染的问题。通过特征融合解决了对选煤厂人员输入图像进行Gabor变换时产生的特征冗余问题，在减少特征数量的同时，保留了重要的特征信息。

(2) 当选煤厂人脸受到煤灰污染时，采用本文方法提取的特征保留了局部特征粗粒度，污染后的特征纹理图与干净人脸的特征纹理图相似度达到95.5%，具有较好的抗噪性。

(3) 本文方法的识别率为94.5%，平均耗时为0.9330 s。与LBP算法和AR-LGC算法相比，在牺牲部分时间性能的条件下提升了识别率，牺牲的时间性能在可接受范围内。

(4) 为提高选煤厂复杂环境下的人脸识别性能，后续研究将在模型复杂度和运行时间方面进行进一步优化。