基于改进的主成分分析法的矿工表情识别

杜云 张璐璐 潘涛

摘要：针对传统的矿工面部表情识别方法中对矿工面部表情进行特征提取的时间较慢且识别准确率不高的问题，以主成分分析法为基础，运用Fisher线性判别法对传统的主成分分析法进行改进。首先在主成分分析法的基础上增加一个类间离散矩阵，使其投影后不同类别之间特征点的距离更大，同一类别之间特征点的距离更加紧凑，对矿工面部表情图像特征提取的结果更具有代表性和针对性;然后运用径向基神经网络将低维非线性可分的矿工面部表情图像对应的特征矩阵映射到高维空间并使其线性可分，从而实现对矿工面部表情的识别和分类。实验结果表明，所提出的方法对矿工面部表情识别的识别率为89.0%，优于传统矿工面部表情分类识别算法，在矿井安全监控、疲劳驾驶等领域有较好的应用前景。

关键词：计算机图像处理;矿工表情识别;主成分分析法;Fisher线性判别法;径向基神经网络

中图分类号：TD76文献标志码：A

DU Yun， ZHANG Lulu， PAN Tao.Miner expression recognition based on improved principal component analysis[J].Journal of Hebei University of Science and Technology，2019，40（1）：45-50.Miner expression recognition based on improved principal

component analysis

DU Yun1， ZHANG Lulu1， PAN Tao2

（1. School of Electrical Engineering， Hebei University of Science and Technology， Shijiazhuang， Hebei 050018， China; 2.Shenhua Information Technology Company Limited， Beijing 100011， China）

Abstract：Aiming at the problem that the feature extraction of miners' facial expressions is slower and the recognition accuracy is not high for the traditional miner facial expression recognition method， based on the principal component analysis method， Fisher's linear discriminant method is used to improve the traditional principal component analysis method. Firstly， based on the principal component analysis method， an inter-class discrete matrix is added to make the distance between the feature points of different categories become larger after projection， and the distance between the feature points of the same category is more compact， so that the result of feature extraction to the miners' facial expression images is more representative and targeted. Then， the radial basis network is used to map the low-dimensional and nonlinear separable miner's facial expression feature matrix to the high-dimensional spatially separable class to realize the identification and classification of miners' facial expressions. The experimental results show that the recognition rate of the miner's facial expression reaches 89.0%， which is superior to the traditional miner's facial expression recognition algorithms. The method has a good application prospect in the fields of mine safety monitoring and fatigue driving.

Keywords：computer image processing; miner expression recognition; principal component analysis; Fisher linear discriminant; radial basis network

在煤礦生产过程中，井下矿工情绪低落或者处于疲劳状态，会影响其工作效率，甚至导致事故的发生。如果能掌握井下工作人员的情绪状态，就可以及时发现问题，消除事故隐患[1]。近年来，众多研究者对人脸表情识别进行了研究，如SONG等[2]利用基于统计形状模型的ASM来提取人脸表情图像特征点对人脸表情识别进行分类。东京大学的Kobayashi对能够体现表情变化的主要区域进行了特征提取，包括眉毛、眼睛和鼻子，并采用BP神经网络对表情进行分类识别[3-5]。随着多元统计学的发展，相关性分析、聚类分析和主成分分析等数学方法也逐渐应用于图像处理，对高维的图像数据矩阵进行分析处理，以达到特征提取或者降维的目的，为图像处理方向的发展提供了新的思路。如周书仁等[6]利用主成分分析法提取人脸的表情特征并取得了较好的识别效果，但该方法对维数较高的图像向量组成的协方差矩阵计算量大，从而导致特征提取时间较慢且无法利用训练样本的类别信息[7]。

河北科技大学学报2019年第1期杜云，等：基于改进的主成分分析法的矿工表情识别为了克服传统主成分分析法在人脸表情识别中所表现的特征提取时间较慢和识别率不高的缺点，以矿工面部表情识别为背景，利用Fisher线性判别对传统的主成分分析法进行改进，并结合径向基神经网络对矿工的面部表情进行分类，从而实现对矿工面部表情的智能识别。

1特征提取算法

1.1主成分分析法

主成分分析（principal component analysis，PCA）是一种数学降维的方法，该方法通过构造原变量的一系列线性组合形成一组新的互不相关的变量，使这些新变量尽可能多地反映原变量的信息[8-11]。矿工面部表情图像可看作一个高维数据矩阵，这样一个高维矩阵处理起来十分复杂，故可用主成分分析法对该图像数据矩阵进行降维处理[12]，处理步骤如下。

1）把每张矿工面部图像看作一个样本，每个样本作为一个列向量，则所有样本共同构成了一个矩阵，表达式如式（1）所示。X=[x1，x2，…，xk，…，xi]，xk∈Rn，=1l∑lk=1xk，（1）式中：xk表示每个样本的列向量;l为样本序号;表示所有样本的平均值;X表示所有样本矩阵。

2）求取矩阵的协方差矩阵Sr，如式（2）所示。Sr=∑lk=1（xk-）（xk-）T。（2）3）求协方差矩阵的特征值和特征向量：解特征方程|λI-Sr|=0，求特征值λ1≥λ2≥…≥λm及对应的特征向量u1，u2，…，um，其中m表示特征向量个数，则协方差矩阵的特征向量U=（u1，u2，u3，…，um）。

4）将特征向量按特征值大小组合成一个映射矩阵，取前k列作为最终的映射矩阵，此处表示要保留的维度数。

5）映射矩阵乘以原始图像矩阵得到最终的特征矩阵，即每张矿工面部表情图像的主成分矩阵为Yk=UTxk，k=1，2，…，l。

1.2改进的PCA

Fisher线性判别（Fisher linear discriminant，FLD）是模式识别的经典算法，它能使投影后不同类别之间特征点的距离变得更大，同一类别的特征点更紧凑，特征提取更加具有代表性[13]。经过FLD处理后的矿工面部图像数据的维数与图像数据的类别个数有直接关系，而与图像数据的原始维数没有直接的联系，其维数可在1到（C-1）中选取，其中C表示特征个数，若经过FLD处理后就只有一维特征，那么这个一维特征向量的特征代表性最好[14]。

考虑到PCA方法对高维图像列向量组成的协方差矩阵计算量大的缺点和维数尽可能达到最小的要求，运用Fisher线性判别法对其进行改进，在PCA的基础上增加定义一个类间离散矩阵Sw，见式（3）。Sw=∑Ci=liNi（xi-）（xi-）T，（3）式中：C表示特征个数;i表示属于第i类的样本对应的列向量;li表示所识别样本属于第i类;Ni表示类间离散度系数。

由此可以得到新的特征方程，如式（4）所示。Swi=λiSri。 （4）从而求得新的协方差矩阵的特征向量Φ=（1，2，…，m），对应的每张矿工面部表情图像的主成分矩阵为Y′k=ΦTxk，k=1，2，…，C-1。

2径向基神经网络

2.1径向基神经网络模型

径向基函数（radial basis function，RBF）方法是在高维空间进行差值的一种方法[15-17]。图1为径向基神经网络模型，其中R为矿工面部表情图像对应的输入向量;‖dist‖表示距离;IW为对应权值;b1为径向基函数的阈值;S1为径向基函数;a1为径向基层输出;LW为线性层权值;b2为线性函数的阈值;S2为线性函数;a2为线性层输出。

由图1可知，径向基神经网络模型是一个前馈反向传播网络，有2个网络层：隐层为径向基层，由径向基神经元构成，输出为线性层[18]。在径向基层，会根据输入经过特征提取后的矿工面部表情数据矩阵与每个神经元权值的距离输出一个值，那些与神经元权值相差很大的，输出值趋近于0;与神经元权值相差较小的，输出值趋近于1，从而激活第2层球型神经元输出权值。輸出层为线性层，完成对径向基层的空间分类。故径向基神经网络可以将低维非线性可分的矿工面部表情特征矩阵映射到高维空间，使它在高维空间线性可分[19]。

2.2径向基神经网络创建

从径向基神经网络模型可知，当径向基层和输出层神经元的权值和阈值确定之后，网络的输出也就确定[20]。其中径向基层神经元数量的选取方法即径向基网络创建过程如下。

首先以所有的矿工面部表情图像所构成的数据矩阵作为输入样本，对不含有径向基层的径向基网络进行训练，找到误差最大的一个输入样本，此时增加一个径向基神经元，令其权值等于该输入样本数据所构成向量的转置，且阈值b=[-log（0.5）]1/2;然后以径向基神经元输出的点积作为线性层的输入重新设计线性层;最后重复以上过程，即用所有输入样本对前一次设计好的径向基网络重新进行仿真，直到分类结果达到规定的误差为止。

3矿工面部表情识别

3.1图像选取

矿工的面部表情分为兴奋、中性、疲劳和沮丧4种类型，选取400张像素为120×120的不同光照和表情的矿工面部图像进行实验，并且对这400张图像进行了几何归一化和灰度归一化处理。基于灰度统计，主成分分析法对光照和表情变化很敏感，为了克服矿井复杂的光照条件对改进的主成分分析法提取特征的影响，采用全局平衡直方图对光照过量或光照过暗的图像进行均衡化处理。部分经过归一化处理的图像如图2所示。

3.2改进的PCA处理结果

将处理后的矿工面部表情图像作为输入，用改进的PCA进行特征提取，部分矿工面部表情图像的特征提取结果即主成分脸如图3所示。

由图3可知，经过改进的主成分分析法处理后的矿工面部表情图像中的部分无关特征向量得以有效去除。为了验证改进的主成分分析法对矿工面部表情特征的提取效果，对其中一张矿工面部表情图像进行了20维、60维和100维的重构，重构结果如图4所示。

由图4可知，当维数为60维时，已经能够很好地将矿工的面部表情特征重构出来，即经过改进的主成分分析法提取的特征矩阵所构成的主成分脸能够有效地将矿工面部五官特征提取出来，且维数越高重构效果越好，有助于人脸面部表情的识别。

3.3降维维数确定

将经过改进后的主成分分析法特征提取后的图像向量送入径向基神经网络进行训练和测试，从而实现对矿工面部表情的识别与分类，部分改进后的主成分分析法特征提取数据维数与分类准确率对应关系如表1所示。

由表1实验结果可知，当降维维数在69维时，对矿工面部表情的识别准确率最高，为89.0%。随着降维维数的不同，识别时间也会有所不同，综合分析，当降维维数在69维时对矿工面部表情的识别效果是最好的。

降维维数识别准确率/%识别时间/s200.8357.197 3670.8758.795 9680.8858.916 6690.8908.921 2700.8808.932 5710.8808.950 3730.8758.982 71100.87514.409 2

3.4结果分析

由于降维维数在69维时对矿工面部表情的识别分类效果较好，故对降维维数为69维的矿工面部表情分类情况做出结果分析。通过实验统计，得出对兴奋、中性、疲劳和沮丧4类矿工面部表情的分类统计结果，统计结果如表2所示。

由识别结果可知，当矿工面部表情表现为兴奋时，其表现出来的特征是比较明显的;当矿工面部表情表现为中性、疲劳和沮丧时，其面部特征提取的代表性有所降低。与传统的主成分分析法和卷积神经网络（convolutional neural network，CNN）实验比较结果如表3所示。

由表3可以得出：与传统的主成分分析法相比，运用Fisher线性判别法改进后的主成分分析法可以运用較少的维数来表征矿工面部特征，从而使其在识别时间和识别准确率上优于传统的PCA算法，即经过改进的主成分分析法相比于传统的主成分分析法来说，它可以使矿工面部表情图像矩阵的特征维数更少，特征提取时间更短。

与卷积神经网络相比，运用Fisher线性判别法改进后的主成分分析法在识别准确率上稍低于卷积神经网络，但在识别速度上明显快于卷积神经网络，并且随着输入图像尺寸的变大或维数的增多，卷积神经网络在识别速度上的弊端会表现得越发明显，而主成分分析法识别速度的优势得以体现出来;另外，卷积神经网络的识别准确率可以随着训练样本的增多而进一步提高，但主成分分析法则需寻求新的改进算法。

4结语

基于主成分分析法的矿工面部表情识别，运用Fisher线性判别法对主成分分析法进行改进，在主成分分析法的基础上增加了一个类间离散矩阵，从而提高了主成分分析法的特征提取效果。实验结果表明，该方法对矿工面部表情的识别率为89.0%，高于传统的主成分分析法。但矿井下的光照条件比较复杂，而主成分分析法对光照变化比较敏感，故找到更好的滤光和增光算法仍是后续需要研究的问题。

参考文献/References：

[1]杨卓.井下人员人脸识别方法研究[J].工矿自动化，2015，41（9）：53-57.

YANG Zhuo.Research of face recognition method of underground personnel[J].Industry and Mine Automation， 2015，41（9）：53-57.

[2]SONG Mingli， TAO Dacheng， LIU Zicheng， et al. Image ratio features for facial expression recognition application[J]. IEEE Transactions on Systems， Man， and Cybernetics. Part B， Cybernetics：A Pubilication of the IEEE Systems，Man， and Cybernetics Society， 2010， 40（3）：779-788.

[3]徐茜亮，霍振龙.人脸识别技术在矿井人员管理系统中的应用[J].工矿自动化，2013， 39（8）：6-8.

XU Xiliang，HUO Zhenlong. Application of face recognition technology in mine personnel management system[J]. Industry and Mine Automation， 2013， 39（8）：6-8.

[4]李春明，李玉山，庄庆德，等.人脸识别技术的研究[J].河北科技大学学报，2003，24（3）：1-6.

LI Chunming，LI Yushan，ZHUANG Qingde， et al. The technology of automatic face recognition[J].Journal of Hebei University of Science and Technology，2003，24（3）：1-6.

[5]申会堂，倪国强，范红深.网络时代的人脸识别技术及其在舰船上的应用[J].河北科技大学学报，2001，22（4）：65-70.

SHEN Huitang，NI Guoqiang，FAN Hongshen.Face recognition on internet and its application in warship[J].Journal of Hebei University of Science and Technology，2001，22（4）：65-70.

[6]周书仁，梁昔明，朱灿，等.基于ICA与HMM的表情识别[J].中国图象图形学报，2008， 13（12）：2321-2328.

ZHOU Shuren， LIANG Ximing， ZHU Can， et al. Facial expression recognition based on independent component analysis and hidden markov model[J].Journal of Image and Graphics，2008，13（12）：2321-2328.

[7]ZAVASCHI T H H， JR A S B， OLIVEIRA L E S， et al. Fusion of feature sets and classifiers for facial expression recognition[J]. Expert Systems with Applications， 2013， 40（2）： 646-655.

[8]刘红良，李成福.数学模型与建模算法[M].北京：科学出版社，2016.

[9]曾岳，冯大政.一种基于加权变形的2DPCA的人脸特征提取方法[J].电子与信息学报，2011， 33（4）： 769-774.

ZENG Yue， FENG Dazheng. An algorithm of feature extraction of face based on the weighted variation of 2DPCA[J]. Journal of Electronics & Information Technology， 2011， 33（4）： 769-774.

[10]江明阳，封举富.基于鲁棒主成分分析的人脸子空间重构方法[J].计算机辅助设计与图形学学报，2012，24（6）：761-765.

JIANG Mingyang， FENG Jufu. Robust principal component analysis for face subspace recovery[J].Journal of Computer-Aided Design & Computer Graphics，2012， 24（6）：761-765.

[11]SAABIN R. Facial expression recognition using multi radial bases function networks and 2D-gabor filters[C]//IEEE 2015 Fifth Internation Conference on Digital Information Processing and Communications（ICDIPC）. [S.l.]：[s.n.]， 2015：227-229.

[12]江大鵬，杨彪，邹凌.基于LBP卷积神经网络的面部表情识别[J].计算机工程与设计，2018， 39（7）： 1971-1977.

JIANG Dapeng， YANG Biao， ZOU Ling. Facial expression recognition based on local binary mode convolution neural network[J]. Computer Engineering and Design，2018， 39（7）： 1971-1977.

[13]张勇，党兰学.线性判别分析特征提取稀疏表示人脸识别方法[J].郑州大学学报（工学版），2015， 36（2）：94-98.

ZHANG Yong，DANG Lanxue. Sparse representation-based face recognition method by LDA feature extraction[J].Journal of Zhengzhou University（Engineering Science），2015，36（2）：94-98.

[14]姚乃明，郭清沛，乔逢春，等.基于生成式对抗网络的鲁棒人脸表情识别[J]. 自动化学报，2018， 44（5）： 865-877.

YAO Naiming， GUO Qingpei， QIAO Fengchun， et al. Robust facial expression recognition with generative adversarial networks[J]. Acta Automatica Sinica，2018， 44（5）： 865-877.

[15]张宁，任茂文，刘萍.基于主成分分析和BP神经网络的煤岩界面识别[J].工矿自动化，2013，39（4）：55-58.

ZHANG Ning，REN Maowen，LIU Ping. Identification of coal-rock interface based on principal component analysis ang BP neural network[J]. Industry and Mine Automation，2013，39（4）：55-58.

[16]王晓梅.神经网络导论[M].北京：科学出版社，2016.

[17]顾亚祥，丁世飞.支持向量机研究进展[J].计算机科学， 2011，38（2）：14-17.

GU Yaxiang，DING Shifei.Advances of support vector machines（SVM）[J].Computer Science，2011， 38（2）： 14-17.

[18]杨学峰，王高，程耀瑜.基于径向基函数的多帧图像超分辨重建算法[J].计算机应用，2014，34（1）：142-144.

YANG Xuefeng， WANG Gao， CHENG Yaoyu. Multi-frame image super-resolution reconstruction algorithm with radial basis function neural network[J].Journal of Computer Applications，2014， 34（1）：142-144.

[19]朱福珍，李金宗，朱兵，等.基于径向基函数神经网络的超分辨率图像重建[J].光学精密工程，2010，18（6）：1444-1451.

ZHU Fuzhen，LI Jinzong，ZHU Bing，et al. Super-resolution image reconstruction based on RBF neural network[J].Optics and Precision Engineering，2010，18（6）：1444-1451.

[20]LEE I，JUNG H，AHN C H，et al. Real-time personalized facial expression recognition system based on deep learning[C]//2016 IEEE International Conference on Consumer Electronics（ICCE）. KAIST：[s.n.]，2016：267-268.第40卷第1期河北科技大学学报Vol.40，No.1