云环境中考虑隐私保护的人脸图像识别*

侯小毛， 徐仁伯

(1. 湖南信息学院 电子信息学院， 长沙 410151； 2. 中南大学 a. 软件学院， b. 物理与电子学院， 长沙 410012)

随着科学技术的发展，研究人员对隐私信息及隐私保护的概念不断进行演变及完善[1-2].近年来，随着云计算公司不断出现用户信息及文件隐私泄露事件，隐私安全问题得到了空前的重视[3].而人脸图像识别是近年来生物识别技术研究的热点，是一个具备广泛应用价值及挑战性的课题[4].如何在云环境中考虑隐私保护情况下对人脸图像进行识别，成为了该领域亟待解决的问题，受到广大学者的关注，也出现了很多好的方法[5].

文献[6]提出基于Gabor低秩恢复稀疏表示分类的人脸图像识别方法，该方法针对含有光照、姿态及遮挡等误差或者被噪声污染的人脸图像，用稀疏表示和Gabor特征字典，对测试样本图像的Gabor特征向量进行类关联重构，实现图像分类识别，该方法具有较高的识别效率，但其抗干扰性能较差；文献[7]提出基于主成分分析的人脸图像识别方法，首先分解人脸图像，并把分解后的各系数矩阵转变成能量特性，采用主成分分析识别算法进行人脸图像识别，但是该方法识别效率不高；文献[8]提出基于特征融合的人脸图像识别方法，该方法采用局部二值形式获取特征向量，通过PCA方法进行融合，实现人脸图像识别，但是该方法识别时间较长，不适合大范围使用.

针对上述问题，本文提出了一种云环境下人脸图像识别方法.首先建立人脸图像PCA数学模型，采用LBP方法提取选择人脸图像纹理特征，其次运用分数法度量所选择的特征稳定性，最后基于深度网络法进行人脸图像的识别.实验结果表明，本文提出的识别方法具有较高的识别精确度和效率.

1 隐私保护下人脸图像PCA数学模型建立及特征提取

1.1 隐私保护下人脸图像PCA数学模型的建立

在实际的人脸图像识别过程中，考虑隐私保护的约束，需要解决的问题全是由多个有关变量构成的，为了降低对人脸图像进行处理时的复杂度，需要进行简化处理，建立人脸图像PCA数学模型.假设有p个变量(x1，x2，…，xp)和n个样本，样本矩阵为

(1)

式中，xnp为矩阵X中第n个样本中的第p个变量.

PCA就是将原先的p个样本变量变成新的p个变量，即

(2)

式(2)可简化为

Fz=αz1x1+αz2x2+…+αzpxp

(z=1，2，…，p)

(3)

式中：F1，F2，…，Fp为主分量；α为主成分系数.

建立的人脸图像PCA数学模型需要满足以下条件：

1) 各变量之间互不相关；

上述人脸图像PCA数学模型表达式为

F(x，y)=XY

(4)

1.2 隐私保护下人脸图像特征的提取

在提取人脸图像特征时，为了保护隐私，主要以人脸图像纹理特征为主，采用LBP方法进行人脸图像纹理特征的获取，增加隐私保护性能.首先确定识别区域的梯度，而人脸图像梯度包括两个方向，分别为x方向和y方向，对于点A(i，j)上的梯度，其计算表达式为

xi，j=β1(Ai，j+1-Ai，j-1)+β2

(5)

yi，j=β1(Ai+1，j-Ai-1，j)+β2

(6)

式中：Ai，j为对应在人脸图像坐标(i，j)处的灰度值；xi，j和yi，j为对应于点A(i，j)在x方向和y方向上的梯度；β1为半面约束参数(总范围为0～1)，0<β1≤0.5，超过一半区域失效，则自动放弃计算；β2为经验约束参数，120<β2<130，评价经验确定范围，一般不超过200.

而区域梯度同样包含x和y两个方向，对应点A(i，j)上区域梯度的计算公式为

xi，j，w

(7)

yi，j，w

(8)

(9)

式中：gc为对应于局部邻域中心点处的灰度值；gp′(p′=0，1，…，p-1)为以gc为中心，半径为R(R=1)的灰度值，选取9个像素点，即gc邻域范围为8个点的灰度值.s(x*)需要满足的约束条件为

(10)

2 人脸图像特征选取稳定性分析及识别方法

2.1 特征选择及人脸图像隐私保护特征选取

在特征选取的基础上，采用保局投影LPP方法对特征进行选择，其基本思路为在维持样本数据间局部邻域结构信息的同时减少样本集的维数，需要选择保持数据集局部拓扑结构特征的选择算法.

首先定义人脸图像间的拓扑结构矩阵Q=[Qij]M×M，其约束条件为

(11)

式中：yi为人脸图像中第i个主成分的系数；yj为人脸图像中第j个主成分的系数.

(12)

式中：JFisher(fr)为第r列特征的类间和类内方差的比值；d(S∪{r})(i，j)为已选特征子集及欲加入的第r维特征在样本i和j间的距离.选择的人脸图像特征表达式为

(13)

式中，x0和y0为两个随机变量.在特征选择中，待选择的fi与类标c的互信息则为I(fi；c)，若选择m维就要选择最大的前m个.

2.2 特征选取稳定性的度量

为了增加云计算中隐私保护的性能，需要对选择结果的稳定性进行度量，而依据稳定性的定义，度量特征选择结果的稳定性，就是衡量算法选出的最优特征子集间的相似性.因此，当特征选择结果的表示方法不一样时，稳定性度量方法也不同，选取最常见的分数法对选择后的特征进行稳定性度量.假设原始特征空间有K维特征f1，f2，…，fK，那么通过分数法获取选择的人脸图像特征稳定性度量表达式为

(14)

式中：e、e′为同一特征算法在图像集Z、Z′上获得的分数法结果；μe、μe′为e、e′中分数值的均值.L(e，e′)∈[-1，1]，则有关系数绝对值越大，e和e′越相关，那么选取的特征越稳定，隐私保护效果越好.当选择的人脸图像特征稳定性与特征选择的频数相关时，隐私保护性能最佳，则人脸图像隐私保护稳定性度量公式可转变为

(15)

式中：T为特征选择算法；R′为被选中的特征；|Z′|为至少被选中过一次的全部特征集合；q为特征选择进行的次数；freq(R′)为全部被选中的特征总和.由此可以看出，假如特征在多次选择过程中被频繁地选择，且这种特征越多，选择的人脸图像特征越稳定，在云计算中隐私保护效果会越好.

2.3 改进隐私保护下人脸图像识别方法的实现

在确定所选择特征稳定性的基础上，对云计算中考虑隐私保护的人脸图像识别方法进行改进，提出了基于深度网络的人脸图像识别方法，其基本思路为：首先确定识别人脸图像的几何形状，并确定特征最优值；其次获取人脸图像特征均值；最后将均值与深度网络相结合实现对云计算中考虑隐私保护的人脸图像识别.

假设人脸几何特征模型由34个顶点、51个三角形组成，分别设置为v和t，则获得最佳隐私保护的人脸图像集为

(16)

(17)

式中：a1为缩放操作；a2为旋转操作；a3为平移操作；a4为剪切操作.由此可得其几何形状，即

(18)

(19)

式中：ci0为第i0样本的均值；Mi0为第i0样本数；Ti0为第i0样本子集.在确定人脸图像特征均值的基础上，结合深度网络法进行人脸图像识别，其表达式为

(20)

综上所述，通过采用保局投影LPP方法对特征进行选择，并选用最常见的分数法对选择后的特征进行稳定性度量，引入深度网络法，可实现在云计算中考虑隐私保护的人脸图像识别方法的改进.

3 实验结果分析

为了验证改进的人脸图像识别方法在隐私保护约束下的有效性及可行性，需要进行实验对比分析.实验数据集采用YALE B数据库和CMU PIE数据库，所用方法为改进识别方法、基于特征融合的人脸图像识别方法和基于主成分分析法.实验将一幅测试图像与库中已注册的每幅参考图像作对比进行分析.

3.1 实验数据

采用YALE B数据库和CMU PIE数据库作为实验数据集，在两个数据集上比较各种方法的人脸识别率.将所有数据集按照光照的角度划分为5个子集(1平光、2侧光、3逆光、4顶光、5底光)，YALE B数据库和CMU PIE数据库的人脸部分图像分别如图1、2所示.图1中，第一行前4个图为平光，后三个图为底光，第二行前三个图为顶光，第四和第五个图为侧光，最后两个图为逆光.图2中光照顺序依次是平光、逆光、底光和侧光.

图1 部分YALE B数据库人脸模糊图像Fig.1 Fuzzy face images in partial YALE B database

图2 部分CMU PIE数据库人脸图像Fig.2 Face images in partial CMU PIE database

3.2 结果分析

在第一组实验中，以YALE B数据库信息为主进行分析，在这5个子集上，采用每一张人脸图像当作测试图像去匹配10张标准的人脸图像，并把10张标准的人脸图像作为已注册的参考人脸图像，识别结果如表1所示.

表1 人脸图像识别结果Tab.1 Identification results of face images %

由表1可知，采用特征融合方法时，其人脸图像识别率约为83.35%，且随着光照角度的变化其识别率下降；采用主成分分析法时，其人脸图像识别率约为94.92%，且随着光照角度的变化，识别率不稳定；采用改进识别方法时，其人脸识别率约为97.91%，虽然其识别率随着光照角度的变化发生变化，但其识别率相比特征融合方法提高了约14.56%，相比主成分分析法识别率提高了约2.99%，具有一定的优势.

由于CMU PIE数据库中每个人对应的不同光照图像比较少，所以不能依据光照角度来分组进行实验，需要将标准的人脸图像作为参考人脸图像.实验二将不一样光照条件下的人脸图像当作参考人脸图像，并将其平均值当作最终的识别结果，人脸识别率如表2所示.

表2 不同参考人脸图像下的人脸识别率Tab.2 Identification rates of face images underdifferent reference face images %

在CMU PIE数据库上，分别采用改进方法、特征融合方法、主成分分析法进行人脸图像识别，采用每人两幅人脸图像当作训练集时，改进方法的识别率约为92.45%；特征融合方法的识别率约为84.75%；主成分分析法的识别率约为80.46%.改进方法相比特征融合方法、主成分分析法识别率分别提高了约7.7%和11.99%，具有一定的实用性.

为了进一步验证改进方法在人脸图像识别方面的有效性，对其识别准确度方面进行对比实验验证，结果如图3所示.

图3 不同方法下人脸图像识别准确度对比Fig.3 Comparison in identification accuracy offace images with different methods

由图3可知，当需要识别的人脸图像个数一定时，采用特征融合方法时的识别准确度约为73.43%，且存在多处波动，其稳定性较差，不适合长时间、大范围使用；采用主成分分析法时，其识别准确度约为75.43%，虽然无太大波动，但随着人脸图像个数的增加，识别准确度逐渐下降；采用改进方法时，其识别准确度约为94.32%，虽然在数据量为300～400处出现了波动，但整体相比特征融合方法提高了约20.89%，相比主成分分析法识别准确度提高了约18.89%，由此可知，改进方法具有一定的优势.对两种不同算法的耗时进行对比，结果如图4所示，本文方法在任务数增加的情况下，所用时间也大幅低于传统的主成分分析法，优势明显.

4 结 论

本文提出一种新型效率高且准确度高的人脸图像识别方法.首先对图像进行简化处理，建立人脸图像PCA数学模型，采用LBP方法提取人脸图像纹理特征；其次度量特征的稳定性，引入深度网络法识别人脸图像.实验结果表明，改进的识别方法具有较高的人脸识别率，且识别耗时较短.

图4 不同方法的耗时对比Fig.4 Comparison in time-consumingwith different methods

[1] Ren C X，Dai D Q，Li X X，et al.Band-reweighed Gabor kernel embedding for face image representation and recognition [J].IEEE Transactions on Image Processing，2014，23(2)：725-740.

[2] Xu Y，Li X，Yang J，et al.Integrate the original face image and its mirror image for face recognition [J].Neurocomputing，2014，131(7)：191-199.

[3] Shi J，Qi C.From local geometry to global structure：learning latent subspace for low-resolution face image recognition [J].IEEE Signal Processing Letters，2015，22(5)：554-558.

[4] 刘中华，姚楠，刘文红.基于自适应特征选择的人脸图像识别算法 [J].上海电机学院学报，2014，17(4)：224-228.

(LIU Zhong-hua，YAO Nan，LIU Wen-hong.Face recognition based on adaptive feature selection [J].Journal of Shanghai Dianji University，2014，17(4)：224-228.)

[5] 曾爱林.基于改进的格拉斯曼流形的模糊人脸图像识别 [J].现代电子技术，2015，38(22)：34-36.

(ZENG Ai-lin.Fuzzy face image recognition algorithm based on improved Grassmannian [J].Modern Electronics Technique，2015，38(22)：34-36.)

[6] 杜海顺，张旭东，金勇，等.基于Gabor低秩恢复稀疏表示分类的人脸图像识别方法 [J].电子学报，2014，42(12)：2386-2393.

(DU Hai-shun，ZHANG Xu-dong，JIN Yong，et al.Face image recognition method via Gabor low-rank recovery sparse representation-based classification [J].Acta Electronica Sinica，2014，42(12)：2386-2393.)

[7] 谢佩，吴小俊.分块多线性主成分分析及其在人脸识别中的应用研究 [J].计算机科学，2015，42(3)：274-279.

(XIE Pei，WU Xiao-jun.Modular multilinear principal component analysis and application in face recognition [J].Computer Science，2015，42(3)：274-279.)

[8] 梅蓉.基于特征融合的人脸图像识别方法研究 [J].河南科技学院学报(自然科学版)，2014，42(4)：70-74.

(MEI Rong.Study of face recognition method based on feature fusion [J].Journal of Henan Institute of Science and Technology (Natural Sciences Edition)，2014，42(4)：70-74.)