深度自编码器用于人脸美丽吸引力预测的研究

李远豪，甘俊英



深度自编码器用于人脸美丽吸引力预测的研究

李远豪，甘俊英

（五邑大学 信息工程学院，广东 江门 529020）

为了挖掘人脸美丽的内在本质，本文提出了基于深度自编码器的人脸美丽吸引力预测模型：首先利用大量无标签人脸图像数据对深度自编码器进行预训练，然后结合Polak-Ribiere- Polyak共轭梯度反向传播算法对深度自编码器的权值进行微调，从而建立深度自编码器的人脸美丽特征提取模型. 最后经过支持向量机（SVM）分类器对人脸图像进行美丽预测. 实验结果显示SVM分类器预测的平均识别率为77.3%，表明深度自编码器用于人脸美丽吸引力预测是有效的.

人脸美丽吸引力；预测模型；深度自编码器

人脸美最易感知却很难定义，近年来，人脸美丽吸引力预测成了人工智能机器学习领域的一个研究热点[1-5]，其成果将在美容整形、智能感知和人脸图像处理等领域有广阔的应用前景. 人脸美丽吸引力预测模型主要分为两个部分：美丽特征提取和机器学习预测[6]. 目前，人脸美丽吸引力预测所采用的美丽特征大多是几何特征[7,8]，在人脸图像上标注一些特征点，依据描述人脸和谐比例的经典准则（如近古典规则、黄金比例等），将美丽的人脸特征点提取出来. 但是，标注这些人脸特征点不仅需要大量人工，而且还需要较强的专业知识，既费时又费力. 预测人脸美丽吸引力所采用的另一种特征是纹理特征[9]. 如文献[10,11]使用特征脸（Eigenface)来进行人脸美丽预测，特征脸是在原始灰度人脸图像上进行主成分分析（Principal Component Analysis，PCA），得到以某种特定模式排列的光区与暗区，其中的图像即反映了人脸的特征信息，它不需要人工标注人脸特征点.

本文提出一种基于深度自编码器的人脸美丽特征提取模型. 采用的自编码器（Autoencoder)与PCA算法类似，可将高维数据转化为低维数据，且比PCA拥有更强的表达能力，是非线性的；同时，不需要人工标注人脸特征点就能提取人脸的纹理特征并让自编码器学习人脸的美丽特征，从而让机器自动感知美丽特征. 在机器学习预测阶段采用了SVM分类器进行预测.

1 相关概念

1.1 单层隐藏层的自编码器

单层隐藏层的自编码器是含有一层隐藏层的前馈神经网络，该自编码器主要是在输出层重构出原始输入数据的. 与传统神经网络的主要区别是自编码器的输出层含有的神经元数目跟输入层所含有的神经元数目一样；而对于含有多层隐藏层的自编码器，最深的隐藏层的神经元数目总是小于输入层和输出层.

图1 单层隐藏层自编码器的结构

1.2 局限玻尔兹曼机

RBM是两层的神经网络，连接特征检测器的像素能量函数[12]505为

权值增量[12]506为

2 深度自编码器人脸美丽吸引力预测模型

图2 深度自编码器建立过程

本文的人脸美丽吸引力预测模型如图3所示. 在特征提取阶段，人脸图像先要进行均衡化、归一化等预处理，预处理后的人脸图像作为已经训练好的深度自编码器编码网络输入，进行人脸美丽特征提取. 在预测阶段，把提取的人脸美丽特征作为已经训练好SVM分类器输入并进行预测，最终得到人脸美丽吸引力的预测结果.

图3 人脸美丽吸引力预测模型

3 实验结果与分析

3.1 实验对象

图4 人脸图像对应的美丽分类

3.2 实验结果与分析

表1 各类别的实验数据

图5显示了深度自编码器第1隐藏层所学到的部分特征图像. 可以看出，第1层隐藏层学到的权值图像感观上都是人脸图像，这主要是因为神经元学到人脸图像拥有共同的特征. 有的权值图像甚至能辨别人脸的瞳孔、鼻孔和嘴唇的中间横线，而这些特征与人脸美丽特征相关. 由此可以看出，第1层隐藏层可学到一些人脸美丽特征.

图5 深度自编码器第1隐藏层的部分权值图像

图6显示了特征维数与预测准确率之间的关系. 预测准确率是SVM分类器正确预测人脸图像幅数与测试人脸图像总数之比，即识别率. 特征维数从15维开始，每次增加5维，直至45维. 从图6可以看出，在15维到30维这个阶段，随着特征维数的增加预测准确率增高. 在30维处，预测准确率最高，为77.3%. 在30维到45维这个阶段，随着特征维数的增加预测准确率降低. 由此看出，30维特征为最佳维数，预测的效果最好.

图6 特征维数与预测准确率关系图

表2是特征维数为30时各类美丽预测的实验结果. 从表2中可以看出，对于150幅的测试人脸数据，识别率最高的是类别1（美）达到81.1%；其次是类别3（丑），识别率为76.0%；效果最差的是类别2（一般），识别率为74.5%；平均识别率达到77.3%. 由此可知，深度自编码器编码网络提取的人脸美丽特征用于人脸美丽吸引力预测是可行的.

表2 特征维数为30时的实验结果

4 总结与展望

本文采用深度自编码器编码网络提取人脸美丽特征，并用SVM分类器分类预测，预测的平均识别率为77.3%. 可以看到，运用深度自编码器编码网络提取的特征作为人脸美丽特征是可行的，取得了较好的预测效果. 自编码器训练学习是一个复杂过程，本文研究结果所学到的特征鲁棒性仍不太高，这也有待于后续深入研究.

[1] MAO Huiyun, JIN Lianwen, DU Minghui. Automatic classification of Chinese female facial beauty using support vector machine [C]//Proceedings of the 2009 IEEE International Conference on Systems, Man, and Cybernetics, [s.l.]: SMC, 2009: 4842-4846.

[2] SUTIC D, BRESKOVIC I, HUIC R, et al. Automatic evaluation of facial attractiveness [J]. MIPRO, 2010, 24(28): 1339-1342.

[3] GRAY D, YU Kai, XU Wei, et al. Predicting Facial Beauty without Landmarks [C]//Proceedings of the 11th European Conference on Computer Vision, [S.I.]: Springer Berlin Heidelberg, 2010:434-447.

[4] CHEN Yili, MAO Huiyun, JIN Lianwen. A novel method for evaluating facial attractiveness [C]//Proceedings of the International Conference on Audio Language and Image Processing, [S.I.]:IEEE, 2010: 1382-1386.

[5] KAGIAN A, DROR G, LEYVAND T, et al. A machine learning predictor of facial attractiveness revealing human-like psychophysical biases [J]. Vision Research, 2008(48): 235-243.

[6] 毛慧芸，金连文，杜明辉. 基于几何特征及C4.5的人脸美丽分类方法[J]. 模式识别与人工智能，2010, 23(6): 809-814.

[7] KAGIAN A, DROR G, LEYVAND T, et al. A humanlike predictor of facial attractiveness [J]. Advances in Neural Information Processing Systems, 2006: 649-656.

[8] GUNES H, PICCARDI M. Assessing facial beauty through proportion analysis by image processing and supervised learning [J]. Human-Computer Studies, 2006(64): 1184-1199.

[9] FAN Jintu, CHAU K P, WAN Xianfu, et al. Prediction of facial attractiveness from facial proportions [J]. Pattern Recognition, 2012, 45(6): 2326-2334.

[10] EISENTHAL Y, DROR G, RUPPIN E. Facial attractiveness: beauty and the machine [J]. Neural Computation, 2006, 18(1): 119-142.

[11] 毛慧芸. 人脸美丽吸引力的特征分析与机器学习[D]. 广州：华南理工大学，2011.

[12] HINTON G E, SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks [J]. Science, 2006, 313(5786): 504-507.

[13] SALAKHUTDINOV R, MNIH A, HINTON G. Restricted Boltzmann machines for collaborative filtering [C]//Proceedings of the 24th International Conference on Machine Learning, University of Toronto, Toronto: ACM, 2007:791-798.

[14] THE Y W, HINTON G E. Rate-coded restricted Boltzmann machines for face recognition [J]. Advances in Neural Information Processing Systems, 2001: 908-914.

[责任编辑：韦 韬]

A Study of Facial Beauty Attractiveness Prediction Based on the Deep Autoencoder

LIYuan-hao, GANJun-ying

(School of Information Engineering, Wuyi University, Jiangmen 529020, China)

To explore the inner essence of facial beauty, this paper proposes a facial beauty attractiveness prediction model based on Deep Autoencoder. This study pretrains the Deep Autoencoder with a great deal of unlabeled facial image data, then fine-tunes the Deep Autoencoder with some labeled facial image data in the light of the Polak Ribiere Polyak Conjugate Gradient Backpropagation, builds up a facial feature extraction model for the Deep Autoencoder, and finally predicts the beauty attractiveness of human facial images with a SVM classifier. Experimental results show that the average recognition rate of the SVM classifier is 77.3%, indicating that the Deep Autoenceder is effective for predicting human facial attractiveness.

facial beauty attractiveness; prediction models; Deep Autoenceder

1006-7302（2014）04-0049-06

TP391.41

A

2014-03-26

国家自然科学基金资助项目（61072127，61372193，61070167）；广东省自然科学基金资助项目（S2013010013311，10152902001000002，S2011010001085，S2011040004211）；广东省高等学校高层次人才项目（粤教师函[2010]79号）

李远豪（1985—），男，广西南宁人，在读硕士生，研究方向为图像处理、模式识别；甘俊英，教授，博士，硕士生导师，通信作者，研究方向为图像信息处理、人机交互、图像识别.