基于提升度和置信度特征融合的视觉感知算法

吴亚蒙 中国矿业大学（北京）机电与信息工程学院

基于提升度和置信度特征融合的视觉感知算法

吴亚蒙 中国矿业大学（北京）机电与信息工程学院

视觉关注是计算机视觉领域的重要研究内容之一，是指利用模式识别、机器学习等分析方法预测实验对象关注的感兴趣目标或者方向。基于特征融合的视觉关注算法是指通过特征提取和融合的方式构建头部特征矩阵，并计算头部姿态信息或者凝视方向信息，最终确定视觉关注的目标或者方向。近年来视觉关注算法在公共安全、自然会议和辅助驾驶等诸多领域得到广泛应用。但基本都是基于静态头部姿态数据库方面的研究传统方法局限于研究头部姿态与视觉感知方向。对于人正面的脸部识别，很多的识别系统能够表现出很好的识别性能。但是头部姿态容易受很多因素的影响，对于脸越来越多的人脸角度，它的识别准确率会严重下降。因此就更加需要其他的一些特征来配合头部特征一起识别。身体其他部位如手势、手臂和肩膀姿势同样与视觉感知的目标息息相关，并且表现出人的潜在行为目的，另一方面更能精确的表示视觉感知方向。

视觉关注 特征融合 头部姿态 视觉感知

视觉关注图像中蕴含了丰富的信息，传统方法局限于研究头部姿态与视觉感知方向，身体其他部位如手势、手臂和肩膀姿势同样与视觉感知的目标息息相关，并且表现出人的潜在行为目的，另一方面更能精确的表示视觉感知方向，本文提出一种新的视觉感知算法。针对手势、头部姿势、视觉感知方向、目标进行分析，希望通过建立手势、头部朝向、视觉注意方向的置信度模型，引进兴趣度/提升度，置信度和规则后件项集支持度的比率，达到精确预测感知目标并且预测人体行为的目标。

1 基于眼睛定位的平面角度头部姿态识别方法

我们要先对图像的颜色进行校正预处理。因为在人脸的采集过程中，图像可能存在偏蓝或者偏黄，那么将会直接影响最终的结果；然后采用基于肤色模型的人脸检测方法对人脸进行检测，对眉毛和眼睛进行定位；最后，就是根据瞳孔圆检测原理，对瞳孔圆进行检测。

眼睛定位以后，可以得到左右眼的具体坐标，比如左眼(x1,y1)，右眼 (x2，y2)，令 θ=atctan［(y2－y1)/(x2－x1)］，当|θ|＜70度时可判断是向哪边倾斜(若小于70度则认为向右倾斜，若大于－70度可认为向左倾斜)，示意图见图2所示。

图2 头部模型几何示意图

2 基于轨迹分割的HMM_SVM融合模型手势识别算法

本文采用基于轨迹分割的HMM_SVM融合模型的手势识别算法。由于测试人本身手势动作幅度较小并且很多手势都非常的相似，传统的基于HMM手势识别算法的结果又是根据输出概率最大的HMM模型来决定的，所以就会导致很多的模型输出结果相当接近，所以单纯地靠概率最大来来判断，结果错误的可能性非常大。基于支持向量机的手势识别忽视了手势轨迹中间的各种变化，直接用手势轨迹的整体数值特征来进行识别。HMM利用上下文关系进行模式识别，更多地表达了类别内的相似性，而支持向量机擅长分类问题，更大程度上反映了类别间的区别。基于轨迹分割的HMM_SVM融合模型算法的层次结构，如下图3所示：

图3基于轨迹分割的HMM_SVM融合模型算法的层次结构图

3 基于提升度和置信度的特征融合算法

本文基于Dempster-Shafer理论，提取人的头部朝向特征（Face Orientation）Ff置信空间为mf和手势特征(Had Gesture)Fh的置信空间mh,根据Dempster置信度理论构建置信度空间mp。将分别测量的头部姿态值和手部姿态值充分融合。

当头部朝向、手势特征交集部位空时的置信空间如下m(□ )＝ 0

当头部朝向、手势特征交集为空，置信空间则为0，计算各个信度空间的信度值。

然后建立一种关联Ff→Fh，计算相应的lift值。lift(AB)=c(AB)/s(B)，那么对于二元项集来说，我们可以做这样一个变换：lift(X→Y)=c(X→Y)/s(Y)=(p(X,Y)/p(X))/p(Y)=p(X,Y)/p(X)p(Y)那么这里，我们则可以把lift(X→Y)称为兴趣因子，表示为I(A,B)。此处为I(Ff,Fh，)。

若I(Ff,Fh，)＞1，则为正项强关联，那么上面所提到的头部朝向、手势特征方向可用；若I(Ff,Fh，)≤1，则为负项强关联，那么上面所提到的头部朝向、手势特征方向不可用。

4 结语

头部姿态和凝视方向是视觉关注算法研究的两个核心内容。视觉关注技术是分析人体行为和潜在意图的重要步骤，目前在各个领域应用而且发展迅速，主要包括公共安全、人机交互、自然会议、辅助驾驶和智能课堂管理。针对视觉关注算法，当前的研究方法包括基于统计学的方法和非统计学的方法，统计学方法包括基于模板匹配的、基于外观模型、基于流形的，非统计学方法包括基于几何模型的和基于探测数组的，此外还有统计学方法和非统计学方法相结合的方法，如基于头部跟踪的方法。

本文提出了一种新的融合算法，希望借助头部和手部共同达到分析人体行为的预测方法。实验结果和数据表明，该方法可以加强两种方法的计算精确度，达到更加精确的效果。Eyes in a Portrait,” Philosophical Trans. Royal Soc. of London, vol. 114, pp. 247-256, 1824.

[1] M. V. Sireesha, P. A. Vijaya and K. Chellamma,“A Survey on Gaze Estimation Techniques”, International Conference on VLSI, Communication, Advanced Devices,Signals and Systems and Networking, VCASAN 2013, vol.258, pp. 353-361, 2013

[2] Erik Murphy-Chutorian and Mohan Manubhai Trivedi,“Head Pose Estimation in Computer Vision: A Survey”,IEEE Transactions on Pattern Analysis And Machine Intelligence, Vol. 31, No. 4, pp. 607-626, 2009

[3] W.H. Wollaston, “On the Apparent Direction of

[4] M. Trivedi, K. Huang, and I. Mikic, “Dynamic Context Capture and Distributed Video Arrays for Intelligent Spaces,” IEEE Trans. Systems, Man, and Cybernetics, Part A, vol. 35, no. 1, pp. 145-163,2005.

[5] J. Tu, T. Huang, and H. Tao, “Accurate Head Pose Tracking in Low Resolution Video,” Proc. IEEE Int’l Conf. Automatic Face and Gesture Recognition, pp.573-578, 2006.

[6] Mora, Kenneth Alberto Funes (Idiap Research Institute,Martigny, Switzerland); Odobez, Jean-Marc, “Geometric Generative Gaze Estimation (G3E) for Remote RGB-D Cameras” Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, p 1773-1780, 2014

[7] M. Nixon, “Eye Spacing Measurement for Facial Recognition,” Proc. Conf. Soc. Photo-Optical Instrument Eng., 1985.

[8] Duric, Zoran, Gray, Wayne D. Integrating perceptual and cognitive modeling for adaptive and intelligent human-computer interaction.Proceedings of the IEEE,2002,90(7):1272-1288.

[9]魏朝龙，手势建模算法研究及其应用，广东工业大学，2011-5

吴亚蒙（1992-），女，河北邢台人，中国矿业大学（北京）研究生。