一种基于特征融合的部位外观模型

牛学锋，赵　勇

(西安邮电大学 自动化学院，陕西 西安 710121)



一种基于特征融合的部位外观模型

牛学锋，赵勇

(西安邮电大学 自动化学院，陕西 西安 710121)

针对人体姿态估计算法在建立部位外观模型时将不同图像特征平等对待的问题，建立一种基于模糊K-均值算法融合方向梯度直方图(Histogram of Orientation Gradient, HOG)和颜色特征的部位外观模型。将部位定位状态对应的HOG和颜色直方图特征进行组合，利用组合而成的特征向量构造样本集。分别计算部位定位状态对应的HOG和颜色特征与分别基于这两种图像特征的部位外观模型的相似度，并将两个相似度乘积的平方根作为样本的初始隶属度，通过模糊K-均值算法收敛后的聚类中心即为部位外观模型。仿真实验表明，建立的部位外观模型能更准确地描述真实人体部位的外观特征，将其用于人体姿态估计时可以得到准确度更高的估计结果。

人体姿态估计；部位外观模型；模糊K-均值算法；梯度方向直方图；颜色直方图

人体动作和行为识别与分析已广泛应用在视频监控、虚拟现实和人机交互等计算机视觉领域。人体姿态估计是一个估计人体各部位在图像中的具体位置的过程，正确估计可以较好地服务于人体动作和行为的识别与分析。部位外观模型是对真实人体部位外观特征的描述，在人体姿态估计的过程中起着非常关键的作用[1]。

受光照条件、颜色对比度、人体体型的变化以及部位可能存在被遮挡等因素的影响，不同图像中的人体部位很难用单一的图像特征进行精确的描述。实际上人类在识别人体部位时也是同时利用颜色、边缘等多种图像特征来实现的，所以在建立部位外观模型时，利用多种图像特征比仅利用单个图像特征从理论上来说能更准确地描述人体部位。将方向梯度直方图(Histogram of Oriented Gradient, HOG)、颜色和形状特征合并构成特征向量，利用训练图像标注的部位区域对应的特征向量训练得到的支持向量机(Support Vector Machine, SVM)分类器作为部位外观模型[2]；将基于HOG特征与基于图像分割信息的两种部位外观模型同等对待，把部位定位状态与两种外观模型相似度乘积的平方根作为最终的相似度[3]；建立一种适用于多个部位检测器的图结构模型，将部位定位状态与多个基于不同图像特征的部位外观模型的相似度进行排序并构成相似度向量，用于所建立的图结构模型进行人体姿态估计[4]。虽然,上述部位外观模型用于人体姿态估计时已经取得了一定的效果，但其都是将多个图像特征同等对待，在对不同图像中的人体部位进行识别时，同一图像特征所发挥的作用并不相同，所以现有部位外观模型并没有实现多种图像特征的有效融合。模糊K-均值算法[5]是一种经典的软聚类方法，在模式识别和图像处理等领域都获得了广泛的应用。本文拟对HOG特征和颜色特征的融合进行研究，建立一种基于模糊K-均值算法融合HOG和颜色特征的部位外观模型，并将其用于基于树形图结构模型的人体姿态估计。

1　模糊K-均值算法

给定样本集 {xi,i=1,2,…,N)，设模式类别数为K，样本对各模式类的隶属度处在0和1之间，隶属矩阵U中任一元素uij定义为

uij=μij，

(1)

其中μij为样本xi对第j个模式类的隶属度。

聚类准则函数的一般化形式为[6]

(2)

其中，Jj和Cj分别为第j个模式类的准则函数和聚类中心，模糊指数m≥1，取m=2，可得到最满意的聚类结果。

模糊K-均值算法步骤如下。

步骤1初始化隶属矩阵U，并使其满足式(1)中的约束条件，设置迭代次数L=1，最大迭代次数为T。

步骤2计算所有模式类的聚类中心Cj( j=1,2,…,K)。

(3)

步骤3利用式(2)计算聚类准则函数，若L>2且‖JL-JL-1‖<ε，或L>T，算法停止；否则利用

(4)

计算新的隶属度，并令L=L+1后返回第2步。

2　人体姿态估计算法

考虑到HOG和颜色特征在对不同待处理图像建立部位外观模型时起着不同的作用，建立一种基于模糊K-均值算法融合HOG和颜色特征的部位外观模型。将部位定位状态对应的HOG和颜色直方图特征组合在一起构成的特征作为样本，部位定位状态与分别基于HOG特征和颜色直方图特征的两种部位外观模型的相似度乘积的平方根作为样本的初始隶属度，模糊K-均值算法收敛后的聚类中心即为部位外观模型。

将部位外观模型用于基于树形图结构模型的人体姿态估计，整个人体姿态估计算法可分为5个步骤。

步骤1建立基于颜色特征的部位外观模型。

某待处理图像中的左小臂建立外观模型的过程如图1所示。

图1　左小臂外观模型建立

(1)对于待处理图像利用人体上半身检测器[7]检测确定人体上半身。

(2)利用部位搜索空间减小算法[8]减小部位搜索空间。

(3)将减小后的搜索空间中所有状态对应矩形区域叠加在一起构成部位的分布区域。

(4)像素点(x,y)的定位概率的表达式为

(5)

其中,lj为第j个部位定位状态，p(lj)为部位定位状态lj对应图像区域的外观特征与部位外观模型的相似度，n为减小后的部位搜索空间中的状态数目。

(5)对于待处理图像中的部位分布区域，把每个像素点的定位概率作为权值求解颜色直方图，并采用线性插值方法进行均衡，即为部位外观模型。

步骤2构造样本集，初始化算法参数及隶属矩阵。

样本集 {xi,i=1,2,…,2N}包含部位和非部位两种模式类。xi,i=1,2,…,N时属于部位类，xi为减小后的部位搜索空间中的定位状态对应的HOG和颜色直方图特征组合而成的特征向量；xi,i=N+1,N+2,…,2N属于非部位类，xi为从待处理图像中部位分布区域之外的区域剪切的N个标准大小的图像块的HOG和颜色直方图特征组合而成的特征向量。

设置模糊指数m和聚类准则函数的阈值ε，计算样本xi的HOG特征与基于HOG特征的部位外观模型[9]的相似度p1(xi)，以及样本xi的颜色直方图特征与基于颜色特征的部位外观模型的相似度p2(xi)。取j=1,2，利用两种相似度乘积的平方根初始化隶属度矩阵U中的元素uij可分别表示为

(6)

ui2(1)=μi2(1)=1-μi1(1)。

(7)

步骤3模糊K-均值算法收敛后部位类的聚类中心即为部位外观模型，样本对于部位类的隶属度即为对应部位定位状态与部位外观模型的相似度。

步骤4重复步骤1到步骤3，确定所有人体部位的搜索空间，并求解搜索空间内所有定位状态与部位外观模型的相似度。

步骤5利用基于树形图结构模型的人体姿态估计算法[10]进行人体姿态估计。

3　仿真实验与分析

在Buffy图像库[11]中选取被检测到的人体上半身图像513张，组成训练图像集，从余下的被检测到的人体上半身图像中选取235张图像，和PASCAL图像库[12]中被检测到的人体上半身360张图像，组成测试图像集。

计算图像HOG特征时，采用[-1, 0, 1]梯度模板，和无符号的梯度方向，并将梯度方向分为9个方向块，HOG块采用矩形块形式[13]。每个HOG块内包含4个细胞单元，躯干、双臂和头部的细胞单元尺寸分别采用10×10、6×6和、8×8像素，HOG块的扫描步长与细胞单元尺寸相同。

建立部位外观模型时部位聚类中心的颜色直方图特征的变化情况如图2所示，其中图2(a)为两幅光照条件差别较大的待处理图像，图2(b)为模糊k均值算法运行前左小臂聚类中心中的颜色直方图特征，图2(c)为算法收敛后的颜色直方图特征。

图2　聚类中心变化

从图2可以看出，相对于光照条件较差的图像，光照条件较好的图像的部位聚类中心的颜色特征的变化更为明显，证明了HOG和颜色特征在对不同待处理图像建立部位外观模型时起着不同的作用。

对所测图像分别利用本文模型与文献[9]和文献[14]的外观模型进行相似度比较，结果如表1所示，其中前面数据为相似度均值，括号内数据为标准差。

表1　相似度比较结果

从表1可以看出，与文献[9]和文献[14]中仅利用HOG特征或颜色特征建立的部位外观模型相比，本文模型与测试图像的相似度的均值更大，标准差相同或更小，更能准确地描述真实人体部位的外观特征。

利用人体姿态估计准确度的计算方法[11]，将测试图像估计得到的部位定位矩形框的两个宽边中心点进行连接，对测试图像已标注出的真实部位矩形框做同样处理，若两个连接线段的对应端点间的距离均小于该部位长度的一半时，则认为该部位的估计是正确的。对比本文模型与文献[2]、文献[9]、文献[14]和文献[15]的准确度，结果如图2所示。

表2　人体姿态估计准确度比较

从表2可以看出，与现有的几种部位外观模型相比，本文模型用于人体姿态估计时可以得到准确度更高的估计结果。

图3为将几种不同部位外观模型用于基于树形图结构模型的人体姿态估计时的估计结果。

(a) 文献[2]人体姿态估计结果

(b) 文献[14]人体姿态估计结果

(c) 文献[9]人体姿态估计结果

(d) 本文人体姿态估计结果

从图3可以看出，图3(a)待处理图像虽然光照条件较好但背景比较复杂，图3(b)和图3(c)待处理图像的光照条件较差，背景也比较复杂，而且人体着装与背景的颜色对比度比较差。所以，单独利用基于HOG特征或颜色特征的外观模型都无法得到估计结果都不理想。然而，但利用本文模型时，对光照条件较差或背景复杂的3幅图像均得到了较为理想的人体姿态估计结果(图3(d))。

4　结语

建立了一种基于模糊K-均值算法融合HOG和颜色特征的部位外观模型，并将其用于人体姿态估计。仿真实验结果表明所建立的部位外观模型相比于仅利用单个图像特征建立的部位外观模型的准确度更高，相比于将多个图像特征平等对待而建立的部位外观模型的准确度也更高。

[1]THOMAS B M, HILTON A, KRUGER V, et al. Visual analysis of humans[M]. Berlin: Springer, 2011:45-60.

[2]SAPP B, TOSHEV A, TASKAR B. Cascaded models for articulated pose estimation[C/OL]//Proceedings of 11th European Conference on Computer Vision, Berlin:Springer, 2010 , 6312:406-420[2016-05-25]. http://dx.doi.org/10.1007/978-3-642-15552-9_30.

[3]JOHNSON S, EVERINHAM M. Combining discriminative appearance and segmentation cues for articulated human pose estimation[C/OL]//2009 IEEE 12th International Conference on Computer Vision Workshops (ICCV Workshops), Piscataway, N.J.:IEEE Press, 2009 , 15(7):405-412[2016-05-25]. http://dx.doi.org/10.1016/j.jval.2012.08.1892.

[4]SINGH V K, NEVATIA R, HUANG C. Effici -ent inference with multiple heterogeneous part detectors for human pose estimation[C/OL]//Proceedings of 11th European Conference on Computer Vision, Berlin:Springer, 2010：6313:314-327 [2016-05-25].http://dx.doi.org/10.1007/978-3-642-15558-1_23.

[5]DUNN J C. A fuzzy relative of the ISODATA process and its use in detecting compact well-separated clusters[J/OL]. Journal of Cybernetics, 1973, 3(3): 32-57[2016-05-25]. http://dx.doi.org/10.1080/01969727308546046.

[6]MARSILI-LIBELLI S . Fuzzy Clustering of Ecological Data[J/OL].Springer Netherlands, 1991, 11(2):173-184[2016-05-25].http://link.springer.com/chapter/10.1007/978-94-011-3418-7_15.DOI:10.1007/978-94-011-3418-7_15.

[7]EICHNER M, MARIN J M, ZISSEMAN A, et al. 2D articulated human pose estimation and retrieval in (almost) unconstrained still images[J/OL]. International Journal of Computer Vision, 2012, 99(2):190 -214[2016-05-25].http://dx.doi.org/10.1007/s11263-012-0524-9.

[8]HAN G. J, ZHU H, GE J R. Effective search space reduction for human pose estimation with viterbi recurrence algorithm [J/OL]. International Journal of Modeling, Identifica -tion and Control, 2013, 18(4): 341-348[2016-06-03].http://www.ingentaconnect.com/content/ind/ijmic/2013/00000018/00000004/art00005.

[9]韩贵金，朱虹. 基于R-SVM和SVDD的部位外观模型[J/OL]. 计算机应用研究,2015,34 (4):1272-1275[2016-06-03]. http://dx.chinadoi.cn/10.3969/j.issn.1001-3695.2015.04.075.

[10]韩贵金，赵勇. 基于树形图结构模型的人体姿态估计[J].西安邮电大学学报,2013,18 (3):83-86[2016-06-03].http://dx.chinadoi.cn/10.3969/.issn.1007-3264.2013.03.021.

[11]FERRARI V, MARIN J M, ZISSERMAN A. Progressive search space reduction for human pose estimation[C/OL]//Proceedings of 2008 IEEE Conference on Computer Vision and Pattern Recognition, Piscataway, N.J.:IEEE Press, 2008: 1-8 [2016-06-03]. http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=4587468.DOI: 10.1109/CVPR.2008.4587468.

[12]EICHNER M, FERRARI V. Better appear -ance models for pictorial structures[C/OL]//Proceedings of 20th British Machine Vision Conference, Dundee:BMVA Press, 2009：1-3.11[2016-06-03]. http://www.bmva.org/bmvc/2009/.

[13]DALAL N, TRIGGS B. Histograms of oriented gradients for human detection[C/OL]//Proceedings of 2005 IEEE Conference on Computer Vision and Pattern Recognition, Piscataway, N.J.:IEEE Press, 2005, 1(12):886-893 [2016-06-03].http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=1467360.DOI: 10.1109/CVPR.2005.177.

[14]韩贵金，朱虹.一种基于颜色直方图的人体部位外观模型[J].西安理工大学学报,2014,30(2): 200-203.

[15]ANDRILUKA M, ROTH S, SCHIELE B. Pictorial structures revisited: people detection and articulated pose estimation [C/OL]//Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition, Piscataway, N.J.:IEEE Press,2009:1014-1021.http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=5206754.DOI:10.1109/CVPR.2009.5206754.

[责任编辑：祝剑]

An part appearance model based on feature fusion

NIU Xuefeng,ZHAO Yong

(School of Automation, Xi’an University of Posts and Telecommunications, Xi’an Shaanxi 710121, China)

In view of that Different image features are treated equally as the part appearance model is set up in the human body pose estimation algorithm, a fuzzyK-means algorithm based part appearance model is established, which Fused the histogram of orientation gradient (HOG) and the color features. The HOG and color histogram features are combined into feature vectors to construct a sample set. Estimate the similarities of HOG and color features between the samples set and the model, and take the square root of the product of the two similarities as the initial membership degree of the samples, then. employ the fuzzyK-mean algorithm to get the clustering center, thus, the part appearance model is set up. Simulation results show that, this model can accurately describe the appearance feature real human part, it gives higher estimation accuracy as be used in human pose estimation.

human pose estimation, part appearance model, fuzzy K-means algorithm, histogram of oriented gradient, color histogram

10.13682/j.issn.2095-6533.2016.05.012

2016-07-07

陕西省自然科学基金资助项目(2016JM8034)；陕西省教育厅自然科学资助项目(16JK1699)

牛学锋(1973-)，女，硕士，工程师，从事高等教育教学管理研究。E-mail:951243718@qq.com

赵勇(1979-)，男，硕士，高级工程师，从事数字图像处理研究。E-mail:zhaoyong@xupt.edu.cn

TP391.9

A

2095-6533(2016)05-0059-05