基于多神经网络融合的运动人体姿态识别

郭钧++韩新乐++李鹤喜

摘要：本文运用高斯分布方法来建立背景模型，并利用彩色背景差分进行运动人体的检出。通过对检出的人体图像进行形态学处理后，分别进行实体、轮廓和几何矩三种特征的提取，并为每个特征建立了一个BP神经网络分类器，经多种人体姿态样本独立训练后，再采用D-S证据理论对三个神经网络的输出结果进行融合处理，对运动人体姿态识别的实际测试表明：采用多特征神经网络融合方法比单特征神经网络取得更好的识别率，该方法可以用于各种智能视频监控系统中。

关键词：运动人体 特征提取 神经网络 D-S证据理论

中图分类号：TP391 文献标识码：A 文章编号：1007-9416（2016）10-0051-03

1 导言

运动人体的跟踪与姿态识别是近年来计算机视觉领域的研究热点之一，在智能视频监控、虚拟现实技术、人机交互、体育运动分析和动画制作等领域都有着广泛的应用[1-3]。但目前成熟的应用还主要集中在简单的人体区域跟踪上，由于人体的运动变形，特征难以固定不变，采用一种特征来识别人体姿态会产生较高错误率，针对这一问题，本文对每幅人体姿态图像分别采用不同的方法提取特征，使其具有互补性，当一个特征表达缺失或缺少唯一性时，由其它两个特征来弥补，每个特征都有自己的分类器，最后的分类由D-S证据理论给出判决结果。

2 运动人体的检出

对运动人体进行识别，首先要将目标人体从背景图像中提取出来，即运动人体的检测。这部分工作的好坏将直接影响后续的识别、跟踪情况。运动人体检测的原则就是尽可能的保留运动人体部分的重要的特征信息，同時最大限度的去除对运动人体检测无用的干扰信息。本文采用了背景减除法[4]，并结合高斯建模的方法建立背景模型来处理环境的光线变化[5]，使运动人体目标的检测更准确，考虑到人体图像提取的可靠性，本文没有采用传统的灰度背景差分，而是采用彩色背景差分，然后运用了数字形态学方法主要是开闭运算处理由于检测后图像或多或少存在的干扰和噪声等，可以使提取出的人体目标区域更为完整，图1是经过彩色背景差分和形态学处理后的人体图像，包括直立、行走、下蹲和跑步姿态，可以看出人体姿态完整，干扰被消除。

3 运动人体姿态的特征提取

运动人体是形变体，其特征的选取做到稳定和不变是困难的，采用单一特征提取方法更不稳定，所以本文采用多特征提取方法来表达运动的人体，以“多”代“单”能更合理更准确体现运动人体的各种姿态。通过对目前主流的特征提取方法的分析，选择人体轮廓、人体区域和人体几何矩不变量三种特征作为运动人体的姿态表示。

3.1 轮廓特征向量

利用前面的高斯背景模型建立背景，并通过背景减除法得到的运动人体区域基本是完整的，再通过膨胀、腐蚀、开闭运算数学形态学方法和滤波等对其处理使其内部填充完整，然后提取人体图像的轮廓图，典型轮廓图提取如图2所示。

为了缩小特征向量的维数，将轮廓样本图像f（x，y）归一到，归一化到这个尺寸是为了在后面进行神经网络训练时保证得到训练网络的泛化性和识别结果的准确率，如果偏小则识别精度下降，如果偏大则网络训练的迭代次数多，训练时间长。这样像素点的维数为480，将图像按行堆叠成轮廓特征向量是：

3.2 区域特征向量

同轮廓特征向量的提取一样，利用高斯背景模型建立背景，并通过背景减除法得到的运动人体区域基本是完整的，再通过数学形态学方法膨胀、腐蚀、开闭运算和滤波等对其进行处理使其内部填充完整，然后提取人体区域图，典型区域图提取如图3所示。

同提取轮廓特征一样，为了缩小特征向量的维数，将骨络样本图像f （x，y）归一到，像素点的维数为480。将图像按行堆叠成骨络特征向量是：

3.3 矩不变量特征

矩不变量最早由Hu在1962年提出[6]，用来表征图像的形状，并且推出了其它一些基本性质来证明矩的平移、旋转和比例的不变性。矩特征目前已经广泛应用于形状分析、目标识别图像分析等领域，虽然矩不变量一般用于刚体形状识别，对于变形人体可能稳定性不如刚体，但对于直立、屈体、行走等典型姿态还是有较强的区分能力，可以作为一种形状特征使用。

对于一幅图像f （x，y） 的二维（p+q）阶几何矩定义为

通过归一化处理可以得到7个关于图像中心的几何矩不变量，其中前6个平移、旋转和比例缩放不变，本文取其作为人体的特征向量Φ={Φ1，Φ2，Φ3，Φ4，Φ5，Φ6}。

4 人体姿态识别多特征神经网络的建立、训练与融合

4.1 多神经网络的建立

特征向量的组织在人体姿态识别中是非常重要的，一般一个神经网络对应一种类型的特征分类，然而将各种特征组合在一起形成一个特征向量，不仅训练时间长，而且训练后网络的泛化性不够理想，所以本文建立了3个BP神经网络，将他们组合成一个更强的分类器。三个网络的输入分别是人体姿态的轮廓特征向量、区域特征向量和矩特征向量，对其三者的输出进行加权后，用D-S证据理论进行融合，得到最终的分类结果[7]。3个神经网络分类器结构及融合原理如图4所示。

4.2 神经网络的训练

由于人属于非刚性物体，运动姿态多种多样，本文选取比较有代表性的8种典型姿态进行研究，编码方式采用排它的方法，样本姿态属于类别用“1”表示，不属于用“0”表示。那么对于标识为[0，0，0，0，1，0，0，0]的姿态表示是8种姿态类别中的第5种姿态。然后对采集的人体姿态样本进行神经网络训练，训练的时候只要将输入样本与其对应的标识相关联即可。采用有师指导的监督训练，训练样本是通过采集处理的各种人体运动姿态图像集，可以手工添加样本，也可以由计算机批量自动添加，采用带动量的梯度下降法进行训练，精度指标取0.001，迭代上限为150万次。其典型的训练过程如图5所示。

4.3 基于D-S证据理论的神经网络的融合

D-S证据理论能够有效的融合多种证据源数据[8]，本文将利用这种理论对三种神经网络的输出进行融合。在本文中，有8种待识别的典型人体姿态，因此互斥元素个数为8个，假定姿态集合X={直立，行走，跑步，下蹲，…，伸臂 }，每个神经网络的输出节点为8个，每个姿态的置信度是是节点输出值的归一化结果，将三个网络的输出作为基本证据源对三者融合，并进行加权处理，得到最后的运动人体识别结果。

4.4 运动人体姿态识别试验结果

根据运动人体姿态的多样性，采用多种典型姿态对运动人体进行分类，考虑到运动人体易于变形的特点，采用单一特征会降低识别的准确性，分别提取运动人体的轮廓、区域和几何矩三种特征进行人体姿态表达，并建立了对应三个特征的组合神经网络，利用加权的D-S证据理论对每个神经网络输出进行融合处理，试验结果已表明：基于组合神经网络的运动人体识别率比采用单一的神经网络有很大的提高。对多人体的互动姿态进行识别，可以推理打架、斗殴、追逐、自然行走等典型互动行为，对异常进行报警。其典型单人体姿态和双人体交互姿态识别分别如圖6和图7所示。

为满足人体姿态的识别实验要求，对每种特征选择100副图像作为训练样本，选择40副图像作为测试样本，并且使用修正的D-S证据理论进行多条证据的融合。表1显示了单个方向的神经网络的识别结果与经过D-S融合策略融合之后的识别结果。从表中可知，多特征融合之后的识别准确率高于单特征的BP神经网络的识别率，因此，可以得出结论：采用多神经网络融合技术能够有效提高运动人体识别的准确率。

5 结语

通过基于多神经网络的运动人体姿态识别的研究和试验，最后得到以下几点结论：（1）通过高斯分布方法建立背景模型，并利用彩色背景差分能够快速从背景图像中检出人体运动姿态；（2）采用人体图像的轮廓特征、实体特征和几何矩特征来表达运动人体的各种姿态是有效的；（3）建立了对应三种特征的BP神经网络分类器，通过各种人体姿态样本的训练，基于单个神经网络的人体姿态识别错率15%，而通过D-S证据理论对三种特征输入神经网络的融合，识别的错误率降低到5%，表明本文采用多神经网络方法对运动变形的人体姿态识别是有效的；（4）实际运动人体试验结果表明本文提出的基于多神经网络融合的运动人体识别方法可以用于各种智能监控系统中。

参考文献

[1]林庆，史振杰，詹永照，徐剑晖.基于感兴趣区域的运动人体跟踪[J].江苏大学学报（自然科学版），2010，31（2）：206-209.

[2]刘菲.运动人体行为分析系统及关键技术研究[D].西安市：西安电子科技大学，2007：4-12.

[3]黄国范，程小平，任菲.人体动作姿态的自动识别方法研究[J].西南师范大学学报（自然科学版），2010，35（4）：136-140.

[4]李敏.人体姿态识别技术研究及其在智能监护系统中的应用[D].北京交通大学，2015：20-28.

[5]谢非.智能监控系统中人体及其多种姿态的识别技术研究[D].南京航天航空大学，2009：10-22.

[6]Hu M K. Visual pattern recognition by moment invariants[J]. IEEE Transactions on Information theory，1962，8：179-187.

[7]冯静.基于证据理论的可靠性信息融合方法研究[J].计算机仿真，2009，26（12）：82-85.

[8]孙涛，张宏建.目标识别中的信息融合技术[J].自动化仪表，2011，22（2）：1-4.

收稿日期：2016-08-15

作者简介：郭钧（1992—），男，广东揭阳人，在校本科学生，五邑大学计算机学院，研究方向：计算机应用技术；韩新乐（1990—），男，内蒙古通辽人，

硕士研究生，五邑大学计算机学院，研究方向：图像分析与机器视觉；李鹤喜（1961—），男，辽宁昌图人，博士，教师，五邑大学计算机学

院，研究方向：机器视觉与智能机器人。