基于动静态特征结合的改进模糊支持向量机行为识别

王向东， 张丽红

(山西大学 物理电子工程学院， 山西 太原 030006)

基于动静态特征结合的改进模糊支持向量机行为识别

王向东， 张丽红

(山西大学 物理电子工程学院， 山西 太原 030006)

为了进一步提高行为识别的准确率， 将视频中行为的动态特征和静态特征结合起来,应用一种改进的模糊支持向量机(FSVM)方法进行识别， 该方法中采用一种新的隶属度确定方法， 考虑了样本与类中心的距离以及样本与样本之间的紧密度关系； 同时对支持向量机中靠近支持向量的难以识别的样本使用K近邻法识别. 在KTH图像数据集上进行实验， 将支持向量机与改进的模糊支持向量机两种识别方法进行比较， 改进的模糊支持向量机在各类行为识别上取得了较高的识别率.

动态特征； 静态特征； 模糊支持向量机； K近邻法； 行为识别

0 引 言

近年来， 人体行为识别已成为图像处理、 模式识别中的研究热点. 它在虚拟现实、 图像检索、 视频检索、 视频监控等领域具有广泛的应用价值. 但是， 由于真实环境的复杂性， 行为序列的非刚性等特点使得人体行为识别成为一个具有挑战性的研究领域. 目前主要有两种行为识别的方法[1]： 基于模板匹配的方法和状态空间法. 第一种方法首先将图像序列转换为一组静态模式， 提取特征后与提前存储的特征进行比较. 其优点是实现简单、 计算量小， 缺点是识别率低； 第二种方法首先定义每个静态姿势作为一个运动状态， 所有这些状态之间通过概率联系起来. 任何运动序列都可以看成是这些静态姿势的不同状态之间的一次遍历过程， 然后在这些遍历期间计算它们的联合概率， 并且将最大值作为分类行为的标准. 其优点是识别率高、 但计算量大， 不能够对视频监控中的异常行为进行实时识别.

模板匹配行为识别的关键步骤为： ① 进行特征提取； ② 进行特征识别[2]. 行为识别其实也就是特征的识别. Hu矩[3]特征对形状的描述比较充分， 但它只描述了图像的静态信息， 没有涉及图像的动态信息， 导致对图像的描述不够充分. 本文在此基础上又加了图像的动态信息速度[4]和外接矩形长宽比及变化率， 将静态信息与动态信息结合起来， 比较充分地描述了行为的特征.

模糊支持向量机是目前具有较高泛化能力的行为识别方法， 能够在较短的时间内识别行为. 本文以KTH数据集建立模糊支持向量机的识别模型， 最后在改进的模糊支持向量机上进行测试， 获得了较高的识别率.

1 静态和动态特征的提取

1.1 Hu矩

Hu矩是Hu在1962年提出的， 主要利用二阶和三阶归一化中心矩构造了7个Hu不变矩. 这7个几何不变矩满足旋转、 平移和伸缩不变性， 主要描述图像的形状特征， 从而进行图像识别. 对于一幅数字图像， 离散的Hu矩和对应的中心矩为[5]

p,q为0,1,2…， 并且是整数.

对应的归一化的中心距被定义为

从三阶矩和二阶矩， 我们可以推出7个不变矩.

φ5=(η30-3η12)(η30+η12)[(η30+η12)2-3(η21+η03)2]+

φ7=(3η21+η03)(η30+η12)[(η30+η12)2-3(η31+η03)2]+

(3η12-η30)(η21+η03)[3(η30+η12)-(η21+η03)2].

(11)

因为Hu矩的变化范围比较大， 为了分类的准确性， 对数据进行压缩， 实际的计算公式如下

l=|log|φk||

1.2 质心速度

由式(3)得第m帧的质心位置为(xm,ym)， 则可以计算出每隔2帧的质心位移[6]

帧率为25 f/s， 则每2帧之间的时间T为1/25 s， 由此可以计算出两帧之间的速度

为了计算的准确性， 减少误差. 可以再计算出第m+1帧和第m+2帧之间的速度Vm+1， 然后求平均值， 作为质心的速度. 最终得到质心的速度

1.3 外接矩形长宽比及变化率

外接矩形长宽比P定义为

式中：L,W指行为动作的最小外界矩形的长和宽. 变化率通过连续两帧的外接矩形的长宽比计算得到. 设连续两帧的长宽比分别为pf和pc， 则变化率定义为

2 改进的模糊支持向量机

2.1 基于距离和密度的隶属度函数

2.1.1 基于距离的隶属度函数

图 1 新的隶属度设计方法Fig.1 A new design of member degree

模糊支持向量机的关键问题是隶属度的确定， 一般的基于类中心的隶属度使训练样本的隶属度随样本到类中心距离的增大而减小. 这是为了给边缘处的噪声点赋予小的隶属度. 但是由于最优超平面一般由训练样本的支持向量决定， 而支持向量一般离类中心较远， 这样使得支持向量的隶属度较小， 从而降低了支持向量的作用， 导致所求决策函数不太准确. 本文在此基础上提出了一种新的隶属度函数确定方法. 如图 1 所示， 首先以各类样本的平均值为圆心， 以样本到均值最远的距离作为半径， 画两个如图的实线圆， 然后根据样本的分散情况， 以阈值为半径画两个虚线圆， 该方法使从圆心到虚线圆方向样本的隶属度越来越大. 在虚线圆与实线圆之间的样本点被认为是噪声点， 被赋予较小的隶属度.

具体隶属度函数定义为[7]：r表示阈值半径；di表示样本到中心的距离；θ为虚线圆与实线圆之间的隶属度， 是一个很小的数, 取0.01；σ也是一个很小的正数， 以保证隶属度小于1.

2.1.2 基于距离和样本密度的隶属度函数

模糊支持向量机的核心思想是隶属度的确定， 传统确定隶属度的方法， 大都是基于样本到类中心的距离来确定， 这样对样本和带有噪声点的样本同等看待， 导致结果的差错性. 针对这种情况， 本文同时提出了基于样本密度的隶属度确定方法， 综合样本与类中心的距离和样本与其他样本之间的关系来确定. 由上分析可知， 基于距离和密度的隶属度计算由两部分构成[8]

2.2 改进的模糊支持向量机算法

常规的支持向量机的训练样本只含有样本的特征与类别标签， 而模糊支持向量机的样本增加了隶属度一项. 使用2.1.2提出的计算隶属度的方法， 算出每个样本的隶属度. 从而得到模糊支持向量机的训练样本为

s={(x1,y1,y(x1)),(x2,y2,y(x2))…(xm,ym,y(xm))}.

(21)

由于y(xi)表征了样本属于某类的可靠程度， ξi为分类误差项. 则y(xi)ξi可以看作是带权的误差项. 然后采用径向基核函数， 并且初始化惩罚函数C. 由文献[8]可知最优分类面为下列函数的最优解

约束条件为

yi[(w·zi)+b]-1+ξi≥0,i=1,2,…,m,

相应的最优分类面的判别函数为

k(xi,x)为核函数， 本文采用径向基核函数.

2.3 k-近邻法

支持向量机分类不足的一个原因是对靠近最优分类面的样本点不能正确分类， 针对这种情况， 对于那些靠近最优分类面的样本点， 采用k-近邻法进行分类. k-近邻法的核心思想为： 如果一个样本与k个最相近的样本中的多数属于某一个类别， 则该样本被判为该类别， 定义式为[9]

则k-近邻法的判别规则为

式中： n为行为识别的总类别数； x为待识别的行为.

3 实验结果

3.1 支持向量机算法

在安装了LIBSVM的Matlab2013b平台下实验， 先用传统的支持向量机进行建模仿真[10]， 采用KTH图像数据库对其算法进行验证. 该数据库包括6类行为： 步行、 慢跑、 跑、 拳击、 双手挥舞、 鼓掌， 是由25个不同的人执行的， 分别在4个场景下， 一共有299段视频. 分别从6种行为的视频里各自连续抽取500帧图片. 提取Hu矩、 速度、 外接矩形长宽比及变化率特征， 每种行为有500组特征向量， 200组用来训练， 300组用来测试. 每两类行为之间训练一个分类器. 一共训练出15个分类器. 然后进行测试， 测试结果如表 1 所示.

表 1 6种行为的识别率

3.2 本文改进的算法

采用本文的算法， 结合k-近邻法与模糊支持向量机各自的优势， 既克服了k-近邻法计算量大的缺点， 又克服了模糊支持向量机对于靠近支持向量的样本的难以识别的缺点. 大大增加了识别率. 具体行为识别步骤为：

1) 采用KTH图像数据库中6种行为， 在6种行为各自的视频里， 连续抽取每种行为的500帧图片， 经过预处理后， 提取Hu矩、 速度、 外接矩形长宽比及变化率特征；

2) 将上述6种行为的200组训练样本输入到本文提出的改进了的模糊支持向量机中进行学习训练， 训练出最优参数， 并且确定支持向量集合；

4) 设置一个阈值T， 如果|f(x)|≥T, 则用本文提出的改进的模糊支持向量机进行行为识别； 如果|f(x)|

图 2 两种算法的识别率比较Fig.2 Comparison of two algorithms

4 结 论

本文基于改进的模糊支持向量机的行为识别， 将行为的动态特征和静态特征结合起来， 比较全面地描述了行为的特征. 同时对模糊支持向量机中模糊隶属度提出了改进， 不仅考虑了样本与类中心的距离， 还考虑了样本与样本之间的关系. 并且对于支持向量机中支持向量附近难以识别的样本点使用k-近邻法， 提高了识别率.

[1] 徐光祐， 曹媛媛. 动作识别与行为理解综述[J]. 中国图像图形学报， 2009， 14(2)： 189-195. Xu Guangyou， Cao Yuanyuan. Action recognition and activity understanding： a review[J]. Journal of Image and Graphics， 2009， 14 (2)： 189-195. (in Chinese)

[2] 高曙明. 自动特征识别技术综述[J]. 计算机学报， 1998， 21(3)： 281-288. Gao Shuming. A survey of automatic feature recognition[J]. Chinese journal of computers， 1998， 21(3)： 281-288. (in Chinese)

[3] Hu M K．Visual pattern recognition by moment inva-ants[J]. IEEE Transactions on information 1'heory， 2006， 8(2)： 179-187.

[4] 黄先锋， 张彤， 莫建文， 等. 基于运动与外形特征的人体行为识别[J]. 计算机工程， 2010， 36(5)： 193-195. Huang Xianfeng， Zhang Tong， Mo Jianwen, et al. Human behavior recognition based on characteristics of movement and shape[J]. Computer enginering， 2010， 36(5)： 193-195. (in Chinese)

[5] 杨舒， 王玉德. 基于contourlet变换和Hu不变矩的图像检索算法[J]. 红外与激光工程， 2014(1)： 306-310. Yang Shu， Wang Yude. Image retrieval algorithm based on contourlet transform and Hu invariant moments[J]. Infrared and laser engineering ， 2014(1)： 306-310. (in Chinese)

[6] 韩骏浩， 赵怀勋. 基于外形特征与运动特征的人体行为提取方法[J]. 电子科技， 2014， 27(10)： 6-9 Han Junhao， Zhao Huaixun. Human behaviour extraction method based on shape features and movement features[J]. Electronic Science and Technology， 2014， 27(10)： 6-9. (in Chinese)

[7] Bertozzi M， Broggi A， Grisleri P, et al. A tool for vision based pedestrian detection performance evaluation[C]. Intelligent Vehicles Symposium， 2004 IEEE. 2004： 784-789.

[8] 张翔， 肖小玲， 徐光祐， 等. 模糊支持向量机中隶属度的确定与分析[J]. 中国图象图形学报， 2006， 11(8)： 1188-1192. Zhang Xiang， Xiao Xiaoling， Xu Guangyou, et al. Determination and analysis of fuzzy membership for SVM[J]. Journal of image and graphics， 2006， 11(8)： 1188-1192. (in Chinese)

[9] 陈泽恩. 基于k近邻和最小二乘支持向量机的Android 恶意行为识别[J]. 吉林大学学报(理学版)， 2015(4)： 720-724. Chen Zeen. Identification of Android malicious behaviors based onknearest neighbor algorithm and least squares support vector machine[J]. Journal of Jilin University(Science Edition) ， 2015(4)： 720-724. (in Chinese)

[10] 丁世飞， 齐丙娟， 谭红艳， 等. 支持向量机理论与算法研究综述[J]. 电子科技大学学报， 2011， 40(1)： 1-10. Ding Shifei， Qi Bingjuan， Tan Hongyan, et al. An overview on theory and algorithm of support vector machines[J]. Journal of University of Electronic Science and Technology of China， 2011， 40(1)： 1-10. (in Chinese)

Behavior Recognition Based on Improved FSVM Employing Dynamic and Static Characteristics

WANG Xiangdong， ZHANG Lihong

(College of Physics and Electronic Engineering， Shanxi University ， Taiyuan 030006， China)

In order to improve the accuracy in behavior recognition, we dynamic and static characteristics of behavior in video were extracted dynamic and static characteristics of behavior in video, and an improved recognition algorithm of fuzzy support vector machine (FSVM) were proposed, while using a new method for the determination of membership degree, considering the distance between samples and the center of the class, also taking the relation of the sample tightness into account. And for the samples near the support vectors that are difficult to identify, the K neighbor method of identification is employed . Experiments on KTH image data sets are performed, and the results using the support vector machine and improved fuzzy support vector machine are compared, the latter method has a higher recognition rate.

dynamic characteristic; static characteristic; FSVM; K neighbor; behavior recognition

1671-7449(2017)02-0125-06

2016-12-25

山西省科技攻关计划(工业)资助项目(2015031003-1)

王向东(1992-)， 男， 硕士， 主要从事图像处理、 模式识别研究.

TP18

A

10.3969/j.issn.1671-7449.2017.02.006