基于凸型模板的目标行为识别算法

张 瑞，王 烁

(中国电子科技集团公司第五十四研究所,河北 石家庄 050081)

基于凸型模板的目标行为识别算法

张 瑞，王 烁

(中国电子科技集团公司第五十四研究所,河北 石家庄 050081)

为了解决智能视频监控领域中针对人体翻越警戒线等异常行为的监测识别问题，提出了一种基于凸型模板算法对人体躯干目标检测、姿态跟踪的方法。分析了凸型模板跟踪人体躯干的原理和改进算法的实现步骤。通过引入人体躯干倾斜角度来分析目标与警戒线的位置关系，构建了翻越警戒线判决规则。实验证明所提的方法运算复杂度较低，可靠性较好，具有较强的工程实用性和操作性。

运动目标跟踪；凸型模板；异常行为识别

0 引言

随着我国社会经济的迅猛发展，道路交通日益完善，但是仍有很多人对已制定的交通规则视而不见，交通事故屡有发生，这就对监控系统提出了更高的要求。传统的视频监控系统基本只能依赖监控人员盯着屏幕看来对异常行为进行监视、报警，对采集的视频无法进行有效的分析处理等工作[1-5]。而智能监控系统采用计算机视觉处理分析技术，可以对监控场景中的运动目标进行检测与理解[6-7]，当目标发生异常行为时，系统可以实现自动报警，无需安防人员长期监视屏幕，既提高了视频监控效率又大大节省了人力、物力和财力。

在智能视频监控领域，针对人体异常行为的检测迄今为止都是一项极具挑战且应用前景非常广阔的技术之一[8-11]。它通过计算机对视频数据进行智能分析处理，提取影像中的人体目标，并与预先设定的警戒规则相比较，从而判断是否有人体异常行为发生。而人体头部，躯干的位置和姿态可以为行为检测提供大量关键信息。相关学者已经提出许多定位人体的有效方法[12-13]，文献[8]提出了一种用于人体目标检测分析的凸型模板，通过利用人体的头部和躯干形成一种“凸”形结构的特点来定位头部和躯干的位置关系。但该文的凸型模板方法只针对直立的静止人体目标，为了能有效检测出人体运动姿态，引入了运动轴心倾斜角度因子，构建了改进的人体凸型模板。实验结果表明，此方法可以较好地解决视频影像中人体目标检测和姿态识别问题。

1 基于凸型模板的人体躯干定位

凸形模板算法是从相对大小和位置关系的角度将人体目标的主体部分近似为一种“凸”形结构，如图1所示。该“凸”形结构由人体头部区域(Head)、躯干区域(Torso)和外接区域所构成。其中人体头部区域和躯干区域记为区域A，外接区域记为区域B。区域B的几何面积与区域A的相同，即area(A)=area(B)。

图1 凸型结构示意图

“凸”形结构能够对人体目标的躯干和头部进行定位的主要工作原理就是通过改变“凸”形结构的面积大小以及其与人体目标的位置关系，不断根据评价函数(如式(1)所示)逐帧计算评价系数S。该系数表示了凸型结构与人体主体区域的匹配程度。区域A经过二值化后，其区域内像素总数用∑A表示，区域B用∑B表示：

(1)

若要使得凸型结构与人体主体区域匹配程度最高，则需要满足∑A≈area(A)且∑B趋近于0的条件。最终通过选择匹配度的极大值所对应凸型结构的位置，从而最终确定人体目标头部和躯干的近似位置。

图2表示了当凸型结构作为一种确定目标区域的模板时，当其面积和位置发生了变化，评价函数也会随之进行改变，这里分成3种情况考虑。情况1：当整个凸型结构在目标人体的内部时，如图2(a)所示，此时∑A≈∑B，根据评价函数可知匹配度S≈0。情况2：当凸型结构的区域A远大于目标面积时，如图2(c)所示，由于区域A的归一化作用，∑A‐∑B增大的程度小于区域A面积增大的程度，所以其匹配度小于1。情况3：如果当凸型结构的大小位置合适，区域A包含了较多目标像素，区域B目标像素较少，如图2(b)所示，根据评价函数可知，凸型结构所构成的模板与人体目标匹配程度趋近于1，从而定位出人体目标的头部和躯干大小以及位置关系。

图2 凸型模板匹配示意图

2 凸型模板改进算法

采用凸型模板方法进行人体头部、躯干的定位匹配目前仅适用于在人体目标直立的情况[14-16]。由于人体在运动过程中经常会出现俯仰、转身等各种行为姿态，而且受到人体肢体的干扰，传统的凸型模板方法就很难实现准确定位，如图3所示。

图3 凸形模板算法躯干定位失败

其原因在于：传统的凸型模板的目标定位检测算法是缺少必要的自由度[17-19]，没有考虑多样化的人体姿态以及四肢的影响。本文在基础的凸型模板算法之上，引入了一个新的参数：人体躯干倾斜角度因子a，以适应人体目标产生倾斜的情形，约定a向左偏离垂直线为正，向右偏离垂直线为负，如图4所示。

图4 引入倾斜角度参数的凸形模板

本文中角度a是依据人体躯干中线来确定。同时，为了尽可能去除视频中手臂对躯干中线造成的影响，本文假设手臂长度小于人体躯干和头部的长度。具体实现分为以下几个步骤：

① 首先确定凸形模板的位置，设人体躯干中线为凸型结构的中垂线，这里假定人体躯干处于直立状态；

② 通过联通域和形态学滤波方法对获取视频序列的当前帧(记为第k帧)进行处理得到前景图像，再去除前景图像的空洞和孤立点，得到完整的人体目标二值化图像；

③ 以k-1帧凸型结构的中线的法线方向，逐行计算二值化像素所构成线段的长度以及个数，线段总个数记为N，线段长度总和记为LineLengthall，得到线段长度的平均值为LineLengthaverage=LineLengthall/N；

④ 设定阈值T=LineLengthaverage/2。沿着图像序列k-1帧躯干中线方向及其法线方向，去除线段长度小于阈值T的线段。从而在躯干中线方向和法线方向上降低了手臂所造成的影响；

元代丰富的文化底蕴给手工艺品带来的深刻影响，促进了元代手工业的发展。同时期的景德镇窑和龙泉窑生产着不同形式的盖罐，景德镇窑的明朗清秀、龙泉窑的端庄敦厚。“元有天下，薄海内外，人迹所及，皆置驿传，使驿往来，如行国中”。“丝绸之路”使得水陆交通的便利和对外贸易的发展，陶瓷产品远销海外，盖罐在元代以得到了很大的发展，产量多，种类丰富，促进了龙泉窑和景德镇窑的发展。京杭大运河的开发与运用，龙泉窑在浙江的各个地区建立了窑场，也以此奠定的了龙泉青瓷的历史上的地位。元代以赣江、珠江两大水系为基础，江西行省成为快捷便利的交通运输网，成为南下景德镇窑瓷器外销的主要途径。

⑤ 逐行计算前景像素所组成的线段的中点，之后采用矩阵奇异值分解(Singular Value Decomposition，SVD)[20]拟合像素点，获得当前帧近似的躯干中线，最终根据躯干中线的斜率计算得到人体的倾斜角度，记为a。

按照步骤①～⑤逐帧计算每幅图像的躯干倾斜角度a。计算的结果是否准确，与当前人体行为姿态有关，人体目标剧烈运动时，会对计算结果造成较大误差。图5和图6表明当存在手臂干扰时以及当人体倾斜时，采用本文当算法可以正确获得人体躯干的中线。

图5 手臂干扰时拟合的躯干中线图

图6 人体倾斜时拟合的躯干中线图

3 翻越警戒线行为检测

针对翻越警戒线这种异常行为的检测，传统的算法主要是采用基于运动目标的质心轨迹来判断是否发生穿越警戒线的行为。它没有考虑人体的细节动作，对于在警戒线周围行走或跨在警戒线上却没有翻过去的行为往往会发生误报的情况。为此，该文提出利用上文所讨论的凸形模板技术来识别翻越警戒线这种异常行为，如图7所示。

图7 翻越警戒线示意图

当人翻越警戒线时，人体躯干倾斜角度a会在一定时间段内有明显的变化，如图8所示。在检测翻越警戒线这种异常行为时可依照检测到的a变化来判断人体是否发生翻越动作。

图8 身体倾斜角度a的示意图

此外为了防止将人体在警戒线附近的弯腰动作以及跨在警戒线上而实际未穿越的情况错误检测，对警戒线两边分别设置了一条缓冲区，如图7虚线所示。设警戒线L上的两端的坐标分别为(x1,y1)和(x2,y2)，则警戒线可用式(2)表示：

(y2-y1)·(x-x1)-(y-y1)·(x2-x1)=0 。

(2)

当行人处在第k帧监视画面的某一位置(xk,yk)时，可以结合式(3)判断行人与警戒线的位置关系PosInfok。

(3)

式中，δ为缓冲区门限值。当PosInfok等于-1时，表示行人在警戒线的左侧；PosInfok等于1时，表示在右侧；当PosInfok等于0时，表示行人在警戒线缓冲区内。当穿越警戒线动作和姿态角度Δαmax超过设定阈值同时发生时，则可判断发生了翻越警戒线的行为。可用式(4)表示为：

(4)

当CrossFence等于1时，表示行人翻越了警戒线；当CrossFence等于0时，表示行人未翻越警戒线。

4 实验结果分析

该文算法开发环境为 VC++2010,为了验证算法的有效性，对翻越警戒线视频序列进行测试，视频分辨率为 384×288,帧率为 25 帧/s。

人体目标的躯干定位和翻越行为的实验结果如图9所示。马路护栏上方的直线是人为设置的警戒线，当人体接近警戒线的时候，凸形模板开始持续跟踪监控画面中的行人，并实时计算人身体倾斜角度。当CrossFence等于1时，说明发生翻越警戒线的情况，此时凸形模板颜色发生变化，提醒安保人员注意该可疑目标。

(a)25帧

(b)33帧

(c)40帧

(d)46帧

(e)49帧

(f)56帧

为了测试本文算法的行为检测识别效果，在实际场景中以同一分辨率采集了8段近似场景视频，考虑到光线环境、天气影响、目标遮挡、动目标干扰等影响因素，通过该算法对人体目标进行行为检测识别。采集的监控视频帧率为25/s，监控场景的测试记录如表1所示。

表1 监控场景测试记录

序号时长/s漏检/次虚警/次场景特点134000晴天236202晴天,汽车323013阴天,汽车428312光线变化521223光线变化,汽车637000晴天,噪声高729901阴天,噪声高830222雨天,汽车

根据表1 的数据，可以分析得出以下结论： 该系统在光照条件比较稳定的情况下，且场景中运动物体较少时，系统的目标检测效果较好;当发生光照快速变化的情况时，系统会产生几次虚警，之后系统能够及时进行修正，漏检情况较少;对于背景存在噪声时，虚警很少，系统能够较好消除噪声带来的影响;在场景中运动目标较多，发生遮挡或重叠情况时，系统的漏检率和虚警率都比较高。

5 结束语

以人体翻越警戒线为例，针对非直立人体目标在肢体运动的情况下，采用基于改进的凸型模板算法来解决获取人体目标位置和躯体姿态的问题。之后通过目标与警戒线的位置关系来构建翻越警戒线判决规则，实现对该异常行为的显式描述，解决了目标翻越行为的识别问题。实验表明所提方法可靠性好，运算复杂度较低、具有较强的工程实用性。

[1] 徐杨，吴成东,陈东岳.基于视频图像的交通事件自动检测算法综述[J].计算机应用研究,2011,28(4):1207-1210.

[2] 杜友田,陈峰.基于视觉的人的运动识别综述[J].电子学报,2007,35(1):84-90.

[3] 胡韶山.人体异常行为识别在智能监控系统中的研究与实现[D].西安:西安电子科技大学,2012.

[4] 吕温,徐贵力,程月华,等.基于局部时空特征的人体行为软分类识别[J].计算机与现代化,2014(3):94-98.

[5] 范彩霞,朱虹,蔺广逢,等.多特征融合的人体目标再识别[J].中国图象图形学报,2013,18 (6):711-717.

[6] Ronald P. A Survey on Vision-based Human Action Recognition Image and Vision Computing[J].Computer Engineering and Design,2010,28(6):976-990.

[7] Wren C R,Azarbayejani A,Darrel T. Pfinder:Real-time Tracking of the Human Body[C]∥International Conference on Automatic Face and Gesture Recognition. IEEE Xplore,1996:51-56.

[8] Micilotta A,Bowden R. View-based Location and Tracking of Body Parts for Visual Interaction [C]∥ BMVC, 2004:849-858.

[9] Zhao L. Dressed Human Modeling,Detection,and Parts Localization[D]∥USA:Carnegie Mellon University,2004.

[10]汤金宽,曹丹华,吴裕斌,等.基于组合模板的人体头部精确定位算法[J].中国图像图形学报,2007,12(8):1389-1394.

[11]蔡建平,范广伟,王飞,等.基于瞬时参数提取的干扰类型识别方法[J].无线电工程,2014,44(10):69-72.

[12]齐永锋,杨宏伟.一种基于稀疏随机投影的人脸识别方法[J].无线电工程,2015,45(3):19-21.

[13]陈勇.一种目标航迹数据聚类挖掘分析方法[J].无线电工程,2015,45(3):22-24.

[14]高朝晖,张琦,陈金勇,等.支持插件扩展的卫星任务管控平台研究[J].无线电工程,2015,45(3):41-44.

[15]孙婧,刘莹,孟景涛,等.基于XML的软件通用程序框架[J].无线电工程,2015,45(6):25-27.

[16]帅通,师本慧,陈金勇,等.多源遥感图像舰船目标SIFT匹配的性能分析[J].无线电工程,2015,45(10):48-51.

[17]付伟,王金桥,滕可振.基于深度学习的监控视频目标检索[J].无线电工程,2015,45(11):16-20.

[18]苏志,李经安.一种自适应传输策略的选取方法[J].无线电工程,2015,45(11):74-76.

[19]张岩,李建增,李德良,等. 基于特征的遥感图像匹配技术研究[J].无线电工程,2016,46(2):61-64.

[20]梁毅雄,龚卫国,潘英俊,等.基于奇异值分解的人脸识别方法[J].光学精密工程,2004,12(5):543-549.

Cross-line Behavior Recognition Method Based on Torso Mask

ZHANG Rui，WANG Shuo

(The 54th Research Institute of CETC,Shijiazhuang Hebei 050081,China)

The paper introduces a fast human tracking and behavior recognition technology applicable for cross-line behavior detection and recognition in intelligent video surveillance system. It analyzes the principle of torso mask as well as the implementation steps of the improved methods,and establishes the cross-line decision rules based on torso tilt angle and the relationship between the object and warning line. The experiment results show that the new method achieves lower complexity and better performance.

object tracking;torso mask;abnormal behavior recognition

10. 3969/j.issn. 1003-3114. 2017.04.18

张瑞，王烁. 基于凸型模板的目标行为识别算法[J].无线电通信技术,2017,43(4):75-79.

[ZHANG Rui，WANG Shuo. Cross-line Behavior Recognition Method Based on Torso Mask [J].Radio Communications Technology,2017,43(4):75-79. ]

2017-04-27

河北省博士后科学基金重点资助项目(B2015005003)

张 瑞(1983—)，男，工程师，主要研究方向：信息处理和航天地面应用。王 烁(1985—)，男，工程硕士，主要研究方向：计算机应用。

TP391

A

1003-3114(2017) 04-75-5