公共场所暴力行为的光流场构建及分析方法*

黄继东 黎梓毅 冯兆熙 梁家烨 伍冯洁

(1.广州大学机械与电气工程学院 广州 510006)(2.广州大学计算机科学与教育软件学院 广州 510006)(3.广州大学实验中心 广州 510006)

公共场所暴力行为的光流场构建及分析方法*

黄继东1黎梓毅2冯兆熙1梁家烨1伍冯洁3

(1.广州大学机械与电气工程学院 广州 510006)(2.广州大学计算机科学与教育软件学院 广州 510006)(3.广州大学实验中心 广州 510006)

针对以往在暴力事件识别中经常存在将相对静止的对象或普通身体接触误判为暴力行为的情况,论文提出了一基于Lucas-Kanade光流法的公共场所暴力检测方法。首先,检测并存储相邻两帧图像的特征点,其次,根据特征点对运动物体进行运动特征提取,最后,构建反映物体运动状况的光流场。同时,论文还分析了Lucas-Kanade光流算法的金字塔分解层数、光流运算窗口、最大光流方向数这三个参量对光流效果的影响。实验结果表明,使用构建光流场的分析方法能有效识别公共场所中发生的暴力事件。

公共场所; 运动图像; 光流法

Class Number TP391.4

1 引言

根据调查,暴力行为发生时往往存在肢体冲突,并伴随着身体全身或局部部位(如头、四肢等)较剧烈的运动,那么,如何快速滤除目标对象没有剧烈运动的图像序列,及如何判定当目标对象有肢体接触时是冲突行为还是善意的身体接触,这是需要考虑的关键问题。以前的方法一般是遍历图像序列,通过检测目标对象间的连通域来实现[1]。但这种方法存在两个问题：1) 检测的图像包括运动的和相对静止的目标对象；2) 没有考虑冲突事件发生过程的特点,容易把目标对象间善意的身体接触误判为冲突行为。

运动图像检测技术的引入可较好地解决以上存在的问题。本文针对暴力行为发生时图像存在突变情况的特点,利用运动图像检测算法——Lucas-Kanade光流法来构建公共场所暴力行为的光流场[2],并对可能影响光流场分析结果的参数,如金字塔的层数、光流估计窗口、最大光流方向数等,分别取不同的值,对构建完成的光流场进行光流效果分析,以确定最佳的金字塔层、光流窗口大小与最大光流方向数,从而为后续提取公共场所暴力行为的光流矢量、光流速度、平均光流速度,及自动检测与识别工作提供必需的判断依据。

2 运动检测的相关理论

光流法是一种估计图像序列中像素点在连续帧中的运动情况的方法,它描述了瞬时运动形状,包括运动物体的形状(空间)和运动的形状(时间),可以从运动形状的差异得到图像中目标物体的结构与其运动的关系。目前,比较典型的光流计算方法有Horn-Schunck 和Lucas-Kanade等。考虑到视频监控一般具有场景数量大、对检测效率及应急速度要求高的特点,本文将采用金字塔Lucas-Kanade 光流算法实现光流计算及目标跟踪[3]。

Lucas-Kanade光流算法是一种两帧差分的光流估计算法[4],假设在一个小矩形窗口内其光流保持恒定,对相邻的两帧图像,若序列图像获取的时间间隔很短,且场景和光照条件变化缓慢,那么它们将满足灰度恒定约束,得到式(1)

I(u,v,k)=I(μ+ε,ν+η,k+1)

(1)

式中,I(u,v,k)表示第k帧图像,I(u,v,k+1)表示第k+1帧图像。

根据式(1),令I(x)=I(u,v,k),J(x+d)=I(μ+ε,ν+η,k+1),得到目标函数如式(2)所示

(2)

式中,w表示一个小矩形窗口,d表示光流。

通过最小化残差E来得到光流d的估计值,得到式(3)

(3)

将J(x+d)按泰勒级数展开并线性逼近,代入式(3)中,得到光流d的估计值,如式(4)所示

(4)

Lucas-Kanade光流算法通过计算局部区域的光流来获得目标的运动状态[5],并能根据实际视频图像自行设定光流计算窗口的大小,计算量较小且应用灵活,同时可获取更加精确的光流估计值,从而显著提高系统检测速度与检测精度。

3 光流场构建

根据Lucas-Kanade光流法在较短时间内同一像素点在不同时间的灰度相同这一特性,可通过检测相邻两帧图像的特征点的运动状态来构建公共场所暴力行为的光流场[6]。光流场构建主要包括两个步骤,一是获取图像的特征点[7],二是根据特征点构建可视的光流场[8]。

步骤一：找到相邻两帧图像的特征点并储存,为后面的运动变化特征提取提供数据源,用式(5)表示,其中,第k帧图像的特征点采用遍历整幅图像的方法查找,第k+1帧图像的特征点是第k帧特征点在第k+1帧中对应的位置。

(5)

式中,Tk(i)表示第k帧特征点的特征值,表(xi,yi)示第k帧特征点的位置,(xj,yj)表示第k帧特征点在第k+1帧对应的位置,n、m分别表示第k、k+1帧图像所找到的特征点的数量。

为了提高运算速度,在查找特征点过程中,当两帧图像中对应特征窗口的光度之差的平方σω小于某个阈值δw,即满足式(6)时,式(4)迭代终止,其中经过无数次的实验测试,本文的阈值δw取0.4。

(6)

式中fω1、fω2是相邻的两帧图像,ω是对应的特征窗口。

步骤二：根据相邻两帧图像对应的特征值来构建光流场,构建过程主要包括四步：第一步遍历特征点统计出光流方向数n及不同的光流方向数m；第二步记录各个特征点的位置及方向变化；第三步定义点、方向、箭头等对象；第四步利用第三步定义好的对象,根据第二步记录的特征点情况,再通过对线的开始点和终止点的适当缩小及放大,则可得到可视的光流场图像[9]。

采用Lucas-Kanade光流算法对公共场所监控目标人群构建的光流场效果图如图1所示。

图1 Lucas-Kanade光流场效果图

4 光流场分析

从式(2)与式(4)可知,影响光流效果的主要因素有三个,分别为Lucas-Kanade光流算法的金字塔分解层数、光流运算窗口、最大光流方向数[10]。本文对一段图像分辨率为640×480存在暴力行为的图像进行实验,分别对金字塔分解层数、光流运算窗口、最大光流方向数取不同的数值,通过分析与对比不同取值时的光流效果图,从而确定光流效果最好时金字塔分解层数、光流运算窗口、最大光流方向数的取值,以其中一帧图像(如第21帧)为例说明光流场分析的实验过程如下：

1) 分别对金字塔分解层数取1,3,5的数值,得到的光流场效果图分别如图2～4所示。

图2 k=1的光流效果图

图3 k=3的光流效果图

图4 k=5的光流效果图

2) 分别对光流运算窗口取3×3,5×5,7×7的数值,得到的光流场效果图分别如图5～7所示。

图5 光流运算窗口=3×3的光流效果图

图6 光流运算窗口=5×5的光流效果图

图7 光流运算窗口=7×7的光流效果图

3) 分别对最大光流方向数取100,250,400的数值,得到的光流场效果图分别如图8～10所示。

图8 最大光流方向数为100的光流效果图

图9 最大光流方向数为250的光流效果图

图10 最大光流方向数为400的光流效果图

采用同样的光流分析方法对多段存在暴力行为的公共场所监控视频进行分析与对比,得出金字塔分解层数、光流运算窗口、最大光流方向数这三个参数对光流效果的影响结果分析如下。

在光流场构建过程,光流运算窗口取值越小,运算量越小,但得出的光流场效果一般,仅适用于简单工程项目,随着取值增大,运算量增加,运算速度有所下降,但对环境与目标的区分更准确,光流效果也更好。金字塔分解层数的取值越小,迭代次数越少,运算量也越少,但光流效果则较差,随着k取值增大,迭代次数增多,运算量增大,但光流处理的效果较好。最大光流方向数取值的大小将直接影响光流矢量的方向,当取值越小,运算量也越小,但光流矢量方向很不明显,随着取值增大,运算量增大,相应的光流矢量方向也越来越明显,但m的取值不能太大,太大会带来特征点太多的问题,进而影响公共场所暴力行为识别效果。

5 结语

本文提出了一种基于Lucas-Kanade光流法的公共场合暴力事件检测方法,并分析了光流场相关参数的调整对运算量以及暴力行为识别效果的影响。相比于传统的方法,通过构建运动图像的光流场,提取光流矢量,从而能够更加准确地描述图像中的物体运动状况,对于以往的暴力事件检测方法,其显著地降低了误判率。此方法还存在一些不足之处,由于Lucas-Kanade光流算法有亮度恒定的假设,在实际运行环境中当外部环境因素突然发生改变时,可能会因此产生识别误差,但可在暴力行为识别前通过图像预处理来降低该误差。

[1] 毛晓东,樊亚文.高清视频监控技术在城市公共安全中的应用[J].电视技术,2010,34(4):103-105. MAO Xiaodong, FAN Yawen. HD video monitoring technology in city public security application of[J]. TV technology,2010,34(4):103-105.

[2] 汤一平,陆海峰.基于计算机视觉的电梯内防暴力智能视频监控[J].浙江工业大学学报,2009,37(6):591-597. TANG Yiping, LU Haifeng. Anti violence intelligent video surveillance[J]. Journal of Zhejiang University of Technology, in elevator based on computer vision 2009,37(6):591-597.

[3] Shu Tao, Apostolopoulos J., Guerin, R.. Real-Time Monitoring of Video Quality in IP Networks[J]. IEEE/ACM Transactions on Networking.2008,16(5).

[4] 肖军,朱世鹏,黄杭,等.基于光流法的运动目标检测与跟踪算法[J].东北大学学报(自然科学版),2016,37(6). XIAO Jun, ZHU Shipeng, HUANG hang, et al. Motion target detection and tracking algorithm based on optical flow algorithm[J]. Journal of Northeastern University (NATURAL SCIENCE EDITION),2016,37(6).

[5] 刘洁.基于光流法的运动目标检测和跟踪算法研究[D].北京:中国矿业大学,2015. LIU Jie. Research on moving object detection and tracking algorithm based on optical flow[D]. Beijing: China University of Mining and Technology,2015.

[6] Barron J L, Fleet D J, Beauchemin S S. Performance of optical flow techniques[J]. International Journal of Computer Vision, 1994, 12(1):43-77.

[7] 陈震,高满屯,沈允文.基于角点跟踪的光流场计算[J].计算机工程,2003,29(13):76-78. CHEN Zhen, GAO Mantun, SHEN Yunwen. Optical flow computation based on corner point tracking[J]. Computer Engineering,2003,29(13):76-78.

[8] 宁瑞芳,欧阳宁,莫建文.基于光流法的聚众事件检测[J].计算机工程与应用,2012,48(3):198-201. NING Ruifang, OUYANG Ning, MO Jianwen. The event detection based on optical flow method[J]. computer engineering and applications,2012,48(3):198-201.[9] 刘涛.基于光流场的视频车辆检测与跟踪算法研究与应用[D].武汉:武汉科技大学,2011. LIU Tao. Research and application of video vehicle detection and tracking algorithm based on optical flow field[D]. Wuhan: Wuhan University of Science and Technology,2011.

[10] Tamgade S N, Bora V R. Motion Vector Estimation of Video Image by Pyramidal Implementation of Lucas Kanade Optical Flow[C]//International Conference on Emerging Trends in Engineering & Technology,Icetet 2009, Nagpur, Maharashtra, India, 16-18 December.2009:914-917.

Optical Flow Establishment and Analysis of Violence in Public Places

HUANG Jidong1LI Ziyi2FENG Zhaoxi1LIANG Jiaye1WU Fengjie3

(1. School of Mechanical and Electric Engieering, Guangzhou University, Guangzhou 510006) (2. School of Computer Science and Educational Software, Guangzhou University, Guangzhou 510006) (3. Laboratory Center, Guangzhou University, Guangzhou 510006)

In view of the situation that in recognition of violence in public places, the previous method of detecting has the existence of miscarriage of justice to the static object or general physical contact. So in this paper, a public places violence detection method based on Lucas-Kanade optical flow method is proposed, and the effect of recognition in different parameters is analyzed. First, the feature points of two adjacent frames are detected and stored. Then, the optical flow field to reflect the motion state of objects will be constructed. Besides, in this paper, the effects of the three parameters on the optical flow are analyzed, which are the Pyramid decomposition layer, the optical flow computation window and the maximum optical flow direction of the Lucas-Kanade optical flow algorithm. The experimental results show that the analysis method for constructing optical flow field can effectively identify the occurrence of violence in public places.

public places, moving picture, optical flow

2016年9月3日,

2016年10月24日

广州大学大学生创新训练项目《公共场所暴力冲突的机器视觉自动检测方法研究》(编号:CX2015024);广州市属高校科研计划项目《公共场所暴力行为智能检测系统的关键技术研究》(编号:2012A025);广东省科技计划项目《智能社区异常情况自动检测系统的研发及产业化》(编号:2013B090500067);第十五届“挑战杯”全国大学生课外学术科技作品竞赛项目资助。

黄继东,男,研究方向:智能控制与模式识别。黎梓毅,男,研究方向:图像处理与计算机网络技术。冯兆熙,男,研究方向:信息处理与智能控制。梁家烨,男,研究方向:信息处理与智能控制。伍冯洁,女,硕士,高级实验师,研究方向:光机电算一体化关键技术及实验教学。

TP391.4

10.3969/j.issn.1672-9722.2017.03.024