基于视频的人体异常行为检测与识别

陈春雨，周 胜

(哈尔滨工程大学 信息与通信工程学院，哈尔滨 150001)

现代社会对于公共安全的要求越来越高，自动视频监视中的运动目标检测和跟踪,就是在视频序列中实时地发现并提取运动目标,不断跟踪它们，通过提取人的行为进行实时分析，如果识别到异常行为，就立即报警.

视频监控系统是近年来研究热点，国内外很多学者在这方面多做了很多研究和实验.在国外的研究成果中，典型的成果代表有：Argus系统，该系统可以检测和识别出出入场所的人，并向系统管理者通报[1]；VSAM系统，该系统能够智能化的对采集到的视频图像分析和处理，在人自身无法达到的区域，就可以采用这种系统，避免了人在该场所监控的危险情况的发生；人物侦探系统，是现在人脸检测系统的前身，利用不同人物人脸模型不同的特点进行人脸识别，能够检测，识别出进入摄像机监控范围的人，甚至发展到直接显示出人物的详细信息[2]；W4实时监控系统，它是更高级、更先进的智能系统，有物体形状分析、建立模型功能，并进行模型匹配，可以对符合模型匹配条件的多个目标跟踪，对复杂区域内的单个目标或者多个目标进行跟踪、监控[3].视频监控系统主要的研究就是运动目标的检测和运动目标的特征识别.光流法，帧间差分法，背景减除法是当前较常用的三种人体运动目标检测法.在运动目标检测的研究中，本文采用三帧差分法用来检测运动的人体目标，得到人体轮廓图像，以便于进行下一步的异常行为的识别.

目前国内外学者对于运动目标识别的算法研究已经比较成熟，本文在以前的研究基础上提出了一种基于Hu矩[4]不变性算法的人体异常行为识别算法，很好的达到了智能监控的目的.人体在运动过程中，对人体所做出的运动动作可以通过时间分解，分解为一个图像的帧序列，将人正常行走和摔倒两种行为的一个周期用一组连续的图像序列表示.并对每一帧图像进行预处理，提取出人物的轮廓，并认定为人正常行走为正常行为，摔倒为异常行为，从而建立一系列的规则，把正常走形的行为的当前帧作为模版，对视频图像中的每一帧进行模版匹配，识别出异常行为.

1 基于三帧差分法的目标精确检测

直接对相邻两帧图像做差以检测运动目标是帧差法的特点，其处理过程简单直接，时效性好.但是如果同一个像素点在相邻两帧图像中的变化很小时，就会出现检测不出运动目标的情况发生.而且上一帧图像中被运动目标覆盖，但是在下一帧的图像中就会表现出来，这样这个像素点的图像就会被认为是运动的目标，其结果就是将背景像素点误认为是目标像素点，误差引入的多少由许多因素决定，例如，目标的运动速度、帧间隔的选取等，因此获得精确的运动目标是十分困难的.

采取三帧差法代替两帧差法，三帧差法利用视频序列中两帧之间人体运动目标差别很小的条件下，采取对三帧的图像进行运算，用当前帧的图像分别与前一帧和后一帧的图像做差分运算，在对得出的两个结果与相同的部分，这样的检测方法可以比较好的检测出运动的目标，可以有效克服帧间差分法对运动目标检测的不足之处.

在采集到的视频序列中，设f(x,y,t)为t时刻的当前帧图像，f(x,y,t-1)表示t时刻的前一帧图像，f(x,y,t+1)表示t时刻后一帧图像，则t时刻相邻两帧帧差法检测的结果Dt,t-1(x,y,t)和Dt,t+1(x,y,t)为：

Dt,t-1(x,y,t)=f(x,y,t)-f(x,y,t-1)

(1)

Dt,t+1(x,y,t)=f(x,y,t+1)-f(x,y,t)

(2)

将Dt,t-1(x,y,t)和Dt,t+1(x,y,t)二值化的结果为：

(3)

(4)

其中：Dt,t-1(x,y,t)=0表示该点的背景像素点，Dt,t-1(x,y,t)表示当前帧图像f(x,y,t)与前一帧图像f(x,y,t-1)差分二值化后得到的人体运动目标的像素点.Dt,t+1(x,y,t)=0表示改点的背景像素点，Dt,t+1(x,y,t)=1表示当前帧的后一帧图像f(x,y,t)和当前帧图像f(x,y,t+1)差分的结果.帧差法对于阈值T的选择非常重要，直接影响着检测结果的准确性，阈值T过小会引入大量噪声影响，阈值T过大会导致检测出的目标不完整.

2 Hu矩不变性算法

矩不变量是目标图像的一种区域描述,也是目标的特征匹配的常用方法.由于它对平移、旋转和尺度变化的目标具有不变性,因此可以对经区域分割得到不同目标图像区域计算其不变矩,并以不变矩作为特征量来对具有旋转和尺度变化的目标图像进行识别[5].

Hu矩的定义如下：

假设f(x,y)是二维图像函数，那么(p+q)阶原点矩可以定义为：

(5)

其中：Ω为x,y的取值范围区间，mpq的定义为f(x,y)在单项式上的投影.显然mpq由f(x,y))惟一确定，反之亦然.由于mpq在平移过程中是变化的，不存在不变性，所以(p+q)阶中心矩为：

(6)

(x,y)即为区域的矩心坐标.

对于N×M的数字图像信息，可以用求和的方法代替求积分，即(p+q)阶原点矩为：

(7)

阶中心距为：

(8)

将(p+q)阶归一化中心矩记作ηpq定义为：

(9)

(10)

利用二阶和三阶中心矩可导出以下图像信息的不变矩组M1，M2，M3，M4，M5，M6，M7：

M1=η20+η02

M3=(η30-3η12)2+(3η21-η03)2

M4=(η30+η12)2+(η21+η03)2

M5=(η30-3η12)+(η30+η12)[(η30+η12)2-3(η21+η03)2]+(3η21-η03)(η21+η03)[3(η30+η12)2-(η21+η03)2]

M6=(η20-η02)[(η30+η12)2-(η21+η03)2]

+4η11(η30+η12)(η21+η03)

M7=(3η21-η03)(η30+η12)[(η30+η12)2-3(η21+η03)2]+(3η21-η03)+(η21+η03)[3(η30+η12)2-(η21+η03)2]

(11)

求出的不变矩组M1，M2，M3，M4，M5，M6，M7就可以用来描述物体的形状，并且具有旋转、平移和尺度变化不变性.根据Hu矩不变性算法的7组不变矩特征公式对用三帧差分法提取的人物正常行走行为的轮廓图片和人物摔倒的行为的轮廓图片进行仿真,得出结果.

利用上述算法，可以更好的对人体正常行走的行为和人体摔倒的行为进行识别，可以精确的计算出当前帧图像的数据与人体正常行为的帧图像数据进行对比，如果得到的特征值结果在正常行走设定的特征值范围内，则表示该人体运动行为属于正常行为，如果不在设定的特征值范围内，则表示该一体运动行为属于异常行为.

3 实验结果分析

首先通过帧差法对一段视频中进行人体行为检测,提取出人物的轮廓，分别检测出人正常行走和摔倒的人体行为.通过帧差法提取人正常行走视频的第1帧，第4帧，第7帧的图片，结果如图1.

图1 正常行走中提取的三帧图像

通过三帧差分法提取人摔倒视频的第1帧，第4帧，第7帧的图片，结果如图2.

图2 人摔倒提取的三帧图像

根据Hu矩不变性算法的7组不变矩特征公式对用帧差法提取的人物正常行走行为为的轮廓图片和人物摔倒的行为的轮廓图片进行仿真，得出结果.为了便于对人物正常行走和人摔倒两种行为的仿真结果进行比较，将由Hu矩不变性算法的7组不变矩公式得出的结果放大并取绝对值，M1放大103，M2放大106，M3放大1011，M4放大1011，M5放大1021，M6放大1014，M7放大1021，得出以下数据：

正常行走：

表1 人物正常行走的特征值

摔倒：

表2 人物摔倒的特征值

通过观察表中数据可知，图1中(A)、(B)、(C)三幅图像的特征值结果比较接近，而图2中(D)、(E)、(F)三幅图像的特征值结果比较相近，其实如果通过某种聚类算法对其进行分类，可以发现前三幅图属于同一类型，后三幅图属于同一类型，这就再次证明了 Hu 矩算法有着良好的旋转，翻转不变性，对图片的相似性的对比精确性很高.

4 结 语

本文设计了一种基于视频的人体异常行为检测与识别算法.首先使用三帧差分法对视频进行检测，然后使用Hu 矩不变性算法对异常行为进行识别.通过三帧差分法可以很好的提取人物运动时的轮廓，在通过Hu矩不变性算法，运用Hu据不变性算法的7组Hu矩不变性公式得出人物正常行走行为和人物摔倒行为的特征值，在对得出的特征值就行比较，区分出人物正常行走和人物摔倒两种行为.从实验结果可以看出帧差法可以很好的检测出人物的轮廓，基于 Hu 矩的异常行为的识别可以很好的识别出正常行走和摔倒两种行为.

参考文献：

[1] SUKTHANKAR R, STOCK R. Argus: the digital doorman [J]. Browse Journals & Magazines, 2001, 16(2): 14-19.

[2] J STEFFENS J, ELAGIN E, NEVEN H. Person spotter-fast and robust system for human detection, tracking and recognition [C]//Nnar: IEEE, 1998.

[3] KUI J, LIYANAGE D, SILVA D. Combined face detection recognition system for smart rooms [J]. Lecture Notes in Computer Science, 2003, 2688: 787-795.

[4] HU M K. Visual Pattern Recognition by Moment Invariants [J]. Information Teory, IRE Transactions, 1962, 8(2):179-187.

[5] 丁明跃.不变矩算法研究[J]. 数据采集与处理, 1992, 7(1):1-9.