视频监控中跌倒行为识别

汪大峰，刘勇奎，刘 爽，保文星，王 巍

（1.大连民族大学 计算机科学与工程学院，辽宁 大连116605；2.北方民族大学 计算机科学与工程学院，宁夏 银川750021）

视频监控中跌倒行为识别

汪大峰1，2，刘勇奎1，刘 爽1，保文星1，王 巍1

（1.大连民族大学 计算机科学与工程学院，辽宁 大连116605；2.北方民族大学 计算机科学与工程学院，宁夏 银川750021）

监控视频中的异常行为检测是计算机视觉研究领域的一个重要研究课题。人体跌倒行为作为异常行为的一种，可以对老龄化社会中的老年人跌倒行为做出实时预警，对保护老年人生命安全起到重要作用。本文采用三帧差法与更新运动历史图像相结合的方法获取运动前景，然后采用膨胀形态学操作与中值滤波操作，消除前景图像的噪声，对运动区域标记采用矩形包围框来获取感兴趣区域的形态变化，最后采用矩形框的宽高比、人体Hu矩特征、人体轮廓离心率、人体轴线角多特征融合来识别跌倒异常行为，对识别出的异常行为实时报警。实验结果表明对固定背景的监控视频中的单人跌倒异常行为识别，文中的算法具有很强的鲁棒性与稳定性。

跌倒行为；自动识别；宽高比；Hu矩人体轮廓离心率；人体轴线角；多特征融合

随着社会老龄化的发展，“空巢老人”的人数和所占的比例越来越高，老年人的健康问题也是越来越突出[1-5]。跌倒行为是老年人人群多发的行为，也是给老年人身体健康带来最严重后果的一种不可预测的行为。发生跌倒，如果不能及时得到救治，就可能会出现生命危险。鉴于以上需求，许多学者也在跌倒行为识别方面做了很多研究，提出了较多的识别方法。

目前的跌倒异常行为识别研究主要根据运动目标的运动序列进行分析[4-11]。目前的主要工作可以分为以下几类：第一类是根据模板匹配的方法，其核心思想是事先根据跌倒姿态的种类建立大量的模板，然后对输入的视频序列进行匹配。如果输入的视频序列正好属于建立的模板之一则认为是跌倒行为。模板匹配法的不足之处是需要建立跌倒模板的种类太多，工作量巨大。第二类是分类器的方法。该方法是事先学习得到跌倒的特征。然后根据学习到的特征选择相应的分类器进行行为分类。如Wu[12]等采用支持向量机分类器。Jant[13]等采用基于人工神经网络的方法等。第三类方法是根据人体结构分析的方法。该方法是从图像序列中提取目标的外形，运动的特征等信息根据获得的特征信息使用半监督或者人工的方法去定义正常的行为。一般采用隐马尔科夫（HMM）模型或者图像的序列特征去建模。匹配的行为认定为是正常事件，不匹配的行为则认定为是异常行为。第四类是基于图像统计处理的方法。该方法直接对视频帧的底层信息进行统计分析，从而对视频段进行分析理解。Ma[14]对视频帧进行主成分分析（PCA），然后对动作的序列进行分类和识别。Masoud[15]对整幅图像进行IIR滤波得到特征图像，然后利用这些特征图像对几个简单的人动作进行训练和识别。

文中综合以上各种算法的优缺点，采用三帧差法与更新运动历史图像相结合的方法获取运动前景，然后采用膨胀形态学操作与中值滤波操作，消除前景图像的噪声，对运动区域标记采用矩形包围框来获取感兴趣区域的形态变化，最后采用矩形框的宽高比、人体Hu矩特征、人体轮廓离心率、人体轴线角多特征融合来识别跌倒异常行为，对识别出的异常行为实时报警。测试采用的视频全部来自中国科学院行为分析数据库[16]。

1　算法组成

文中设计的算法由前景检测、运动区域优化、运动区域标记、跌倒识别4部分组成。

1）前景检测部分主要采用三帧差法获取前景。

2）运动区域优化主要包括对前景进行形态学操作与滤波操作，消除噪声，使前景更加清晰。

3）运动区域标记主要采用矩形框对前景进行包围，获取感兴趣区域的形态变化。

4）跌倒识别部分主要采用多特征融合与SVM来识别

整个算法的流程图如下：

图1　系统算法流程图

2　三帧差法获取前景

文中采用的是三帧差法[17]。三帧差法是相邻两帧差法的一种改进算法，取连续三帧差分运算，消除由于运动而造成的背景影响，从而提取精确的运动目标轮廓。该算法的基本原理是连续选取视频图像序列中的三帧图像并分别计算相邻两帧的差分图像，然后将差分图像通过选取适当的阈值进行二值化处理，得到二值化图像。将得到的两个二值化图像进行逻辑与运算，取两个二值化图像共同的部分，进而获得运动的轮廓部分。三帧差法的具体算法可用如下数学公式表示：设连续的三帧图像为 Ik（x，y），Ik＋1（x，y），Ik＋2（x，y），将用如下三部分公式表示：

第一部分对连续的三帧做差分：

第二部分对得到的差分结果进行阈值化：

第三部分对得到的二值化结果进行逻辑与运算：

下图的测试的视频序列是在露天停车场内且角度是水平方向获取的。图2为原始视频帧片序列，图3是用的背景更新的混合高斯背景减除法[18]获取的运动区域，图4是用的三帧差法获取的运动区域。实验对比结果可知：三帧差法在背景具有微小变动获取运动区域的效果优于背景更新的混合高斯背景减除法。

图2　原始视频帧序列

图3　背景更新的混合高斯背景减除法获取运动区域的结果

图4　三帧差法获取运动区域的结果图

3　更新运动历史图像标记运动区域

文中在获取二值图像以后采用运动历史图像去标记运动区域。运动历史图像是一种静态模板。每一点的像素值都是这点的运动历史图像的函数。运动历史图像为每一个像素值设置一个时间戳，最近运动的像素被设置为当前时间，亮度值最大，运动较久的像素则被清除，能够很清晰的记录运动轮廓。我们假设像素点的运动历史函数为MHI（x，y，i），发生在当前像素点的时间设置为，则运动历史函数的数学表达式可以表示为：

4　中值滤波与形态学膨胀操作

三帧差法获取前景以后会产生噪声，对于运动目标的获取会产生一定的影响。在文中采用的是中值滤波去除噪声。中值滤波是一种典型的低通滤波器，基本思想是使用像素点邻域灰度值的中值来代替该像素点的灰度值。中值滤波保留了图 像的边缘信息。设{xij}（i，j）∈N2表示像素点的灰度值，滤波窗口C为的二维中值滤波可以定义为：

二维中值滤波器的窗口形状和尺寸对滤波效果的影响较大，不同的图像内容和不同的应用要求采用的窗口和尺寸是不一样的。窗口的尺寸一般选为3，窗口越大，抗噪声能力越强，细节丢失也越严重。实际应用中根据图像的内容具体分析，选择合适的窗口大小。

由于三帧差法获取前景会出现空洞现象，对于后续的操作产生很大影响。因此本文算法在滤波操作后会进行相应的形态学操作。这里采用的是膨胀操作。膨胀操作是用一个结构元素扫描图像中的每一个像素，用结构元素与图像中的元素做“与”操作，如果为0，则像素都为0，否则为1。膨胀的结果是图像像素扩大了，能够消除获取前景带来的空洞。膨胀的数学公式表示为：

假设有二值图像A和B.膨胀的数学定义为Dilation（A，B）={a+b|a∈A，b∈B}。

图5左侧为一幅二值化图像。1对应图像的亮度区域，0对应的是灰度区。中间的为结构元素。最右侧为执行膨胀操作的结果图。

图5　膨胀操作图

图6上面一列是没进行膨胀操作的结果图，下面一列是进行膨胀操作的结果图。

图6　膨胀结果对比图

由图6结果分析可知：没有进行膨胀操作的运动区域在一定程度上具有不连通性与不完整性。膨胀操作后运动区域变得很清晰，也解决了目标的不连通性。

5　矩形框对运动目标进行标记

根据运动历史图像我们可以得到运动区域，找到运动区域的轮廓，轮廓找到后就能得到运动区域的左上角坐标和右下角的坐标。根据左上角与右下角的坐标，就可以对运动区域画矩形框进行标记。标记的目的就是分析矩形框里面感兴趣区域的变化，方便提取特征，为后续识别作准备。图7左侧为正常状态下的标记图，右侧为跌倒状态下的标记图。

图7　正常状态与跌倒状态标记图

6　跌倒识别方法

文中提出了基于矩形宽高比、人体Hu矩特征、人体轮廓离心率、人体轴线角多特征融合来识别跌倒异常行为的识别方法。从而得到了多特征融合的图像特征向量：提取到人体的轮廓特征后，本文选择支持向量对人体的跌倒行为和非跌倒行为进行分类和建模。支持向量机（SVM）可以使用核函数使线性不可分的非线性空间转换到一个线性可分的空间，然后在转换之后的线性特征空间中构造超平面，以得到类与类之间的最优分类模式，并且具有很好的可区分性。该算法能够识别人体的跌倒行为。

6.1行人的宽高比

正常人行走的情况下，人体的矩形框的高总是大于宽，而人体摔倒的时候人体的高总是小于宽。这一特征为人体是否正常行走提供了判依据断。定义r=Height/Width。假设人体的高度为Height，人体的宽度为Width，则有

6.2人体Hu矩特征

Hu矩由于其具有平移、旋转和平移不变性在计算机视觉、模式识别等领域得到了广泛的应用和关注.Hu矩的低阶矩值具有明确的几何性质，其中，零阶矩m0可以表示目标的总面积、一阶矩值m10、m01可以表示目标的外接轮廓大小，二阶矩m20，m11，m02又叫惯性矩，表征图像的大小和方向。Hu矩平移不变性通过”矩心坐标”的方式实现。这里我们跌倒行为的前四阶Hu矩（M1-M4）与下蹲、弯腰、坐下三种行为的前四阶Hu矩存在明显差异，因此可以作为表示四种行为的特征之一。

6.3人体轮廓离心率

文中定义人体轮廓的最小外接矩形的最小内接椭圆的离心率即为人体轮廓离心率。离心率同样包含了能够描述跌倒行为的信息。可用公式表示。

6.4人体轴线角

此特征定义为风筝模型的角度，即在风筝模型得到了四个轮廓点到质心点的轴线后，计算轴线与相邻轴线的之间的角度，得到4个角度。计算得到4个角度特征向量为：θ=[θ1，θ2，θ3，θ4]

人体轴线角同样包含了能够检测跌倒行为的特征，人体在不同姿态下轴线角作为跌倒检测的一个特征。

7　SVM模型选择

文中检测的人体行为包括跌倒和非跌倒。这是典型的二分类问题。文中定义的特征向量T=[r，M1，M2，M3，M4，θ1，θ2，θ3，θ4，e]，共包括10个参数。文中研究的支持向量机模型具体实现流程如下：设训练样本S={S1，S2…Sk}，其中Si为第i类样本数据。1）样本训练，特征向量T=[R，M1…M4，θ1…θ4，e]作为学习参数，选择高斯径向基核函数把非线性空间上升为线性可分空间。2）之后，把高斯径向函数应用到对偶的拉格朗日函数，有，经过一系列数学变换产生的判别函数是f（x）=，此处需满足∂i最大化。

3）求取满足判别函数令∂i最大化的xi的值，然后存储非零的∂i和相应的训练向量xi，它们是支持向量。

4）分类：对于模式x，用于支持向量xi和相应的权重∂i计算，即此函数的符号确定了x的分类。特征向量映射到更高维度的空间，原来不可分的问题现在变成了线性可分的，利用文中选择的高斯径向基核函数，把不可分的，变成了可分的问题这也是选择此核函数的原因。完成训练之后，就x的分类。由于特征向量的数量众多，且在低维空间是得到了训练出来的分类器，就是跌到检测的模型。

8　跌倒识别实验分析

本节实验选取1 000幅图像作为待测试样本，使用已经训练完成的分类器来进行跌倒识别，其结果如下:

表1　本文方法识别的准确率

为了测试本算法的先进性，本文提出基于Hopfield神经元网络的方法和基于模板匹配的算法作为对比[19-20]。同样选取1 000幅图像作为测试样本，其结果如下：

表2　基于Hopfield神经元网络的方法

对于上述表中结果，可做如下分析：选取同样的训练集分别对3个模型进行训练，测试时使用同样的测试样本，以上各表中可以看出，模板匹配方法识别率为75.6%，基于Hopfield神经元网络的算法为88.0%，基于本文的算法的识别率为94.6%，总共识别出633帧跌倒图像。综合来看，文中提出的方法识别率较高，具有较好的实用性和潜力。

表3　基于模板匹配的方法

9　结束语

文中提出的利用三帧差法去检测前景，然后利用然后利用更新运动历史图像的算法去标记运动区域获得运动轮廓。最后利用了矩形宽高比、人体Hu矩特征、人体轮廓离心率、人体轴线角多特征融合来识别跌倒异常行为的识方法。实验表明该算法在特定的场景下，具有较高的识别率和可靠性。由于实验中采用的背景比较单一，与实际的情况还有点偏差，实际应用中可能会产生差异。未来对正常活动与跌倒姿态进行更加深入的分析与研究。

[1]杨路明，满君丰，等.空巢老人智能监控系统中异常情况检测的研究[J].计算机工程与应用，2009，45（16）：242-245.

[2]何小海，张生军.一种新的异常行为检测算法[J].计算机工程与应用，2012，48（3）：192-194.

[3]刘红，左长玲，等.一种改进的自动摔倒检测算法[J].安徽大学学报，2012，36（6）：57-61.

[4]张继霞，智能视频监控中人体的检测与跟踪研究[D].大连：大连理工大学，2007:4-12.

[5]陈颖鸣，陈树越，张显亭.智能视频监控中异常行为识别研究[J].微电子学与计算机，2010.27（11）:102-105.

[6]Vaidehi V，Ganaphthy K，Mohan K，et al.Video based automatic fall detection in indoor environment[C]//International Conference on Trends in Information Technology，2011: 1016-1020.

[7]Rougier C，Menunier J，St-Arnaud A，et al.Robust video surveillance for fall detection on human shape deformation.[J]. IEEE Transactions on Circuits and Systems for Video Technology，2006，21（5）:611-622.

[8]Medioni G，Cohen I，Bremond F.Event detection and analysis from video streams[J].IEEE Transaction on Pattern Analysis and Machine Intelligence.2001，23（8）:873-889.

[9]Naphade M R，HuangT S.A probabilistic framework for semantic indexing and retrieval in video[C]//Proceedings of IEEE International Conference on Multimedia and Ecpo. NewYork，NY，USA，IEEE，2000:475-478.

[10]Boiman O，Irani M.Detecting Irregularities in Images and in Video[C]//Proceedings of Tenth IEEE International Conference on Computer Vision.Beijing，China:IEEE.2005:462-469.

[11]林春丽，齐欣，等.SVN-KNN分类器在异常行为检测中的应用[J].辽宁科技大学学报，2010，33（5）:449-452.

[12]Wu Xinyu.Qu YongSheng.Qian Huihuan，el al.A detection system for human abnormal behavior[C]//2005 IEEE/RSJ International Conference on Intelligent Robots and Systems. 2005（IROS 2005）:1024-1028.

[13]Jant，Piecardim，Hintzt.Neutral network classifiers for automated video surveillance[C]//Proceedings of 2003.IEEE XII Workshop on Netral Network for Signal Processing，Toulouse，France，2003:729-738.

[14]Ma G Y，Lin X Y.Typical sequences extraction andrecognition[J].Lecture Notes in Computer Vision，2004（3058）: 60-71.

[15]MasoudOPapanikolopoulosN.Amethodfor human action recognition.Image and Vision Computing.2003，21（8）:729-743.

[16]中国科学院行为分析数据库[EB/OL].http://www.cbsr.ia.ac. cn/china/Action%20Databases%20CH.asp.

[17]LV Guoliang，ZHAO shuguang，ZHAO jun.Novel method of moving object detection based on three frame differencing and connectivity checking[J].Chinese Journal Liquid Crystals and Displays，2007，22（1）:87-93.

[18]刘鑫，刘辉，等.混合高斯模型和帧间差分相融合的背景自适应背景模型[J].中国图像图形学报，2008，4（4）:729-734.

[19]Tatem，J，A，Lewis，et al.Super-Resolution Target Identification from Remotely Sensed Images Using a Hopfield Neural Network.[J]Ranaon on Gon and Rmo Nng，2001（4）:781-781.

[20]Joya G，Atencia M A，Sandoval F.Hopfield neural networks for optimization:study of the different dynamics.[J].Neurocomputing，2002，43（2）:219-237.

Abnormal behavior recognition of fall in surveillance video

WANG Da-feng1，2，LIU Yong-kui1，LIU Shuang1，BAO Wen-xing1，WANG Wei1
（1.School of Computer Science and Engineering，Dalian Nationalities University，Dalian 116605，China；2.School of Computer Science and Engineering，Beifang University of Nationalities，Yinchuan 750021，China）

Abnormal behavior detection in surveillance video is an important research topic in the field of computer vision.Fall belongs to one kind of abnormal behavior，which will play an important role in protecting the elderly if we can provide realtime warning for the fall behavior of the elderly.In this paper，three frame differencing method and the updating motion history method is combined to get the foreground.Then，dilation and median filtering are adopted to eliminate the noise of the foreground images.Next，the rectangular box is used to mark morphological changes to get the area of interest.Finally，the ratio of rectangular box's height and width，the Hu feature，Contour eccentricity and Human axis angle are applied to detect the fall.Experimental results demonstrate the effectiveness and robustness of the proposed approach for the fixed background cases of surveillance video to detect the fall behavior of single person.

behavior of fall；auto recognition；ratio of height and width；Hu contour eccentricity；human axis angle；multi feature fusion

TN911.73

A

1674－6236（2016）22-0122-05

2016-01-06稿件编号：201601033

辽宁省教育厅科学基金项目（L2014544）；中央高校基本科研业务费专项资金项目（DC201502030201；DC201502030404）

汪大峰(1989—)，男，安徽濉溪人，硕士研究生。研究方向：图形图像处理。