基于深度学习的视频目标异常行为分析

徐飞

摘要：为了使视频监控系统达到较高的智能化水平，提高工作效率，实现自动检测并反馈异常情况，该文提出了一種基于深度学习的视频目标异常行为分析算法，针对考场和网上评卷监控视频，判断目标是否存在异常行为，基于目标及骨架模型检测、目标跟踪和目标行为分析多端结合的方法在此方面更有效，在考场和网上评卷监控视频中的考生和老师异常行为分析具有明显的效果，能够解决考场和网上评卷监控视频中人工查找异常，工作效率低及视频存储冗余大，无法过滤无关紧要的视频等问题。

关键词：深度学习;骨架模型;考场监控

中图分类号：TP18      文献标识码：A

文章编号：1009-3044（2019）20-0230-03

开放科学（资源服务）标识码（OSID）：

1概述

考场和网上评卷监控视频系统大多处于传统模式，其主要功能和应用还是停留在摄像和存储上，即“只记录不判断”，一旦发现异常情况，只能通过人工回看存储的视频查找异常，因此目前的视频监控主要存在以下问题：需人工回看查找异常，工作效率低;视频存储冗余大，无法过滤无关紧要的视频。

近年来，随着计算机视觉领域的飞速发展，以及机器学习技术、深度学习技术等深度应用，基于监控视频的拓展研究领域越来越广泛，应用相关技术对视频中的人体行为进行分析，将现有的简单行为识别和语义描述推广到更为复杂的未知场景下的行为分析与自然语言描述变得越来越重要。目前视频行为分析方法主要通过深度学习实现，其中主要分为基于端到端的深度神经网络架构的方法和基于目标及骨架模型检测、目标跟踪和目标行为分析多端结合的方法。这两种方法在行为识别方面都取得了不错的效果。

但针对考场和网上评卷监控视频，由于视频中存在多个目标且间隔较小，基于端到端的深度神经网络架构方法对目标行为分析效果不明显，为了实现更加智能化的目标行为分析方法，判断目标是否存在异常行为，基于目标及骨架模型检测、目标跟踪和目标行为分析多端结合的方法在此方面更有效，基于此，本文提出一种新颖的基于深度学习的视频目标异常行为分析算法。

2基于深度学习的视频目标异常行为分析

综合考虑监控环境和目标行为的检测与分析，实现基于深度学习的人体姿态估计动态行为分析算法，其主要分为四个关键的处理阶段：第一阶段是基于深度学习的人体姿态估计核跟踪算法，实现了多个目标检测及目标骨架模型检测和使用非极大值抑制算法确定目标在不同相邻图像序列之间所处的位置，实现跟踪目标的目的;第二阶段是选取目标关键坐标信息，目的是去掉目标姿态中多余的坐标点和非规则的目标图像有利于对目标行为分析，降低行为识别错误率;第三阶段是界定目标行为，提取目标正常行为和异常行为时的特征向量，经过SVM分类器进行动作分类，其中SVM分类器由大量目标行为动作特征训练得到;第四阶段是结合SVM分类器的学习算法和特征向量相似度匹配算法修正行为界定参数，实现了动态行为分析算法对识别错误的目标行为进行再学习和即时屏蔽相似识别错误的行为的功能。基于深度学习的目标考场异常行为分析主要原理如图1。

2.1基于深度学习的人体姿态估计和跟踪

基于深度学习的视频目标异常行为分析算法，首先实现的是目标检测，目的是从视频序列的场景图像中准确检测、提取出目标。目标检测是数字图像处理技术的一个主要组成部分，也是计算机视觉、模式识别、目标跟踪与识别、安全监控等众多领域的重点和难点，在许多领域都有广泛的应用背景。智能监控系统中的后续处理与目标检测效果的优劣直接相关，比如后续的行为理解和分析等。因此，目标检测效果的优劣关系到整个系统的优劣性和实用性。

基于深度学习的人体姿态估计算法实现了对目标及其抽象姿态的检测，即通过人体结构关系优化算法连接每个目标的关键关节坐标点实现对目标抽象姿态的检测，主要原理步骤如下：

1）利用卷积神经网络CNN_1（VGG网络模型）对图像进行特征提取生成特征图，目的是过滤无关背景;

2）分别利用两个卷积神经网络（CNN_2_1和CNN_2_2分别为全连接网络模型）对图像特征图进行分布式处理，CNN_2_1实现检测人体关节坐标区域并通过非极大值抑制算法进行优化得到最优的人体关节坐标点，CNN_2_2实现检测人体结构关系区域并通过人体结构关系向量优化算法得到单一人体结构区域，联合人体关节坐标点和单一人体结构区域得到人体目标抽象姿态。

3）优化神经网络模型循环迭代至损失函数值最小得到最优的单一目标人体抽象姿态（包含人体关节坐标点）。

算法中卷积神经网络CNN_1是为了满足提取图像特征的需要由大量目标图像训练得到，卷积神经网络CNN_2_1是为了满足检测关节坐标区域的需要由大量目标图像通过标定关节位置的高斯响应训练得到，卷积神经网络CNN_2_2是为了满足检测结构关系区域的需要由大量目标图像通过标定和计算人体部件位置训练得到。另外对得到的每个目标骨骼模型在图像序列之间建立目标相关骨骼模型流，由于考场中有多个目标且移动幅度较小，所以使用非极大值抑制算法确定目标在不同相邻图像序列之间所处的位置，实现跟踪目标的目的，便于对连续图像序列中的每个目标进行行为分析。基于深度学习的人体姿态估计原理图如图2：

2.2选取目标关键部位坐标信息

根据视频监控下的场景，目标在考试或网上评卷过程中的行为主要集中体现在目标的头部、肩部、胳膊等上半身部位，对目标进行行为分析主要是对目标上半身部位的分析。因此，需要对人体姿态估计算法得到的目标抽象姿态做进一步处理，去掉上半身以外的部位。

首先，根据人体姿态估计算法，找出需要去掉的身体部位的坐标点的操作实际上就是把去掉部位对应的坐标点置为0，得到所需部位关键坐标点，然后对所需的人体关键坐标点进行连接。另外，为了避免对拍摄不当或存在遮挡的目标产生错误的行为分析，算法中把是否拍摄到目标上半身关键部位将目标图像定义为规则图像和非规则图像，规则图像是包含目标头部、肩部、胳膊或者头部、肩部或者肩部、胳膊的图像，其他的图像为非规则图像。系统中采用丢弃非规则图像，只处理规则图像的策略实现行为分析，示意图如图3：

2.3目标行为特征提取与分析

目标行为界定就是目标异常行为识别的过程，异常行为识别是指对人体行为通过机器语言和算法进行分析和描述，并采用自然语言对其进行理解，这个过程为行为-视频-分析-描述-行为，即测试序列通过预先建立的异常行为分类器进行行为分类，可以简单地认为是时空变化的数据分类。因此，人体异常行为识别的关键技术是如何依靠样本建立人体行为分类器，并且该分类器能够适应在相似背景下的空间和时间尺度上的变化特征来更新和学习。

目标行为界定的原理是在基于深度学习的人体姿态估计算法的基础上，对目标关键部位的变化进行特征表示，然后通过SVM分类器进行行为识别。

特征表示的原理流程是在通过人体姿态估计算法检测到目标图像中建立统一坐标系，计算连续两张图像中目标的关键点坐标变化幅度值、方向和胳膊连接线、两肩连接线、头部连接线相互之间的角度变化并组成特征向量，特征向量提取示意图如图4所示。

行为识别的原理流程是把行为特征向量通过SVM分类器进行分类，得到行为类型，判断目标行为是否为异常行为，其中SVM分类器是经过标注和提取大量目标行为特征向量训练学习得到。

目标行为界定原理图如图5：

2.4相似度匹配和反馈学习

目标行为分析在实际应用中，不可避免地会出现对某些行为发生了错误的识别，即把正常的行为识别为错误的行为。系统会产生误报，影响正常考试，为了达到即时屏蔽类似错误识别的行为的目的，并后期可以对SVM分类器进行反馈学习，设计了基于特征向量相似度匹配的行为识别修正算法和错误识别的行为特征向量反馈学习算法。

基于特征向量相似度匹配的行为识别修正算法的原理是把错误识别的行为的特征向量保存到修正库中，并根据实际行为类型记录到修正库中，将修正库中的特征向量与每次提取的行为特征向量进行余弦相似度匹配，并设定相似度阈值，当通过SVM分类器界定结果与相似度匹配结果一致时，得到最终行为界定结果。反馈学习算法的原理是利用了分类器模型能够再学习的优点，当目标行为界定算法对于一些行为发生错误识别时，反馈学习算法通过人工标记错误识别的行为类型反馈给SVM分类器，SVM分类器经多次训练后可以自动修正行为分类中的参数并提高行为识别准确率。

3實验

在应用中，因为考场和网上评卷视频中存在大量冗余，所以我们采取在视频中采样图像的方式进行目标动态行为分析，我们算法中所使用的卷积网络模型和SVM分类器都是经过长时间积累的考场和网上评卷监控视频中的图像数据进行标注和训练得到。在应用测试中，我们把异常行为分类准确率作为衡量算法优劣的标准。

在某省一场考试中，实时处理近3000小时监控视频，视频分辨率为720p，对三个目标异常动作（转身，伸手，起身）测试结果如下：

4总结

智能视频动态行为分析作为视频监控的一个发展方向，已经得到越来越多的关注，可以预见的是，考场和网上评卷现场监控视频环境下的目标行为分析将对考场和网上评卷现场秩序考试中的突发状况发挥着越来越重要的监控作用。

本文在研究和分析了基于视频序列的动态行为分析关键技术的基础上，围绕考场和网上评卷现场中对目标的异常行为分析识别要求，设计了基于深度学习的人体姿态估计动态行为分析算法，虽然目前这种应用技术受到监控视频质量、目标行为样本数量和计算能力的影响，还不够成熟，但它能够检测和识别考场和网上评卷现场中部分异常动作（转身，伸手，起身）。

参考文献：

[1] Cho S H， Kang H B. Abnormal behavior detection using hybrid agents in crowded scenes[J]. Pattern Recognition Letters， 2014， 44： 64-70.

[2] 李婧. 电子监考异常行为的检测与研究[D]. 太原： 太原理工大学， 2013.

[3] 李慧. 基于视频的考场异常行为识别研究[D]. 天津：天津财经大学， 2012.

[4] 杨帆. 智能化考场中考生考勤的关键技术研究[D]. 昆明：昆明理工大学， 2014.

[5] 张银霞， 马小川， 杨季彪， 等. 基于卡尔曼滤波的考生异常行为检测与识别[J]. 齐齐哈尔大学学报 ：自然科学版， 2017（6）：16-19.

[6] Arifoglu D， Bouchachia A. Activity recognition and abnormal behaviour detection with recurrent neural networks[J]. Procedia Computer Science， 2017， 110： 86-93.

[7] 韩贵金， 赵勇. 基于树形图结构模型的人体姿态估计[D]. 西安：西安邮电大学学报，2013.

[8] 李少波， 赵毅夫， 赵群飞， 等. 机器人的人体姿态动作识别与模仿算法[J]. 计算机工程，2013（8）：181-186.

[9] Chong Y S， Tay Y H. Modeling representation of videos for anomaly detection using deep learning： A review[J]. Computer Science， 2015.

[10] Castro D， Hickson S， Bettadapura V， et al. Predicting daily activities from egocentric images using deep learning[C]//proceedings of the 2015 ACM International symposium on Wearable Computers. ACM， 2015： 75-82.