基于深度学习的视频异常行为识别算法

聂豪　熊昕　郭原东　陈小辉　张上

摘  要： 针对传统的异常行为检测算法仅使用RGB图像作为网络的输入，而未考虑到视频序列中隐藏运动信息的问题，文中提出一种基于双流卷积神经网络的视频异常行为检测算法。该算法分别使用RGB图像与视频帧间的光流信息作为两个网络分支的输入来学习空间维信息与时间维信息，并使用长短时神经网络来建模长时视频帧间的依赖关系，从而得到最终的行为分类结果。仿真测试结果表明，所提出的方法在UCSD Ped1、Shanghai Tech和Pedestrian 2数据集上均能取得较好的识别效果，且使用帧间运动信息能够显著提升异常行为检测性能。

关键词： 视频异常行为; 异常行为识别; 深度学习; 行为分类; 网络训练; 仿真测试

中图分类号： TN926?34; TP391.4                 文献标识码： A                     文章编号： 1004?373X（2020）24?0110?03

Video abnormal behavior identifying algorithm based on deep learning

NIE Hao， XIONG Xin， GUO Yuandong， CHEN Xiaohui， ZHANG Shang

（School of Computer and Information， China Three Gorges University， Yichang 443000， China）

Abstract： In allusion to the problem that， in the traditional abnormal behavior detection algorithms， only the RGB image is used as the input of the network， but the motion information hidden in video sequence is not considered， a video abnormal behavior detection algorithm based on two?stream convolutional neural network is proposed. In the algorithm， the optical flow information between RGB image and video frame is used as input of the two network branches to learn spatial dimension information and time dimensional information， and the long short?term neural network is used to build a model of the dependency relationship between long?term video frames， so as to get the final result of the behavior classification. The simulation testing results show that the proposed method can achieve better recognition results on the datasets of UCSD Ped1， Shanghai Tech and Pedestrian 2， and the use of inter?frame motion information can significantly improve the detection performance of abnormal behavior.

Keywords： video abnormal behavior; abnormal behavior identification; deep learning; behavior classification; network training; simulation testing

0  引  言

近年来，为了维护社会稳定与国家安全，各地大力推进视频监控系统的建设[1]。从海量监控视频中提取有用的信息，检测视频中的异常行为与事件需要大量工作人员长时间对监控画面保持高度注意力[2?4]。然而，单纯依赖人工检测的方法极易导致误报、漏检等情况[5]。因此，如何从海量监控视频中提取有用的信息并提高突发事件与异常行为的识别精度，在安防与社会安全领域具有广泛的经济与应用价值[6]。

视频异常行为检测即在一段视频中出现异常时，能够及时对该事件进行分类并发现异常行为的起始帧[7]。为了有效区分出视频中的正常事件与异常事件，需要从视频序列中提取出相关特征并对其进行分类。在传统特征提取方法中，研究人员经常使用时间与空间特征对视频目标的运动模式进行建模，如方向梯度直方图特征、光流直方图特征、动态纹理特征和社会力模型等[8?9]。

目前，随着深度神经网络在工业界与学术界的广泛应用和发展，其在语音识别、自然语言处理和计算机视觉等领域取得了较高的准确率与较好的效果。因此，越来越多的领域开始使用深度神经网络来解决视频异常行为检测问题。如文献[10]提出一种AMDN网络通过构建级联去噪自编码网络来提取运动目标的外观及运动信息，并使用单类支持向量机对特征进行分类与判定。文献[11]构建一种时空堆栈自编码网络STSAE来建模视频的时空特征，STSAE同时将多帧图片作为网络输入，从而利用视频帧间的时序信息。

为了验证仅使用RGB图像与运动信息作为输入时，异常行为检测的精度。本文在表1中也列出了仅使用RGB图像作为输入与同时使用RGB图像和光流信息作为输入时，网络对异常行为的识别精度。从表1可以看出，加入帧间运动信息能够明显提升异常行为检测网络的性能，表明本文所提出的双流网络的有效性。

4  结  论

本文提出一种基于双流卷积神经网络的视频异常行为检测算法。该网络分别使用两个网络分支来学习空间维信息与时间维信息，使用长短时神经网络来建模长时视频帧间的依赖关系，从而得到最终的行为分类结果。通过在UCSD Ped1、Shanghai Tech 与Pedestrian 2数据集上的测试结果表明，相比其他算法，本文方法在各测试数据集中均取得了较好的识别效果，且同时证明了使用帧间运动信息能够有效提升异常行为检测的性能。

注：本文通讯作者为张上。

参考文献

[1] CARREIRA J， ZISSERMAN A. Quo vadis， action recognition？ A new model and the kinetics dataset [J]. IEEE computer society， 2017（11）： 433?445.

[2] LU X S， YAO H X， ZHAO S C， et al. Action recognition with multi?scale trajectory?pooled 3D convolutional descriptors [J]. Multimedia tools and applications， 2017， 78（3）： 1?17.

[3] 夏清.视频监控中的人群异常行为检测研究[D].成都：电子科技大学，2019.

[4] 谢逸，张竞文，李韬，等.基于视频监控的地铁施工不安全行为检测预警[J].华中科技大学学报（自然科学版），2019，47（10）：46?51.

[5] ULLAH A， AHMAD J， MUHAMMAD K， et al. Action recognition in video sequences using deep bi?directional LSTM with CNN features [J]. IEEE access， 2017， 19（9）： 1?16.

[6] DAS S， KOPERSKI M， BREMOND F， et al. Deep?temporal LSTM for daily living action recognition [C]// 2018 15th IEEE International Conference on Advanced Video and Signal Based Surveillance. Annapolis： IEEE， 2018： 101?123.

[7] WANG Y B， LONG M S， WANG J M， et al. Spatiotemporal pyramid network for video action recognition [C]// IEEE Conference on Computer Vision and Pattern Recognition. Augusta： IEEE， 2017： 28?42.

[8] WURM M F， ARTEMENKO C， GIULIANI D， et al. Action at its place： contextual settings enhance action recognition in 4～8 year old children [J]. Developmental psychology， 2017， 53（4）： 662?670.

[9] WANG Song， DANG Jianwu， WANG Yangping， et al. Research on real?time action recognition approach [J]. Computer engineering and applications， 2017， 53（9）： 86?93.

[10] CHEN K， DING G G， HAN J G. Attribute?based supervised deep learning model for action recognition [J]. Frontiers of computer science， 2017， 11（2）： 1616?1629.

[11] ZHANG G L， JIA S M， LI X Z， et al. Weighted score?level feature fusion based on Dempster?Shafer evidence theory for action recognition [J]. Journal of electronic imaging， 2018， 27（1）： 19?36.

[12] 王杰，张曦煌.基于图卷积网络和自编码器的半监督网络表示学习模型[J].模式识别与人工智能，2019，32（4）：317?325.

[13] 韩雪，冯桂.三维视频的深度图快速编码算法[J].通信技术，2018，51（3）：575?582.

[14] MAHADEVAN V， LI W X， BHALODIA V， et al. Anomaly detection in crowded scenes [C]// IEEE Conference on Computer Vision and Pattern Recognition. Bismarck： IEEE， 2010： 134?142.

[15] HUANG G， LIU Z， LAURENS V D M， et al. Densely connected convolutional networks [J]. IEEE computer society， 2016（7）： 243?249.

[16] HASAN M， CHOI J， NEUMANN J， et al. Learning temporal regularity in video sequences [J]. IEEE computer society， 2016（2）： 86?93.

作者简介：聂  豪（1995—）男，湖北黄冈人，硕士研究生，研究方向为深度学习、图像识别、基于视觉的人体行为分析。

张  上（1979—）男，湖北宜昌人，博士，副教授，研究方向为物联网技术、计算机应用技术。