基于SOM的行人异常轨迹检测

陆云飞，陈临强

(杭州电子科技大学计算机学院，浙江 杭州 310018)

摘要：实现了一种实时视频监控中行人的异常轨迹检测方法。提取出行人轨迹的位置、速度及加速度等特征，利用自组织神经网络对正常轨迹进行训练学习，得到正常轨迹点的一般特征并用优胜神经元表示。通过比较正常轨迹点与待检测轨迹点的响应函数值来判断异常。实验结果表明该方法能较好地反映轨迹特征，具有较高的异常轨迹识别率，可以实时监测行为异常。

关键词：异常轨迹；视频监控；自组织网络；训练学习

DOI: 10.13954/j.cnki.hdu.2015.02.012

基于SOM的行人异常轨迹检测

陆云飞，陈临强

(杭州电子科技大学计算机学院，浙江 杭州 310018)

摘要：实现了一种实时视频监控中行人的异常轨迹检测方法。提取出行人轨迹的位置、速度及加速度等特征，利用自组织神经网络对正常轨迹进行训练学习，得到正常轨迹点的一般特征并用优胜神经元表示。通过比较正常轨迹点与待检测轨迹点的响应函数值来判断异常。实验结果表明该方法能较好地反映轨迹特征，具有较高的异常轨迹识别率，可以实时监测行为异常。

关键词：异常轨迹；视频监控；自组织网络；训练学习

DOI:10.13954/j.cnki.hdu.2015.02.012

收稿日期：2014-07-28

通信作者：

作者简介：陆云飞(1990-)，男，安徽合肥人，在读研究生，图形图像处理.陈临强教授，E-mail: clq@hdu.edu.cn．

中图分类号：TP391.41

文献标识码：A

文章编号：1001-9146(2015)02-0045-05

Abstract:This paper implements a real-time video monitoring method to detect abnormal trajectory of pedestrians. Some characteristics like position， velocity， and acceleration of trajectories were extracted， then we use self-organizing neural network to train on the normal trajectory of pedestrians. Finally， we get the general characteristics of the normal trajectory points and expressed by the winning neuron which generated in the self-learning process of self-organizing neural network. Determine abnormalities by comparing the response function values of the normal track points and the track points to be detected. The experimental results show that this method can reflect the characteristics of the trajectory better， with a high rate of abnormal trajectory recognition， and can monitor abnormal behavior in real-time．

0引言

随着视频监控技术的发展，监控视频数据变得日益庞大，这就使得人为分析视频需耗费大量资源且越来越不可行，智能化的自动视频分析方法显得尤为重要。同时，摄像设备提供了大量的运动对象的轨迹信息，轨迹信息较好地描述了运动物体的各项特征，优秀的运动目标检测及跟踪方法的提出使得轨迹信息的提取更为可靠。近年来，通过轨迹信息来判断异常行为的研究逐渐被重视起来。文献[1]提出了一种轨迹的稀疏重构分析(sparse reconstruction analysis， SRA)方法，文中用三次B样条曲线拟合来表示轨迹，用正常轨迹的控制点特征构建字典集，对于测试轨迹，根据SRA方法计算其特征向量与字典集之间的系数矩阵，以此来判断其是否为异常轨迹。文献[2]同样对轨迹进行样条曲线拟合表示，采用半监督的方法对正常轨迹进行学习，并用混合高斯模型对轨迹建模，利用Gumbel分布判断轨迹是否异常，若正常更新模型，否则不更新。文献[3]利用自组织网络对正常轨迹进行学习，学习结果用于轨迹的分类。大部分基于轨迹的异常检测方法都对整条轨迹进行学习提取特征，且往往计算复杂，不能到达实时监测异常的目标。本文在文献[3]的基础上提出了将速度、行走长度异常增长等信息带入自组织网络学习的方法，可以更好地反映物体的运动特征，同时采用带权重的距离函数强调加速度和行走长度异常增长变化。

1方法概述

基于视频的异常轨迹监测首先要完成轨迹的提取。首先利用混合高斯背景模型完成前景提取，然后对前景目标进行跟踪提取出运动目标的轨迹。本文利用文献[4]提出的多目标跟踪方法进行行人跟踪。得出轨迹的时间序列后，很多异常检测的方法都是提取出完整轨迹后对整体轨迹进行学习来判断新的轨迹是否异常，但是这样往往不能够实时的监测异常，且需要对长短不一的轨迹时间序列做一系列复杂处理使其能够进行训练等过程。本文在需要实时监测这一思想的指引下，避开以上问题，提取轨迹中单个轨迹点的瞬时特征加以利用。主要包括速度和行走轨迹异常增长长度等特征，可以很好的反映行人是否出现突然加速，S形路线，来回踱步等异常事件。随后，提取出每个轨迹点的特征组成固定长度的特征向量，再将特征向量运用自组织映射(Self Organizing Map， SOM)神经网络进行训练学习，得出正常轨迹点的一般特征。最终，通过将待检测轨迹点与正常轨迹点特征比较来判断异常，进而确定异常轨迹。系统工作流程如图1所示。

图1　基于视频异常轨迹监测流程图

2特征量提取

运动轨迹通常被看成是一组时间序列，其表示方法很多。文献[5]提出的SAX方法将时间序列表示成由一个字符集中的字符组成的字符序列，通过对字符序列的操作代表时间序列的相关运算。还有一种做法通过把轨迹曲线进行B样条拟合，通过控制点来表示轨迹。这些方法都要事先得到完整轨迹。实时监测中不能等到完整轨迹产生后再判断异常，在轨迹的生成过程中就要对轨迹进行检查，本文通过提取出每个轨迹点的位置、即时速度等信息组成固定长度的特征向量，为训练过程提供数据。特征向量包含目标的位置信息(x，y)，用差分(dx，dy)表示目标的即时速度信息。为了检测出行人的突然加速异常行为，引入二次差分(|d2x|，|d2y|)来表示速度变化特征。

dx=xt-xt-1

(1)

d2x=xt-2xt-1+xt-2

(2)

若运动目标有异常轨迹，例如徘徊、来回踱步等，其轨迹总长度必定会出现异常。行人的行走方向在同一场景中一般是固定的，也就是说视频图像中检测到的轨迹点，其x轴坐标和y轴坐标的变化一般是单调的。如若行人轨迹点的x坐标或y坐标时而增大时而减小，则往往这部分轨迹会是异常的。以x轴坐标为例，当多数的轨迹点坐标是增加的，即dx≥0，就认为少数的dx<0的轨迹点是可能存在异常的，将这部分异常的dx累加起来表示轨迹在x轴方向的异常增长部分，反之亦然。本文用(sumabndx，sumabndy)表示轨迹的异常增长部分，其计算公式为：

(3)

组成特征向量：

F=[x，y，dx，dy，sumabndx，sumabndy，|d2x|，|d2y|]

(4)

3SOM训练与异常检测

3.1　SOM训练

在众多神经网络构造方法中，利用SOM的神经网络因为其自组织、自学习等特性受到广泛关注。SOM网络通过无导师学习使神经元依照样本的分布特征收敛，最终得到训练目标的分布特征，其基本思想是网络竞争层中各个神经元竞争对输入向量的响应机会，将优胜者及相关神经元的权值调整到优势位置，使其在下次竞争中更容易获胜，训练完成后，获胜神经元的最终状态就代表目标的分布特征。SOM神经网络的结构示意如图2所示。

图2　SOM神经网络结构示意图

输出层中每个神经元有一个权值向量，输入向量进入时，各个神经元竞争响应机会。实际过程中通过选择距离输入向量最近的神经元为优胜，更新优胜神经元及其邻域内神经元的权值向量。本文采用一个二维随机的SOM拓扑结构。为了防止更新过程中局部收敛的情况，一开始设置更新范围较大，随着时间的推移逐渐缩小。其距离函数是一个随时间变化的函数Nc(t)。同时，随着训练过程的推进神经元权值向量的更新率αt(t)也随时间变化而减小。假设输入样本向量为x=[x1，x2，…，xn]T，各神经元的权值向量为mi=[mi1，mi2，…，min]T，距离x最近的优胜神经元为mc，则权值向量更新公式如下：

(5)

算法流程如下：

1)初始化各神经元的权值向量mi=[mi1，mi2，…，min]T，i=1，2，…，M，M为神经元个数，采用随机赋值为(-1，1)之间的策略，设定权值向量更新率取值范围[αmin，αmax]，初始化权值向量更新率αt(0)=αmax，确定邻域半径初始值rmax；

3)更新优胜神经元及其邻域内神经元的权值向量，计算公式如式(5)；

5)判断是否学习完，是转步骤2，否结束。

3.2　异常判断

监控过程中，对于行进过程中的每个轨迹点，提取其特征向量带入SOM中计算得到对其响应最强烈的优胜神经元。计算待检测的特征点与优胜特征点的欧式距离。若距离超过指定阈值则认为此轨迹点为异常的，阈值的设定采用自适应的方式。在训练结束时可以得到与每个优胜神经元间距离最大的样本向量及对应的欧式距离，将这个距离设定为阈值。为了提高对徘徊、来回踱步等异常行为的灵敏度。检测异常时，采用带权重的距离计算，强调(sumabndx，sumabndy，|d2x|，|d2y|)的变化，假设权重向量为w=[w1，w2，…，wn]，输入向量为xj，计算距离d=|w(xj-mc)|。

对每个轨迹点带入计算，若超出阈值则认为是异常轨迹点，若同一条轨迹中异常轨迹点个数超过5个就认为该轨迹为异常。

4实验结果与分析

为了验证本文方法的有效性，对一露天停车道路上拍摄的视频进行测试，视频图像大小为320×240(每像素24位)。训练数据采用300个正常轨迹。测试数据采用30条正常轨迹和20条异常轨迹。SOM中输出层神经元过少不能很好的表示一般轨迹点特征，过多又会显著增加训练和检测异常的时间，同时也要考虑视频图像的纵横比。本文通过对比实验，最终设定输出层包含12×16的输出单元，初始值αmin=0.05，αmax=0.2，rmax=10，w=[1，1，1，1，1.1，1.1，1.1，1.1]，测试效果如图3所示。×表示异常轨迹点。

图3　测试效果图

由图3可以看出，由于跟踪过程中噪声的影响轨迹点会有跳变现象，但是不影响异常轨迹点的检测。由图3(a)和图3(b)可以看出对正常轨迹有很好的通过率。同时对于异常轨迹具有较高的识别率。图3(c)和图3(d)中行人的异常徘徊必定会造成不必要的行走距离，本文充分利用了这一性质。测试结果表明算法检测异常的准确率能达到85%以上。该方法有效检测出场景中的异常轨迹。即使是充分训练的区域仍能够对异常点保持较高的检测率。同时，由于训练出特征分布后，对轨迹点的异常检测只需要和这若干个特征点进行比较计算，所用时间几乎可以忽略，完全可以达到实时要求。

5结束语

本文从轨迹中提取出轨迹点的特征表示，并通过SOM训练得到场景中正常轨迹的特征点的拓扑结构和分布特征，进而检测异常轨迹。综合考虑了异常轨迹的速度和长度等特征。通过实验可以看出，本文方法对异常轨迹检测有较高的准确率。同时，基于训练的方法可以适用于不同场景，具有一定的鲁棒性。

参考文献

[1]Li C， Han Z， Ye Q， et al. Visual abnormal behavior detection based on trajectory sparse reconstruction analysis[J]. Neuro computing，2013，119:94-100．

[2]Sillito R R， Fisher R B. Semi-supervised Learning for Anomalous Trajectory Detection[C]//BMVC. 2008: 1 035-1 044．

[3]Owens J， Hunter A. Application of the self-organising map to trajectory classification[C]//Visual Surveillance， 2000. Proceedings. Third IEEE International Workshop on. IEEE， 2000: 77-83．

[4]Yang T， Pan Q， Li J， et al. Real-time multiple objects tracking with occlusion handling in dynamic scenes[C]//Computer Vision and Pattern Recognition， 2005. CVPR 2005. IEEE Computer Society Conference on. IEEE，2005:20-26.

[5]Lin J， Keogh E， Lonardi S， et al. A symbolic representation of time series， with implications for streaming algorithms[C]//Proceedings of the 8th ACM SIGMOD workshop on Research issues in data mining and knowledge discovery. ACM，2003:2-11．

Abnormal Trajectory Detection of Pedestrian Based on SOM

Lu Yunfei， Chen Linqiang

(SchoolofComputer，HangzhouDianziUniversity，HangzhouZhejiang310018，China)

Key words: abnormal trajectory; video surveillance; self organizing map; training and learning