基于时域特征提取的围栏入侵模式分类方法
2017-11-28赵鲁阳罗炬锋
周 静 ,赵鲁阳 ,罗炬锋 ,2
1.中国科学院 上海微系统与信息技术研究所 无线传感网与通信重点实验室,上海 200050 2.上海物联网有限公司,上海 200050
基于时域特征提取的围栏入侵模式分类方法
周 静1,赵鲁阳1,罗炬锋1,2
1.中国科学院 上海微系统与信息技术研究所 无线传感网与通信重点实验室,上海 200050 2.上海物联网有限公司,上海 200050
基于无线传感网的防入侵应用领域中行为分类问题,提出一种基于时域特征提取的电子围栏入侵检测及异常入侵模式识别系统。由于频域处理方法计算量大、复杂度高、传感器采样率高,为减轻系统的传输负担并减少时延,首先对原始信号预处理提取时域特征,然后通过一个三层的BP神经网络对目标事件进行分类,最后对比了多种典型的分类器方法的准确率。仿真结果表明:相比于频域处理方法,该方法复杂度低、易于实现,多种分类器准确率达86%以上,其中BP神经网络测试集的准确率能够达到94%,并且训练集和测试集的准确率偏差较小。
无线传感网;时域特征提取;围栏入侵;BP神经网络;模式分类
1 引言
安全问题涉及人们工作和生活的各个领域,是关乎国计民生的重大问题,学校周边、居民小区、军事区域、机场、大型变电站、储油基地、南水北调工程沿线等等重要区域都需要切实有效的安全防范设施。近年来传感器网络技术也逐渐开始应用于安全监控领域,声音、震动传感器可用于周界防入侵以及禁区管理RFID技术中,在识别、定位、追迹和溯源等的应用有其独到之处。而在基于传感器网络的防入侵系统研究中,对入侵的异常模式进行正确的分类识别是完成智能化防入侵处理的前提,因此对入侵的异常模式分类研究具有非常重要的意义。
目前常用的电子围栏检测系统主要基于传感器的方法,例如电学传感器、振动传感器、光纤传感器等。吴庥伟等人提出了一种多个小波分解进行综合判决的分布式光纤围栏入侵系统,主要根据多种小波分解得到不同层次的突变细节信息[1]。谢鑫等人提出了一种光纤围栏入侵监测系统,利用三层BP神经网络对传感器信号训练分类器检测识别攀爬行为[2]。田晓凤等人利用一种滚珠式振动传感器,设计了一款基于振动传感器的周界围栏报警监控系统,实现对异常入侵行为的检测[3]。通过传感器和模式识别相结合,能够对多种异常行为进行分类(包括攀爬行为),但是,该方法存在定位精度不高、计算复杂和时延大等缺点。本文提出了一种基于时域特征提取的电子围栏入侵检测及异常入侵模式识别系统,相比较于傅里叶变换、小波包分解等传统频域处理方法,该方法能够降低计算量和复杂度可以对入侵异常事件进行智能识别,而且具有较高的识别率,在实际的工程应用中具有极大的应用价值。
2 围栏入侵识别系统架构
基于传感网的防入侵系统主要包括:前端传感器探测模块、数据传输模块、后台数据处理模块。其中前端传感探测模块主要由具有物理信息探测能力的振动、倾角等传感器组成,该模块安装在围栏上,用于探测围栏的振动情况;数据传输模块主要通过无线或者有线传输,经过专网或者公网将前端探测信息采集的数据传输到后台处理平台,在实际应用中由于传感器的采样速率比较高,当围栏有异常振动时,附近多个节点同时上传数据,传输模块使用CAN总线其最高数据传输速率为1 Mbit/s,当有大量数据上传时会造成拥塞和超出传输负荷等现象,模块中包含一个数据预处理单元,缓解数据上传压力;后台数据处理模块对采集到的数据进行实时处理,实现异常行为的模式分类,对判断类别和节点号等进行信息融合,再将结果通过GUI界面或者log日志显示供进一步处理。
图1 防入侵系统的流程图
3 基于时域特征提取的模式识别方法
模式识别是指利用计算机或其他装置对物体、图像、语音、字形等信息进行自动识别。模式识别诞生于20世纪50年代,并于20世纪60年代逐渐发展为一门学科。经过多年的研究和发展,模式识别技术已被广泛应用,具体有语音识别、图像识别、手写体字符识别、工业故障检测、精确制导等[4-5]。完整的模式识别系统由数据获取、预处理、特征提取与选择、分类决策等部分组成,如图2所示[6],常采用的方法有判别函数法、神经网络[7]、支持向量机[8-9]、近邻法、主分量分析法等。
图2 模式识别系统
在模式识别系统中,其中前面三部分信息获取、预处理和特征提取和选择可以概括为特征表达。良好的特征表达,对最终识别效果起着非常关键的作用,并且好的特征应该具有不变性(大小、尺度和旋转等)和可区分性。因而模式识别系统中,重点在于特征表达和分类器设计,文中将从以下两个方面进行展开。基于时域提取特征,选择BP神经网络作为分类器,并使用支持向量机(Support Vector Machine)对比分类效果,其中所使用的SVM算法为一种改进的网格搜索最优参数的SVM算法[10]。
3.1 信号预处理
时域分析中,由于信号的特征信息比较简单直观,常见特征量有均值、极值、方差、斜度、峰度等统计量,以及自相关,过零点数等[11]。在实际的应用中,由于每个加速度传感器的采样率较高,当围栏上有比较多的节点时,有大量的信息进行传输不但会给网络带来很大的负担,而且会造成堵塞。采样率较高的情况下,数据必然会有冗余,因此极大地增加了系统的处理负担,故对数据进行预处理,本文采用基于时域提取特征的方法,公式如(1)所示。
其中Zdata为三轴加速度传感器采集到的Z轴的信号,以n个数为一组进行处理,通常来说n的设定根据具体情况而定,一般可以取256、512等,这里n取512,将 X、Y、Z的幅值归一化到0~255之间,由此得到峰峰值(Zpeak)和能量值(Zenergy)的信息。
3.2 BP神经网络
BP(Back Propagation)神经网络是一种采用误差反向传播算法来调整多层前馈神经网络,是目前应用最广泛的神经网络模型之一[12]。BP算法是一种代价函数(cost function)按照梯度下降的学习方法,通过反向传播来不断调整网络的权值和阈值,使得网络的代价函数最小。典型的BP神经网络具有三层或者三层以上,层内无连接,前后分别为输入层(input layer)、输出层(output layer),中间为隐含层(hidden layer),BP神经网络的一般网络结构如图3所示[13]。
图3 BP神经网络结构图
定义 BP神经网络模型中共三层,其中L1表示输入层共n个输入单元,L2表示隐含层h个隐含单元,L3表示输出层共m个输出单元,k为数据样本的个数,k=1,2,…,K。
Xk=(x1,x2,…,xn)T表示网络的输入向量;
Yk=(y1,y2,…,ym)T表示网络的实际输出向量;
Tk=(t1,t2,…,tm)T表示网络的期望输出向量;
α表示学习速率;
其中神经元作为最基本的运算单元,单个神经元的输入-输出映射关系为一个逻辑回归(logistic regression),通过激活函数 f(⋅)将特征保留并映射出来,一般选取能够逼近任意函数并且可微的非线性函数。常用的有sigmoid-S形函数、tanh-双曲正切函数、ReLU等。BP神经网络主要包括数据前向传播和误差反向传播更新参数的过程。
3.2.1 前向传播
(1)假设一组输入样本为Xk、目标样本为Tk;
(2)正向计算每层神经元的输出
当l=1时,即输入层:
当l=2时,即隐含层:
当l=3时,即输出层:
令zli表示第l层中第i个单元的输入加权和,则有:
则上面的表达式可简化为:
(3)计算样本的输出误差
对于单个样本,损失函数为:
假设样本集中包含N个样例,其整体代价函数为:
根据前向传播的过程,Y是参数为w和b,自变量为X的非线性函数,即Y=f(w,b;X),因而损失函数J(w,b;X,T)可以看成参数是w和b的函数。
3.2.2 反向传播
神经网络中对目标函数实现最佳的拟合的过程,实际上是对参数为w和b的J(w,b)求最小值。通常采用梯度下降法对参数w和b进行更新。
(1)反向传导
设第l层的每一个节点i,其残差表示为δli。则输出层第3层的残差δnli,公式如下所示:
第l=nl-1,…,2层,第l层的第i个节点的残差为:
将上式中nl-1和nl的关系替代为l和l+1的,可得:
由此可以看出l层可以由l+1层求出,这也是反向传导的思想所在。
J(w,b;X,T)对w和b的偏导数:
当激励函数是sigmoid函数,有:
(2)梯度下降法更新权值
重复梯度下降法的迭代步骤来减小代价函数J(w,b)的值。
BP神经网络算法过程如下:
(1)选取一个输入样本Xk、目标样本Tk。
(2)前向传播得到Yk。
(3)计算代价函数J(w,b;X,T)。
(4)修正各层中所有的w和b。
(5)判断是否训练完所有的N组样本,若不满足则选取下一个样本供样本学习,返回步骤(2),否则转至(6)。
(6)计算 N个样本的总误差 J(w,b),判断 J(w,b)是否小于预设的误差精度ε,若满足则结束。
(7)判断是否达到预定训练次数,若满足则结束训练,若不满足则返回到步骤(2)继续训练[14]。
3.2.3 影响因素分析
权值初始值设置的影响分析:在正向传播求解神经网络时,需要先将w和b初始化为一个较小的、接近零的随机量,一般使用正态分布Normal(0,ε2)生成随机值,防止进入饱和区或者局部极小值,加快训练速度。
输入向量归一化影响分析:归一化旨在归纳同意样本的统计分布性,改善其分布规律,一般采用去均值,去相关性以及均方差均衡,归一化可以防止输入信号数据绝对值过大进入饱和区。一般采用合理的变换将输入的数据变换为[0,1]或[-1,1]之间。
学习速率α影响分析:根据公式(14)可以发现,学习率α越大权值的变化越大,则BP学习收敛速度越快,当α过大时会引起网络的振荡,导致网络的不稳定性以及性能低下。当α过小时,能够避免网络的振荡,但是会导致学习收敛速度的下降。
激活函数、代价函数、允许误差ε的选择等对神经网络的性能都有影响。
4 实验结果与分析
4.1 数据采集场景
现场采集数据,如图4所示,实验场景为南水北调中线易县段。在常温及周围无干扰的环境下进行数据采集[15],实验中的围栏为软质网状铁丝围栏,间隔2 m将加速度传感器串联起来,采集数据时在节点的-0.5~0.5 m范围内。
图4 实验现场的围栏
本文采用三轴向模拟输出加速度传感器(MMA7360L),采样率为1 024 Hz,实际安装使用中,芯片是贴着围栏竖直放置,而Z轴是垂直围栏方向,即水平面方向。如图5所示为实际节点安装情况中方位图,根据图可知当围栏振动的时候Z轴所受的加速度最大,Zout引脚的电压读数有较大波动,因而文中的数据以Z轴的振动情况为参考,其中加速度传感器的量程为2 g(g表示重力加速度,其中1 g=9.8 m/s²)。
图5 加速度传感器的安装方位
4.2 时域特征向量提取
模拟拍、攀爬、摇、倚靠围栏,每次事件发生时不仅附近2、3个传感器会有振动,相比较于背景噪声时,较远的节点也将采集到振动信号进行上传,通过设置合适的阈值将非邻近的振动节点过滤掉。原始数据经过预处理,当只有背景噪声时,数据传输模块以0.2 Hz发送心跳包给后台处理模块,当有异常入侵行为时,后台处理模块以2 Hz接收信号。实验中一次完整事件持续时间为5 s,其中攀爬持续时间比较长,每次事件持续时间大概为10 s,从系统的实时性考虑,选取一次事件从开始后7.5 s内后台接收的信号作为特征向量,共15个点,其中每个点包含峰峰值和能量值。
实验中以攀爬为例,传感器采集的原始Z轴的振动情况如图6所示,横轴表示动作持续的时间,纵轴为传感器Z轴的原始振动幅值。
图6 攀爬时Z轴的原始振动情况
在采集到的幅值信号中,将一次事件从开始到结束的完整包络作为特征向量。后台处理模块中对幅值求微分,求微分后信号的最大连续子段和、最小连续子段和,其中最大连续子段表示幅值连续上升的部分,最小连续子段表示幅值连续下降的部分,若最大连续子段的终点和最小连续子段的起点为相邻点时,则表明两个子段和组成了一个完整波峰的包络,其中最大连续子段和的终点也为振动波峰的峰值点。4种事件的波形图如图7所示,其中横轴表示动作持续的时间,左边纵轴表示Z轴的峰峰值,右边纵轴表示Z轴的能量值。
图7 4种模式的时域图
特征向量中包含峰峰值和能量值,其物理意义和量纲并不相同,因而需要对输入向量归一化,保证各个输入向量以同等的权值。如果所有样本的输入信号都为正值或者负值,隐含层的神经元权值只能同时增加或减小,从而导致学习速度很慢[11]。分别对峰峰值和能量值进行归一化,峰峰值其最大值为定值255,因而同时除以255归一化到0~1之间;能量值的最大值为非定值,将能量值除以其最大值进行归一化,最后将幅值和能量值统一进行归一化,使其均值接近0或者其标准方差比较小。
4.3 仿真结果
文中使用三层BP神经网络,神经网络的输入信号为特征向量提取得到的信号,输出层为异常入侵的模式类别,隐含层个数由经验公式确定[13],如下所示:
其中h为隐含层单元数,n为输入单元数,m为输出单元数,a为[1,10]之间的常数。输入单元数n为30,h设置为11,输出单元数m为4。文中选择激活函数为Sigmoid函数,对于多分类问题,只有输入对应类的输出节点输出为正,其他类的位或者节点为0,当激活函数为tanh时则设为-1。以拍为例,其样本的标记(输出)为1 000。
实验中共采样500组数据,根据特征向量提取方法得到472组样本并进行标记,文中选择其中352组为训练样本,120组为测试样本。对352组样本进行多次训练,将识别率较高的网络保存,使用120组样本对保存的网络进行测试,根据混淆矩阵得到结果如表1所示。
表1 基于时域特征的BP神经网络分类效果
将时域提取的特征作为其他典型分类器的特征输入,以SVM为例,基于训练集多次训练,得到训练效果最好时的惩罚系数C和gamma,使用测试样本对最优参数下的SVM测试,其混淆矩阵所得的结果如表2所示。
表2 基于时域特征的SVM分类效果
同时对比了机器学习中其他典型的分类器随机森林和朴素贝叶斯,如表3所示,包括训练集和测试集的分类效果。
表3 分类器的训练和测试准确率%
由表3可以看出,时域特征作为分类器的输入,平均准确率能够达到86%以上,其中BP神经网络的分类效果最好。如表1所示,其拍和摇两种事件的正确识别率为100%,并且各个模式下的识别率相对比较高,比较其他的分类器效果更好。采用有监督的学习训练分类器,基于训练样本得到最优的网络和参数显得尤为重要,但每次训练的结果有偏差,在实际中选取效果较好的网络和参数进行保存。从表3可以看出,测试集的准确率要比训练时的低,其中BP神经网络对于训练集和测试集准确率的偏差相比于以下几种方法最小,具有更强的鲁棒性。
5 结束语
本文主要提出一种振动信号的时域特征,使用一个三层的BP神经网络的分类器进行分类,特征向量提取和分类器设计对分类结果有着很大的影响,文中着重介绍这两方面。从仿真结果可以发现,基于时域提取特征,多种分类器都能取得较好的效果,模式分类系统中采用分类效果最好的BP神经网络作为分类器。从实际应用中,文中使用的方法相比较于传统的频域或者时频域的方法大大减少算法的复杂度和计算量;从时效性上的角度考虑,当围栏异常入侵时能够保证10 s内将提取的特征信号上传到后台处理模块,经过训练好的网络及时判断出异常类别,因而在中短距离范围内的防入侵系统具有较大的应用价值。由于现实中的安防问题比较复杂,怎样甄别和提取有用节点的信号,以及强鲁棒性的分类器模型[15-16]将是下一步的研究重点。
[1]吴庥伟,吴慧娟,饶云江,等.基于多种小波分解方法综合判决的低误报率分布式光纤围栏入侵监测系统[J].光子学报,2011,40(11):1692-1696.
[2]谢鑫,吴慧娟,饶云江.一种基于光纤布喇格光栅振动传感器的光纤围栏入侵监测系统及其模式识别[J].光子学报,2014,43(5):32-37.
[3]田晓凤,于春和.基于振动传感器的周界围栏报警监控系统设计[J].沈阳航空航天大学学报,2012,29(5):44-47.
[4]张舒.模式识别并行算法与GPU高速实现研究[D].成都:电子科技大学,2009.
[5]范会敏,王浩.模式识别方法概述[J].电子设计工程,2012,20(19):48-51.
[6]王刚,黄星元,施明智,等.光纤围栏扰动事件模式识别研究[J].光通信技术,2011(7):51-53.
[7]周铁军,顾晓辉,吕艳新.基于BP神经网络的地震动信号识别[J].现代电子技术,2012,35(10):100-102.
[8]Chen P W,Wang J Y,Lee H.Model selection of SVMs using GA approach[C]//Proc of 2004 IEEE International Joint Conference on Neural Networks,Piscataway,USA,2004:2035-2040.
[9]Chapelle O,Vapnik V,Bousquet O.Choosing multiple parameters for support vector machines[J].Machine Learning,2002,46(1/3):131-159.
[10]王健峰,张磊,陈国兴,等.基于改进的网格搜索法的SVM参数优化[J].应用科技,2012(3):28-31.
[11]杨国安,钟秉林,黄仁,等.机械故障信号小波包分解的时域特征提取方法研究[J].振动与冲击,2001,20(2):25-28.
[12]高鹏毅.BP神经网络分类器优化技术研究[D].武汉:华中科技大学,2012.
[13]任谢楠.基于遗传算法的BP神经网络的优化研究及MATLAB仿真[D].天津:天津师范大学,2014.
[14]Ng A,Ngiam J,Yu-Foo C,et al.UFLDL tutorial[EB/OL].[2013-04-07].http://deeplearning.standford.edu/wiki/imdex.php/UFLDL_Tutorial.
[15]Eberhart R,Kenney J.A new optimizer using particle swarm theory[C]//Proc of the Sixth International Symposium on Micro Machine and Human Science,Piscataway,USA,1995:39-43.
[16]Castejo’n C,Garcı’a-Prada J C,Go’mez M J,et al.Automatic detection of cracked rotors combining multiresolution analysis and artificial neural networks[J].Journal of Vibration and Control November,2015,21(15):3047-3060.
ZHOU Jing1,ZHAO Luyang1,LUO Jufeng1,2
1.Key Laboratory of Wireless Sensor Networkamp;Communication,Shanghai Institute of Microsystem and Information Technology,Chinese Academy of Sciences,Shanghai 200050,China 2.Shanghai Internet of Things Co.,Ltd.,Shanghai 200050,China
Fence intrusion pattern classification method based on time domain feature extraction.Computer Engineering and Applications,2017,53(21):98-102.
Focused on the issue of behavior classification in the field of security application based on wireless sensor networks,an electronic fence intrusion detection and abnormal pattern classification system is proposed using time domain feature extraction.The method of frequency domain’s feature extraction contains massive computation with expensive complexity,and the sensors’sampling rate is high.In order to reduce the system’s transmission burden and time delay,firstly,the raw data is preprocessed to extract time domain features.Then a three-layer BP neural networks classifier is used to classify the target events.Lastly,the accuracy rate of several kinds of typical classifiers are compared.Simulation results indicate that,compared with the method of feature extraction in frequency domain,this method is low in complexity and easy to implement,and the accuracy rate can reach more than 86%.What’s more,for the BP neural networks,the accuracy deviation between the training and testing set is relatively small,while the accuracy is reaching 94%for the testing data set which is higher than others.
wireless sensor networks;time domain feature extraction;fence intrusion;BP neural networks;pattern classification
A
TP319
10.3778/j.issn.1002-8331.1605-0261
国家科技重大专项(No.2014ZX03005001-002);上海市青年科技英才扬帆计划资助(No.15YF141450)。
周静(1992—),女,硕士研究生,研究领域为机器学习;赵鲁阳(1970—),博士,副研究员,研究领域为无线传感网络应用,围界防入侵等领域;罗炬锋(1983—),博士,副研究员,研究领域为通信,数字信号处理,E-mail:ljufeng@mail.sim.ac.cn。
2016-05-10
2016-10-17
1002-8331(2017)21-0098-05
CNKI网络优先出版:2016-12-07,http://www.cnki.net/kcms/detail/11.2127.TP.20161207.0947.024.html