基于物联网和视频分析技术的监狱智能监控系统*

奚 吉,蒋银忠

(1.常州工学院计算机信息工程学院,江苏 常州 213002;2.江苏省投资管理有限责任公司,南京 210005)



基于物联网和视频分析技术的监狱智能监控系统*

奚 吉1,蒋银忠2*

(1.常州工学院计算机信息工程学院,江苏 常州 213002;2.江苏省投资管理有限责任公司,南京 210005)

提出了一种基于物联网和视频分析技术的监狱智能监控系统。该系统主要由监控终端子系统以及犯人活动网络定位监测子系统组成,并利用视频分析技术对囚犯进行智能行为监控。实验结果表明:所提出的的透视变换及SVM的行为识别及目标分类方法可以有效监控罪犯行为,将监控人员从“紧盯屏幕”的低级监控模式中解放出来,能够很好地提高监控有效性,实现“人防、技防、物防”三位一体的最佳结合。

物联网;视频分析;识别;运动检测;RFID;Zigbee

监狱是关押、改造犯人的场所,是重要的国家机器之一。监狱的安全防范,是社会稳定、国家安宁的重要保证。鉴于本身的功能要求,监狱对于安防系统在安全可靠性方面的要求要明显高于其他行业。然而传统的监狱安防存在两个主要方面的缺陷,主要表现在[1]:①信息孤岛。监狱安防由于系统涉及的领域很广,包括网络通信技术,信息技术,电子传感入侵检测,视等多个子系统。但系统与系统之间的运行都相对独立,信息无法共享,相互之间没有关联,形成信息孤岛。一旦出现紧急事件,各系统之间无法及时关联联动,监控图像和其他安防资源不能共享,造成管理方不能直观对应,浪费人力、物力,造成管理效率低下。②被动监视。国内监狱广泛使用的闭路监控系统采用矩阵主机控制,通过电视墙监视前端监控画面,采用长延时模拟录像机进行录像和回放。此类传统的视频监控模式属人为操控,工作人员需要监视的视频画面数量,已经远远超出人的接受能力,导致实际监控效果低下[2]。

因此,针对传统的监狱安防系统的缺陷,本文提出了一套基于物联网和视频分析技术的罪犯监控系统。该系统利用物联网技术将各个子系统有机地形成一个网络整体,确保信息的有效畅通,避免信息孤岛的出现。另外通过智能视频分析技术的应用解决了传统视频监控系统所一些固有的缺陷,实现了监控方式由被动到主动的转变,从而更好地能够满足监狱安防系统对于安全的要求[3-4]。

1 系统总体方案

针对监狱犯人行为识别与健康状况信息采集的实际应用,我们采用了如图1所示的组网结构。整个系统分4个层次:信息采集层,信息处理层,服务器层,管理和决策层。其中信息采集层如图2,是整个系统的最底层,主要功能是实现数据的采集,将数据传输到上一层进行处理。此层获取的信息暂有:犯人健康状况、犯人行为状况以及犯人所在区域;信息处理层主要以Intel提供的EPCM-505C-ESDC嵌入式主板为核心,充分利用该板的资源,设计出一款多功能的犯人监控终端。该层利用视频分析、支持向量机等技术对从信息采集层采集得到的基础进行分析、处理,然后将获取的数据根据自定义规范统一的数据包格式,提交给服务器层;最后两层主要是方便PC端用户之间的沟通、交流,实时了解发生异常的区域,查看行为异常犯人的图片,使狱警做好应对突发情况的紧急措施。

图1 系统总体框架图

图2 基于嵌入式系统的犯人信息采集终端

2 系统设计

2.1 硬件设计

2.1.1 主电路设计

本系统的硬件部分主要集中在犯人监测终端,监测终端以EPCM-505C-ESDC嵌入式主板为核心,扩展了系统所需的各种外围设备,包括:电源模块、摄像头、Zigbee模块、阅读器模块、移动硬盘存储模块、键盘以及显示器模块等。总体接口框图如图1所示。

2.1.2 zigbee模块硬件电路设计

图3 总体接口框图

本系统利用Zigbee构建起一个无线传感器网络,Zigbee模块类似于移动网络基站。在整个网络范围内,每一个Zigbee网络数据模块之间可以相互通信,每个网络节点间的距离可以从标准的75 m无限扩展。基于Zigbee技术的无线传感器网络可最多容纳65 000个设备[5],且网络的自组织、自愈能力强,通信可靠,每个Zigbee网络节点不仅本身可以作为监控对象,其所连接的传感器直接进行数据采集和监控,还可以自动中转别的网络节点传过来的数据资料。在Zigbee网络中,包含3种节点类型:网关节点、网络协调节点、终端节点[6-7]。

Zigbee模块硬件电路包含Zigbee终端节点模块和Zigbee网关节点模块。Zigbee终端节点模块采集犯人健康信息,通过无线传感器网络将信息传给Zigbee网关节点模块,最后通过串口将信息传给终端。整个模块包含传感器模块、电源模块、Atmega16最小系统模块和Zigbee节点。各部分原理图如下图4和图5所示。

图4 Zigbee终端节点模块原理图

图5 Zigbee网关节点模块原理图

2.2 软件设计

2.2.1 软件整体结构

系统软件设计思想为模块化设计思想,采用Microsoft公司的Visual Studio2008调用底层API函数开发系统所需底层软件模块,主要以DLL和OCX为封装形式。应用软件主要采用C#编程和Microsoft公司的SQL Sever2008数据库等开发工具实现了系统的各项功能。其软件架构图如图6所示。

图6 系统软件架构图

2.2.2 终端软件设计

终端软件主要功能主要有两个:显示和控制。

控制界面(图7)被分成了3部分:视频控制区、RFID及无线传感网控制区、服务器连接控制区,这3个控制区域功能相互独立。界面简单操作方便,可以通过LCD触控完成所有操作。

视频控制区能够打开关闭任意一路摄像头,可以对摄像头的参数进行简单的设置,可以选择图像的来源。

RFID及无线传感网控制区的主要功能是设置波特率,端口等基本的串口通信信息。

服务器连接控制区主要是负责连接服务器的,设置端口号以后选择连接就能够使终端连接到服务器。在终端的运行过程中,参数以及图像等信息就能够通过网络传送至服务器。

图7 终端控制界面

2.2.3 客户端软件设计

主操作界面主要组成有整体区域地图、警报颜色提示、警灯提示、警报声提示、系统时间、快捷工具栏、工作人员身份信息显示、监控实时信息显示等几个部分。其中主要部分为整体区域地图、警报颜色提醒两个部分。整体区域地图是导入某大学的地图用来模拟监狱地图,并预先设定几个区域,同时将几个区域的边界的坐标获取存储。在系统工作时,如遇到异常警报,客户端根据终端发送的警报信息,获取警报区域,根据该区域的坐标采用C#语言中的GDI绘图和Timer控件对区域进行周期为2 s的颜色填充、清除。并将服务器发送过来的异常信息在监控信息发布平台窗口显示。同时根据接收到的异常情况自动弹出异常信息窗体,显示对应的异常信息,并更新服务器发送过来的异常信息。

3 图像处理关键技术

3.1 透视变换

现实生活中的景物,由于观察距离及方位不同在视觉上会引起不同的反映,这种现象就是透视现象。透视变换为三维空间中的物体到像平面的投影关系,是图像上点的位置与空间物体表面对应点的几何投影关系,是由成像系统的几何投影模型所决定[7-8]。

图8 客户端软件主操作界面

图9 重投影示意图

透视变换采用中心投影法,投影中心称为视点,投影面置于视点与立体之间,将立体上与视点相连接所得的投影线与投影面的交点即为三维立体上相应点的透视变换结果,透视变换常用于图像的校正,可以反映成像时场景平面与成像平面不平行带来的梯形失真和线性调频现象[8-9]。

摄像机拍摄立体图像时,由于摄像机的俯仰旋转,摄像机的成像面与理想摄像机的成像面存在重投影关系,所以可以使用重投影变换将实际成像面变换为摄像机理想成像面。在透视投影中,将原图像重新投影到另一个成像面上,称为重投影变换,并将映射后得到的图像称为重投影图像。

3.2 基于支持向量机的行为识别及目标分类

人的行为识别和理解是计算机视觉研究领域一个备受关注的前沿方向,由于其在智能监控、人机交互、运动员辅助训练、病人监护、虚拟现实等方面有着广泛的应用前景而成为研究热点。通常涉及到运动检测、目标分类、人的跟踪及行为理解等几个过程。目前行为识别与目标分类的方法很多,有基于神经网络方法,基于动态时间调整DTW方法,基于隐含马尔可夫模型HMMs方法,基于句法技术方法,基于非确定论有限自动机NFA方法,基于状态空间方法等等[10]。

在基于神经网络的方法中,支持向量机SVM由于具有较好的性能在人的行为识别与分类得到了广泛的研究和应用。支持向量机是一种前馈网络的线性机,主要思想是建立一个超平面作为决策曲面,使得两类模式向量分开的间隔最大,支持向量机是结构风险最小化方法的近似实现,在模式分类问题上提供较好的泛化性能。

图10 支持向量机的体系结构

4 系统测试

4.1 行为识别测试

测试目的:测试算法对人行为的类型判断的准确性。

测试内容:对人的不同的行为的类型判断的准确率。

测试次数:每个的7种不同行为各20次,共4人。

测试方法:不同的人员的进行不同的行为演示进行多次测量,对于每一个人,演示7种不同的行为,其中包括多人同时演示。

测试环境:实验室模拟环境、光线柔和、背景稳定。

测试结果:如表1所示。

测试结果分析:通过本项测试发现,在正常情况下程序算法对于走路、坐或蹲着、倒地、攀爬等行为异常能够进行准确的判断,在握手、打架斗殴、人群等行为异常的测试过程中判断准确性相对比较低。

表1 行为识别测试结果

4.2 进出边界事件测试

测试目的:测试人员边界进出异常的捕获的准确性。

测试内容:区域内外进出边界的捕获的准确率。

测试次数:演示人员进出模拟区域边界各50次。

测试方法:演示人员自区域中间走出去与边界直到监控敏感区外,再走进区域,进行多次测量。

测试环境:室外模拟环境、晴朗、环境稳定。

测试结果:如下表2所示。

表2 进出边界事件监测结果

测试结果分析:通过本项测试发现,在正常稳定环境背景下程序算法对于边界进出异常的捕获基本准确。

5 总结

本文提出了一套基于物联网和视频分析技术的罪犯监控系统。该系统综合利用物联网技术将各个子系统有机地形成一个网络整体,避免信息孤岛的出现。

另外通过智能视频分析技术的应用解决了传统视频监控系统所一些固有的缺陷,通过实验验证了所提出的的透视变换及SVM的行为识别及目标分类方法的有效性和可靠性,通过上述方法的应用,可以有效监控罪犯行为,将监控人员从“紧盯屏幕”的低级监控模式中解放出来,提高监控有效性,有助于进一步加强监狱内部正规管理、保障监狱持续安全稳定,应对各类突发事件。因此本系统对维护社会和谐稳定、促进经济平稳较快发展有着非常重要的社会意义和应用价值[11]。

[1]王玉夫. 监狱数字视频监控报警系统概述[J]. 中国公共安全,2009(8):52-58.

[2]张伯虎,杨金柱,陈建莉. 智能视频监控系统分析与应用[J]. 安防科技,2006(11):68-73.

[3]李鑫. 监狱的智能化安防系统[J]. 智能建筑与城市信息,2008(4):34-38.

[4]张华林,黄以平. 基于嵌入式的Internet远程监控系统[J]. 计算机系统应用,2009(8):49-52.

[5]杨君,詹林. 基于ZigBee无线传感网络的井下定位系统[J]. 计算机与现代化,2013(9):132-136.

[6]王志伟,钱承山,李俊,等. 基于无线传感网络的智能移动监控系统设计[J]. 电子器件,2013(6):25-29.

[7]宋利利. 基于嵌入式系统的图像采集和预处理装置设计[J]. 哈尔滨理工大学学报,2010(3):42-47.

[8]王彪,王成儒,王芬芬. 固定场景下的多目标运动检测与跟踪[J]. 计算机工程与设计,2008,10(8):178-182.

[9]牛彦. 关于透视变换的研究[J]. 计算机辅助设计与图像学报,2001,8(6):550-552.

[10]叶世伟,史忠植. 神经网络原理[M]. 北京:机械工业出版社,2004:199-242.

[11]张俊芳. 智能视频监控技术在监狱中的应用[J]. 价值工程,2010,35:97-103.

奚吉(1977-),男,汉族,江苏常州人,东南大学博士,河海大学讲师,主要研究方向为智能信号处理等,xijie952611@gmail.com;

蒋银忠(1969-),男,工学硕士,东南大学动力工程及工程热物理专业毕业,研究方向为热能动力工程及物联网技术等,jiangyinzhong@jsgx.net。

ASmartMonitoringSystemBasedonInternetofThingsandVideoAnalysisTechnologyforPrison*

XIJi1,JIANGYinzhong2*

(1.School of Computer Information and Engineering,Changzhou Institute of Technology,Changzhou Jiangsu 213002,China;2.Jiangsu Provincial Investment and Management Corp.,Nanjing 210005,China)

An intelligent monitoring system is presented based on the prison IOT and video analysis technology. The system mainly consists of the monitoring terminal subsystem based on embedded platform,positioning monitoring subsystem which is based on the activities of prisoners networking technology. Video analysis technology is used for intelligent behavior monitoring of prisoners. Experimental results show that,the proposed perspective transformation and SVM classification method can effectively monitor the behavior of the prisoners,which free the monitors from the low-level monitoring mode and can improve the efficiency of monitoring to achieve the best combination of "air defense,anti-technology,anti-matter".

internet of things;video analysis;recognition;motion detection;RFID;ZIGBEE

项目来源:国家自然科学基金项目(61273266)

2014-04-08修改日期:2014-05-02

TP273

:A

:1005-9490(2014)06-1183-06

10.3969/j.issn.1005-9490.2014.06.035