智能视频监控终端在物联网中的应用和发展研究

朱 方，吴 莉，陈飞凌，袁卫忠

(南京南自信息技术公司，南京 210012)

0 引言

“物联网”[1]被认为继计算机、互联网之后，世界信息产业的第三次浪潮，其价值在于让物体也拥有了“智慧”。“物联网”(Internet of Things)也叫传感网，是指将各种信息传感设备，如，射频识别(RFID)装置、红外感应器、全球定位系统、激光扫描器等装置与各种无线通信技术相结合，与互联网进行深入广泛的融合，从而实现物与物、人与物的大规模互联。根据现阶段物联网的主要表现形式和发展趋势，物联网技术的发展应用可分为三个阶段。第一阶段就是对现有监控技术手段的应用(如，视频监控、基于组态软件的生产状态监控等);第二阶段就是对M2M的深度应用阶段(如，门禁卡、条码扫描、手机钱包和购物等);第三阶段就是智能化的物联网阶段(如，智慧城市)。

智能物联网就是对接入物联网的物品设备产生的信息能够实现自动识别和处理判断，并能将处理结果反馈给接入的物品设备，同时能根据处理结果对物品设备进行某种操作指令的下达，使接入的物品设备作出某种动作响应，而整个处理过程无需人类的参与。物联网是以实现智能化识别、定位、跟踪、监控和管理的一种网络定义，核心技术是智慧、智能化的数据处理，也就是说物联网的核心是智能化的信息处理及应用，而不仅仅是接入的传感器、网络传输，或者是哪个行业的应用。要实现物联网智能化，就必须让人工智能成为物联网的大脑，智能化物联网中必要的构成要素为智能化感知终端、传输网络和具有人工智能的数据处理服务器。

目前物联网基本被分为三个层次，即物联网感知层、物联网网络层和物联网应用层。而物联网终端是物联网中连接感知层和网络层，基本由外围感知(传感)接口，中央处理模块和外部通讯接口三个部分组成，实现采集数据及向网络层发送数据的设备。由于物联网的应用范围广泛，涉及的终端种类繁多，本文将仅覆盖安防领域的智能视频监控终端。

1 智能的视频监控终端的发展

1.1 视频监控系统的发展历史

监控系统的发展大致经历了三个阶段，人工现场监控(如保安巡逻)、人工视频监控和智能视频监控。而视频监控系统[2]的发展，从功能特点来看前面已经历如下几个阶段的发展:(1)第一代模拟视频监控系统(CCTV);(2)第二代数字视频监控系统(DVR);(3)第三代完全基于IP网络视频监控系统(IPVS)。

智能视频监控(IVS，intelligent video surveillance)技术[2]将计算机视觉中的相关技术引入到视频监控中，发展出新型的视频监控技术——智能视频监控具有极其重要的战略意义，该技术提取数字化、网络化视频源中的关键信息，充分利用智能视频分析手段将被动监控转变为主动监控(自动检测、识别和跟踪并联动报警系统)，真正做到24小时全天候监控，由于其直观、方便、信息内容丰富而成为安防监控的发展方向。同时，由前端的高清智能网络摄像机实时地进行检测和智能处理，即基于压缩前的高品质图像进行实时处理，因而效率更高、实时性更好、准确性更高。而且前端智能处理对之后的视频传输、存储和显示并不会产生影响。

最近几年，物联网的迅猛发展，赋予了视频监控系统更多的智能特性，摄像机和/或视频监控系统平台已集成智能视频分析功能。同时，视频监控融入了更大的物联网应用平台，并与其他各种应用有机配合、无缝衔接，如，“智慧城市”等。

1.2 监控系统视频质量的提升

从视频监控的另一个维度即视频质量来看，则经历了从低质量低分辨率到高质量高分辨率的发展历程。早期因计算机技术、集成电路技术和编解码压缩技术等的限制，视频的画质一般只有CIF(352×288)，最差的甚至为QCIF(176×144)，逐步发展到Half D1(704×288)、D1(704×576)，在当前阶段，高清网络摄像机已成为一种必然趋势而获得较多部署。按照图像分辨率划分，市面上的高清网络摄像机已经发展到了300万、400万和500万像素。许多厂家都已推出自己的高清网络摄像机，例如MOBOTIX的300万像素高清网络摄像机、松下的WVNP502CH第五代超级动态300万像素网络摄像机、索尼在2009年推出720P高清快球和半球之后又将于2010年推出10余款“IPELA”系列1080P/720P新型高清网络摄像机和三星安防的SNC-M300300万像素网络摄像机等。

2 物联网对智能视频监控的发展的需求

2.1 视频监控的智能化是物联网应用的必然要求

如果把摄像机看作人的眼睛，而智能视频系统或设备则可以看作人的大脑，视频监控就是物联网的感知环节少不了的“眼睛”。然而，监控探头拥有数量和监控数据存储量非常巨大，随之而来的问题是如果完全依靠人工分析和监控，会存在效率低下、识别率不高及存储困难等问题，常常不能实时发现突发事故的发生情况。随着国内“平安城市、和谐社会”的迫切需要，城市安防“3111”工程建设的进一步发展，数以万计的摄像监控设备在同时工作，如此庞大的监视系统，需要成千上万的人紧盯着屏幕。仅依靠视频监控中的人眼检测，即使是专业操作人员也难以构成真正有效的安全系统。智能视频技术能够在图像及图像描述之间建立映射关系，从而使计算能够通过数字图像处理和分析来理解视频画面中的内容。视频监控中所提到的智能视频技术主要是指:“自动的分析和抽取视频源中的关键信息。”随着物联网的逐步推广，以及人们对智能化的强烈要求，智能视频监控迎来巨大的发展机遇，物联网必将对视频监控产生深刻影响，包括其理念、技术、形态和效果。视频监控的智能化给计算机视觉在公共安全领域中应用提供了广阔的前景，是物联网应用的必然要求[3]。

一般智能化视频监控系统的拓扑结构图[4]，如图1所示。

从图中可以看出智能视频监控系统通常包括图像采集、视频图像处理、数据通信、决策报警及传感器控制与伺服系统等主要部分。其工作原理可以概括为:图像采集模块通过摄像机捕获监视场景的图像，经A/D转换输出数字图像，为视频图像处理提供数据。

2.2 物联网推动智能监控系统的发展

物联网的发展推动了智能监控系统的发展，如平安城市的联网监控，是将原本各个区域和楼宇分散的监控资源整合成一个地域范围的—体化监控资源，然后再将城域的资源整合成一个广域的资源。在物联网的前提下，信息可以传送和集中的价值并不仅仅是跨越空间距离获取信息，更关键的是在这个基础上可以扩展各种各样的智能分析应用。这正是物联网之于监控联网的最大好处。

当然，物联网的发展也对智能视频监控系统提出了更多更高的要求，它不仅要求智能视频监控系统提高智能视频分析技术，还对网络的互联、视频的传输技术以及前端设备(摄像机)提出了高要求。对智能前端设备(摄像机)提出的要求，经分析主要包括以下几点。

(1)提供高清画面:更好的图像质量有利于图像的后处理;高分辨率提供了更多的图像细节更高质量的画面和更好的图像分析。国际上三星、SONY、MOBOTIX等都纷纷推出了高清摄像机，其中德国MOBOTIX是最先推出高清摄像机的，像素可以达到320万(分辨率高达2048×1536)。而且MOBOTIX一个超级广角摄像机可以覆盖整个房间，减少了监控时候所需的摄像机个数从而显著降低了系统成本。

(2)集成智能分析功能:对于摄像机能自带智能视频分析功能，NI、SONY、霍尼韦尔、松下和MOBOTIX等公司的产品占据了很大的市场。以高分辨率视频系统市场占有率领先的德国MOBOTIX为例，在智能化方面MOBOTIX强调“事件”(亦称“警情”)，MOBOTIX提供了20多种丰富事件应用，且用户可以自由定义事件的许多属性，如，移动侦测。相比传统模拟摄像机，MOBOTIX摄像机不仅能判断在设定的区域内图像前后帧是否发生了改变，还能确定图像变化的面积和前后帧像素亮度变化的范围，同时还有一个参考区域，可以大大防止误报警。

(3)自主独立工作能力，支持分布式:不管模拟CCTV还是模/数结合的CCTV系统，都有系统中心的概念。而物联网对智能视频监控系统的系统中心提出了更好的要求，此时便需要能独立工作的智能终端，无需集中式控制中心来控制和协调。同样以MOBOTIX为例，MOBOTIX的摄像机其本身就是一个装有Linux系统的高级计算机PC，在IP网络上，如同Internet上的一台主机，完全没有主从的概念，在网络上和其他设备，如，存储服务器、管理机、浏览器处于完全平等地位，只有使用权限的差别，没有地域、时间上的差别。无中心的结果，就使得图像的存储可以分布式放到网络上任何的PC或服务器上。多个MOBOTIX摄像机能自组织，自成体系，无限扩展。

(4)高集成度:除了图像信息之外，视频监控系统仍需保持和深化一些模拟量分析功能。MOBOTIX集成了用于侦测警情的各种传感器的接口:被动红外侦测、图像移动侦测、声音侦测、亮度变化检测、环境温度变化检测和开关量检测等;同时，它也集成了多个告警功能:自带喇叭、LED灯指示、开关量输出和外接大功率喇叭。

(5)对互联网和移动互联网的支持:物联网需要每个智能前端都能将信息反映到网络中，必然对互联的网络提出了高要求，最好能提供多样的通信方式，方便各个摄像机的接入。如MOBOTIX可以提供有线、无线、3G、SIP等多种通信方式，能够呼叫通信设备，手机通过浏览器也能察看，方便用户接入。

(6)分布式存储:物联网将物物相连，大量数据信息，给实时网络通信及存储带来了难题。这便要求摄像机能实现分布式存储，不再需要保持与PC或者服务器的实时可靠连接，自行管理存储。MOBOTIX摄像机内部自带存储，采用Flash或者SD卡存储，在网络中断或者堵塞时提供数据存储，保障系统稳定可靠运行。可不再需要PC或者DVR;带有内部的视频存储环管理缓冲和数据管理;可以不再需要存储和视频管理软件，将本地存储与远端存储相结合，也不增加网络负担。

(7)可用性:物联网由于其所支持的行业应用众多、使用环境复杂难测及覆盖地理范围广泛，要求终端具备优秀的硬件品质，以满足物联网长期可靠使用的需要。德国的MOBOTIX摄像机为一体成型，无零散部件，不包括任何转动部件，整个系统故障点少，且高强度防暴，可被认为免维护系统，适用于全天候全地理位置使用。摄像机采用稳定的Linux系统内核，且操作系统固化在芯片之中，不易受目前网络中爆发病毒的侵害。

(8)软件部分:能提供契合行业应用功能需求的软件。MOBOTIX有许多软件报警功能:通知下一个摄像机联动、发图像给巡逻人、大画面弹出、拨打IP电话和发E-mail等，且能够提供结合行业和多用户需求的完备、联动方案。

作为智能前端设备，这些高清晰度的智能摄像机将使监控系统更上一层楼。就国内来说，随着近十年的学习进步，出现了一批视频监控产品提供商，在这个领域持续投入并做出了很大的贡献。

3 智能视频监控系统的关键技术

3.1 视频监控智能化的实现

视频监控智能化的实现主要两种方式:一是离线智能分析，即在前端设备(摄像机、智能分析服务器等)中加入智能视频分析技术;二是在线智能分析，即通过PC在平台系统软件中实现智能分析。

视频智能分析技术即是对场景的视频图像进行分析、处理，具体的处理过程[4]，如图2所示，主要包括:对视频流中的运动目标检测;对检测出的目标分类识别，通过传感器控制与伺服系统对云台或摄像机等进行反馈控制实现对运动目标的自动跟踪;对运动目标的行为进行分析理解，由决策报警模块根据视频图像处理的结果和预定的报警规则，完成启动报警的判断与决策，在报警的同时实现对运动目标的录像。系统中视频图像数据的传输和控制及反馈信号的通信由数据通信模块完成。

3.2 智能视频监控技术的主要应用

智能视频技术目前已在如下的几个地方得到应用，典型应用示意图，如图3所示。

图2 智能视频监控系统的流程图

(1)移动侦测:在复杂的天气环境中精确地侦测和识别单个物体或多个物体的运动情况，包括运动方向、运动特征等。

(2)物体追踪:侦测到移动物体之后，根据物体的运动情况，自动发送控制指令，使摄像机能够自动跟踪物体，在物体超出该摄像机监控范围之后，自动通知物体所在区域的摄像机继续进行追踪。

(3)人物面部识别:自动识别人物的脸部特征，并通过与数据库档案进行比较来识别或验证人物的身份。

(4)人数统计:统计穿越入口或指定区域的人或物体的数量。例如，为业主计算某天光顾其店铺的顾客数量。

(5)人群控制:识别人群的整体运动特征，包括速度、方向等，用以避免形成拥塞，或者及时发现异常情况。典型的应用场景包括超级市场、火车站等人员聚集的地方。

(6)注意力控制:统计人们在某物体前面停留的时间，可用来评估新产品或新促销策略的吸引力，也可用来计算为顾客提供服务所用的时间。

(7)交通流量控制:用于在高速公路或环线公路上监视交通情况，例如，统计通过的车数、平均车速、是否有非法停靠、是否有故障车辆等。

(8)人员聚集检测:检测在指定区域内的人员密度是否大于阈值，阈值由用户设定，检测区域设置多样化，如防区形状和数量。

(9)徘徊检测:检测是否有目标在指定区域内滞留超过设定时间，检测时间长度由用户设定，警戒区域设置多样化，自动检测防区内滞留超过所设定时间的入侵者。

图3 智能视频监控系统的典型应用

3.3 智能视频分析技术的基础

从图2可以看出，智能视频分析技术主要包括运动目标的检测与提取、运动目标的跟踪、目标的识别及行为理解等几个关键部分。其中，运动目标检测是指将目标物体所在区域从视频序列的图像中分离出来。它是智能视频监控中视频处理的第一步，后续工作中的运动目标提取以及运动目标的跟踪和行为理解都是在正确检测识别目标物体的基础上进行的。因而，运动检测算法对后续处理都具有非常重要的意义。

常用的运动目标检测方法主要有三种:光流法、帧间差分法和背景减法。(1)光流法，采用运动目标随时间变化的光流特性，通过计算图像序列的光流场提取运动目标，计算复杂、耗时，难以满足实时性检测;(2)帧间差分法，通过比较相邻两帧图像灰度值的不同，来提取运动的目标，计算简单，对运动变化区域敏感，但是检测出的物体在运动方向上被拉伸，运动目标位置不精确，部分运动目标信息被去除，不能完整地提取运动目标;(3)背景减法，是将当前帧图像和背景帧图像相减，若某点像素差值大于某一阈值，则判定为出现在运动目标上的点，相减的结果直接给出了目标的位置、大小和形状等信息，主要涉及背景估计和更新，定位精确，但对光照和环境变化敏感。

除此之外，目前研究的还有基于统计学的运动检测方法等，或者是以上任意两种方法的结合。如，文献[5]在结合帧差和背景差的基础上加入snake模型求取运动目标的轮廓;文献[6]将时间帧差和背景减法想结合，并加入动态阈值方法。然而，两种或三种方法的结合必然会增加方法的复杂度，对应的计算时间必然会延长。文献[7]提出的是一种新的运动检测方法，该方法将帧间差分、多尺度边缘检测、双阈值法获取自适应阈值相结合，计算时间仅为经典混合高斯的1/3，能够满足DSP开发的硬件设备的需求，且受光照变化的影响也较小。

4 结语

根据行业咨询报告[8]的分析结果，未来物联网的发展将具有如下一些趋势:(1)物联网将推动商业模式变革;(2)未来物联网将实现大规模普及:自组织、微型化和对外部世界的感知能力等特点，使得“物联网”技术拥有广阔的应用空间;(3)物联网发展将引领电子消费变革:“物联网”将引领电子消费进入一个更便捷、人性化、智能化的新时代。

物联网通过物物相连的庞大网络实现智能交通、智能安防、智能监控、智能物流及家庭电器的智能化控制。智能视频监控作为最早应用物联网的重要技术之一，其发展必将受到物联网的巨大影响。智能视觉监控技术涉及图像处理、图像分析、机器视觉、模式识别和人工智能等众多研究领域，是一个跨

学科的综合问题，也是一个极具挑战性的前沿课题。当前智能视频监控面临的主要困难可概括为两个方面:一是智能监控技术的算法方面，提出一种针对多种场景可行的智能分析算法还有待研究;二是在硬件方面，在算法的实时性提高的同时，必然会提高硬件的需求，同时作为产品还得考虑成本和经济效益的问题。目前，相关的研究尚处于探索研究阶段，要真正实现监控技术的智能化还需要大量的工作。

[1]刘强，崔莉，陈海明.物联网关键技术和应用[J].计算机科学，2010，37(6):1-4.

[2]朱迎春.基于智能视频分析的视频监控系统研究[D].广州:中山大学，2010.

[3]李万才.物联网中智能视频技术的现状与分析[J].警察技术，2010(6):8-10.

[4]宁晓青.智能视频监控系统的研究与应用[D].山西:太原理工大学，2010.

[5]XIAOPING LI，TAO LI，FENG LING，et al.Motion Detection and Target Contour Extraction Based on Monitor System[C].2010 Second International Workshop on Education Technology and Computer Science，2010:113-116.

[6]PENG ZHANG，TIE-YONG CAO，TAO ZHU.A Novel Hybrid Motion Detection Algorithm Based On Dynamic Thresholding Segmentation[C].Communication Technology(ICCT)2010，Nanjing，China，2010:853-857.

[7]FANG ZHU，ZHANGJUN FEI，FEILING CHEN.A Fast and Robust Algorithm of Motion Detection for Distributed Outdoor Surveillance[C].ITME 2011，Guangzhou，China，2011.

[8]中研普华.2010-2015年中国物联网行业投资分析及深度研究咨询报告[R].2010.