周界视频监控中抛物检测算法

何亮明，胡茂林，刘海涛

(1. 中国科学院上海微系统与信息技术研究所，上海 200050；2. 无锡物联网产业研究院，无锡 214135)

周界视频监控中抛物检测算法

何亮明1,2，胡茂林1,2，刘海涛1,2

(1. 中国科学院上海微系统与信息技术研究所，上海 200050；2. 无锡物联网产业研究院，无锡 214135)

抛物(如手雷与炸弹等)一般是快速运动的小目标，信噪比极低，通常的目标检测算法失效.针对周界视频监控的特殊应用需求，提出抛物检测与识别算法.首先使用相隔 8帧做差法，检测每帧图像中的抛物目标；然后利用改进型 Hough变换从运动能量图像中提取目标轨迹的形状特征，通过分析运动历史图像的时间标签，获取目标的运动特征；最后使用树形分类器识别抛物.该算法避免了“先跟踪后识别”算法中的目标匹配过程，极大减少了计算量，而且在噪声环境中，具有很强的鲁棒性.实验结果表明，对于CIF格式的视频，在60 m范围内对包括网球在内的抛物，该算法检测率超过92%.

智能视频分析；抛物检测；运动能量图；运动历史图；特征提取

智能视频分析是新一代视频监控的关键技术，它利用机器视觉、图像处理与模式识别等相关技术，通过对监控现场获得的视频数据进行实时深层理解，自动检测场景中的异常事件与报警.该技术一经出现即受到广泛关注，目前国外已初步实现不少实用功能，如移动侦测、异常行为预测、越界报警等[1-3].不同的应用场合对视频监控有不同的需求，所以视频分析算法应针对各自应用量身定制.笔者针对周界监控首次提出抛物检测算法，典型应用包括机场与军事禁区等设施的防入侵以及大型建筑中的财产保护.

抛物是指从周界一侧抛向监测区域另一侧的物体.它是传送违禁物品与制造恐怖事件的常用方法，其检测是安防的重要工作.抛物(如手雷、炸弹)外形较小，而且发生地往往离摄像机较远，导致目标像素面积非常小(如 2×3)，不适合使用平滑等滤波.由于目标信噪比过低，通常的运动目标检测算法失效.笔者利用抛物目标的运动特性，通过运动能量图 (motion energy image，MEI)生成抛物目标的运动轨迹；同时使用运动历史图 (motion history image，MHI)，提取抛物目标的运动信息.算法综合利用抛物轨迹的形状特性与运动特征，设计树形分类器实现快速检测与报警.

1 问题提出与分析

随着2008年北京奥运会的圆满落幕，人们开始把目光转向2010年上海世博会.世博会举办地位于上海南浦大桥和卢浦大桥之间，沿黄浦江两岸布局.园区规划用地5.28 km2，周界超过20 km，布置钢丝围栏.为了确保世博举办期间的安全，需要对围栏进行全天候的视频监控.应用方要求，除了具备攀爬围栏与跨界报警等常见功能外，视频监控系统还必须能够识别抛向围栏的目标.这主要是为了防止恐怖人员从围栏外侧向园区内的同伙抛送凶器，如刀械、枪支等；同时也可以对恐怖分子从外侧向围栏内抛入的手雷、定时炸弹等杀伤性武器进行实时检测与报警.

周界监控中的抛物检测是一个全新的命题，目前鲜有报道.笔者结合世博智能视频监控项目，详细分析抛物目标特点.

(1) 场景复杂，背景建模与更新困难.监控区域处于室外，光照变化明显；围栏附近往往分布了绿化带，有大量乔木与植被；部分围栏处于黄浦江岸，水波处理棘手；钢丝组成的围栏产生大量位移噪声.上述原因导致背景运动明显，建模与更新机制设计复杂.

(2) 抛物目标往往非常小，属于微小目标.每个固定摄像机监控范围达 60,m，抛物目标在视频中像素面积极其小.以实验中的网球为例，50,m 之处，仅为 3～6像素.对于这种微小目标，不适合使用形态学滤波等去噪手段，导致目标淹没于大量干扰信号中.

(3) 抛物的运动特性.抛物目标的运动轨迹投影到图像平面后，类似一条横向的抛物线，而且运动轨迹受景深影响较小，有利于目标的识别.

(4) 实时性要求高.世博会参与人数众多，安全性极其紧迫，要求智能视频系统提供实时报警.

2 抛物检测算法

2.1 算法概述

微小目标检测在红外与雷达探测中应用广泛，但是在智能视频监控领域尚不多见.传统算法大多属于 DBT(detection before track)，首先通过目标分割，从每帧图像中提取候选目标，然后使用目标特征匹配技术实现跟踪.目前的检测算法对微小目标效果并不理想.文献[4-5]实现了对比赛中足球的检测与跟踪，但是它们使用了目标与背景特定的颜色约束或者目标和特定参照物(运动员)的固定映射关系.该算法缺乏普适性，无法推广到周界视频监控领域.传统跟踪算法中目标检测与跟踪互相独立，具有很大的局限性.因此，不少研究者尝试目标检测与跟踪相结合，利用反馈信息提高各自部分精度.文献[6]利用当前帧的跟踪结果为下一帧的目标检测训练一个分类器，该算法可以在一定程度上改进目标检测效果，但是分类器设计困难，计算量大.最近几十年许多学者提出使用 TBD(track before detection)实现对小目标的检测.首先使用比较低的分割阈值提取候选目标，然后通过传统的跟踪算法，对所有的候选目标进行跟踪，依据目标运动的连续性特征进行判决.这种方法结合图像平面域的弱分类器和时间域的强分类器，实现微弱目标的检测，在红外与雷达检测中得到了广泛应用[7-9].但是为了保留微弱信号，空间域的分类器会产生大量干扰信号，导致跟踪时目标匹配困难，容易丢失，产生漏报.为了克服上述方法的不足，笔者引入运动能量图直接生成目标的运动轨迹，避免了跟踪过程中大量候选目标的匹配问题，极大降低了计算量；结合目标轨迹的外接矩形长宽比、占有率、离散度与方向一致性等形状特征，实现初步判断.

目标的运动能量图像是三维空间运动目标路径在图像平面上的投影，丢失了目标运动的时间信息.即使信号在三维空间上不相连，也可能在能量图中融合成一条运动路径，产生很大的干扰.为了解决这个问题，使用运动历史图像获得目标轨迹完整时间信息.经过分析与实验，发现运动历史图像中目标的时间标签包含所有时间标签值，而且在横轴方向上投影，其时间标签排列至多有一个逆序.从统计上看，目标运动历史图像中的各个时间标签分布非常均一，使用香浓的信息熵来描述这一特征.结合目标运动与形状特征，可以消除绝大部分背景运动产生的干扰信号，极大提高抛物检测的整体性能.

综上所述，抛物检测算法如图 1所示.首先利用帧差法检测每帧视频中的抛物目标，预处理后依次生成运动能量图像与运动历史图像，然后利用改进型Hough变换提取运动能量图像中的形状特征，通过分析运动历史图像中时间标签提取运动特性，最后使用树形分类器进行检测.

图1 算法示意Fig.1 Block diagram of algorithm

2.2 算法分析

2.2.1 特征的加强

利用帧差法检测每帧图像中的抛物目标.若以I(x，y，t)表示视频序列，D(x，y，t)表示差分图像，假设做差帧间隔为n，则

MEI与 MHI由 Davis和 Bobick正式提出[10-12]，在人体行为识别中得到了广泛的运用，但是利用运动历史图像进行目标检测鲜见报道.根据文献[5]，运动能量图像MEI与MHI分别定义为

式中 T为运动持续时间，T＝n.显而易见，运动历史图像是灰度图，亮度值与运动的顺序相关；而运动能量图像是运动历史图像的二值化结果，前景点为目标经过的地方.图 2为当 n＝8时的运动历史图像(球形代表抛物，圆内数字为亮度，即时间标签值).

抛物目标横向运动速度较大，D(x，y，t)中一般同时包含第t帧与第t-n帧中抛物目标.如果对每n帧图像生成的运动能量图像做一次判断，则轨迹不仅包含第t帧到第t+n帧的抛物，同时也包括第t-n帧到第 t-1帧的抛物目标.也就是说每段目标轨迹包含2n帧的目标信息.对于背景随机噪声，假设视频中每帧图像的噪声相互独立，则在运动能量图像中，噪声的面积没有变大，只是数量增加.因此可以认为，目标的信噪比增强到原有的2n倍.不过当n设置过大时，背景运动产生的干扰信号很容易产生误报，这里选择 n＝8.图 3(a)中，抛物目标信号非常微弱，完全被背景噪声与其他运动目标淹没.图 3(b)中通过运动能量图像，抛物目标的信号得到明显的加强.图 4将MEI与MHI进行了比较.

图2 抛物目标的运动图像Fig.2 Schematic diagram of motion of throwing object

图3 MEI对信噪比的提升Fig.3 Improvement in SNR by MEI

图4 抛物目标的MEI与MHI的比较Fig.4 Comparison between MEI and MHI of throwing object

2.2.2 特征的提取

分类性能关键在于目标特征的提取与分类器的设计.目前视频处理中主要有以下 3类目标分类方法：基于目标形状信息、基于目标运动特性与混合型的分类.文献[8-9]使用外接矩形长度、宽度、长宽比、占有率、离散度、面积、质心、惯性主轴方向、Hu不变矩等特征，实现对人、车等大型目标的分类.本文选取目标轨迹的目标面积、外接矩形信息、占有率、离散度与一致性等形状特征，从运动轨迹中提取候选目标.

连通域的外接矩形是指覆盖目标区域的最小矩形，令其长为a像素，宽(高)为b像素，则外接矩形面积 sf＝a×b，长宽比为 P＝a/b.占有率 r定义为目标面积sc与外接矩形面积sf的比值，r＝sc/sf.离散度D定义为目标面积与轮廓周长平方的比值.抛物轨迹P较大，占有率偏低，离散度适中.

引入 Hough变换来提取抛物轨迹抛物线这一特征.Hough变换可以把图像平面的各个点以一对多的方式映射到参数空间，但是直接使用 Hough变换提取具有 3个参数的抛物线运算量过大.事实上抛物检测只需判断有没有符合的抛物线，并不需要计算曲线的确切参数.

若图像平面点(x，y)，Hough变换的直线参数空间 (k，b′) ，则 y = k x + b ′.等 式 两 边 求 导 得 ：dy/dx=k.由此可知，如果使用曲线的导数作为Hough变换的输入，则参数空间维度可以降低，同时变换结果为多条平行线的综合效果，更能反映具有一定线宽的抛物轨迹特性.为此提出一种改进型的Hough变换，其输入不是传统算法的边缘点集，而是所有目标点的横轴偏导数；变换的输出也不是传统变换的曲线参数，而是运动轨迹为抛物线的概率.

令 O(x，y)为 MEI图像中一个连通区域的候选目标像素点，Y为 y轴坐标值提取操作符，目标点的导数定义为

式中m为轨迹中前一列的目标像素数量. 由于m一般大于 1，所以每个点 O(x，y)的偏导数 R为多个值.修改后的Hough变换参数空间为一维R，实现简单，计算速度快.首先为每一个偏导数值(一般由-10到 10)的计数器清零；然后从上到下，由左至右扫描连通的目标轨迹图像，每一个目标像素依据式(4)计算其偏导数，对应导数的计数器增一；最后选择计数器中的最大值 max R，轨迹的一致性特征参数 C＝max R/sc.

当视频图像噪声大时，仅仅依靠 MEI轨迹的形状特征，容易产生误报.结合运动历史图像，通过提取抛物目标的运动信息来提高分类效果.实验中发现，抛物轨迹的运动历史图像在中间会出现一个峰值，在峰值两侧，像素值按照递增或者递减的顺序排列，见图 2.如果抛物是由左向右运动，则从左到右看，先由 1到 8依次递增，到达峰值后下降到某一值后，继续递增.当抛物由右向左运动，则相反.但是不管抛物运动方向如何，整段轨迹中都包含所有时间标签值，而且标签排列中只有一个逆序，见图 5.同时由于目标的连续性，运动历史图像中各个时间标签的像素面积基本一致.令 Ti为时间标签 i出现的次数，pi为时间标签 i的频率，引入香农熵定义，得式(5)与式(6).抛物目标的 Een接近为 Iin(n)，而由众多噪声融合成的干扰路径Een值较低.

树型分类器无需训练样本，实现简单、速度快，适合抛物检测.由于周界监控中目标景深差别很大，同样的目标在不同的区域，其大小变化巨大.依据视野景深把监控区域分为上下两部分，各种特征阈值在不同部分不同.各特征按照其计算的复杂度从小到大排序，树形分类器根据该顺序依次进行多级阈值判决.这样既达到了所需的分类精度，又减少了总体计算量.具体地说，首先根据目标面积、外接矩形信息、占有率和离散度等特征进行判断，如果条件满足，则进一步计算与比较一致性 C、标签逆序数和均一度Een等特征参数.

图5 MHI的时间标签分布Fig.5 Arrangement of timestamp in MHI

3 实验结果与分析

为了验证算法的有效性，建立围栏模拟世博现场.摄像机帧频为 25,f/s，图像分辨率 355×288.图6(a)是实验场景，图 6(b)为运动能量图像，图 6(c)为识别的抛物轨迹.抛物目标包括足球、小皮球、网球与砖头.各种目标沿着围栏每隔 5,m做 10次实验，共 580次.实验结果显示在 60 m范围内，足球检测率达到 99%，网球检测率超过 92%，其他类型目标介于两者之间；各种类型目标综合漏报率低于 3%，误报率低于5%.其中误报率为错误报警的比例，包括漏报和虚报.实验表明，该算法对不同大小与颜色的目标具有很好的鲁棒性.算法以 VC实现，在因特尔双核处理器 E8400,@,3.00 GHz,2 G内存的台式机上运行，平均每秒可以处理60帧，完全满足实时性要求.

实验中发现，当抛物在摄像头附近快速运动时，其轨迹可能并不连续，算法可能失效.然而此时抛物目标像素面积变大，可以结合常规的 TBD法进行识别.为了测试抛物检测算法在背景噪声严重情形下的性能，选择了另一个复杂场景.该场景是两座楼宇间的空地，内有大量绿化灌木、人流、车流量大.结果显示，该算法在树叶、光照干扰严重的情形下，仍然可以有效识别抛物，显示了极强的鲁棒性，如图 7所示.

图6 抛物识别Fig.6 Process of detection of throwing object

图7 抗噪性能Fig.7 Performance in noisy environment

4 结 语

针对周界视频监控提出抛物检测算法.该算法充分利用抛物的运动特性，通过运动能量图像与运动历史图像来识别目标，对噪声具有很强的抵御能力.抛物检测算法不仅为智能视频分析增添了新的功能模块，具有重要的实用价值；而且算法中 MEI与MHI相结合的策略，也为视频处理其他应用中的微小目标检测开拓了新思路，具有一定的理论意义.

［1］Zhang Chaoyang，Pan Baochang，Zheng Shenglin，et al.Motion object detection of video based on principal component analysis[C]//Proceedings of the Seventh International Conference on Machine Learning and Cybernetics.Kunming，China，2008：2938-2943.

［2］Haritaoglu I，Harwood D，Davis L S. W4：Real-time surveillance of people and their activities[J].IEEE Trans Pattern Analysis and Machine Intelligence，2000，22(8)：809-830.

［3］Duarte Duque，Henrique Santos，Paulo Cortez. Prediction of abnormal behaviors for intelligent video surveillance systems[C]//Proceedings of the2007IEEE Symposium on Computational Intelligence and Data Mining. Honolulu，USA，2007：362-367.

［4］Huang Yu，Joan Llach，Zhang Chao. A method of small object detection and tracking based on particle filters[C]//International Conference on Pattern Recognition. Tampa，USA，2008：1-4.

［5］Yoshinori Ohno，Jun Miura，Yoshiaki Shirai. Tracking players and estimation of the 3D position of a ball in soccer games[C]//International Conference on Pattern Recognition. Barcelona，Spain，2000：1145-1149.

［6］Shai Avidan. Ensemble tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2007，29(2)：261-271.

［7］Buzzi S，Lops M，Venturino L. Track-before-detect procedures for early detection of moving target from airborne radars[J].IEEE Transactions on Aerospace and Electronic Systems，2005，41(3)：937-954.

［8］Bluestein S D，Huang T S. Detecting small moving objects in image sequences using sequential hypothesis testing[J].IEEE Trans on Signal Processing，1991，39(7)：1611-1629.

［9］Buzzi S，Lops M，Venturino L. Performance analysis of a dynamic programming track before detect algorithm[J].IEEE Trans on AES，2002，38(1)：228-242.

［10］Bobick A，Davis J. An appearance-based representation of action[C]//International Conference on Pattern Recognition.Vienna，Austria，1996：307-312.

［11］Bobick A F，Davis J W. The recognition of human movement using temporal templates[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2001，23(3)：257-267.

［12］Ogata T，Tan J K，Ishikawa S. High-speed human motion recognition based on a motion history image and an eigenspace[J].IEICE Transactions on Information and Systems，2006，89(D(1))：281-289.

Algorithm on Throwing Object Detection for Perimeter Video Surveillance

HE Liang-ming1,2，HU Mao-lin1,2，LIU Hai-tao1,2
(1. Shanghai Institute of Micro System and Information Technology，Chinese Academy of Sciences，Shanghai 200050，China；2. Wuxi SensingNet Industrialization Research Institute，Wuxi 214135，China)

A algorithm to detect throwing object has been suggested to meet the specific requirements of perimeter video surveillance. Objects thrown by intruders are often fast and small with very low SNR，such as the hand grenade and bomb, which are hardly detected by traditional methods. In this algorithm, firstly, images were differenced with eight frame intervals to detect object in each image. Secondly, motion energy image and motion history image were calculated to extract shape features with the help of modified Hough transformation and motion features by analyzing timestamp arrangement. Finally, a tree classifier was designed to recognize throwing objects. This algorithm avoids object matching process in the classic technique “track before detection”, therefore reduces much computation and becomes very robust in noisy environment. Experimental results show its good performance with a recognition rate of over 92% with CIF image in the range of 60 m.

intelligent video analysis；throwing object detection；motion energy image；motion history image；feature extraction

TP391.4

A

0493-2137(2011)03-0242-06

2009-11-27；

2010-05-13.

国家科技支撑计划上海世博科技专项基金资助项目(O74GQA1001)；新泰基金资助项目(084YQB1001).

何亮明（1984— ），男，博士研究生，hlmdyx1984@126.com.

胡茂林，hml@mail.sim.ac.cn.