智能视频监控系统中的干扰检测及分类

姬贯新 周利莉

（解放军信息工程大学信息工程学院，郑州，450002）

引 言

智能视频监控技术是近些年研究的一个热点，它赋予监控系统观察分析场景内容的能力，使其能够更加智能化，能够在几乎不需要人为干预的情况下对摄像机拍摄的视频序列进行自动分析并做出及时反应。因此，该技术已经广泛应用于社会的各个方面，例如交通、军事边防、机场、银行、视频会议、商业、工业等。一个完整的智能视频监控系统主要包括监控视频获取、图像恢复超分辨率重建、目标检测、目标分类、目标跟踪、视频内容分析理解等流程［1］。随着近些年智能监控系统的广泛应用，人们发现监控系统中出现了大量的干扰，严重影响了监控系统后续流程的监控效果，甚至使整个监控系统失去作用。尤其是在大型监控系统中，摄像机的数目繁多，当一个或多个摄像机出现严重的干扰时很难被及时发现，对于某些关键场所，这些干扰甚至会造成不可挽回的严重损失，如银行、军事基地、交通状况等。因此，如何实时准确地检测出监控系统中的各种干扰并将其分类以便及时处理是目前急需解决的重要问题。

监控系统中的干扰主要来自3方面，一是监控系统中视频本身信号在采集、传输等过程中产生的噪声或监控系统出现故障；二是摄像机所监控场景的客观环境变化如天气、光照等引起的干扰；三是不法分子为了达到一些不可告人的目的而进行的蓄意破坏或干扰。一般来说，常见的干扰类型主要有：被转动、抖动、被遮挡、失焦、亮度异常（过曝光或曝光不足）、偏色、噪声污染等。

目前，干扰检测的主要方法有背景减法和相邻帧差法两种。背景减法利用摄像机监控场景固定的特点，通过检测背景图像是否变化来检测干扰；而相邻帧差法则利用视频中相邻两帧图像的差异变化情况来检测干扰。Ribinck等人［2］提出一种基于长短缓存结构的相邻帧差法，该算法用颜色直方图和边缘直方图度量视频帧间的差异，一定程度上降低了误报率，但计算量较大，实时性一般；王宝君［3］在文献［2］的基础上采用图像的角点特征检测干扰，取得了一定的效果，但计算量仍然较大。Anil［4］利用背景减法和小波变换对遮挡、失焦等干扰类型进行了有效的检测；Saglam［5］在Anil的基础上增加了对转动干扰的检测。徐璐［6］依据干扰发生时背景图像更新的像素比例较高的特性，利用混合高斯模型的背景消除法来检测干扰，取得了较好的效果。

综上所述，目前的检测算法虽然能够较好地检测出干扰，但没有识别出干扰的类型。在实际应用中，人们更期待监控系统能够识别出其类型以便监控系统或工作人员及时做出相应的处理。本文对被遮挡、失焦、亮度异常、偏色、噪声污染等5种干扰分别提出有效的特征，进行分类检测和识别。实验表明，本文算法对5种干扰具有较好的检测和识别效果，且能够满足监控系统实时性的要求。

1 干扰检测

当监控系统不存在干扰时，视频图像的内容变化较小；当出现干扰时，干扰图像的内容变化较大。因此，本文对5种干扰的特点进行分析，有针对性地提取特征，进行分类检测和识别。

1.1 遮挡检测

遮挡干扰一般是由于某些不法分子的刻意破坏而造成的，如在镜头表面覆盖异物等。当监控系统正常时，由于摄像机监控的场景范围较大，图像内容丰富，信息量较大，其灰度级分布范围较广；当发生遮挡干扰时，由于遮挡物覆盖在镜头表面，图像包含内容较少，其动态范围较小，灰度级主要集中在某个值附近，像素间的相关性较强。

图1为正常图像和摄像机被不同物体遮挡的图像。图2为对应的灰度直方图，可以看出：遮挡图像的灰度级比较集中，其峰值与正常图像相比明显增大。图3为对应的灰度图像的差分直方图，可以看出：与正常图像相比，遮挡图像像素间的相关性增强，其灰度图像差分直方图灰度级在0处的值（即峰值）变大。因此，灰度图像直方图和差分直方图的峰值能够较好地检测遮挡干扰。

图1 遮挡图像

设第n帧图像为fn（x，y），其灰度直方图为Hi（fn），0≤i≤32，i为经过量化后的图像灰度级；其4个方向的差分直方图分别为为差分图像的灰度级。由于差分直方图的峰值在0处，因此本文采用式（1）衡量图像的相关性。

图2 遮挡图像灰度直方图

式中，max（Hi（fn））为第n帧灰度直方图的峰值，能够较好地代表图像的主要灰度级，EH（fn）为第n帧灰度图像4个方向差分图像直方图峰值的平均值，较好地表征了图像的相关性。当DHn＞th1时，则判定发生遮挡干扰。

1.2 失焦检测

图3 遮挡图像灰度差分直方图

当监控系统正常时，其采集的视频图像边缘轮廓清晰可辨，高频分量较高。当摄像机发生失焦时，图像会变得比较模糊，高频分量较少。失焦检测换言之为图像清晰度评价。图像清晰度评价函数在自动调焦领域具有较为长久的发展，其应用比较成熟，其主要的评价函数有Tenengrad函数、能量函数、Brenner函数、方差函数、拉普拉斯函数、频谱评价函数、熵评价函数、小波变换评价函数、神经网络评价函数等［7－9］。综合分析各种清晰度评价函数的特点，频谱函数性能较好，对其他干扰敏感度较低，且快速傅里叶变换（Fast Fourier transform，FFT）算法在硬件上的实现保证了算法能够保证满足实时性的要求，因此本文选择频谱函数评价图像的清晰度。

设第n帧图像为fn（x，y），大小为M×N，其傅里叶变换为

式中：μ＝0，1，2，…，M－1；v＝0，1，2，…，N－1。

其高频信息量为

式中：G（μ，v）是高斯低通滤波器，能够将高频分量从图像的频谱中分离出来，HFn是第n帧图像的高频值的总和。

则定义检测失焦干扰的特征为

在实际应用中，为了便于使用FFT算法，提高运算速度，一般取图像中心宽度为M＝N＝128的块作计算，代表图像的高频含量。

当监控视频中出现失焦干扰时，HFn减小，DFn变大。因此，DFn能够较好地表征失焦时图像高频分量的变化情况。当DFn＞th2时，则判定出现失焦干扰。

1.3 亮度异常检测

画面亮度异常是指摄像机因曝光不足或曝光过量导致的图像动态范围变小，从而使得图像细节损失的现象。图4为正常图像和曝光过量图像，图5为其对应的灰度直方图。观察发现，当图像曝光正常时，其灰度图像动态范围广泛；当图像曝光过量时，图像灰度在255一侧，像素数目激增，出现溢出，靠近0一侧像素数目较少，甚至为0，从而导致图像的动态范围变小，当出现曝光不足时则相反。与正常图像相比，亮度异常图像的灰度直方图出现一定的平移，其直方图宽度变小，灰度级0和255的像素数目级骤减或骤增，两者之差变大。

设第n帧图像的灰度直方图为Hi（fn），直方图的宽度为Δω

当图像亮度异常时，Δω减小增大，同时增大。DMn只对亮度异常敏感，对其他干扰不敏感，能够较好地表征图像亮度异常时的变化情况。当DMn＞th3时，则判定监控视频中出现亮度异常干扰。

1.4 偏色检测

颜色是图像的重要特征，如果监控视频中出现偏色现象，将对目标的检测、分类和跟踪等算法造成严重的影响，甚至导致算法失效。传统的图像偏色检测算法主要有直方图法、灰度平衡法、白平衡法等［10－13］，这些算法均是基于单幅图像的，没有参考图像，且大部分算法都有一定的前提假设。当不满足假设条件时，算法完全失效，造成严重的误判现象。当视频中出现偏色时，相邻帧图像的内容变化较小，其灰度图像只在亮度上存在差异，像素间的相关性变化不大。

图4 亮度异常图像

图5 亮度异常图像灰度直方图

设第n帧图像3个颜色通道的均值分别为相邻两帧图像的颜色差异为

式中：ΔCn为相邻两帧图像的颜色差异，ΔEHn为相邻两帧图像的相关性差异，EH（fn）用式（1）计算可得。当出现其他干扰时，ΔCn和ΔEHn均变化较大；当图像出现偏色时，ΔCn会突然增大，ΔEHn变化不大。因此，DCn对偏色干扰较为敏感，而对其他干扰敏感度较低，能够衡量图像是否出现偏色现象。当DCn＞th4时，则判定产生偏色干扰。

1.5 噪声检测

在监控系统中，视频画面经常遇到各种各样的噪声，导致监控系统后续流程受到严重影响。当图像中存在噪声时，图像的随机性增强，像素间的相关性较正常图像变弱。灰度共生矩阵是建立在孤寂图像的二阶组合条件概率密度函数的基础上，通过计算图像中有某种位置关系的亮点灰度之间的相关性，来反映图像在方向、间隔、变化幅度及快慢上的综合信息。因此，灰度共生矩阵能够较好地描述图像像素间的相关性，实现对图像噪声的检测。

灰度图像共生矩阵的定义为从图像灰度值为i的像素（x，y）出发，统计与其距离为d，灰度值为j的像素（x＋a，y＋b）同时出现的频度p（i，j，d，θ），其数学表达式为

式中：＃（x）表示集合x中元素的个数，θ为相距为d两像素与横坐标轴的夹角，是灰度共生矩阵的生成方向，通常选取0°，45°，90°，135°四个方向。对比度是基于灰度共生矩阵的二次统计量，度量了矩阵值的分布情况和图像局部变化。其数学定义如下

式中g为图像的灰度级。由于图像256个灰度级产生的灰度共生矩阵计算量大，一般在计算之前先将图像的灰度范围从［0，255］压缩到［0，32］。

为了能够较好地表征图像的相关性，本文设d＝1，取4个方向灰度共生矩阵的对比度的平均值来表示图像的对比度。设第n帧图像的灰度共生矩阵4个方向的对比度分别为，则其均值为

图6为正常图像与被不同程度噪声污染的图像。图7为其对应的0°方向灰度共生矩阵。

观察可知：与正常图像相比，噪声污染图像的随机性增强，相关性明显减小，灰度共生矩阵p（i，j，d，θ）远离对角线的元素值波动明显，且噪声越大，波动越剧烈，灰度共生矩阵的对比度越大。因此，p（i，j，d，θ）的对比度能够较好地检测图像中的噪声。当DWn＞th5时，则判定监控视频中存在噪声。

图6 噪声污染图像

图7 噪声污染图像灰度共生矩阵

2 干扰分类和阈值选择

本文分析了各种干扰类型的特点，分别提取了检测特征，在一定程度上起到了分类的效果。然而某些特征间存在交互影响，为了消除特征间的相互影响，进一步提高检测率，本文采取了一定的检测分类策略，检测分类流程如图8所示。

检测阈值的选择对检测效果有着重要的影响，如何确定阈值是本文检测方法的关键之一。在监控系统中，摄像机的数目非常多，其监控的场景内容也不尽相同，无法选择统一的阈值。此外，通过训练获取的阈值，使算法的实用性受到了极大地限制。因此，检测方法应具有一定的自适应性，能够根据不同的监控场景自主选择阈值进行检测和分类。

设D（fn）为本文针对不同干扰类型所提取的特征，当D（fn）＞th＝m＋sσ时，则判定产生该类型干扰。m和σ分别为向 量X＝ ｛D（fn－k），D（fn－k＋1），D（fn－k＋2），…，D（fn）｝的均值和标准方差，根据当前帧视频实时更新。

图8 检测分类流程图

k值越小，阈值计算时间越短，但阈值选择偶然性越强，检测性能越差；k值越大，阈值计算时间越长，但阈值选择越稳定，检测性能越好。一般而言，取k＝10～30较为合适。s是一个比较小的数，但当s过小时，容易造成误检，反之，容易造成漏检。本文实验中根据经验选k＝20，s＝2。

本文方法对不同类型的干扰分别提取特征，所提特征只对一种类型干扰敏感，对其他类型干扰敏感度较低。与正常情况相比，产生该类型干扰时，所对应的特征值变化明显，采用统一的参数值进行阈值自适应更新时，对检测效果影响较小，增加了检测方法的通用性和适用范围。

3 实验结果

目前还没有统一公开的实验视频，本文采用文献［2］和文献［5］的实验视频与本实验室拍摄的监控视频共16种监控场景进行测试实验，其中包含5种不同类型的干扰，共计156段，干扰类型数目具体分布如表1所示。

表1 干扰类型数目分布

实验视频规格为320像素×240像素，实验平台为联想台式PC机，Intel Pentium（R）4CPU，主频2.93GHz，开发环境为 VC＋＋6.0。实验中，本文方法基本达到实时性的要求，没有明显的时间延迟。将检测效果较好的文献［2］和文献［5］方法仿真与本文方法进行对比。其中文献［2］对5种干扰均进行了检测，文献［5］对遮挡、失焦、转动3种干扰进行了检测，而本文方法没有实现对转动干扰的检测。为了保证比较的公平性，3种方法均在相同条件下进行比较，实验结果如表2和表3所示。

表2 与文献［2］方法对比结果

由表2可以看出：文献［2］方法虚警数目较少，漏警数目较多。原因在于文献［2］所采用的长短缓存结构有效地过滤了监控视频中的偶然变化，减少了虚警数目；同时由于对含有轻微噪声图像的敏感度较低，且算法不具有自适应性，不同的监控场景采用了统一的阈值，导致其漏警数目较多。本文方法与文献［2］相比，虚警数目较多，漏警数目较少。原因在于本文方法所提特征较多，多个特征同时检测，且算法具有自适应性，有效地降低了漏警率；同时由于检测的干扰变化突然，视频中存在的偶然变化易被本文方法判定为干扰，从而导致虚警数目较多。尤其是在室内监控环境，由于目标在图像中的比例较大，目标活动容易造成背景图像变化剧烈，容易造成误判。此外，本文方法具有自适应性，适用范围较为广泛。

表3 与文献［5］方法对比结果

由表3可以看出：文献［5］方法和本文方法在检测遮挡和失焦干扰方面性能接近。造成两种方法虚警的原因均是因为室内监控环境中目标的运动影响所致；漏警的原因是因为摄像机被部分遮挡，与正常图像差别不大。此外，两种方法均具有自适应性，适用范围广。

目前还没有相关文献对各种类型的干扰进行分类，本文对各种干扰分类的实验结果如表4所示。

由表4可以看出：针对5种不同的干扰，本文方法的分类正确率为92.2%，基本能够满足监控系统的要求。实验中测试发现，当用纹理简单的物体（如白纸）遮挡摄像机、摄像机严重失焦、图像严重偏色时，本文方法容易判决错误，分类效果不佳。

表4 本文方法分类结果

4 结束语

本文对视频监控系统中的遮挡、失焦、亮度异常、偏色和噪声5种干扰分别有针对性地提取了特征。采用多种特征同时检测干扰，有效地降低了漏警率，并对干扰类型进行了分类。与以往方法相比，本文方法在保证优异的检测性能的同时，达到了较好的分类效果。除此之外，阈值的自适应选取使得本文方法的适用范围更广，具有重要的应用价值。如何进一步提高分类正确率是下一步的研究方向。

［1］王素玉，沈兰荪.智能视觉监控技术研究进展［J］.中国图象图形学报，2007，12（9）：1505－1514.Wang Suyu，Shen Lansun.Intelligent visual surveillance technology：A survey［J］.Journal of Image and Graphics，2007，12（9）：1505－1514.

［2］Ribinck E，Atev S，Masoud O.Real－time detection of camera tampering［C］／／Proceedings of the IEEE International Conference on Video and Signal Based Surveillance.Sydney，Australia：IEEE，2006：10－16.

［3］王宝君，胡福桥.基于角点的监控摄像头检测［J］.计算机应用及软件，2010，27（5）：243－259.Wang Baojun，Hu Fuqiao.Tamper detection for surveillance camera based on corner［J］.Computer Applications and Software，2010，27（5）：243－259.

［4］Aksay Anil，Temizel Alptekin.Camera tamper detection using wavelet analysis for video surveillance［C］／／Advanced Video and Signal Based on Surveillance.London，UK：［s.n.］，2007：558－562.

［5］Saglam A，Temizel A.Real－time adaptive tamper detection for video surveillance［C］／／Advanced Video and Signal Based on Surveillance.Genoa，Italy：［s.n.］，2009：430－435.

［6］徐璐，胡福桥.基于混合高斯模型的摄像机移动检测［J］.计算机应用及软件，2010，27（6）：233－235.Xu Lu，Hu Fuqiao.Detecting movement of video camera using Gaussian mixture models［J］.Computer Applications and Software，2010，27（6）：233－235.

［7］Shen C，Chen H.Robust focus measure for low contrast images［C］／／International Conference on Consumer Electronics.Las Vegeas，USA：［s.n.］，2006：69－70.

［8］Gmitro A F，Rodriguez J.Image classification based on focus［C］／／International Conference on Image Processing.San Diego：［s.n.］，2008：397－400.

［9］陈国金，朱妙芬，张克松.图像调焦过程的清晰度评价函数研究［J］.数据采集与处理，2009，24（2）：165－169.Chen Guojin，Zhu Miaofen，Zhang Kesong.Image definition evaluation function in auto－focusing process［J］.Journal of Data Acquisition ＆Processing，2009，24（2）：165－169.

［10］徐晓昭，蔡轶珩.基于图像分析的偏色检测及颜色校正方法［J］.测控技术，2008，27（5）：10－12.Xu Xiaozhao，Cai Yiheng.Color cast detection and color correction methods based on image analysis［J］.Measurement ＆ Control Technology，2008，27（5）：10－12.

［11］Seong Dae Kim，Wook Joong Kim.Automatic white balance based on adaptive feature selection with standard illuminants［C］／／International Conference on Image Processing.San Diego：［s.n.］，2008：485－488.

［12］Cai Yiheng，Cao Meiling.Color correction for digital images based on the finite－dimensional linear－model［C］／／International Conference on Computer Science and Software Engineering.Wuhan，China：［s.n.］，2008：313－317.

［13］Doutre C，Nasipoulos P.Color correction preprocessing for multiview video coding［J］.IEEE Transactions on Circuits and Systems for Video Technology，2009，19（9）：1400－1404.