基于角点集特征的高速公路摄像头监控范围偏差检测*

赵敏 梅登 孙棣华

(重庆大学 信息物理社会可信服务计算教育部重点实验室∥自动化学院， 重庆 400044)

随着视频监控技术在高速公路上的广泛应用，基于数字图像处理的高速公路异常事件自动检测技术成为研究热点[1].目前大部分应用于高速公路的异常事件自动检测是基于特定检测区域，一旦摄像头监控区域出现偏差，将导致事件检测区域错位，极大地影响事件检测的效果.因此，摄像头监控区域偏差检测是异常事件自动检测及其他监控视频内容分析的前提和基础,研究实时、准确的摄像头监控区域偏差自动检测方法具有重要的实际意义和广阔的应用前景.

摄像头的监控区域偏差(简称摄像头偏差)，是指摄像头的监控场景发生变化或切换的现象，其本质表现为摄像头所拍摄的图像特征信息发生了变化.目前,基于图像处理的传统偏差检测方法主要包括像素差方法[2]、直方图比较方法[3- 4]、边缘变化率方法[5].像素差方法对于噪声较大、光照干扰的情况容易产生误检；直方图比较方法利用局部区域的统计信息反映像素的颜色分布，对于低速运动的情况具有较好的适应性，但对于光照干扰及镜头快速晃动的情况，则会产生直方图畸变.边缘变化率方法对于光照干扰等具有较强的鲁棒性，但是对于场景背景复杂的视频，其计算量大，效果欠佳.近年来，偏差检测领域引入了纹理特征[6- 7]及尺度不变特征[8- 10]，利用局部纹理匹配检测偏差.文献[11]中采用纹理梯度方向直方图及颜色直方图来实现镜头偏差检测，Li 等[12]则认为可以通过帧间的纹理互相关矩阵及颜色信息来检测偏差.在此基础上，梯度和SIFT纹理匹配的相融合的检测方法[13]被应用于偏差检测.对于上述方法，纹理最易受画质的干扰，噪声对梯度方向影响很大，光照变化会改变基于统计的相关特征.此外，Birinci等[14]提出了BSURF(基于加速鲁棒性特征)的摄像头偏差检测，其匹配精度高，但是特征提取计算复杂，耗时大；Huang等[15]利用CCH(对比度上下文直方图)提取图像特征，虽然CCH较BSURF在速度上有较大提升，但却降低了准确率.综上所述，现有的摄像头偏差检测方法存在实时性差、抗干扰性不足的问题;同时，由于高速公路监控场景中存在对象运动、光线扰动、噪声干扰等，故尚难以满足应用需求.

由于局部特征(角点特征、板块特征和区域特征等)具有高效性、独特性和精度高[16]等特点，因此被广泛应用.角点本身可以反应场景中背景物体的边角特征，对于普通程度的光照变化及噪声干扰具有较高的局部稳定性，并且具有较高的提取效率.为此，针对上述问题，文中提出了基于CPSB(图像角点集特征)的摄像头偏差检测算法.针对高速公路摄像头偏差检测中的噪声干扰问题，利用角点处的泰勒级数极值大、随机噪点的可聚类性低等特点剔除伪角点，提高角点信息的准确性，并利用训练得到的角点集特征准确地表征图像；针对光线等干扰，利用具有抗光线扰动的角点集信息进行匹配，通过互相关和动态阈值方法分别实现角点位置和数量的匹配，以减少光线等的干扰，实现偏差事件的准确检测.

1 检测方法原理

摄像头偏差可分为偏移偏差和切换偏差.偏移偏差是摄像头因外界因素产生小幅偏转而形成的，其表现为帧间匹配度逐渐降低.切换偏差的成因是镜头监控场景的变换，其表现为帧间匹配度陡然下降.其本质均为图像特征信息发生改变，帧间匹配度下降.为检测上述两种偏差事件，文中采用角点集特征的改变表征图像特征信息的变化，提出的CPSB方法检测步骤为：角点特征的提取与去伪、角点集模板的训练与角点集特征的模板匹配.检测算法流程如图1所示.

1.1 图像角点的提取及去伪

角点特征是最为常用的图像特征之一[17- 19]，为准确检测高速公路摄像头监控范围偏差事件，需提取到较为精确的角点信息，然后通过角点信息进行偏差判断.传统角点检测方法定位性差、精度不高.因此，文中采用基于曲率尺度空间的角点检测方法[20]，该方法对轮廓角点的检测定位精确度高，且计算量较小.

图1 算法流程图Fig.1 Algorithm flow chart

然而，在提取高速公路场景图像角点特征时，由于外界等诸多因素的干扰，必定在提取的角点中存在伪角点，需要予以剔除.伪角点主要包括两类：曲率尺度空间阈值造成的伪角点和偶然因素造成的干扰噪声伪角点.针对上述两类伪角点，利用角点处的泰勒级数极值最大的特性剔除第1类伪角点；而对于噪声伪角点，根据偶然干扰噪点的随机特性，其不具备良好的聚类性质，故采用聚类分析方法予以剔除.从而，保证提取到更为精确的角点集信息.

1.1.1 基于泰勒级数极值点的第1类伪角点剔除方法

取曲率尺度空间[21]图像I(x,y,σ)在像素点(x0,y0,σ)处的泰勒展开式前两项，并对其进行求导，令求导值等于0，求解出极值点的精确位置，其求导结果矢量表达形式[20]为

(1)

其中，X0为角点，Xmax为角点偏移量.经过中间推导[19]，取其前两项，可得到极值点估计值的矢量形式为

(2)

1.1.2 基于聚类分析的第2类伪角点剔除方法

ISODATA算法[22]是经典聚类分析方法之一，能够自动确定数据类别个数.其基本思想是首先为每个聚类确定一个初始的聚类中心，将样本集中的点按照最小距离原则分配到最近的类，使其目标函数值最小，目标函数如下式所示：

(3)

其中;xi表示待聚类的点，i表示元素标号，n表示待聚类点的数目；j表示类别标号，pj表示聚类中心，k表示聚类中心的数目.

然后，计算每个聚类中心的样本均值作为新的样本聚类中心，其更新聚类簇平均值的计算公式如下：

(4)

其中，Cj为每一个聚类类别中的元素集合.对每一个聚类簇进行上述运算，并根据聚类准则函数进行分类合并操作，至聚类准则函数的值最小且不再变化时，聚类操作结束.一般情况下，聚类准则函数都选为误差平方和准则，其表达式如下：

(5)

在此基础上，根据噪声角点的离散性与随机性特点，添加聚类目标函数如下：

(6)

其中,l表示类别j中元素标号，m表示类别j中元素个数,pjl表示类别j中的一个元素.由上式可知，其物理意义是为保证待聚类点距离该类中的任一元素点的距离最小值小于阈值时，进行合并操作；若单一类的总个数小于阈值时，则作为无效角点剔除，至此，可提取到图像中较为精确的角点.通过平台测试，可知偏差超过10像素会对后续基于固定检测区域的事件自动检测工作带来较大的影响，故此处阈值为10像素.改进前后的聚类效果如图2所示.

图2 聚类分析方法去伪Fig.2 Eliminate the false corners based on cluster analysis

图2中圆圈代表提取出的角点，不同颜色表示不同类别的角点.通过对图2(a)所示的感兴趣区域进行角点提取操作，可得到图2(b)所示的角点分布图.由图2(b)可知，图中关注点由于噪声的干扰被检测为角点，噪点随机性的性质使其成为一个孤立点，因此考虑通过聚类操作来消除此类噪声角点的干扰.利用ISODATA算法对图2(b)进行聚类操作可得图2(c)，图2(c)中将同一个道路边沿上的角点群分为两个不同的类，并且A类包含了来自几个不同物体部位(墙角、路边与路面)的角点，明显不符合物体的形状分布特性；而改进后的聚类效果如图2(d)所示，其基本将同一类型角点分为同一个类别，并对孤立噪点进行识别与剔除.图中关注点通过聚类去伪操作进一步实现了降噪.

1.2 角点集模板的训练

1.2.1 标注角点活跃区

初始化模板矩阵T为全0矩阵，根据筛选后的角点信息，提取每个角点3×3邻域内的像素坐标，并对模板矩阵T对应坐标处的数值自增1，中心角点坐标处的数值自增3.对训练样本数为Tfn的图像帧进行以上操作，在角点矩阵中标注出角点活跃区.

1.2.2 标注角点高频区

根据标注角点活跃区之后的模板矩阵，设置高频区阈值Fh.若矩阵数值Tl>Fh，则标记为1，否则标记为0，其中l为角点像素的序号.由此，可以得到训练后的基于概率统计的匹配模板矩阵Td.

1.3 基于角点集特征的模板匹配

文中采用互相关[16]和动态阈值两种匹配方法对图像帧间匹配度进行综合评价，利用阈值匹配保证匹配数量，并结合位置相关匹配保证坐标分布状态相似，从而得到比较好的检测评估效果.

1.3.1 基于互相关法的角点位置匹配标准

对于待检测的图像，依照上述角点检测的步骤提取角点信息后，得到角点集信息矩阵Tdet，然后将矩阵Td与Tdet作为两张角点集图像进行处理.在此基础上，采取互相关法对这两幅图像从全局层面逐一对特征点进行匹配.

由于Td在匹配区域Φ外取值的累加和均为0，因此积分区域可以拓展到整个图像区域，即(-∞,+∞)，如下所示：

(7)

其中，此处Φ即为全局匹配.不难发现上式即为Td和Tdet的互相关函数CTdTdet.

根据柯西不等式，可以推导出下式的正确性：

(8)

(9)

已知互相关函数值越大，匹配度越高，故此处设置相关性阈值TTdTdet取0.8.

1.3.2 基于动态阈值的角点集个数匹配标准

在进行匹配的时候，对于Td，角点高频区的矩阵值为非0，其他区域为0.利用Trst=Tdet⊗Td可得匹配角点图Trst，其中⊗为图像矩阵与操作.而检测图像的角点总数CTalNum与匹配总数CMatNum可由下式计算得到：

(10)

(11)

其中,x、y代表像素坐标.根据CTalNum的不同设置不同的匹配度阈值ΓΔNum，其匹配条件如下：

CTalNum-CMatNum<ΓΔNum

(12)

ΓΔNum的定义如下：

ΓΔNum=⎣γCTalNum」,

CTalNum，CMatNum,ΓΔNum∈N.

其中,γ∈(0,1)为敏感系数，其值越大，表明对偏差事件越不敏感.若连续出现未匹配帧数Ufn>Ttfn(Ttfn为连续异常帧数的阈值),则判定为摄像头偏差.

综上所述，当上述两个匹配标准同时判定摄像头偏差时，表明产生了摄像头偏差事件.

2 实验结果与分析

实验视频均来源于重庆多个高速公路场景的交通监控视频，视频帧率为25帧/秒，格式为mp4，图像大小为704像素×576像素.算法实验平台为VC++6.0和OpenCV1.0，运行环境是ACER品牌的笔记本电脑，配置为Inter(R) Core(TM) i3-2350M，主频2.30 GHz，内存4.00 GB.

为验证文中算法的性能，将提出的CPSB方法与BSURF、CCH这3类比较具有代表性的方法进行了对比实验.将实验的参数空间设为θ∈{(σ,λ,γ,Tfn,Fh,Ttfn)}，实验前采用一组测试视频确定参数的最佳值，从而确定参数空间，CPSB的效果如图3所示.

图3 CPSB检测效果图Fig.3 Experimental results of CPSB

其中，图3中彩色的圆圈为角点位置.图3(a)为当前场景所选取的感兴趣区域.选取的感兴趣区域最好处于行车区域外，并且该区域中具有较为明显且固定的边缘拐角区域.在道路两侧各选取一个感兴趣区域进行检测最为恰当.图中展示了摄像头偏差前后角点集分布的变化情况，通过对比图3(c)、3(d)和3(f)，可知偏差前后的角点集发生了变化.图3(d)中白色区域为角点高频区，反映了摄像头偏差之前监控区域的角点分布状态，而图3(f)则表示偏差事件之后摄像头监控区域的角点分布.两者在偏差事件前后，图中角点的位置分布特征以及分类结果有较大差异.由此可知，角点集模板可以反映摄像头偏差.为验证算法的性能，下面分别在抗干扰性、准确性和时效性上做如下对比实验.

2.1 抗干扰性对比实验

检测环境对偏差检测的影响很大，尤其是在高速公路这样多噪声干扰的环境中，当车辆目标通过时，车灯以及车身光反射或阴影会改变摄像头对环境的成像效果，产生光线扰动，这在隧道环境下尤为明显.因此下面针对算法稳定性，采用高速的隧道场景视频tunn_z16.mp4进行测试，其他环境完全相同，在光线扰动存在的情况下做了对比实验，结果见图4.其中，匹配指数是指前后两匹配帧之间的相似匹配度，其中CPSB方法的匹配指数可由(RTdTdet+min((CMatNum+ΓΔNum)/CTalNum,1))/2计算得到.

图4 抗干扰性对比试验Fig.4 Anti-interference contrast experiment

上述实验的隧道场景的视频中并没有出现摄像头偏差的情况，但是由于隧道中车灯等的光线扰动，3种方法的匹配指数都存在一定程度上的波动，图中采用均方差作为描述波动程度的波动系数ϑ(其由图4中的4个数据序列的均方差计算而来).ϑ越大，表明其抗干扰性越低，反之则相反.3种方法波动系数分别约为0.047 30、0.089 06、0.183 85，易知CCH方法抗干扰性最弱，文中提出的CPSB方法对于高速公路中的干扰因素具有较好的鲁棒性，性能优于BSURF方法和CCH方法.

2.2 准确性及实时性对比试验

检测算法的精确度及时效性是评判算法有效性的重要指标，目前交通事件检测算法的评价指标主要有检测率(Rdr)、误检率(Wdr)、漏检率(Los)及算法平均耗时(Tag，指开始出现偏差帧到偏差事件报警所用的时间)，指标参数的定义如下：

(13)

(14)

(15)

其中，nad、nrd和ncd分别表示算法报警偏差次数、实际偏差次数及算法正确检测偏差次数，其中算法报警次数包含正检次数与误检次数.

抽取同一段视频comb_1115.mp4，对文中算法进行测试，该段视频时长2 min 19 s，人工判断一共有6次摄像头偏差.抽帧间隔为1帧/10帧，CPSB检测结果如图5所示.

图5 CPSB检测结果Fig.5 Detection effect of CPSB

图5(a)为该视频序列检测结果的曲线图，曲线起始部分有一段异常，因为此时处于角点集模板训练过程，故匹配情况不稳定.由图5(a)可知，图中蓝线几处较大的波谷位置发生了偏差事件，共计报警6次.事件报警帧号分别为1 857、2 039、2 088、2 473、3 112、3 365,其中视频序列的结束部分为偏移偏差事件，因此出现了波动式下降趋势.报警事件与人工观察的结果发生位置与次数基本相符.图5(b)为图5(a)中1 900～2 100帧部分的细节放大图，图中发生了两次偏差事件.

同样条件下，BSURF方法、CCH方法与CPSB方法的检测结果见图6.由图6可知，CCH方法只是检测到了5次偏差事件，其中前两次为干扰误检，漏检了一次偏移偏差事件；CPSB方法与BSURF方法均完全正确地检测出了所有偏差事件.由此可见，CPSB方法的稳定性与准确率明显高于CCH方法，而与BSURF方法持平.

图6 检测效果对比Fig.6 Results of video comparison test

此外，通过对已有视频资料进行整合并检测，其中涵盖了高速公路中隧道、关键路段与收费广场3种典型场景，统计结果如表1所示.

表 1 CPSB、CCH、BSURF方法对比实验Table1 Comparison of CPSB,CCH and SURF

表1结合上述4个评价指标，针对常见的偏移偏差事件与切换偏差事件两种摄像头偏差事件进行检测，并给出了两种事件的均值综合测评的结果.文中从3个不同的方面分别对比了CPSB方法、BSURF方法、CCH方法，由上述统计结果可知，在检测偏移偏差事件类型时，提出的CPSB方法的检测率为91.47%，比CCH方法高出约12个百分点，漏检率仅为CCH方法的1/2.相较于BSURF方法，CPSB方法虽然在检测效果的3项指标上与其基本持平，但是在检测效率上具有明显优势，平均耗时约为BSURF法的1/4.在检测切换偏差事件时，由于此类事件导致画面内容完全变化，3个方法的检测率较检测偏移偏差事件时均有所提高，都达到95%以上.尽管此类测试数据中存在隧道视频部分，对象移动、灯光干扰严重，但CPSB方法的误检率仅为1.49%，为CCH方法的15.54%，与BSURF方法仅有0.04个百分点的微小差距；在时间效率上，由于隧道中运动对象视距近、噪点多，使得BSURF方法数据处理量增大，CPSB方法效率比BSURF方法高出4倍，与CCH方法差距仅279 ms.综合测评显示，CPSB方法检测率达到了92%以上，虽然3项检测效果指标均与BSURF方法接近，但是在实时性上却有了极大的提高；相较于CCH方法，CPSB方法虽在检测效率上稍逊于CCH方法，但是3项检测效果指标均优于CCH方法，其中CPSB方法检测率比其高7个百分点，漏检率低7个百分点.

综上所述，在检测效果上，CPSB方法明显优于CCH方法；在检测效率方面，CPSB方法明显优于BSURF方法.由此可知，CPSB方法在保持较好检测效果的同时，极大地提高了实时性，综合性能较好.

3 结论

文中提出了一种基于角点集特征的摄像头监控范围检测方法.基于泰勒级数、聚类分析等方法剔除伪角点，并通过互相关和动态阈值方法分别实现角点位置和数量的匹配，以减少噪声和光线等的干扰，实现偏差事件的准确检测.实验结果表明，文中提出的方法能够有效抑制高速公路视频检测环境中的对象运动、噪声、光线扰动的影响，并提高了检测效率，较好地满足了高速公路实际应用的需要.但是，对于光线剧烈变化的场景，检测效果尚有不足，有待进一步研究以提高算法的适应性.

[1] YUN K,JEONG H,YI K M,et al.Motion interaction field for accident detection in traffic surveillance video [C]∥Proceedings of International Conference on Pattern Recognition.Stockholm:IEEE,2014:3062- 3067.

[2] GOSHTASBY A A.Image registration methods [M]∥Image Registration.London：Springer,2012:415- 434.

[3] CHASANIS V LINKAS A,GALATSANOS N.Simultaneous detection of abrupt cuts and dissolves in videos using support vector machines [J].Pattern Recognition Letters,2009,30(1):56- 65.

[4] ZHANG S,HU X,LÜ J,et al.Learning fMRI-guided predictor of video shot changes [C]∥Proceedings of 2014 IEEE 11th International Symposium on Biomedical Imaging(ISBI).Beijing:IEEE,2014:1210- 1213.

[5] SAO N,MISHRA R.Video shot boundary detection using Graph Theory [J].Digital Image Processing,2014,6(1):1- 5.

[6] CHAN C,WONG A.Shot boundary detection using gene-tic algorithm optimization [C]∥Proceedings of International Symposium on Multimedia.Dana Point:IEEE,2011:327- 332.

[7] SHEKAR B H,KUMARI M S,HOLLA R.Shot boundary detection algorithm based on color texture moments [J].Communications in Computer and Information Science,2011,142:591- 594.

[8] LI J,DING Y D,SHI Y Y,et al.A divide-and-rule scheme for shot boundary detection based on SIFT [J].International Journal of Digital Content Technology and Its Application,2010,4(3):202- 214.

[9] KUMAR R,GUPTA S,VENKATESH K S.Cut scene change detection using spatio temporal video frame [C]∥Proceedings of 2015 Third International Conference on Image Information Processing(ICIIP).Chengdu:IEEE,2015:474- 479.

[10] 杨世沛,陈杰,周莉,等.一种基于SIFT的图像特征匹配方法 [J].电子测量技术,2014,37(6):50- 55.

YANG Shi-pei,CHEN Jie,ZHOU Li,et al.Image feature matching method base on SIFT [J].Electronic Measurement Technology,2014,37(6):50- 55.

[11] LIN C H,HSIAO M D,FU L J.Analysis of shot boundary based on color and texture features of frame [C]∥Proceedings of the 5th International Conference on Mechatronics.Kuala Lumpur:IOP Publishing,2013:257- 260.

[12] LI Y F,ZHAO Z.A novel shot detection algorithm based on information theory [C]∥Proceedings of IEEE Paci-fic-Asia Workshop on Computational Intelligence and Industrial Application.Wuhan：IEEE,2008:240- 244.

[13] 彭太乐,张文俊,汪友宝,等.基于多特征的视频镜头检测方法 [J].仪器仪表学报,2015,36(9):2013- 2020.

PENG Tai-le,ZHANG Wen-jun,WANG You-bao,et al.Video shot boundary detection algorithm based on multi-features [J].Chinese Journal of Scientific Instrument,2015,36(9):2013- 2020.

[14] BIRINCI M,KIRANYAZ S,GABBOUJ M.Video shot boundary detection by structural analysis of local image features [C]∥Proceedings of WIAMIS 2011:12th International Workshop on Image Analysis for Multimedia Interactive Services.Delft:Curran Associates,2011:29- 32.

[15] HUANG C R,CHEN C S,CHUNG P C.Contrast context histogram an efficient discriminating local descriptor for object recognition and image matching [J].Pattern Recog-nition,2008,41:3071- 3077.

[16] 唐剑琪,谢林江,袁庆生,等.基于ORB的镜头边界检测算法 [J].通信学报,2013,34(11):184- 190.

TANG Jian-qi,XIE Lin-jiang,YUAN Qing-sheng，et al.Shot boundary detection algorithm based on ORB [J].Journal on Communications,2013,34(11):184- 190.

[17] ZHANG W C,WANG F P,ZHU L,et al.Corner detection using Gabor filters [J].IET Image Processing,2014,8(11):639- 646.

[18] POSSA P R,MAHMOUDI S A,HARB N,et al.A multi-resolution fpga-based architecture for real-time edge and corner detection [J].IEEE Transactions on Computers,2014,63(10):2376- 2388.

[19] ALAHI A,ORTIZ R,VANDERGHEYNST P.Freak:fast retina key point [C]∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Rhode Island:IEEE,2012:510- 517.

[20] GAO J,WU Y F,WU K,et al.Image matching method based on corner detection [J].Chinese Journal of Scientific Instrument,2013,8(34):1717- 1725.

[21] ZENG J X,LI W Y.Corner detection based on curvature scale space and chain code direction statistics [J].Journal of Image and Graphics,2014,19(2):234- 243.

[22] LIU Q,ZHAO Z,LI Y X,et al.Feature selection based on sensitivity analysis of fuzzy ISODATA [J].Neurocomputing,2012,85:29- 37.

[23] 傅德胜,寿亦禾.图形图像处理学 [M].南京：东南大学出版社,2002.