基于交通视频分析的自适应摄像控制系统

张洪斌, 黄 山,, 印 月

(1. 四川大学计算机学院, 四川 成都 610065; 2. 四川大学电气信息学院, 四川 成都 610065)

随着经济发展和城市化进程,激增的交通负荷与有限的道路资源之间矛盾凸显.为解决由此产生的道路拥堵、事故频发和尾气污染等问题,各国都在大力发展智能交通系统(intelligent transport system, ITS)[1].当前具有车流监控[2]、车牌识别[3]、事件检测[4]和违章执法[5]等综合功能的视频检测技术已成为ITS科学规划和有效管理的重要数据来源.准确的交通视频检测依赖于高质量摄像采集提供丰富的视觉信息.然而,多变的户外光照和复杂的交通路况等不可控因素对全天候摄像采集提出了严峻挑战.目前交通摄像控制研究主要集中在辅助驾驶和交通监控领域.西门子的Acunzo等[6]用图像中下部区域亮度中值和方差评价成像效果.O’Malley等[7]根据前车检测距离和尾灯色畸变推荐夜间摄像EV(exposure values)值为10.Li等[8]以5×5画面分区的亮度均值序列辨别不同光照环境来调控相机.黄山教授[9]基于车牌图像灰度共生矩阵分析,反馈控制模拟摄像系统完成单车道车牌成像和号牌识别.吴洪森等[10]分析了车辆速度对快门时间的制约以及曝光时长与环境光照的关系.潘薇博士[11]以变步长方式改变摄像参数,调控车牌亮度均值.Raghavan等[12]重点研究了夜间低照度下的交通视频质量评价与故障检测.Torres等[13]基于图像直方图分析,最大化场景对比度.

综合分析以上研究发现,在智能视频监控的高清化发展趋势[14]下,现有交通摄像控制方法难以满足综合监控的整体需求:一方面,基于监控画面分析的自动曝光算法没有考虑运动车辆和车牌细节,无法确保昼夜高动态光照环境中车牌成像效果;另一方面,车牌识别专用摄像系统局限于最优化号牌成像效果,致使逆光与顺光等复杂光照情况下场景过曝或昏暗,既不能满足交通执法[15]对监控图像中场景信息完整性要求,又影响车辆检测的准确性.本文从构建面向道路交通综合检测的高清晰大场景摄像系统出发,通过系统辨识确定摄像系统控制特性,针对车牌和场景成像需求提出代表性图像分析指标及算法,结合图像反馈信号和高层检测结果实现自适应优化控制,并通过实验与应用验证了算法和系统的有效性.

1 高清交通摄像系统

1.1 硬件系统设计

为实现全天候交通图像采集,构建了图1的高清交通摄像系统.整套系统由高清摄像采集设备和智能分析检测器两部分构成,以千兆以太网连接.

图1 高清交通摄像系统Fig.1 High-definition traffic-imaging system

高清摄像采集设备在智能分析检测器的调控下持续采集交通场景视频,其组件包括位于防护罩内的高清数字摄像机、工业定焦镜头、LED(light emitting diode)驱动器和外置的LED补光灯组.其中,高清数字摄像机分辨率为2 448×2 048像素,同时监控3条机动车道,提供水平解析度高于110像素的车牌图像.LED补光灯专为低光照环境设计,以频闪方式补光车牌,有高亮度低功率的优点.LED驱动器把摄像机曝光同步电平转为光耦方式隔离驱动LED补光灯组,并通过自动倍频以消除低频闪烁感对司机的影响.

智能分析检测器实时处理高清摄像采集设备输出的交通视频,分析图像质量,检测车辆信息,反馈调控摄像参数,实现各种条件下高质量交通视频的获取.检测器采用搭载Intel Atom D2700 CPU、4 GB DDR3内存和1 TB SATA2硬盘的小型工控系统.

1.2 控制特性辨识

快速准确的摄像控制需要对摄像系统控制特性进行辨识.为此,在可控的稳定光照环境中通过实验对曝光时长、摄像机增益和LED补光时长这3个摄像控制量与成像亮度的关系进行分析测定.

1.2.1测定可靠观测延迟

视频采集是一个连续的光学成像、信号处理和图像传输的流水线过程,从检测器发出改变摄像参数命令到收到对应的亮度响应图像帧之间存在一个固有延迟.因此,确定可靠观测延迟后才能以其为时间间隔准确观测控制量对成像亮度的影响.

这里仅简述对曝光时长的观测延迟测定过程:首先,对准稳定光源拍摄,把曝光时长调为较大值使得观测亮度稳定在200.然后,程序控制曝光时长在较大值和极小值(100 μs)之间切换100次,并记录每次观测到亮度变化帧的延时.最后,统计数据得到图2中的曝光响应延时分布.经反复实验验证,所有控制量的观测延时都在0.24 s以内.

1.2.2辨识摄像参数控制特性

对3个控制量(曝光时长、摄像机增益和LED补光时长)与成像亮度关系的实验分析如下:

在不使用LED灯并且置零增益的情况下测定曝光时长的亮度响应.首先,将曝光时长设为实际使用的上限值6 ms,调节光圈使观测亮度刚好稳定达到255.然后,程序控制曝光时长递减,以可靠观测延迟记录亮度响应值.最后,得到图3中红线所示成正比关系的曝光时长控制特性.

图2 摄像系统延时统计Fig.2 Imaging-system time-lag statistical graph

图3 摄像参数控制特性Fig.3 Control characteristics of imaging parameters

在稳定的低照度环境下,使用与曝光时长类似的方法对固定车牌进行LED补光实验,测得图3绿线所示成线性关系的补光时长控制特性.

本文摄像系统采用的Point Grey ZBRA-50S5C高清摄像机的增益标称范围为[0,24].程序控制增益从0开始递增,测得图3蓝线所示的增益亮度响应.将亮度观测值序列除以零增益时的起始亮度值得到对应的放大倍率值序列.通过改变初始值重复实验和数据拟合分析,得出摄像机增益值(Ggain)与放大倍率(KG)的关系为

Ggain=19.2 lgKG.

(1)

上述辨识过程揭示了摄像系统的固有延时与控制特性,为可靠观测与控制计算奠定了基础.

2 图像分析反馈算法

2.1 车辆号牌成像指标

车牌是车辆惟一法定标识,车牌识别对图像质量要求也最高,因此确保车牌成像效果是交通摄像控制的重点之一.基于对我国汽车号牌的亮度直方图分析,定义了车牌亮度中点值作为车牌图像调控指标,具体计算如图4所示:使用经典的Otsu阈值算法[16]分割车牌识别[17]得到的车牌图像为字符和底板两部分,分别统计这两部分的亮度均值,取其中间点为车牌亮度中点值.车牌亮度中点值有两个优点:(1) 数值稳定,能够避免不同车牌因字符笔画数不同而导致的观测值波动;(2) 便于调控,当中点值处于适当范围内时,能有效确保车牌字符清晰、对比明显.根据不同光照下的成像效果,把车牌亮度中点值的亮度范围划分为图5的5个区段:在欠曝光区和过曝光区,车牌对比度很低,无法正确识别;在偏暗区,图像信噪比低,不利于准确识别;在偏亮区,颜色失真,部分笔画细节丢失;位于中段的亮度适中区,车牌对比明显,字符边缘清晰.实际应用中,亮度适中区间为[80,160].

(a) 车牌图像(b) 阈值分割结果(c) 亮度中点值在直方图中的位置图4 计算车牌亮度中点值Fig.4 Computation of license plate mid-value

图5 车牌亮度中点值的分区Fig.5 Partition of license plate mid-value range

在每个观测统计周期内对相继检出的车牌亮度中点值按式(2)加权统计,以反映最新的光照情况,并减小号牌污损的不良影响.

Vsta(k)=(1-0.4cnew)Vsta(k-1)+

0.4cnewVnew,

(2)

式中:Vsta为车牌亮度中点值的统计量;Vnew和cnew分别为新检出车牌的亮度中点值和识别结果可信度(有效车牌的可信度范围为[0.85,1.00]).

2.2 交通场景成像指标

良好的交通场景成像是准确车辆检测、跟踪和计数的前提.根据我国道路渠化标准,选取监测路面上普遍存在的白色标线区块(如图6)作为交通场景的代表性观测对象与调控指标;与车牌亮度中点值计算方法相同,定义了标线区块中点值.白色标线区块有3个优点:(1) 代表性好,区块图像同时包含白色标线和深色路面;(2) 观测性好,停止线横贯整个画面,分道线位于车道之间,都不易被车辆全部遮挡;(3) 模式稳定,规范的白色线条,便于检测定位[18]和可见性判别.

(a) 停止线区块(b) 分道线区块(c) T形区块的场景位置图6 交通场景中的标线区块Fig.6 Road-marking blocks of a traffic scene

具体场景的标线区块定位由系统架设时的初始人工选定和监控运行时的在线自动校正相结合.在路口场景中,首选停止线和分道线交汇处的T形区块(图6(c)中的3个黑色方框标示区域)进行观测.在线自动校正功能基于标线区块定位算法:首先以PPHT(progressive probabilistic hough transform)[19]方法提取边缘线段,然后使用标线朝向、长度和线宽等先验信息进行筛选,从而实现区块位置的持续锁定,并适时刷新区块模板图像.

标线区块的可见性判别基于式(3)的图像相关系数计算,能够较好地抑制光照变化带来的影响.

(3)

图7显示了一天中标线区块的相关系数变化,红线对应图6(c)中间位置的T形区块,绿线是所有3个T形区块的联合最大值,蓝线是对联合最大值二值化判别的结果.

图7 标线区块的可见性判别Fig.7 Visibility detection of road-marking blocks

3 自适应摄像控制方法

由系统辨识和图像分析可见,高清交通摄像控制是一个多控制量、多控制目标的最优控制问题.为此,以自适应控制框架综合不同层面视频分析信息,实现对复杂交通环境下成像的优化调控.

3.1 整体控制架构

自适应交通摄像控制系统的工作原理见图8.

图8 自适应摄像控制系统Fig.8 Adaptive imaging control-system graph

高清摄像采集设备作为控制对象,以控制量u(曝光时长、增益和LED补光时长)为摄像参数,捕获场景光线生成交通视频.

综合检测功能模块完成对交通视频的在线检测分析[17](运动检测、车牌识别、车辆检测、车辆跟踪、违章判别和车流统计),并为图像分析反馈和自适应控制决策提供高层信息(车牌识别和运动检测结果).

图像分析反馈单元实时分析视频图像,生成反馈信号b(车牌亮度中点值和标线区块中点值),馈送给自适应控制决策模块和摄像控制模块.

自适应控制决策模块作为控制核心,基于高层信息、反馈信号b和当前控制量u,感知环境,优化决策,合理配置控制目标值r(期望达到的车牌亮度中点值或标线区块中点值).

摄像控制模块根据反馈信号b和控制目标值r计算出控制量u,发送给采集设备实现反馈控制.

3.2 自适应优化决策

自适应控制决策模块具有在线感知学习能力,能综合图像分析指标和高层检测结果,判断光照环境,切换控制状态,消除不确定性,实现最优控制.

3.2.1基于光照感知的控制目标优化

高清交通摄像控制是一个需要兼顾车牌和场景成像效果的多目标优化问题.但逆光和顺光等光照情况常会导致这两个控制目标相矛盾,严重影响成像和检测效果.逆光时,日光从摄像机前方射来,车牌处于车辆阴影中,车牌亮度明显低于场景;顺光时则刚好相反,日光直射车牌形成强反光,车牌亮度明显高于场景.自适应控制决策模块按照图9的光照模式感知规则优化配置控制目标值r.

图9 光照模式的感知与控制Fig.9 Detection and control of different illumination modes

以逆光为例简述原理:随着逆光增强,按常规光照模式调控车牌亮度会使场景亮度超出上限时,系统进入强逆光模式,以调控场景亮度在VS,max为新的控制目标,允许车牌亮度位于[VP,min,VP,center).如果逆光严重,会使车牌亮度低于下限时,转入极端逆光模式,以调控车牌亮度在VP,min为目标,以允许场景过亮为代价确保车牌识别.

顺光与逆光相反,其控制规则呈现对偶形式.

3.2.2结合高层信息的控制状态适应

实际运行时,自适应控制决策与高层综合检测分析密切配合,在图10所示的3种控制状态间自主切换,实现最优控制:(1) 刚启动或者长期无车辆通过时,系统处于场景控制状态,仅以场景亮度为控制目标,检测车辆和车牌.(2) 当有车牌检出时,系统转入优化控制状态,按前述光照模式感知规则进行调控.(3) 极少见的突变性极端逆光或顺光有可能导致持续有车辆经过而无车牌识别,系统自动转入光照探查状态,通过有规律的试探性配置控制目标值,使得系统在合适的亮度控制范围捕获可识别车牌,消除光照不确定性,转入优化控制.光照探查控制参考当前时段的历史光照模式记录,优先选择递增或递减的亮度调控方向.例如在逆光多发时段,优先配置场景控制目标值为高亮度值250,而后在每个观测周期结束时以30为步长递减.

图10 控制状态转换图Fig.10 Control state-transition graph

3.3 实时控制量计算

为应对户外场景昼夜间巨大的光照强度变化,摄像控制模块的控制量输出水平由低到高分为快门调控、增益调节、LED补光和快门补偿4个等级.

在日光较强的白天时段只需调控快门便可达到目标亮度.由曝光时长的正比特性有调节算式:

(4)

式中:tsh(n)、tsh(n+1)分别为当前帧和下一步的曝光时长;V(n)、Vref分别为亮度的观测值和目标值.

在日光减弱且曝光时长调至上限后,开启增益调节.由式(1)可得摄像机增益值调节算式为

(5)

在增益已达上限的低光照环境中,摄像控制系统进行LED补光,确保车牌成像亮度.由LED补光时长的线性贡献有调控算式:

tLED(n+1)=tLED(n)+k(Vref-V(n)),

(6)

式中:tLED(n)、tLED(n+1)分别为当前帧和下一帧的LED补光时长;k为与摄像距离有关的系数,在摄像机固定安装的监控场景中基本不变,一般在经验值基础上结合LED实际控制效果自动反馈微调.

夜间时段的道路照明远不及白天的日光,当LED补光时长超过设定门限值时,摄像控制模块将额外增加1 ms曝光时长作为快门补偿,以提升整体场景亮度,增强背景和车辆对比.

4 实验与分析

本文图像分析算法、摄像控制方法以及相关综合检测功能[17]均采用C/C++编程实现,并以多线程方式运行于前述智能分析检测器上.以此构建的高清晰大场景综合交通检测系统已在北京、广州、成都、合肥等地的ITS建设中有上千套的实际应用.

4.1 系统抗扰性实验

图11是在可控条件下通过快速改变光照以测试系统抗扰性的亮度观测记录.实验中设定亮度控制目标值为120,并在短时间内3次降低、3次增强

和2次来回变换环境光照的强度.对于这些光照突变,系统均能在3帧的固有延迟内控制亮度快速恢复到目标值附近并保持稳定.

图11 光照扰动下的摄像控制效果Fig.11 Imaging control results with illumination changes

4.2 特殊光照对比实验

为评测摄像控制算法的实际光照适应性能,在特殊光照多发路段进行了对比实验.

图12和图13分别为逆光和顺光情况下的成像效果对比.

(a) 算法1的场景(b) 算法2的场景(c) 本方法的场景(d) 算法1的车牌(e) 算法2的车牌(f) 本方法的车牌图12 逆光成像效果对比Fig.12 Imaging effects comparison of backlighting

(a) 算法1的场景(b) 算法2的场景(c) 本方法的场景(d) 算法1的车牌(e) 算法2的车牌(f) 本方法的车牌图13 顺光成像效果对比Fig.13 Imaging effects comparison of front-lighting

图12～13中,算法1是基于画面中下部直方图的自动曝光控制[13],算法2是针对车牌亮度均值的变步长反馈调控[11],本方法即本文的光照感知优化算法.表1是综合检测系统采用不同摄像控制算法的检测性能统计.其中,场景完整率为系统抓拍图片中道路标线和车辆轮廓都清晰可辨的图片占比.

表1特殊光照检测结果
Tab.1 Detection results under special illumination conditions %

摄像控制算法车牌识别率逆光顺光场景完整率逆光顺光算法154.833.296.498.0算法294.493.255.686.2本方法96.696.097.898.8

实验结果表明,本文光照感知优化算法融合了现有两类算法的优点,能有效兼顾高清晰车牌成像和大场景监控取证.此外,基于控制特性辨识的摄像调控可以快速响应光照突变,车牌识别率优于变步长调控;以标线区块中点值为成像指标能够减小来自前景车辆的干扰,场景成像效果更加稳定.

4.3 全天监控效果

图14和表2分别为成都市某路口24 h摄像控制量曲线和典型时段成像检测效果.

图14 摄像控制量24 h曲线Fig.14 Twenty-four-hour curves of imaging parameters

表2 典型时段成像检测效果Tab.2 Imaging and detection results at typical moments

图14的双纵轴曲线图从整体上反映了曝光时长、摄像机增益和LED补光时长的全天调控过程.在光线充足多变的白天,主要靠对曝光时长的优化控制适应各种复杂日照情况.在光线微弱的夜间,曝光时长和摄像机增益处于高水平,通过反馈调控LED补光时长获取良好的车牌成像效果.晨昏交替时段,3个摄像参数快速联动,以适应高动态范围的持续光照变化.

表2中的观测统计包含了6个典型时段的成像效果和检测数据.从观测图例可见,高清摄像控制系统能平衡不同环境下的车牌与场景成像,确保车牌图像细节和场景整体效果.统计数据显示,系统平均车流准确率97.0%,平均车牌识别率96.3%(白天97.9%,夜晚94.1%),均超过我国现行的国家标准[15,20](车流准确率90%;车牌识别率白天95%,夜晚90%).

5 结 论

针对智能交通中大场景高清晰综合检测需求设计了一套完整的高清摄像系统,通过系统辨识确定的系统特性为控制计算提供了依据,视频分析提取的车牌亮度中点值和标线区块中点值构成了稳定的成像调控指标,基于光照模式感知平衡优化车牌与场景控制目标,综合高层检测信息自动变换当前控制状态.实验与应用结果表明,本文系统能够快速响应外界光线变化,有效应对特殊光照情况,持续采集优良的全天交通视频,支持视频检测实现了平均97.0%的车流准确度和96.3%的车牌识别率.

[1] JIM B, GUSTAVE C, DOMINIE G, et al. ITS strategic plan 2015-2019[R]. Washington D. C.: U.S. Department of Transportation, 2014.

[2] YU C C, CHENG H Y, JIAN Y F. Raindrop-tampered scene detection and traffic flow estimation for nighttime traffic surveillance[J]. IEEE Transactions on Intelligent Transportation Systems, 2015, 16(3): 1518-1527.

[3] ZANG Di, CHAI Zhenliang, ZHANG Junqi, et al. Vehicle license plate recognition using visual attention model and deep learning[J]. Journal of Electronic Imaging, 2015, 24(3): 1-10.

[4] REN Jianqiang, CHEN Yangzhou, XIN Le, et al. Detecting and positioning of traffic incidents via video-based analysis of traffic states in a road segment[J]. IET Intelligent Transport Systems, 2016, 10(6): 428-437.

[5] KLUBSUWAN K, KOODTALANG W, MUNGSING S. Traffic violation detection using multiple trajectories evaluation of vehicles[C]∥Proceedings of International Conference on Intelligent Systems, Modelling and Simulation.[S.l.]: IEEE Computer Society, 2013: 220-224.

[6] ACUNZO D, ZHU Y, XIE B, et al. Context-adaptive approach for vehicle detection under varying lighting conditions[C]∥Intelligent Transportation Systems Conference, 2007, IEEE.[S.l.]: IEEE, 2007: 654-660.

[7] O’MALLEY R, JONES E, GLAVIN M. Rear-lamp vehicle detection and tracking in low-exposure color video for night conditions[J]. IEEE Transactions on Intelligent Transportation Systems, 2010, 11(2): 453-462.

[8] LI T, SONG Y, MEI T. An auto exposure control algorithm based on lane recognition for on-board camera[C]∥Proceedings of IEEE Intelligent Vehicles Symposium.[S.l.]: IEEE, 2015: 851-856.

[9] 黄山. 车牌识别技术的研究和实现[D]. 成都:四川大学,2005.

[10] 吴洪森,李志能. “电子警察”视频检测系统的分析与设计[J]. 浙江大学学报:工学版,2005,39(10): 1517-1519.

WU hongsen, LI Zhineng. Analysis and design of auto-monitoring and recording system for electronic police[J]. Journal of Zhejiang University: Engineering Science, 2005, 39(10): 1517-1519.

[11] 潘薇. 嵌入式车牌识别系统关键技术研究[D]. 成都: 四川大学, 2010.

[12] RAGHAVAN A, LIU J, SAHA B, et al. Reference image-independent fault detection in transportation camera systems for nighttime scenes[C]∥Proceedings of IEEE Conference on Intelligent Transportation Systems.[S.l.]: IEEE, 2012: 963-968.

[13] TORRES J, MENÉDE J M. Optimal camera exposure for video surveillance systems by predictive control of shutter speed, aperture, and gain[C]∥Real-Time Image and Video Processing.[S.l.]: SPIE, 2015: 1-14.

[14] 黄凯奇,陈晓棠,康运锋,等. 智能视频监控技术综述[J]. 计算机学报,2015,38(6): 1093-1118.

[15] 公安部道路交通管理标准化技术委员会. GA/T 496—2014闯红灯自动记录系统通用技术条件[S]. 北京:中华人民共和国公安部,2014.

[16] OTSU N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems Man & Cybernetics, 1979, 9(1): 62-66.

[17] 张洪斌,黄山. 面向城市路口的高清晰智能监控系统研究[J]. 四川大学学报:工程科学版,2012,44(增刊1): 224-228.

ZHANG Hongbin, HUANG Shan. Research on the high definition intelligent surveillance system for urban intersection[J]. Journal of Sichuan University： Engineering Science Edition, 2012, 44(Sup.1): 224-228.

[18] MAMMERI A, BOUKERCHE A, TANG Z. A real-time lane marking localization, tracking and communication system[J]. Computer Communications, 2015, 73(2): 229-233.

[19] MATAS J, KITTLER J, GALAMBOS C. Robust detection of lines using the progressive probabilistic Hough transform[J]. Computer Vision and Image Understanding, 2000, 78(1): 119-137.

[20] 公安部道路交通管理标准化技术委员会. GA/T 833—2016 机动车号牌图像自动识别技术规范[S]. 北京:中华人民共和国公安部,2016.