高清视频检测和识别技术研究及其在城市交通中的应用

黄溅华，刘海峰

（中兴智能交通（无锡）有限公司，北京 100089）

0 引言

近十几年来，智能交通（Intelligent Transportation System，简称ITS）在我国得到了大力发展，各种技术在城市公安交通中的应用也日益普及，其中车辆的检测、车辆行为分析、车牌识别（License Plate Recognition，简称LPR）和交通事件检测就是其中之一。利用计算机视觉分析等先进的信息技术实现高效、安全的智能交通已成为交通、治安治理的主要发展方向。在《公安交通指挥系统建设技术规范》（GA/T 455—2010）中提出的交通事件检测系统、交通违法行为监测记录系统（包括闯红灯自动记录系统、超速监测记录系统、其它违法行为监测记录系统）、公路车辆智能监测记录系统、机动车查缉布控系统等，都依赖于视频检测和识别技术。另外在旅行时间系统、区间测速系统、套牌车检测系统、车辆区域关联性查询分析系统、公路收费、停车治理、交通诱导、交通执法、交通参数采集等领域也有广泛的应用。这些是智能交通建设重要的基础技术之一。

对基于高清摄像机的视频检测和识别，可以为智能交通的交通数据采集、违章检测和记录、车牌识别等应用提供技术基础。如果能够解决车辆检测、车牌识别等技术，闯红灯自动记录系统、超速监测记录系统、公路车辆智能监测记录系统、交通流信息采集系统等的实现，就具备了很好的基础。

1 视频识别技术的现状

从本世纪初开始的基于标清摄像机的车牌识别技术，一直是视频检测和识别中的关键。从技术路线的角度看，车牌识别系统按触发方式不同可分为视频触发和外触发；按成像条件可分为可见光成像和红外成像；按运行平台不同可分为硬件式和软件式。不论是何种技术路线，其中的关键技术是一样的，车牌识别系统都是由触发、图像采集、图像识别模块、辅助光源和通信模块组成的。视频触发的完整的车牌识别处理流程如图1-1所示。

图1-1 车牌识别处理流程

车牌识别系统运行时，光学系统要经过事先调整，使到达指定位置的车牌成像最清晰且成像大小、方位符合要求。摄像机获取图像，经过数字化，系统对图像进行分析，一旦检测出车牌，就给出触发信号，对车牌进行定位、截取车牌照片、进行字符分割和利用OCR（Optical Character Recognition，光学字符识别）进行字符识别。辅助光源提供辅助照明，保证系统在不同的光照条件下都能拍摄到高质量的图像。

在众多车牌识别软件的应用中，不同的厂家采用不同的技术路线，主要包括以下方面：

a）有完全基于车牌识别进行检测和触发的 这种模式对逐帧或抽帧进行分析，一旦发现车牌即进行触发和识别，由此进行触发，这种模式效率比较高，所抓拍的照片有效性高，但对于没有车牌的车辆会无法抓拍；

b）有基于虚拟线圈的方式进行检测和触发的然后对抓拍的图片进行车牌识别（也即先检测再识别），这种方式容易受到背景光变化的影响，缺点是误触发多、受环境影响大；

c）也有通过在视频中划触发线的方式 如果有物体经过该触发线，就进行触发抓拍，这种方式和基于虚拟线圈的方式类似；

这几种方式在不同场景下都可应用，根据识别的难易来确定，例如对于还无法识别车牌时或者要求无车牌都要进行抓拍，采用后面的两种方式就更加适宜。

图1-2是标清电子警察所抓拍的图片。

图1-2 标清电子警察抓拍的违章过程照片

车牌识别系统经过多年的发展，已成为一项较为成熟的技术，系统发展呈现出以下几个明显的热点和趋势：

a）高清晰 采用高清摄像机成像技术（通常为140万、200万、300万和500万像素，更高分辨率的高清楚摄像机也已出现），并结合补光技术，对车辆抓拍的图像质量大大提高，不仅可以清楚抓拍车牌，还可以提供高质量的前排司乘人员的面貌图像，并且可以记录车辆全貌及车载情况等信息；

b）高智能 通过智能分析和目标跟踪技术，抓拍对象已不仅局限于机动车，且扩展至非机动车，通过计算机视觉技术，不仅可识别车牌号，同时可识别车身颜色、车辆类型（货车、大巴、中巴、小型货车等）等，使检索查询更方便，更迅捷；

c）视频检测触发 基本原理是采用计算机视觉技术和目标跟踪技术来分析视频流，检测出其中的运动目标而实现抓拍，视频检测触发方式主要优点是不需外部触发源，系统安装维护简单。

最近几年来，业内开始研究高清的车牌识别。目前基于高清的车牌识别的许多系统也逐渐开始商用，但还在不断完善之中。图1-3是高清电子警察抓拍的违章过程照片。

图1-3 高清电子警察抓拍的违章过程照片

2 高清视频检测和识别技术

从标清的摄像机所抓拍的图片可以看出，由于像素低，在既要兼顾看清车牌还要覆盖整个路口的几大要素的要求下，只能由多个摄像机组合来分别完成，同时，以往的闯红灯系统往往只针对虚拟线圈所标识的区域进行分析计算，因此无法处理车辆被遮挡和车速较快的情况，并且对光照和天气变化非常的敏感，对环境的适应能力比较差。

而随着高清摄像机的商用和性能不断提高，已经完全可以对由一个摄像机采集的视频进行分析来完成检测车牌和抓拍全景。由此，需要采用与传统的标清摄像机不同的检测和识别技术。在各个厂家的应用中，也略有差异。不少厂家采用标清一样的检测方式，包括基于车牌识别进行检测、基于虚拟线圈的方式，甚至还有基于外触发的方式，包括线圈、地磁检测和雷达等。而最经济实惠又可以充分利用视频的方式是车牌识别和车辆检测相结合的纯视频触发方式。

基于高清视频技术的车牌识别系统采用数字高清成像技术，能达到1600×1200分辨率甚至更高的像素，有效像素在200万以上，是标清系统的5～10倍以上，可用一台高清摄像机覆盖更大的目标识别场景，并能够对局部目标进行清晰放大和辨识，很好地解决交通业务部门对嫌疑目标面部特征、前排司乘人员面部特征、可疑车辆车型外貌的细节识别问题。基于高清视频技术的车牌识别系统从根本上摆脱了标清成像的技术限制，采用了具有丰富扩展功能的视频检测触发和高清成像技术，可完成从采集图像到完成车牌识别的全部功能。

基于高清视频技术的车牌识别系统，采用视频全区域多规则动态检测跟踪技术，是目前基于计算机视觉的最先进的技术，对全部区域不同方向、不同速度移动的所有车辆或物体，进行不同视角、不同种类的复杂检测，采用改进的粒子滤波方法进行跟踪，而后对轨迹或物体进行复杂交通规则判断的综合技术。这里采用了差帧检测比较和车牌检测识别相结合的技术，具备跟踪车辆行驶轨迹的功能，能够很好地判断车辆直行、左转、右转等行驶方向。这种算法在实时视频中进行处理，而不是靠外触发抓拍图片再进行识别。

高清视频检测和识别流程图如图2-1所示。

在这里，采用综合性混合优化的计算机人工智能算法，利用大量学习样本，加入了在线学习模块，采用最新的反馈型学习模型来自适应环境的变化，提高了系统对环境的适应能力，同时对图像信息密集采样，对每一帧的全景信息进行实时分析计算，用一种完全基于学习的多种特征融合的车辆定位新算法对图像进行车辆定位，判别出真正的车辆，进行车辆锁定并对锁定的车辆进行实时跟踪。然后得到车辆的精确位置以及车辆运动的矢量轨迹曲线图，提高了对环境变化的适应能力，综合分析各种噪声的整体特征和局部特征，并采用国际上先进的计算机启发式混合智能优化算法，实现对各种噪声的过滤和衰弱，该算法对噪声的滤除作用明显，对摄像机的系统噪声、车辆以及树木等的阴影、行人、非机动车辆、夜晚车辆大灯、大雨、雪、地面有水时的反光等等各种环境噪声都有很好的滤除和衰减作用，大大提高了系统的捕获正确有效率。特别是对夜晚环境的噪声有较好的滤除作用，提高摄像机夜晚的画面质量。

图2-1 高清视频检测和识别流程图

3 高清视频检测和识别技术的应用

这里对具备卡口系统功能的闯红灯自动记录系统（电子警察系统）的应用进行分析。

3.1 系统描述

基于高清摄像机的电子警察系统集成了最新图像抓拍与识别技术，可对路口机动车辆闯红灯行为进行准确检测，并输出违章车辆违章过程的全景和车牌特写图片以及车辆违章的有关信息，同时系统可以记录在绿灯期间所有通过的车辆车牌号码。通过对视频的动态分析，本系统通过采用国际领先的视频分析算法，实现了准确的视频触发，对车辆和车牌的检测不需要添加任何外部触发装置，且将光照影响，非机动车、树荫等各种干扰因素的影响最大程度地降低。

3.2 系统结构

电子警察系统由路口前端设备、网络传输系统和中心管理系统构成。系统结构如图3-1所示。

图3-1 电子警察系统结构图

路口前端设备部分主要由视频检测捕获设备（高清摄像机、智能频闪灯）、红绿灯检测器等组成，完成红绿灯状态检测、机动车闯红灯、压黄线、压实线、逆行、不按规定车道行驶等违章行为检测抓拍、违章图片抓拍数据存储和传输、补光灯控制等功能，相关信息网络上传等任务。

电子警察系统采用工业级高清摄像机，通过对高清视频流的分析，对车辆违章行为进行检测触发，对违法闯红灯车辆抓拍3张图片（一张违法车辆在停止线前，一张违法车辆在停止线上，一张违法车辆在停止线后，同时对一张照片中剪切出包含车牌的特写照片，这四张照片可以根据客户需要进行组合调整），该组图片信息可清晰地反映车辆违法地点、违法车道、行驶方向、闯红灯违法时间、红灯开始结束时间、违法类型、车牌号码、车辆类型、图片序号、红灯信号（含箭头灯）以及车辆压在或越过停车线等情况。同时将图片等数据实时上传给中心数据库服务器，供用户查询与处理。系统可以根据客户需要进行相应修改，以满足各种不同的需求。

每天由高清摄像机抓拍的违法车辆图片及路口实时图像定时或实时上传到控制中心服务器中。控制中心的工作人员通过管理计算机的录入数据库服务器并在违法图片、图像上叠加违法车辆信息，然后保存在服务器的电子警察网站上。交警支队通过标准网络浏览器程序登录电子警察网页，并根据所分配的权限，对所管辖路口的违法车辆进行处理，处理的时间、处理人、处理结果等相关内容同时保存在电子警察网站上，可供事后查询。

图3-2 白天效果图

图3-3 夜间效果图

图3-4 逆光时未处理效果

图3-5 逆光时处理后效果

图3-6 机动车在非机动车道内行驶

3.3 系统抓拍的图片

高清摄像机闯红灯电子警察系统，采用国际领先的计算机智能跟踪算法技术，对高清视频流中每一辆车都能进行实时跟踪并记录其运动轨迹，系统可根据车辆运动轨迹智能判断车辆行驶方向，自动实现机动车闯红灯违法监测抓拍功能——拍摄车辆的尾部来实现车辆的动态跟踪。

图3-2～图3-10，是高清摄像机闯红灯电子警察系统抓拍的结果照片。

图3-7 直行车道左转

图3-8 直行车道右转

图3-9 机动车逆向行驶

图3-10 车辆压实线行驶

路口的左转、直行、右转和非机动车道都使用高清摄像监控设备，以保证经过路口的所有机动车辆、非机动车辆和行人都有记录，对机动车重点监控，以便为以后可能发生的事件还原作基础。

4 结语

基于高清摄像机的车辆检测和识别技术与标清摄像机的车牌识别相比具有众多优势，在智能交通的城市公安交通中应用广泛，可以实现对车辆检测、车辆行为分析和跟踪、车牌识别。在本文中，对基于高清摄像机的车辆检测、车牌识别进行了分析和研究。采用综合性混合优化的计算机人工智能算法，利用在线学习模块，采用最新的反馈型学习模型来自适应环境的变化，通过对每一帧的全景信息进行实时分析计算，提出了一种完全基于学习的多种特征融合的车辆定位新算法对图像进行车辆定位，实现对车辆进行实时跟踪。最后对于高清视频检测和识别技术在城市公安交通中包括具备卡口监控功能的电子警察系统的应用进行了分析。

[1]宋昆.车牌识别系统的关键技术[J].计算机世界报， 2005， （8）： B6-B8.

[2]张宏林.VC++数字图像模式识别及工程实践[M].北京：人民邮电出版社，2003.

[3]黄溅华.车牌识别技术在高速公路收费系统中的应用[EB/OL].http://www.doc88.com/p-515799956731.html，2012-12-10.

[4]GA/T 455—2010，公安交通指挥系统建设技术规范[S].