智能车辆出入控制系统的低时延处理实现

冯凌颖，陈耀武

（浙江大学数字技术及仪器研究所，杭州310027）

智能车辆出入控制系统的低时延处理实现

冯凌颖，陈耀武

（浙江大学数字技术及仪器研究所，杭州310027）

基于车牌识别的智能车辆出入控制系统对道闸车辆放行有较高的实时性要求，为此，提出一种车辆检测至道闸放行过程的低时延处理方案。从摄像机预处理、图像传输、工控机后续图像处理3个环节入手，通过区域自动曝光的摄像机预处理提高后续车牌识别性能，摄像机抓拍图片时使用异步I/O传输，同时设计结合区域提取的图像分块传输流程，优化工控机客户端图像显示过程，提高系统各个处理环节的效率。实验结果表明，在确保车牌识别准确率的前提下，该方案可使系统车辆图像采集、接收、处理和送显过程的总时延降低到136 m s，达到业界车辆出入控制系统的领先水平。

车辆出入控制系统；低时延；图像传输；区域提取；车牌识别；自动曝光

1 概述

随着科学的进步和国民经济的高速发展，车辆己成为人们出行以及货物运输的重要交通工具。随着车辆数目的急剧增加，不仅城市公路的管理建设需要加强，而且各种小区和停车场对进出车辆的管理也显得尤为重要。

目前比较成熟的车辆出入控制系统主要是基于射频识别（Radio Frequency Identification，RFID），它是一种非接触式的自动识别技术，通过射频信号自动识别目标对象并获取相关数据［1-3］。但需要用户持有射频卡才能正常使用，应用范围受限制，并且不具备射频卡和车辆绑定功能，存在车辆被掉包等安全隐患。针对车辆出入的随意性及应用场合的复杂性等现状，新一代的方案是基于图像车牌识别的车辆出入控制系统［4-5］，采用高清摄像机抓拍出入车辆的车牌，但该类型传统图像上传并进行车牌识别的方案会具有较大的时延，通常都是大于500 m s，导致车辆通行低效。

车牌识别的时延已成为目前智能车辆出入控制系统的瓶颈，针对该问题，本文提出一种车辆检测至道闸放行过程的低时延处理方案。采用摄像机预处理提高后期车牌识别性能，摄像机与工控机间使用异步I/O传输图像减少资源消耗，并设计结合车牌区域提取的优化图像上传过程方案，同时改进客户端图像显示过程，降低从图像采集到车牌识别整个过程的时延。

2 系统构成

车辆出入控制系统主要部署在公共停车场、工业园区和住宅小区等应用场景。本文整套系统主要分为部署在各个出入口的岗亭本地系统、后台的数据服务中心以及中心管理员操作的管理中心客户端。系统对长期用户车牌号码在后台建立一个白名单数据库，将用户信息录入，对于白名单车辆道闸进行免费进出放行，非白名单车辆进出需要收取一定的费用。

岗亭本地系统装有地感线圈、高清摄像机、道闸、LED显示屏和工控机。当车辆压到地感线圈后，触发高清摄像机抓拍号牌图片，上传图片到工控机，然后对号牌进行识别，再将识别后的结果与数据服务中心的白名单进行比对，如果该车辆具有通行权限，则向车辆道闸控制系统发送信号，驱使其升起闸杆，同时向LED显示屏系统发送信号显示相关字幕，道闸栏杆自动升起，车辆可以顺利通过；如果该车辆不具有通行权限，则打印临时通行证，让车辆进入园区。

图1为本文基于车牌图像识别的车辆出入控制系统框架，其中，工控机中主要分为图像接收、图像处理、图像送显3个模块。图像处理的任务顺序划分为车牌定位、字符分割和字符识别3个部分。

图1 基于高清图像识别的智能车辆出入控制系统框架

3 系统低时延方案设计

基于高清图像识别的车辆出入控制系统，其核心就是车牌识别，它主要包括图像采集、图像预处理、车牌定位、车牌字符分割、车牌字符识别等模块［6］。为提高系统的图片处理效率，本文将重点放在图片传输过程和车牌识别过程，设计一种结合区域提取的优化图像上传流程。

在传统基于车牌识别的车辆出入控制系统中，将摄像机端（前端）只负责摄像机预处理、图像采集和图像上传，工控机端（后端）负责图像接收以及后续的处理，如图2所示。本文的设计将一部分图像车牌识别预处理移至摄像机前端进行，提高后续工控机图片处理效率，其流程如图3所示。

图2 传统车辆出入控制系统流程

图3 本文PACS系统流程

下文将从前端摄像机端预处理、图像传输方案、工控机客户端图像送显3个部分来分析系统的改善，提高整个PACS的响应性能。

3.1 摄像机端预处理

在PACS系统中，车辆图片的前端采集部分是系统的前沿部分，把检测的内容转换为图像和数据信息，传送给工控机。抓拍识别部分的效果及图像质量将影响到后续图像处理的速度，也是整个系统性能响应的直接因素。本文的高清摄像机采用基于图像分区的自动曝光算法［7］，并将一部分图像的车牌识别预处理移至前端高清摄像机进行。

3.1.1 基于图像分区的自动曝光

本文采用工业级高清摄像机Davinci系列的TMS320DM 368视频处理器作为视频采集设备，使用3A技术［8-9］中的自动曝光（Auto Exposure，AE）寻找并配置最佳摄像机参数，使得抓拍到的车辆图像质量能够提高后续工控机端车牌识别的效率。由于图像的后续处理部分主要集中在车辆的车牌区域，且摄像机安装的位置和角度固定，车辆触发地感线圈的位置也在某个范围内，因此可以在拍摄区域中划定某个区域为感兴趣区域（Region of Interest，ROI），并赋予该区域不同的权值，从而计算图像的加权平均亮度值。

基于车牌区域的局部自动曝光划分区域如图4所示，其中，ROI区域是摄像机拍摄场景中车牌的主要位置。根据式（1）分配区域权值来计算当前亮度均值，Y值是所在区域的亮度均值，a和b分别是对应的区域权值，使ROI区域的权值比背景（Background）区域的更大。

图4 基于车牌区域的局部自动曝光划分

计算出当前亮度均值curY后，与光圈配合，保证进光量达到符合主观视觉要求的大小。再根据设定的目标亮度targetY，利用式（2）计算比例ratio：

将当前帧的亮度值与目标亮度值进行比较，判断是否在目标范围内，如果不在，则进行分步长调节曝光。根据比例ratio调整曝光时间、传感器增益与芯片数字增益3项参数。

3.1.2 车牌识别预处理

为提高后续工控机车牌识别的效率，在前端摄像机采取图像降采样和车牌初定位的预处理方案［10］。

（1）图像降采样

为了提高图像识别效率，同时降低网络图像传输负载，将摄像机采集到的车辆图片在摄像机端进行降采样，使得图像的分辨率符合工控机端显示区域大小并生成图像的缩略图，由1 080 p（1 280×1 024像素）转换至D1（704×576像素）分辨率。降采样之后对图像进行平滑滤波来改善图像质量。为了能够使图像区域内部进行平滑的同时，区域之间的边缘保持不变，从而提高后续车牌初定位边缘提取的准确性。本文采用保持边缘的高斯平滑滤波器（Edge Preserving Gaussian Filter，EPGF）［11］，它可以在平滑区域内部像素的同时，有效保持目标之间的边缘及光照真实感。

令G（x，y）表示高斯卷积核，（i，j）是模板的中心，σ是标准差，则保持边缘的高斯平滑滤波器EPGF定义如式（3）所示。

其中，ΔE是（i，j）和（x，y）位置处的2个像素之间的色差；th是恰可分辩色差阈值。卷积时，首先判断邻域内某位置处的像素和中心像素之间的色差是否大于阈值，如果是，则令此点对应的权值为0；否则，仍为初始值。在式（3）的基础上，利用EPGF对图像滤波的过程可以用式（4）描述：

其中，f（x，y）表示输入彩色图像，包含RGB 3个颜色通道。经过EPGF对输入图像进行平滑后，同一区域内部的像素，其颜色更趋于一致，并且能有效保留区域之间的边界。

（2）车牌初定位

图片经过降采样平滑后，对图像进行边缘检测及二值化，初步定位车牌区域。从边缘二值化图像逐行进行扫描，根据车牌垂直边缘跳变比较剧烈的特点找到疑似车牌的区域［6］，并设置车牌区域最大阈值T，过滤不必要过大的区域。其处理流程如图5所示。通过初定位可以把整幅图像中疑似车牌的区域大体定位，加入到区域目标集合中，等待分块传输。

图5 摄像机端车牌初定位流程

3.2 图像传输优化方案

3.2.1 抓拍图片异步I/O传输方案

当前主流的网络摄像机均具备FTP文件传输协议功能，传统基于高清图像的PACS系统通常采用摄像机抓拍到图像，并上传至工控机的FTP服务器相应目录，由系统程序定时去读取并判断相应目录下是否有新图像，从而获取当前出入口处是否有新车辆。

这种方法不具备足够的实时性能，并且消耗较多系统资源。为弥补该缺陷，降低系统的时延，本文采取了摄像机抓拍图像后主动向工控机上报的异步I/O方法［12］，其传输运行时序图如图6所示。

图6 抓拍图片传输时序图

由图6可知，传统方案是由工控机应用程序定时间隔T时间（如100 ms）扫描FTP目录是否有新图像，如果有新图像则进行下一步图像处理，如果没有，则继续等待T时间重新检查目录。图中在T3时刻目录下不存在新车辆图像，T3过后，新图像2即刻上传结束，但图像2的处理必须等待一个周期，直到T4时刻才能进行处理。同理，图像3的处理也延迟了一个周期。本文方案实现非阻塞异步I/O，网络摄像机抓拍图像通过网络套接字socket发送至工控机，立即可以进行图像处理，有效降低了延时，同时减少了线程定时循环检查FTP目录的不必要资源开销。

3.2.2 结合区域提取的图像分块传输

由3.1节可知，摄像机抓拍到的图像经过降采样并平滑滤波后，再进行车牌初定位，得到类车牌区域的传输集合。将集合上的所有目标区域，通过

3.2.1 节方案发送至工控机端。同时，集合中不可避免存在伪区域，在工控机端结合车牌识别算法中排除伪区域，其流程如图7所示。

图7 图像分块传输流程

由图7可知，此方案避免了传统方案中工控机需要等待全部图像从摄像机端完整上传才可以进行车牌识别的缺陷。只要摄像机采集到图像，根据3.1节进行预处理后，就能得到类车牌区域的集合，并通过网络分块顺序发送至工控机，那么工控机直接可以进行车牌识别，并且一旦排除一部分伪车牌区域，找到最终的车牌区域，就可以直接忽略后续的集合区域，直接将结果送达至客户端。

3.3 工控机客户端图像送显优化

本文在客户端图像显示上采用高效的YUV转 RGB图像格式转换算法，使得提升系统的响应。在色彩空间转换过程中涉及的计算都需要进行浮点运算，而每个像素点的运算都是按单字节（8 bit）逐点进行，这些都严重影响了算法的计算效率［13］。为提高处理速度，本文对算法进行浮点转定点优化。用整型算法代替浮点运算，采用移位的方法如式（5）～式（7）所示。

实际上人眼能够分辨的颜色数量远小于224，因此，计算机中一般使用RGB空间的一个子集：RGB8∶8∶8（真彩色）来描述颜色，其中，R，G，B为0～255的整数。同理，Y，U，V也为0～255的整数。为防止溢出，还需要判断计算结果是否在0～255范围内。

4 测试结果与分析

4.1 摄像机端车牌初定位结果

图8和图9为摄像机端在图像分块发送前车牌初定位的结果。对结果进行分析可知：有些车牌误定位到地面或者车身，这是由于地面或者车身存在大量的噪点而导致。若车牌的边缘信息不丰富，边缘检测及二值化后会检测不到车牌。但本文在对图像降采样后，采用保持边缘的高斯平滑滤波器（EPGF），它可以在平滑区域内部像素的同时，有效保持目标之间的边缘及光照真实感。因此，本文设计的车牌初定位模块，能够有效地提取到包含车牌的有效区域。

图8 车辆出入口抓拍原始图像

图9 图8左边车辆车牌初定位结果

4.2 系统降低延时效果

系统各个环节的延时测试的结果如表1所示。由数据可知，本文设计的系统从车辆图像采集到图像接收，再到图像处理和图像送显，总时延仅为136.42 m s，表明该系统具有高效的实时响应性能。

表1 系统各环节耗时m s

此外，本文系统在南京某集团园区投入运行，测试结果如表2所示。由表中数据可知，本文方案在确保车牌准确率的情况下，采用D1分辨率的图像进行车牌识别，降低了系统的时延，有效地将上下班高峰期车辆通行速度由原来的1.2辆/m in提高到1.9辆/m in，提高了园区车辆出行的效率。

表2 系统实际运行效果测试

5 结束语

针对基于车牌识别的智能车辆出入控制系统，本文提出了车辆放行低时延处理的设计方案，将系统分为各个出入口的岗亭本地系统、后台的数据服务中心以及管理中心客户端3个模块。优化方案主要针对岗亭本地系统，从摄像机预处理、图像传输过程和工控机后续图像处理3个环节入手，采用区域自动曝光的摄像机预处理方案提高后续车牌识别性能，摄像机抓拍图片使用异步I/O传输，并设计一种结合区域提取的图像分块传输流程，同时优化客户端图像显示过程。系统从车辆图像采集到图像接收，再到图像处理和图像送显，总延时仅为136 ms，且于南京某集团园区投入运行以来，在确保车牌识别准确率的前提下，将上下班高峰期车辆通行速度由原来的1.2辆/m in提高到1.9辆/m in，具有较高的实时响应性能，为城市交通车辆管理提供了车牌识别准确率和实时性的双重保障。下一步工作将研究当多个岗亭出入口大量并发向后台数据服务中心发送请求时，如何提高服务器软件系统响应及数据库查询优化，从而进一步提升系统的实时性。

［1］ Pala Z，Inanc N.Smart Parking Applications Using RFID Technology［C］//Proceedings of the 1st International RFID Eurasia Conference.Washington D.C.，USA：IEEE Press，2007：1-3.

［2］ Crowder M，Walton C M.Developing an Intelligent Parking System for the University of Texas at Austin，SWUTC/03/ 167229-1［R］.Austin，USA：Center for Transportation Research，University of Texas at Austin，2003.

［3］ 杨笔锋，詹艳军.基于射频识别的智能车辆管理系统设计［J］.计算机测量与控制，2010，18（1）：97-99.

［4］ Anthonyson R B.Automated Vehicle Parking System：USA，Patent 5414624［P］.1995-05-09.

［5］ 丁 坚.智能停车场中的车牌识别系统研究［D］.南京：南京航空航天大学，2008.

［6］ Chang S，Chen L，Chung Y，et al.Automatic License Plate Recognition［J］.IEEE Transactions on Intelligent Transportation System s，2004，5（1）：42-53.

［7］ 周 杰.基于多区域分割及模糊逻辑的自动曝光方法［D］.上海：上海交通大学，2007.

［8］ 梁佳毅，洪志良.适用于大动态范围场景的自动曝光控制算法［J］.光电工程，2008，35（5）：89-92.

［9］ 曹 涛.基于DSP的网络摄像机图像预处理技术［D］.杭州：浙江大学，2014.

［10］ Gonzalez R C，Woods R E，Eddins S L.数字图像处理［M］.阮秋琦，阮宇智，译.北京：电子工业出版社，2003.

［11］ 李雪威，张新荣.保持边缘的高斯平滑滤波算法研究［J］.计算机应用与软件，2010，27（1）：83-84.

［12］ Bhattacharya S，Pratt S，Pulavarty B，et al.Asynchronous I/O Support in Linux 2.5［C］//Proceedings of Linux Symposium.Ottawa，Canada：［s.n.］，2003：371-386.

［13］ Rosenfeld A，Kak A C.Digital Picture Processing［M］. New York，USA：Academic Press，2014.

编辑 金胡考

Realization of Low Latency Processing in Intelligent Vehicle Access Control System

FENG Lingying，CHEN Yaowu
（Institute of Digital Technology and Instrument，Zhejiang University，Hangzhou 310027，China）

Considering the demand of low latency of intelligent vehicle access control system based on license plate recognition，a design for reducing the latency of system response performance from vehicle detection to lane release is proposed.This design mainly focuses on three aspects——pre-process in camera，image transmission and later-process in Industrial Personnel Computing（IPC）.Using regional Auto Exposure（AE）in camera and asynchronous I/O image transmission to improve the performance of later license plate recognition，it realizes a kind of block transmission method combined with image region extraction while also optimizing image display in client-side of IPC，to improve the efficiency of the system's each processing part.Experimental results show that from image acquisition to receiving，to processing and at last to show，this scheme can make system take about 136 ms while at the same time ensuring the accuracy of license plate recognition，which reaches the leading level in the field of vehicle access control system.

vehicle access control system；low latency；image transmission；region extraction；license plate recognition；Auto Exposure（AE）

冯凌颖，陈耀武.智能车辆出入控制系统的低时延处理实现［J］.计算机工程，2015，41（11）：13-17，23.

英文引用格式：Feng Lingying，Chen Yaowu.Realization of Low Latency Processing in Intelligent Vehicle Access Control System［J］.Computing Engineering，2015，41（11）：13-17，23.

1000-3428（2015）11-0013-05

A

TP18

10.3969/j.issn.1000-3428.2015.11.003

浙江省重点科技创新团队基金资助项目（2011R09021-02）。

冯凌颖（1990-），女，硕士研究生，主研方向：智能交通，嵌入式网络多媒体；陈耀武，教授、博士生导师。

2014-12-22

2015-01-13 E-m ail：fenglingyingFLY@126.com