车载移动执法中违规车辆智能检测研究

陈 刚 ，陈 斌, ，钱基德

(1. 中国科学院成都计算机应用研究所 成都 610041；2. 中国科学院大学 北京 石景山区 100049；3. 中国科学院广州电子技术研究所 广州 510070)

随着信息技术的进步，智慧城市、智能交通等概念逐步推进实施，基于视频图像的移动执法自动检测违规车辆行为的实际需求越来越多。文献[1]对具有移动执法功能的停车场管理系统进行了研究。该领域已有的一些应用系统，大部分是由执法人员与系统协同完成任务，自动、智能化水平较低。移动执法违规车辆自动检测与自动驾驶相比存在共同之处，如通过视频图像或其他传感器，对道路环境、周围车辆、人员进行理解、感知。主要技术内容基本一致，如车道线检测、车辆检测及连续跟踪等。但是二者应用目的存在极大差异。自动驾驶对传感器数据进行理解分析，是用于车辆安全、自动做出驾驶选择；而移动执法的目的是通过对道路和周围环境目标的感知分析，检测出车辆违规行为。本文参考自动驾驶、ADAS(advanced driver assistance systems)先进辅助驾驶系统中相关研究，构建了一个适合车载移动智能执法应用的模型及关键算法实现并进行相关测试。文献[2]基于GPS实时位置信号及交通道路地理空间先验信息进行路面检测，但没有精确到车道尺度。自动驾驶领域和ADAS领域，基于视频图像的车道线、车辆目标检测及跟踪是一个研究热点。文献[3-4]对此问题有深入研究。技术方法的发展趋势是从传统的特征提取加分类器到采用深度学习进行相关分析。但针对违规车辆车载移动执法应用环境特点进行系统技术的研究相关文献报道不多。该方向具有一定的研究和应用价值。

1 系统模型

对违规车辆的检测判断一般分为两种类型：1)基于车辆所在位置(包括应急车道行驶、特种车辆行驶在不适合车道内)；2) 基于车辆运动轨迹及运动状态(包括超速行驶、连续变道)。由此判别所构建系统模型输出需要满足：① 实时标注出违规行车区域；② 对兴趣目标车辆进行连续跟踪，生成运动轨迹。结合车载执法系统的主要输入信息(GPS位置信号、电子地图信息、车载拍摄移动视频图像)，针对上述模型需求，本文设计了一个模型框架如图1所示。

1.1 交通道路地理信息模型

通过车载GPS设备获取实时地理坐标位置，通过地理坐标位置获取到车道信息。车道信息包括：1) 车道数量，2) 车道宽度，3) 路面宽度，如图2所示。使用交通先验地理信息与实时视频图像融合，为后续违规车辆检测提供一个可几何量测的框架。

图1 模型框架

图2 交通道路地理信息模型与实时拍摄视频图像融合

由于GPS信号误差，在实际行车过程如果不对信号进行地图匹配(map matching)处理，可能出现当前车辆位置不在道路上的定位结果。本文将这一阶段的地图匹配处理道路匹配，目的是将GPS信号定位于道路上。车道级别的精度相当于1 m左右的定位精度。算法流程如下：

输入：GPS位置信号、GIS电子地图、车载拍摄实时视频。

输出：当前车辆车道位置。

1) 根据采样频率，获取GPS信号连续轨迹，并对轨迹信息进行插值处理。插值方法采用样条曲线插值。2) 根据GPS信号，获取附近的路网地理空间信息，包括道路车道数量等。3) 进行车载视频相机标定处理，建立相机成像坐标系与道路世界坐标系之间的映射关系。4) 设定视频连续帧检测结果置信度指标Q，Q由路面先验信息和视频帧间车道线检测结果的平滑度确定，当置信程度高于阈值，将当前车辆视觉定位结果作为样本数据。5) 确定当前行车道路的当前路段，当前路段的确定由关键路点表示。关键路点由道路转弯点确定，由视觉检测模块可判定出当前车道的弯曲程度。使用ST-Matching地图匹配算法，结合GPS位置信号和GIS地图信息，从而确定当前路段。6) 根据视觉检测样本中当前车辆(不变道情况下)在车道约束情况下，由路段推测当前车辆在路段中平行方向位置、由车道视觉检测定位估计当前所在路面位置。从而获得GPS信号位置轨迹和基于视觉检测位置轨迹。7) 基于GPS信号位置轨迹，和估测车辆位置轨迹的相关性，具体方法采用加权系统的相似性度量函数方法。

1.2 车辆车道位置定位模型算法

车辆分为两种类别：1) 执法车辆(即GPS装置所在的执法车辆)；2) 需判定是否违规的目标车辆。由于两者可通过视频图像确定在成像空间中位置关系，进而通过相机标定、透视变换确定真实道路世界坐标系中两者的位置和方位关系。故在确定执法车辆位置后，通过距离和方位关系可对确定目标车辆所在车道位置。基于几何关系的判断模型如图3所示。

图3 基于图像车辆两者距离、角度几何参数的目标车辆所在车道位置判定示意图

2 关键技术研究

关键技术包括：1) 基于视频图像的车道线实时检测；2) 成像坐标系统与真实道路世界坐标系统变换及几何量算；3) 车辆目标检测及跟踪。

图4 车道线检测流程

2.1 车道线视觉检测

目前车道线检测方法可分为基于特征和模型两类方法。本文综合两种方法，根据前文模型中获取的当前道路先验知识，基于先验知识构建道路模型，与图像特征协同进行车道线检测。车道线视觉检测算法主要包括图像处理、边缘线检测与提取、基于模型的车道边缘检测模块组成。算法流程如图4所示。采用KITI数据集[5]检测效果如图5所示。

1) 车道图像预处理。为在消除噪声的同时保护图像中边缘特征，采用中值滤波对图像进行处理，即：

式中，像素点m,n属于中值滤波窗口A中元素。

2) 基于Canny算子的边缘提取。Canny边缘检测算法能有效地抑制噪声，较精确确定边缘位置，找出车道潜在位置。

图5 KITI数据集车道线检测效果

3) 基于逆透视变换及车道GPS位置的车道线范围搜索。

4) 车道模型的建立。采用文献[3]中提出直线模型的近端视场，以及基于曲线模型的远端视场车道线检测[6]。近端视场内采用Hough变换提取的得票最多的参数，分别得到左右两侧车道线参数。双曲线模型为：

式中，k、b、vp为弯道参数。

2.2 坐标系变换及几何量算

坐标系变换实质上是将成像平面的像素点同世界坐标系中实际道路位置点建立关联。转换分为：1) 从世界坐标系转为相机坐标系，这一步是三维点到三维点的转换，取决于车载拍摄相机的姿态参数；2) 从相机坐标系转为成像平面坐标系。这一步是三维到二维的转换，取决与相机内部参数。相机内部参数一般是固定。变换为：

式中，R为相机外参，确定了相机在某个三维空间中的朝向；t描述相机坐标系和世界坐标系之间平移变换。

几何量算具体功能是将成像空间中执法车辆与目标车辆的距离、角度关系转换到真实道路世界坐标系中，协同电子地图中路面宽度、车道数量、车道宽度等信息，基于已确定当前执法车辆车道位置，从而确定目标车辆所在车道。进而判定其是否存在应急车道行驶的行为和其他违规行为。

2.3 车辆目标检测及跟踪

车辆目标检测传统方法是采用HOG特征结合线性SVM分类器进行目标检测[7]。其特点是准确率较高，不足之处是处理速度慢，较难达到车辆实时检测要求。近来基于深度学习的目标检测领域进展很快。其中基于深度学习模型Yolo[8](you only look once)目标检测方法，具有检测速度较快，可达到目标实时检测的优点。其不足在于对场景内尺度较小目标检测效果较差。但违规车辆需进行车牌识别，故对检测车辆目标大小有限制。经实际场景测试，本文实际应用场景中，Yolo难以检测尺度较小目标，可忽略。Yolo方法原理是将图像划分为m×m网格。对于每个网格，预测边框是目标的置信度以及每个边框区域在多个类别上的概率。根据阈值去除可能性较低的目标窗口，基于NMS算法去除冗余窗口，完成检测过程。基于ImageNet中车辆图片数据和自主收集的车辆图片数据进行检测模型训练，使用镜像、随机光照变化等方法对样本进行增强。只针对车辆这一种类别进行检测。为使检测性能尽可能更优，修改Yolo相关配置，使模型只检测车辆一个类别。采用小批量梯度下降方法和冲量，使收敛过程加快。可对各角度车辆目标进行较好检测，测试结果如图6所示。相较于原始Yolo版本，车辆二分类训练后的Yolo检测模型在查准率、查全率指标上测试结果更优。

图6 基于训练后Yolo网络模型，基于多种成像角度下车辆检测结果

图7 基于Yolo模型检测的车辆多目标跟踪算法

采用基于检测的多目标跟踪框架，参考文献[9]中的方法对多个车辆目标进行跟踪。利用上文训练的Yolo模型对视频的每帧图像都进行车辆目标检测，标记目标检测位置。本文采用视频帧之间车辆目标运动匹配度和外观作为跟踪过程中目标之间关联的判断依据。利用当前帧车辆目标预测位置与检测位置的重合度IOU指标进行关联度的刻画；利用颜色直方图进行外观建模。跟踪位置的预测基于Kalman滤波完成。基于Hungary匈牙利算法进行全局分配优化。由于车辆目标移动过程中，一般受车道线约束以及车辆目标非刚性的特点。该跟踪算法在速度较快的情况下，在仅使用颜色直方图HSV特征作为目标外观信息和位置信息的情况下，取得了较好的跟踪效果。跟踪算法如图7所示。

3 实 验

本文基于GPS位置信号及道路地理信息，在与车道线视觉检测协同情况下，进行路面车道线分割及当前执法车辆位置估计。其目的是增强基于视觉的违规区域动态分割，本文的实验设置违规区域是应急车道区域；复杂路面条件下路面检测、车道检测难以依靠视觉检测完成，在此特殊情况下，采用GPS位置信息进行路面探测及违规行车区域检测。如图8所示，为各种条件下单独基于视觉检测、地理信息与视觉检测系统下的路面检测、车道线分割结果。

本文采用KITTI自动驾驶测试数据集合，包含相机标定数据、车辆行驶GPS位置数据。

图8 路面检测及逆透视下车道分割

车辆目标检测，采用Faster R-CNN方法[11-12]与本文方法进行对比，结果如表1所示。测试视频采用自制视频，拍摄环境为高速道路环境。

表1 车辆目标检测测试结果

基于检测的车辆目标跟踪结果如图9所示。采用复杂天气条件下视频进行测试，车辆跟踪及违规区域停车检测效果如图9所示。自制视频拍摄于成都双流机场高速，视频中应急车道违规行驶共有8辆汽车，均完全检测。

图9 车辆跟踪及块规区域停车检测

4 结束语

本文提出了一种面向高速公路环境的车载移动执法违规车辆行为自动检测模型。通过在自动驾驶公共数据集和自制视频中测试，表明其在复杂环境条件下能对路面、车道、执法车辆所在车道进行检测和定位；能够快速、较准确地检测出违规车辆，并进行跟踪。该模型和所采用综合关键技术能够适合高速环境的移动执法。

[1]闫浩. 具有移动执法功能的违法停车管理系统的设计和实现[D]. 天津： 天津工业大学, 2012.YAN Hao. Design and implementation of illegal parking management system with mobile law enforcement function[D]. Tianjin： Tianjin Polytechnic University, 2012.

[2]ÁLVAREZ J M, LÓPEZ A M, GEVERS T, et al. Combining priors, appearance, and context for road detection[J]. IEEE Transactions on Intelligent Transportation Systems, 2014,15(3)： 1168-1178.

[3]范延军. 基于机器视觉的先进辅助驾驶系统关键技术研究[D]. 南京： 东南大学, 2016.FAN Yan-jun. Research on key technologies of advancedassisted driving system based on machine vision[D].Nanjing： Southeast University, 2016.

[4]BOJARSKI M, DEL TESTA D, DWORAKOWSKI D, et al.End to end lear-ning for self-driving cars[EB/OL].[2017-04-24]. http：//arxiv.org/abs/1604.07316.

[5]GEIGER A, LENZ P, URTASUN R. Are we ready for autonomous driving? the KITTI vision benchmark suite[C]//IEEE Conf on Computer Vision and Pattern Recognition(CVPR). Providence, USA： IEEE, 2012.

[6]KLUGE K. Extracting road curvature and orientation from image edge points without perceptual grouping into features[C]//Proceedings of the Intelligent Vehicles'94 Symposium. New York, USA： IEEE Press, 1994： 109-114.

[7]SATZODA R K, TRIVEDI M M. Efficient lane and vehicle detection with integrated synergies[C]//IEEE Conference on Computer Vision and Pattern Recognition Workshops. New York, USA： IEEE, 2014： 708-713.

[8]REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once： Unified, real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA： IEEE, 2016.

[9]WOJKE N, BEWLEY A, PAULUS D. Simple online and realtime tracking with a deep association metric[C]//2017 IEEE International Conference on Image Processing. Bejing：IEEE, 2017.

[10]YU F, LI W, LI Q, et al. Poi： Multiple object tracking with high performance detection and appearance feature[C]//European Conference on Computer Vision. New Work,USA： Springer International Publishing, 2016： 36-42

[11]REN S, HE K, GIRSHICK R, et al. Faster R-CNN：towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis &Machine Intelligence, 2017, 39(6)： 1137-1149.