高速公路服务区违法上下客行为识别技术研究

党倩

摘 要：高速公路服务区违法上下客行为严重影响客运交通秩序，极易诱发交通安全隐患。本文通过对车辆、行人、物体的特征提取及持续跟踪，基于行人携物、背包的特征识别，建立了一套违法上下客识别流程，并研发违法上下客行为识别系统，实现疑似违法行为的智能检测及抓拍取证，为非现场执法提供依据，对提升执法稽查效率及非现场执法智能化水平具有重要意义。

关键词：违法上下客行为;行人携物;行人检测

0 引言

近年来，高速公路服务区作为车辆停车、休憩的服务场所，逐渐涌现出客运车辆违规上下客、倒客、甩客等违法行为，严重影响交通秩序，带来行李未经安检、行人自由出入、翻越围栏、横穿高速公路等安全隐患，极易诱发致死、致伤的道路交通事故，违法上下客行为的检测及监管已成为“平安交通”建设工作的重中之重。

违法上下客行為具有短时发生、取证追溯难等特征，传统人工现场巡检的监管方式需要出动大量人员、车辆，且只具有短时间的监管效应，导致打击难度大、效率低，成为行业管理的痛点及难点。随着技术进步、管理机制革新，采用“技术+管理”综合手段实现服务区违法上下客行为的主动检测识别已成为当务之急。

基于视频的行人携物检测即在视频监控中根据携物行人与正常行人特征的差异，通过目标行人检测及模式识别的手段，实现携物行人的检测及判别，常应用于安防安保等领域。国内外学者围绕行人检测开展了深入的研究[1-4]，在行人携物方面的研究相对较少，主要围绕携带物品检测及行人检测两个方面。物品检测方面，Giounona Tzanidou[5]等用颜色信息对行人与其携带的物品进行了分割，从而达到对携带物品的有效检测，但受限于颜色特征的不唯一及易混淆特性，识别效果较差。Haritaoglu， D[6]等人根据无负重状态下人体轮廓的对称性，结合人体步态周期频率建立背包检测系统;在此基础上，Benabdelkader和Davis[7]等人对系统进行了改进，通过对连续视频序列中人体轮廓的周期和振幅，更加精确地判别携带物品位置，但其中心轴的寻找方面仍然存在缺陷。行人检测方面，Nanda[8]等人从机器学习的角度对人体携物进行了判断，通过分析正常行人与异常行人的区别，结合神经网络分类器对人体是否携物进行检测;王文杰[9]则用单一行走的行人与已经建立好的标准模板库进行对比来判定行人是否携带物品，取得了一定的检测效果。

基于上述研究基础，本研究建立了违法上下客行为检测识别系统，借助模式识别、机器学习及智能分析等技术，实现车辆检测、行人检测、行人携物检测、轨迹跟踪及行为分析等功能，进而实现违法上下客行为判别及分析，为管理部门实施违法监管提供支撑，提升管理效率与智能化水平。

1 技术方案研究

高速公路服务区具有环境开阔、车辆众多、人员嘈杂等特点，对此，针对于客运大巴车辆的违法上下客行为，本研究以服务区内大客车车辆检测及车辆定位为基础，基于服务区视频的联动跟踪，以车辆监测、行人检测为基础，实现行人携物的检测跟踪，并结合行人移动方向与车辆停靠位置的相对分析，判别违法上下客行为。

1.1 违法上下客事件检测流程

利用高速公路服务区现有的视频监控资源，通过对视频场中的客车、行人进行检测和跟踪，融合行人携物特征实现违法行为的检测及识别。检测流程如下：

（1）在视频场中检测是否有客车以及对客车跟踪判断是否有停车行为;

（2）当检测到客车有停车且有行李箱打开行为时，以客车为中心，动态建立行人检测区域;

（3）在行人检测区检测行人及行人携物;

（4）当检测到行人靠近客车行李箱，且伴随有携物特征时，根据预先设定的违法上下客携物特征及阈值，判定具有疑似违法上下客行为;

（5）在判断具有疑似违法上下客行为后，自动拍照或者录制短视频进行取证;

（6）将疑似违法上下客行为结果及取证数据发送至后台综合管理系统。

1.2 车辆检测追踪

基于车牌、车型、车辆颜色等综合特征，以车牌检测及HSV颜色直方图为核心建立运动目标跟踪模型，通过对多路视频的综合分析，采用基于均值漂移和粒子滤波相融合的跟踪算法实现车辆在服务区范围内的连续跟踪。基于对目标车辆的连续检测跟踪，可判别非停车区域违规停靠的客运车辆，实现对违停车辆的抓拍取证，便于执法管理人员取证执法及停车诱导。车辆检测跟踪技术流程如图2所示。同时，根据客运车辆的停车位置，可设定违法上下客检测感兴趣区域（Region Of Interest，以下简称ROI区域），为违法上下客行为检测奠定基础。

依托于高速公路服务区信息化建设，现已基本实现服务区全区无死角检测，为车辆的检测追踪提供了良好基础条件。当车辆驶入服务区入口时，对入口卡口抓拍相机拍摄到的视频图像，采用Faster R-CNN 目标检测算法对车辆进行检测，ZF-net网络作为Faster R-CNN的特征提取网络。为了适应实际场景中远近车辆目标尺寸差异较大的情况，避免漏检较远目标，模型训练时采用多尺度训练的方式。对训练好的模型进行测试，检测结果如图3。

1.3 行人目标检测

人体骨骼关键点检测是诸多计算机视觉任务的基础，用于动作分类，行为识别。行人目标检测时，通过骨骼关键点检测和关键点聚类，将不同人的不同关键点聚类连接从而构建不同的个体。本文采用Associative Embedding方法进行骨骼关键点的检测及聚类。该方法通过使用高维空间的向量来编码不同人体的不同关键点之间的关系，即同一个人的不同关键点在空间上是尽可能接近的，不同人的不同关键点在空间上是尽可能远离的，最后可以通过两个关键点在高维空间上的距离来判断两个关键点是否属于同一个人，从而达到聚类的目的。如下图所示。通过借助行人姿态的检测提取，实现视频序列中行人目标的稳定检测及跟踪，有效避免视频场景中其他背景目标的干扰。

1.4 行人携物检测

基于ROI区域内行人目标的检测提取，借助LBP/HOG特征实现行人携物特征的判别。通过创建正常无携物行人标准模板，基于携物行人身体轮廓与正常无携物行人的特征差别，统计携物行人轮廓与无携物行人轮廓差值的剩余面积，实现携物特征的提取。基于ROI区域的设定，根据行人进、出ROI区域与上、下客的匹配关系，定义区域内及区域外上下客目标行进方向，对行人携物行为进行轨迹跟踪及抓拍取证，为违法上下客行为的稽查执法基础提供依据。行人携物检测技术流程如图6所示。

2 应用系统设计及应用

2.1 应用系统设计

高速公路服务区违法上下客识别系统包括前端嵌入式识别抓拍系统、后台处理中心和应用系统。各组成部分通过专线网络进行通信，系统总体架构如图7所示。

前端嵌入式识别抓拍系统依托于服务区现有视频监控系统进行功能升级，实现视频监控之间的信息传递及目标跟踪。

后台处理中心实现对视频、图像的处理分析，主要包括车辆检测及跟踪、违法上下客识别、违法上下客计数、违法行为抓拍取证等功能，为应用系统提供数据支撑。

2.2 系统实现及应用

基于违法上下客行为的检测判别及系统设计，本文开发了应用系统原型，并以无锡梅村服务区为应用试点，进行了试点应用，当检测到行人携物上下客时，系统自动报警，为执法监管提供依据。系统检测效果及功能界面如图8所示。

3 结论

本文基于高速公路违法上下客事件的特征，利用视频模式识别技术，对服务区内违停车辆及携物行人进行跟踪检测，实现高速公路服务区违法上下客行为的自动检测识别、自动抓拍取证等功能，探索了一种智能化、精准化稽查执法新方法，为高速公路稽查执法管理部门提供完整、直观的数据支撑，有力的提升监管执法及非现场执法的效率。

参考文献：

[1]张开冉，杨树鹏，何琳希，等.基于社会力模型的车站负重人群疏散模拟研究[J].中国安全科学学报，2017，27（01）：30-35.

[2]黄成都，黄文广，闫斌.基于Codebook背景建模的视频行人检测[J].传感器与微系统，2017，36（03）：144-146.

[3]疏坤，蒋建国，齐美彬，等.基于改进的HOG与Sobel-LBP融合的快速行人检测[J].合肥工业大学学报（自然科学版），2017，40（07）：898-903.

[4]杨东明，徐士彪，孟维亮，等.基于改进RPN深度网络的端到端的监控场景行人检测研究[J].中国体视学与图像分析，2017（02）：209-215.

[5]Magee DR.Tracking multiple vehicles using foreground，background and motion models[J].Image & Vision Computing，2004，22（02）：143-155.

[6]Haritaoglu，D.Harwood，and L.S.Davis，Real-TimeSurveillance of People and Their Activities[C].IEEE Trans.Pattern Analysis and Machine Intelligence，2000，22（08）：809-830.

[7]BenAbdelkader C，Cutler R，Davis L.Motion-based recognition of people in eigengait space[C].IEEE International Conference on Automatic Face & Gesture Recognition.IEEE，2002：267-272.

[8]Nanda H，Benabdelkedar C，Davis L.Modelling pedestrian shapes for outlier detection：a neural net based approach[C].Intelligent Vehicles Symposium，2003.Proceedings.IEEE.IEEE，2003：428-433.

[9]王文杰.基于視频序列的行人携物检测方法研究[D].四川师范大学，2014.