基于人脸跟踪与识别的行人闯红灯取证系统的设计与实现

韦勇 万旭 徐海黎 沈标

摘 要： 针对交叉路口行人频繁闯红灯的现象，提出一种基于人脸跟踪和人脸识别的行人闯红灯取证解决方案。行人闯红灯取证系统分为前端抓拍部分和后台比对查询部分，主要包括信息采集模块、人脸检测跟踪模块、报警模块和比对识别模块。系统采用改进的AdaBoost算法检测人脸，提出基于Camshift和轨迹预测的多人脸跟踪算法，以解决传统Camshift算法跟踪目标需手动绘制、跟踪目标单一和背景区域干扰大的缺点，实现了多人脸实时跟踪。后台比对查询部分采用基于卷积神经网络的方法对人脸进行比对识别。实际使用结果表明，该系统具有良好的稳定性和实时性，可有效杜绝“中国式过马路”现象。

关键词： 行人闯红灯； 多功能报警； 人脸检测； 人脸跟踪； 人脸抓拍； 人脸识别

中图分类号： TN911.73?34； TP391.4 文献标识码： A 文章编号： 1004?373X（2018）19?0036?04

Abstract： Aiming at the phenomenon that pedestrians frequently cross the intersections on a red light， a solution about how to warn the pedestrians and collect the evidences of pedestrians′ red?light running is put forward， which is based on face tracking and recognition. The pedestrians′ red?light running evidence?collection system is divided into front?end capture section and background matching query section， which includes information acquisition module， face detection tracking module， alarm module and matching recognition module. The improved AdaBoost algorithm is adopted in the system to detect the human face. The multi?face tracking algorithm based on Camshift and trajectory prediction is proposed to overcome the shortcomings of the tracking target manual drawing of traditional Camshift algorithm， single tracking target and large interference of background area， and realize the multi?face real?time tracking. The method based on convolutional neural network is used in the background matching query section to compare and recognize the faces. The practical usage result of this system shows that the system has high stability and real?time performance， and can effectively eliminate the phenomenon of ″Chinese style of crossing road″.

Keywords： pedestrians′ red?light running； multi?function alarm； face detection； face tracking； face capture； face recognition

0 引 言

近年来，随着城市道路交通的迅速发展，机动车的数量日益增多。在我国城市交叉路口，行人过马路闯红灯的现象较为常见，尤其当群体行人数量达到4人时，最容易激发人群的集体闯红灯行为，这种行为被称为“中国式过马路”[1?4]。行人闯红灯的行为不仅会威胁人身安全，还会诱发交通事故，影响交通秩序。为了提高城市交通秩序、保障人民群众的生命安全、倡导文明出行，需要对行人闯红灯行为进行检测识别，并做出一些相应的提醒和处罚措施，提高行人在道路交通中的自觉意识[5?6]。本文提出了基于人脸跟踪和识别技术的行人闯红灯取证系统的解决方案，用信息化、智能化的手段加强对城市道路交通的管理，推动智慧交通、智慧城市的建设。本系统对路口的实时视频流进行处理，检测视频中闯红灯的行人并对其进行跟踪，在斑马线上设置3条虚拟检测线，行人每至一处便存取一张图片作为闯红灯凭证，将对比获得的清晰人脸图片送至后台服务器进行提取特征和比对识别，最终得到此人闯红灯的次数。

1 行人闯红灯取证系统设计方案

行人闯红灯取证系统分为前端抓拍部分和后台识别查询部分。抓拍客户端通过星光级高清摄像机的SDK中相关回调函数将采集到的视频信息进行显示，当路口信号灯为红灯时将H264编码方式的每一帧图像数据用于人脸检测和人脸跟踪，若为绿灯时则只显示不处理。检测到行人闯红灯时，则语音播报“请不要闯红灯”，LCD液晶屏显示当前闯红灯人脸图像且LED文字屏显示“您闯红灯了”。抓拍客户端将抓拍的行人闯红灯轨迹图、提取的人脸图像通过FTP传至后台服务器。后台服务器将这些存入数据库，并与库中人脸进行比对识别，最终可通过网页查询每位行人闯红灯的总次数。行人闯红灯系统的结构如图1所示。

2 行人闯红灯取证系统模块设计

2.1 信息采集模块

信息采集模块的主要功能是采集红绿灯信号和图像数据，并对采集到的图像数据进行预处理。红绿信号使用红灯信号检测板获得，红灯时工控机将通过RS 232串口接收数据。该模块首先结合星光相机SDK中的回调函数实现视频实时播放，若接收到红灯信号则将H264编码方式的每一帧图像数据作预处理，使得光线等外界因素对人脸的影响减小，人脸特征信息凸显，且图像数据四字节对齐以满足后续人脸检测跟踪算法的要求。

2.2 检测跟踪模块

检测跟踪模块的主要功能是红灯时检测每一帧图像中是否存在人脸，若存在则在视频序列中对其进行跟踪，在3条虚拟检测带处抓拍图片并提取最清晰人脸。该模块具有人脸检测、人脸跟踪、虚拟检测带处抓拍等功能。

2.2.1 人脸检测

人臉检测的目的是确定图像数据中人脸的数量、位置和大小。人脸检测算法在速率和准确性上很难同时达到最优，目前使用最广泛且速度和准确性较好的是AdaBoost算法。传统的AdaBoost算法的一种分类器只能检测一个角度的人脸，而且对环境的要求较高，一般用于实验室中对静态正面人脸的检测[7?8]。本系统的工作环境为交叉路口的人行横道区，需要考虑人脸多角度多姿态等问题。针对本系统复杂的工作环境，对原始的AdaBoost算法进行改进，训练正脸分类器、侧脸分类器，分别用于检测水平旋转角度为[-15°，15°]，[-30°，-15°]，[15°，30°]的人脸，使用时通过串联分类器检测人脸，当正脸分类器检测到人脸则无需使用侧脸分类器。这种方法很好地解决了以往AdaBoost分类器只能检测静态图像中正脸的问题。

2.2.2 人脸跟踪

人脸跟踪的目的是根据前一帧图像中检测到的人脸位置、人脸肤色等信息，确定下一帧图像中该人脸的位置。通常人脸检测后才可进行人脸跟踪，因此检测是跟踪的必要前提和铺垫[9?10]。本系统需要抓拍3张不同位置的图片记录行人闯红灯的过程，所以在检测到目标人脸后需要对人脸进行跟踪。目前人脸跟踪使用最多的是Camshift算法。Camshift算法主要通过对设定的初始区域建立颜色模型，然后在视频序列中寻找最优匹配目标从而达到跟踪的目的，鲁棒性较好。但Camshift算法只能对单一目标进行跟踪，初始区域需要手动设定，当背景颜色与跟踪目标相近会出现混乱甚至跟丢的现象。本系统工作环境为交叉路口的人行横道区，背景复杂且会有多个行人同时出现的情况。针对此问题，对传统Camshift进行改进，提出一种基于Camshift和轨迹预测的多人脸跟踪算法。该算法将上一步检测到的人脸区域自动设为跟踪初始区，采用多线程，每一线程跟踪一个人脸，并结合轨迹预测实现多人脸的对应跟踪，经验证该算法具有很好的稳定性。

2.2.3 虚拟检测带处抓拍

虚拟检测带是视频检测技术的一种，本系统中在视频中的马路区域设置3条虚拟的检测线，在实现人脸跟踪后，当跟踪目标到达检测线位置时便抓拍1张图片，由此抓拍3张过程图片作为行人闯红灯凭证[11]。

检测跟踪模块工作流程如图2所示。

2.3 报警模块

报警模块的主要功能是对闯红灯的行人进行提示和警告，由人脸显示液晶屏、LED文字提示屏和语音提示喇叭三部分组成。当有行人闯红灯时则LCD液晶屏显示当前闯红灯清晰人脸图像，LED文字屏显示红色文字“您闯红灯了”，且语音提示喇叭提示“请不要闯红灯”。当绿灯或无行人闯红灯时则LCD液晶屏循环显示最近10张闯红灯人脸图，LED文字屏显示绿色“请注意交通安全”。

2.4 比对识别模块

比对识别模块的主要功能是将FTP接收的行人闯红灯3张过程图和优选清晰的人脸图录入管理数据库，并提取清晰人脸图特征与数据库中已有的人脸库进行比对识别，统计出该行人闯红灯的次数，然后更新记录数据库以便网页查询。

人脸识别的核心问题就是提取出人脸的特征值[12?14]，并将其与人脸库中的特征值进行比对。本系统中在获取清晰人脸图片后先采用一个九层的卷积神经网络来提取特征，然后进行特征比对识别[15]。本系统使用的人脸识别模型是开源的，由140万张人脸图像训练得到，这些训练图像来自于约1.6万人，其中既有东方人也有西方人。实际测试表明，该引擎在本系统所在场景中具有良好的性能。

比对识别模块工作流程如图3所示。

3 系统实现与实验结果

行人闯红灯取证系统的开发工具是Visual Studio 2013，使用了主流计算机开放视觉库Open Source Computer Vision Library（OpenCV），OpenCV版本是2.4.10，数据库采用的是SQL 2008。系统的抓拍客户端主界面和网页查询界面如图4，图5所示。

在南京市浦口区某路口安装本系统实际测试，通过对前后一个月行人闯红灯数量统计后发现，该路口每天约有10 000人经过，安装前每天闯红灯的人数在1 000～2 000人之间，占总人数的10%～20%，而在安装后每天闯红灯行人数为200～300人，只占总人数的2%～3%。本系统有效缓解了行人闯红灯现象，具有很好的实用性和稳定性，不仅维持了交通秩序，也促进了智慧交通的发展。

4 结 语

本文设计了一种新的行人闯红灯取证系统，介绍了该系统的总体结构，详细阐述了各个模块的功能。同时，通过与没有安装系统前的路口情况作了对比测试，验证了基于人脸跟踪与识别的行人闯红灯取证系统的实用性和稳定性，为提高城市交通秩序提供了新的可行的办法。

注：本文通讯作者为徐海黎。

参考文献

[1] ZHANG W， WANG K， WANG L， et al. Exploring factors affecting pedestrians′ red?light running behaviors at intersections in China [J]. Accident analysis prevention， 2016， 96： 71?78.

[2] 武强，洪赵骏，吕美.“中国式过马路”背景下的交叉路口行人闯红灯现象调查——基于西安市交叉路口观测数据分析[J].决策与信息，2016（9）：121.

WU Qiang， HONG Zhaojun， L? Mei. Investigation on pheno?menon of pedestrian running red traffic lights at cross roads under the background of "Chinese?style crossing the road"： based on analysis of observation data at crossroads in Xian [J]. Decision & information， 2016（9）： 121.

[3] 陈亦新，徐婷，孙小端.信号交叉口个体行人与群体行人过街闯红灯行为分析[J].科学技术与工程，2017，17（8）：288?292.

CHEN Yixin， XU Ting， SUN Xiaoduan. Study on red?light violation behavior of individual pedestrian and pedestrian group at signalized intersections [J]. Science technology and enginee?ring， 2017， 17（8）： 288?292.

[4] 张高煜.行人闯红灯事件视频检测算法与实现[J].信息技术，2013（12）：53?56.

ZHANG Gaoyu. Pedestrian red light running event video detection algorithm [J]. Information technology， 2013（12）： 53?56.

[5] 严官林，沈昱明，张民.基于视频的行人闯红灯检测方法[J].信息技术，2015（3）：165?169.

YAN Guanlin， SHEN Yuming， ZHANG Min. Detecting method of pedestrian running red light with video [J]. Information technology， 2015（3）： 165?169.

[6] 唐晓东.基于视频分析的行人闯红灯违法行为检测系统[J].中国人民公安大学学报（自然科学版），2014，20（1）：60?63.

TANG Xiaodong. Pedestrian detection system for red light violation based on video analysis [J]. Journal of Chinese People′s Public Security University （science and technology）， 2014， 20（1）： 60?63.

[7] 汪翠.基于OpenCV的人脸检测与跟踪算法研究与实现[D].哈尔滨：哈尔滨工业大学，2014.

WANG Cui. Research on algorithm of face detection and tracking based on OpenCV [D]. Harbin： Harbin Institute of Technology， 2014.

[8] 廖广军.复杂条件下的人脸检测与识别应用研究[D].广州：华南理工大学，2014.

LIAO Guangjun. Research of face detection & recognition and its application under complex environment [D]. Guangzhou： South China University of Technology， 2014.

[9] 陈春林.基于pcDuino的人脸检测追踪系统[D].兰州：兰州大学，2015.

CHEN Chunlin. Face detection and tracking system based on pcDuino [D]. Lanzhou： Lanzhou University， 2015.

[10] KANG S， CHOI B， JO D. Faces detection method based on skin color modeling [M]. North?Holland： Elsevier North?Holland Inc.， 2016.

[11] 郭鹏飞，徐海黎，潘腊青，等.基于视频虚拟检测带的交通流量检测方法[J].测控技术，2016，35（2）：28?31.

GUO Pengfei， XU Haili， PAN Laqing， et al. Traffic volume detection methods based on video virtual strip [J]. Measurement & control technology， 2016， 35（2）： 28?31.

[12] 卓成龙.基于视频的多目标人脸跟踪算法研究与实现[D].成都：电子科技大学，2013.

ZHUO Chenglong. The study and implementation of the algorithm for the video?based multiple faces tracking [D]. Chengdu： University of Electronic Science and Technology of China， 2013.

[13] 吴丹阳.基于视频的实时多人脸检测、识别与跟踪方法研究[D].沈阳：沈阳工业大学，2013.

WU Danyang. Research on video based real?time multiple face detection， recognition and tracking methods [D]. Shenyang： Shenyang University of Technology， 2013.

[14] CHAUDHRY S， CHANDRA R. Face detection and recognition in an unconstrained environment for mobile visual assistive system [J]. Applied soft computing， 2017， 53： 168?180.

[15] 孟繁静.基于视频的实时多人脸检测跟踪与优选方法研究[D].长春：东北师范大学，2016.

MENG Fanjing. Research on real?time video?based multiple faces detection， tracking and optimization methods [D]. Changchun： Northeast Normal University， 2016.