计算机视觉在交通中的应用综述

单晓峰 颜新云 江筱薇

摘要：随着车辆的迅速增长，交通问题日益严重，与计算机视觉技术的结合可以更好地利用交通场景中的监控视频和照片来识别获取相应数据，为交通问题的解决提供相应的支持方案。本文首先介绍了交通问题和计算机视觉原理，然后将计算机视觉在交通场景中的处理对象分为人、车、路三类，分别总结了相关应用内容和方法。最后对计算机视觉在交通中应用中存在的问题就行了总结和展望。

关键词：交通问题;计算机视觉;视频处理;图形图像处理

中图分类号：TP311     文献标识码：A

文章编号：1009-3044（2020）35-0188-03

开放科学（资源服务）标识码（OSID）：

随着人口和经济的发展，交通运输车辆数量增长越来越快，由此带来了一系列交通问题，如交通拥堵问题、行人安全问题、城市规划问题等。尤其是在大城市地区的交通高峰时段问题尤其突出，甚至已经成为影响人们工作和生活的重大问题。这一现象给科研人员和政府管理人员带来巨大压力和挑战，如何保障交通系统的有序运转，改善出行環境，成为交通研究的首要问题。在探索解决和优化交通问题的过程中，各种技术手段陆续被运用到其中，如GIS地理信息系统、RFID射频识别、IoT物联网等。随着交通视频监控的加强，视频处理分析技术的发展，计算机视觉技术因其强大的视频图像处理功能，在交通中的应用探索越来越广泛。

1 计算机视觉技术简介

计算机视觉技术在60年代末到70年代初开始进入重要发展存在。通过对相机原理图、投影和摄影测量工作原理的研究，能开始初步处理模拟人类视觉系统等概念[1]。在几十年里，计算机视觉结合计算机、几何学、光学、心理学等方面内容，逐渐涵盖机器学习、图像处理、模式识别、增强现实等技术，完成视频和图像的更强的处理分析能力。边缘检测、特征提取、特征匹配、定位和跟踪、行为检测、3D现实优化和重构等技术表现了强大的处理能力，为目标跟踪和行为分析等功能提供了坚实的技术基础。

从计算机视觉角度分析交通问题，交通中的元素可以归结为三大类，即人、车、路[2]。人包括道路上的行人和车辆中的乘客与驾驶员;车泛指交通运输工具，含陆运和水运等，在本文中研究陆地交通运输问题;路包括道路、道路上以及道路周侧的交通设施，如信号灯、交通标志等。计算机视觉处理图像或者视频的方法主要分为两类，一类是传统的机器学习方法，一类是近年来流行的基于深度学习的方法。传统的机器学习方法处理计算机视觉问题主要为以下几个步骤的综合：视频抽帧、预处理、分割、特征提取、分类等。其中视频抽帧是指对视频进行抽取包含需要信息的关键帧图片，然后对图像进行处理分析;图像预处理是对不同图像尺寸进行压缩处理，得到便于处理的图像尺寸，然后将彩色图像进行灰度化处理，也可以包括去噪等操作;分割是将特征窗口在图像上滑动来收集特定的特征来实现。基于深度学习的视觉处理方法以各种卷积神经网络结构模型为代表，合并了特征提取、选择和分类过程，通过端对端训练来自动提取特征，达到分类效果，这类方法精度高，但是依赖高性能计算硬件。

2 行人等检测研究

交通问题中人方面的元素主要包括道路上的行人、车辆中的驾驶员、车辆中的乘客等身份识别、行为分析、运动轨迹的研究。

（1）行人

关于行人的分析，主要可以分为人的检测、过街意图分析等。行人的检测识别包括行人检测[3]、行人属性识别[4]、行人过街分析[5]、行人再识别[6]等方面。

行人检测是判断在图像中是否有行人，如果图像中包含了行人就标记出来，并获取所在位置;行人属性识别是在行人检测后，对行人的外观属性的研究，包括人的性别、头部、躯干、腿部、服饰、姿态等;行人再识别是在行人检测后，结合行人的属性特征，能在不重叠的多摄像头下追踪到目标行人。通过行人信息的识别，可以帮助公安系统或者其他情况下快速准确追踪寻找特定人员。

行人过街意图主要是通过人体形态特征或者运动估计方法来预测行人是否过街。通过判断行人是否可能会过街，来提醒车辆驾驶员提前减速，或者给无人驾驶车辆提供消息以做出相应减速或者停车操作，已达到减少驾驶员疏忽导致交通事故的目的。

（2）驾驶员

对于驾驶员的分析，主要是通过摄像头拍摄的驾驶员的面部表情[7]、眼皮瞳孔[8]、三维姿态[9]、安全带[10]等信息获取，通过建模分析得到相应状态或者行为信息。对驾驶员面部表情监控主要包括嘴部是否上下唇长开不合，嘴部是否频繁出现打哈欠等情况;另外还可以通过获取眼部信息来判断驾驶员是否疲劳，比如眼皮是否频繁闭合，瞳孔直径眼球转速是否正常等;通过三维姿态是提取驾驶员的全身特征，获取骨骼或者关节坐标，预测3D姿态，分析驾驶员不安全行为;通过对图片中驾驶员区域获取后，对驾驶员是否正确系安全带进行检测，对安全驾驶规范的落实提供依据。

（3）乘客

很多公共交通已经开始通过上下客门监控视频识别乘客数量来识别乘客信息[11]和统计客流数量[12]，也可以进行逃票管理和分时段流量分析提供辅助依据。另外，也有部分公交已经开始通过人脸识别来达到刷脸代替刷卡的功能[13]。公交人脸识别方案因其用户数量几乎要覆盖城市所有人员，用户数量较大，识别功能也需要在移动中进行等特点，应用难度较大，目前属于起步阶段。

3 车辆检测研究

从计算机视觉角度对交通中车的研究主要是车辆属性的识别、车辆重识别与跟踪[14]等。车辆属性包括车牌[15]、车辆类型[16]、车标[17]、车辆颜色[18]、车辆尾灯[19]等。

车牌识别可以包括车牌定位和字符识别两类研究。车牌定位可以通过车牌颜色、边缘、纹理等特征将车牌区域与其他区域分割并提取出来，字符识别可以通过模板匹配、灰度特征等方法完成;车辆类型识别是判断一辆车属于摩托车、小轿车、货车等类别，可以通过对车辆尺寸、边缘、尾灯等特征，结合分类器、模板匹配等方法实现;车标是指车辆品牌标志，一般位于车的头部和尾部，具有模型简单、干扰性小、代表性强等特点，可以领用对称性等特征定位;车辆颜色识别中会因为不同光照下显现出不同颜色而增加识别难度，在视觉处理中，多是对光照影响的颜色准确率提升进行研究。车辆尾灯代表了成下一步的行驶状态，识别可以分为日间和夜间两种状况。夜间尾灯主要包括行车灯和制动灯，可以用来判断前方是否有机动车，但是由于光照问题，经常产生光晕，识别具有一定难度。

车辆重识别是识别在不同拍摄背景中同一车辆的过程，采用车辆各属性进行多特征融合实现车辆的识别。由于随着拍摄角度、摄像机属性等变化，加上光照导致的亮度不同，使得同一车辆在图像中显示的轮廓、颜色等差异较大，此方面的研究主要包括特征匹配和深度学习等应用。

4 道路检验研究

道路上的计算机元素主要包括道路本身和道路上的元素。道路的视觉研究包括路面类型[20]、车道线[21]等。道路上的元素包括交通信号灯[22]、交通标志[23]和抛洒物[24]等。

（1）不同路面的类型

道路的情况也可以分为结构化道路和非结构化道路。结构化道路是指具有明显的车道标记，根据车道线的识别能达到相应的效果。非结构化道路是没有车道线，或者道路边界不清晰，多为偏僻地区路径，这种情况相对复杂。通过从含有道路的图片中提取相关颜色、纹理特征，对道路类型识别为沥青、水泥、草地和碎石路等类型。不同的路面类型，车辆对应的摩擦系数、侧滑角和操纵性能等参数也不同。通过对这些参数的调整，可以帮助我们在使用无人驾驶系统时，實现对燃油率、牵引力控制系统、自动和半自动悬架系统、防抱死制动系统的有效调节。

（2）车道线识别

车道线包括直线类型和弯道类型。对车道线检测首先可以对图像中连通度高的部分进行分析，判断是直线还是曲线。直线检测可以将提取到图像进行坐标映射标出车道线位置。弯道检测可以用不同线型拟合来完成。

（3）交通信号灯识别

交通信号灯的识别包括颜色、数字灯、状态的识别。颜色包括红、绿、黄。数字灯指部分交通信号灯旁边具有倒计时秒数的时间指示。状态包括圆形、左转、右转、直行等。交通灯可以通过色彩、形状、位置等特征检测。交通灯检测与识别相对应用比较成熟，数字灯的研究相对较少。

（4）交通标志识别

交通标志识别，旨在通过警告驾驶员潜在危险来提高驾驶安全性，道路标志一般分为七类，危险警告、优先、禁止或限制等。传统识别方法中检测阶段的输出是图像边界框的列表，每个边界框包含尚未识别的交通标志，识别阶段的输出是每个边界框的类别标签（“停止”“让路”等）。与其他交通元素一样，交通标志的识别会受光照、遮挡等影响，另外还可能破旧等问题导致标志损坏或者褪色，影响识别结果。通过对交通标志的识别，可以帮助司机在行驶中的不合理行为做出提醒，比如警告超速、提醒急转弯等，也可以为导航系统提供信息，纠正导航偏差。另外对于越来越多的道路标志的维护也有一定的帮助，减轻人力负担。

（5）抛洒物识别

高速公路抛洒物是指在车辆行驶过程中，物品从车辆中或者道路外抛到道路中，影响后续车辆行驶。视频来源是静止的高速公路摄像头，可以根据距离和时间等参数判断短时间内是否有静止抛洒物;如果视频来源是移动的车辆前置摄像头，可以通过相关运动目标检测算法来实现。

5 问题与展望

无论是哪一种类型图像进行检测识别，一定程度依赖输入图像或视频的质量，在恶劣环境如阴雨天、曝光过度、模糊、遮挡等问题时候，准确率会受到影响。同时由于视频或者图片来源不同，造成的图片尺寸和景物远近比例差距各异，解决实际应用中的某类问题不可能依赖一种通用的算法，而且交通中的计算机视觉问题，尤其是应用在自动驾驶或者辅助驾驶中时，对实时性和准确性要求都非常高，所以研究者们仍然在不断探索交通中的计算机视觉应用。

参考文献：

[1] Levine， Martin D. Vision in man and machine[M]. McGraw-Hill， 1985.

[2] 焦建彬.计算机视觉与智能交通[J].人工智能，2019（6）：50-56.

[3] Juan A. Antonio-Velázquez， Romero M . Pedestrians detection methods in video images： A literature review[C]//2018 International Conference on Computational Science and Computational Intelligence （CSCI），2018.

[4] Sun R， Huang Q， Fang W， et al. Attributes-based person re-identification via CNNs with coupled clusters loss[J]. Journal of Systems Engineering and Electronics， 2020， 31（1）： 45-55.

[5] Fang  Zhijie，  Vázquez  David，  López  Antonio  M.  On-Board  Detection  of  Pedestrian Intentions[J]. Sensors （Basel， Switzerland）. 2017， 17（10）： 2193.

[6] Bazzani  L，  Cristani  M，  Perina  A，  et  al.  Multiple-Shot  Person  Re-identification  by  HPE  Signature[C]. International Conference on Pattern Recognition，2010.

[7] Ali M ， Abdullah S ， Raizal C S ， et al. A Novel and Efficient Real Time Driver Fatigue and Yawn Detection-Alert System[C]// 2019 3rd International Conference on Trends in Electronics and Informatics （ICOEI），2019.

[8] J. Ma， J. Zhang， Z. Gong and Y. Du， "Study on Fatigue Driving Detection Model Based on Steering Operation Features and Eye Movement Features，" 2018 IEEE 4th International Conference on Control Science and Systems Engineering （ICCSSE）， Wuhan， China， 2018：472-475.

[9] FANG  H  S，  XIE  S，  TAI  Y  W，  et  al.  Rmpe：  Regional  multi-person  pose estimation[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017： 2334-2343.

[10] S. Chun et al.， "NADS-Net： A Nimble Architecture for Driver and Seat Belt Detection via Convolutional Neural Networks，" 2019 IEEE/CVF International Conference on Computer Vision Workshop （ICCVW）， Seoul， Korea （South）， 2019：2413-2421.

[11] C. James and D. Nettikadan， "Student Monitoring System for School Bus Using Facial Recognition，" 2019 3rd International Conference on Trends in Electronics and Informatics （ICOEI）， Tirunelveli， India， 2019：659-663.

[12] 張庄. 智能公交车载终端的研制[D]. 哈尔滨：黑龙江大学，2019.

[13] 李松刚.人脸识别在城市公交领域中的应用[J].城市公共交通，2020（5）：29-30.

[14] Zuoyu Miao， K. Larry Head， Byungho Beak. Vehicle Reidentification in a Connected Vehicle Environment using Machine Learning Algorithms. 2018，2672（45）：160-172.

[15] Han Jing， Yao Jian， Zhao Jiao， et al. Multi-Oriented and Scale-Invariant License Plate Detection Based on Convolutional Neural Networks. 2019， 19（5）.

[16] 张志永. 监控场景下车型识别与检测算法研究[D].郑州：郑州大学，2019.

[17] Vehicle Logo Recognition Based on Enhanced Matching for Small Objects， Constrained Region and SSFPD Network.[J]. Liu Ruikang，Han Qing，Min Weidong，Zhou Linghua，Xu Jianqiang.  Sensors （Basel， Switzerland），2019（20）.

[18] K. Kim et al.， "Vehicle Color Recognition via Representative Color Region Extraction and Convolutional Neural Network，" 2018 Tenth International Conference on Ubiquitous and Future Networks （ICUFN）， Prague， 2018：89-94.

[19] 付强. 智能汽车交通灯识别方法研究[D].哈尔滨：哈尔滨工业大学，2016.

[20] Haoying Wu， Hao Gao， Shifeng Wang and Daimin Jiang， "Recognition of road type for unmanned vehicle based on texture and color features，" 2017 2nd International Conference on Image， Vision and Computing （ICIVC）， Chengdu， 2017：189-193.

[21] Zhicheng Zhang，Xin Ma. Lane Recognition Algorithm Using the Hough Transform Based on Complicated Conditions[J]. Journal of Computer and Communications，2019，7（11）.

[22] Yabuuchi Kento，Hirano Masahiro，Senoo Taku，Kishi Norimasa，Ishikawa Masatoshi. Real-Time Traffic Light Detection with Frequency Patterns Using a High-speed Camera[J]. Sensors （Basel， Switzerland），2020，20（14）.

[23] 汪辉辉.基于嵌入式的交通标志识别器的设计[D].成都：电子科技大学，2020.

[24] 谈恺旻. 基于三维立体视觉的高速公路交通异常识别系统设计与实现[D].南京：东南大学，2019.

【通联编辑：梁书】