智能驾驶汽车机器视觉关键技术分析

范 靖，山世玉，林先山

智能驾驶汽车机器视觉关键技术分析

范 靖1，山世玉*2，林先山1

（1.广州公路工程集团有限公司，广东 广州 510730；2.长安大学 能源与电气工程学院，陕西 西安 710064）

文章对智能驾驶汽车机器视觉关键技术中的图像采集、图像处理和图像分析三个部分进行研究。在图像采集技术中，重点研究带电耦合器件（CCD）图像传感器和互补金属氧化物半导体（CMOS）图像传感器的特点及其工作原理，并分别介绍基于现场可编程门阵列（FPGA）和数字信号处理机（DSP）的图像采集卡的工作特点及适用环境。在图像处理技术中，对感兴趣区域提取、图像灰度化处理、图像滤波去噪和边缘检测等环节进行研究。在图像分析技术中，重点对比传统的数字图像识别技术和基于深度学习的图像识别技术。结合对三个部分工作原理与特点的研究，对智能驾驶汽车机器视觉技术未来的发展趋势进行展望，提出人工智能化、车联网、车辆通信系统和多传感器化等发展构想。

机器视觉；图像采集；图像处理；图像分析；智能驾驶

据《2022中国统计年鉴》上有关数据显示[1]，2021年中国个人汽车保有量达26 152.02万辆。随着机动车数量的不断增长，交通事故频发。根据数据统计[2]，全球每年共有135万人因交通事故失去生命。为了减少交通事故的发生，智能驾驶汽车应运而生。智能驾驶汽车依靠搭载的各类传感器、控制器、执行器和通讯模块等设备，完成对汽车的辅助操控，并具备对突发状况的应急处理能力以及预测道路未知信息的能力[3]。智能驾驶汽车相关的技术主要包括：感知技术、决策技术、路径规划和跟踪控制技术等[4]。机器视觉技术是感知技术的一部分，通过机器视觉技术与多传感器融合的感知方案，使得系统可靠性大大提高[5]。

本文对智能驾驶汽车机器视觉技术的三个组成部分进行研究。对于图像采集技术，主要研究其核心原件图像传感器的种类和工作原理；对于图像处理技术，主要研究感兴趣区域提取、灰度化处理、滤波去噪和边缘检测等技术的特点；对于图像分析技术，主要研究传统的数字图像识别技术和基于深度学习的图像识别技术等两种技术的特点和关键环节。在此基础上，结合车联网、多传感器化和车辆通信系统等技术，对机器视觉在智能驾驶汽车领域的应用进行了展望和讨论。

1 图像采集技术

图像采集技术主要通过数字摄像头拍摄目标物体，之后利用光电器件将获得的光信号转换成数字信号，再经移动产业处理器传至下一部分，由控制模块对数字信号做初步优化处理，最后经过安全数字输入输出接口存入存储卡（Trans Flash, TF）中。

图像传感器主要有摄像头传感器和光电传感器两种，相较于光电传感器，摄像头传感器具有前瞻远度高、获取信息量多以及方便图像后期处理等优点，因此得到广泛应用。常用的摄像头传感器有带电耦合器件（Charge Coupled Device, CCD）和互补金属氧化物半导体（Complementary Metal Oxide Semiconductor, CMOS）。CCD相机将一定数量的CCD排成阵列[6-7]，例如512×480和 1 024×768，这被称为解析度，标志着成像的清晰程度高低。在上个世纪九十年代，我国就有研究学者将CCD相机应用于汽车的前照灯强度测量上[8]。进入新世纪后，CCD相机在汽车上的应用发展迅猛，将CCD相机获取的图像导入到计算机中，采用不同图像处理方法对图像进行分析，从而判断汽车前照灯是否符合标准[9]。随着深入研究，应用CCD相机对车灯在路面上的发光状况进行检测[10]，从而可以衡量车灯的性能优劣。

近些年来，伴随着半导体材料的发展和革新， CMOS相机也获得了非常大的进步，与CCD相机不同，CMOS集成在金属氧化物的半导体材料上[11]。CMOS材料在制造过程中技术难度低，拥有更为低廉的成本，并且具有高集成、低功耗和抗辐射等优点，在智能辅助驾驶领域得到广泛的应用。通过设计基于CMOS相机的车道偏离和预警装置[12-13]，能够对驾驶员在驾驶过程中无意识偏离车道做出检测和报警功能。应用CMOS相机的车载高清环视系统将布置在汽车周身的摄像模组采集到的图像拼接到一起，从而获得汽车周围的信息，帮助驾驶员通过汽车的全景俯视图[14]，来判断是否有障碍物影响或障碍物的位置距离等信息。

图像在采集之后的传输环节中，会出现反复读写的情况，依靠性能良好的图像采集卡可以解决这一问题。目前广泛使用的有基于现场可编程门阵列（Field Programmable Gate Array, FPGA）的图像采集卡和基于数字信号处理机（Digital Singnal Processor, DSP）的图像采集卡。基于FPGA的图像采集卡具备内部存储丰富和处理速度快捷的优点，可以提高图像采集传输速度，优化图像质量[15]。基于DSP的图像采集卡有着较快的处理速度，但时序控制能力弱[16]，更加适合于偏向图像处理的图像采集系统。同时以DSP为核心的图像采集系统可以同时执行多个操作，具备更低的制造成本和更小的能耗。

2 图像处理技术

图像处理技术是机器视觉技术的核心所在，依靠硬件设备和软件算法的相互配合，对图像进行分割和噪声滤除，完成数据处理。图像处理技术主要有感兴趣区域划分、图像灰度化、图像滤波和边缘检测等几个步骤，本文将以车道线检测为例，详细说明各个步骤工作原理。

2.1 感兴趣区域

在车道线检测过程中，采集的图像包含有很多与车道线无关的信息，为了减少不必要的计算量，需要进行图像感兴趣区域提取（Region Of Interest, ROI）。由于在实际行驶过程中，拍摄到的图片上半部分为天空和道路两旁建筑等无关信息，所以在图像处理过程中，可以将此部分图像信息舍弃，仅对含有道路信息的图像下半部分进行分析，如图1所示[17]，经ROI提取之后，将图像的下半部分作为感兴趣区域，并确定ROI边界[18]。

图1 ROI提取

2.2 图像灰度化

数字摄像机拍摄到的图片均为RGB（Red, Green, Blue）三通道彩色图像[19]，虽然信息量丰富，但由于其色彩繁多，在图像处理时，计算过程复杂，影响工作效率。因此，可将RGB图像做灰度化处理，将三通道图像转变为单通道的灰色图像，如图2和图3所示[20]。

图2 原始图像

图3 图像灰度化处理

图像灰度化处理有四种方法，分别是平均值法、分量法、最大值法和加权平均法[21-22]。平均值法是对于三个通道数值做平均化处理，分量法则是任意取三个通道数值中的一个值作为灰度化处理的通道数值，最大值法是取三个通道数值中的最大数值作为实际处理的通道数值，加权平均法对三个通道数值进行加权平均处理，既符合人眼对色彩的敏感程度，也能够突出被识别对象特征[21-22]。每种方法特点如表1所示。

表1 四种图像灰度化处理方法效果对比

2.3 图像滤波

车辆在行驶过程中，由于实际路况因素，在收集的图像中会存在噪声等现象，影响图像处理的精度，可以通过图像滤波解决这一问题。目前常用的滤波方法有均值滤波、中值滤波、双边滤波和高斯滤波。

均值滤波[23]的原理是对图像进行像素化处理，将全部像素加权平均，然后覆盖原有像素。中值滤波[24]属于非线性滤波，其原理是选择图像中某一像素，确定邻域范围，将此邻域范围内的所有像素从小到大排序，取其中间值，替换掉原有中心像素值。双边滤波[25]也是一种非线性滤波方法，在对图像边缘区域的像素进行滤波时，离边缘较远的像素值不会对边缘的像素值产生很大的影响，从而可以使图像边缘比较清晰。高斯滤波[26-27]是一种线性滤波，原理是用高斯卷积核对整个图像的像素值进行加权平均，把卷积核所对应的位置和其所覆盖到的地方相乘，然后做加法，从而获得中心区域的像素值。高斯卷积核的大小通常是3×3、5×5和7×7的矩阵。

2.4 边缘检测

图像滤波去噪之后，需要对图像中物体特征进行增强，这就要应用边缘检测和边缘增强等处理方法。常用的边缘检测有Sobel算法[28]和Canny算法[29]。Soble算法采用的Soble算子，是离散的一阶差分算子，这种算子在处理图像像素点时能够获得对应像素点梯度，或者其法向量的矢量。根据每个像素的位置对图像的影响程度不同，Sobel算子对此情况进行加权处理，使得检测出的边缘清晰度有明显提高。Soble算子的形式是滤波算子，能够非常快速地提取边缘，但是Sobel算法对于噪声梯度变化的适应性不够充足，对噪声比较敏感，容易造成特征的丢失。

Canny算法在近些年的研究中得到广泛的认可，通过设置双阈值，可以消除特征的丢失，增强表现图像的轮廓。输入的图像由小波分解后形成高频和低频两部分，先对高频部分设置阈值去噪。然后，将处理过的高频部分和低频部分重构，得到高频去噪图，再对其中低频信号做相应的阈值去噪，最后进行小波逆变换处理。Canny算法在实际应用过程中可以精准的提取图像边缘，同时不受噪声的影响[30]，且能够识别图像中的弱边缘和强边缘[31]。图4为Canny边缘检测操作后的显示图像[20]。

图4 Canny边缘检测后图像

3 图像分析技术

图像分析技术是利用数学模型对经过处理后的图像提取相关的应用特征，从而获得图像的信息。在机器视觉技术发展前期，主要依靠传统的图像分析技术，但是传统的图像分析技术容易受到其他因素影响，鲁棒性较差[32]。伴随着半导体芯片技术的发展和计算机算法的发展，基于深度学习的图像分析技术逐渐取代传统的图像分析技术，成为主流应用的图像分析技术[33]。基于深度学习的图像分析技术有基于卷积神经网络和基于语义分割等多种方法[34-35]，能够满足大量图片的分析要求，并且鲁棒性较好，但是该技术对于算法的要求比较高。

3.1 传统的图像识别技术

在车道线检测过程中，需对图像的特征信息进行提取，对采集到的车道线进行拟合。通过图像识别分割之后，得到的车道线像素点比较集中，容易造成车道线的缺失。通过逆透视变换可以获得车道线的鸟瞰图，在鸟瞰图中车道线近乎于平行分布，使得效果更为直观，不容易造成像素点的丢失，便于后面车道线的拟合。图5和图6分别为原始车道线效果图和经过逆透视变换操作后的效果图[36]。经逆透视变换后，利用最小二乘法[37-38]拟合车道线。

图5 原始车道线效果图

图6 逆透视变换效果图

3.2 基于深度学习的图像识别

目前应用最为广泛的是基于卷积神经网络（Convolutional Neural Network, CNN）的图像识别方法[39]。CNN有卷积层、激活层、池化层和全连接层等4部分组成，其中，最为关键的是卷积层。不同的卷积核负责不同的图像特征[40]，分别对应纹理、边缘、颜色等多种图像特征，并且可以采用多项式拟合的方法对车道线进行预测[41]。图7为卷积层计算过程图[42]，假设输入图像为一个5×5的二维矩阵[43]，其对应的卷积核为一个3×3的二维矩阵。卷积的操作过程从输入数据的左上角开始，以卷积步长按照先上后下，先左后右依次后移，当卷积核位于输入数据的左上角即图7左端红色区域时，计算结果为1×1+2×0+3×1+6×0+ 7×1+9×1+8×0+7×1=27。

图7 卷积层计算过程

4 智能驾驶汽车机器视觉技术展望

伴随着人工智能技术和互联网技术的不断进步，智能驾驶汽车与信息通信技术加速融合发展，电动化、网联化和智能化成为智能驾驶汽车的新特点。智能驾驶汽车和互联网大数据的融合成为发展趋势，并且伴随着计算机算法的推陈出新和智能硬件芯片的应用，今后智能驾驶技术会逐步向储能单元、移动智能终端和数字空间方向拓展。

4.1 人工智能化

随着算法的不断改良和硬件设施的发展进步，结合机器视觉技术与人工智能技术的融合发展，未来智能驾驶汽车不仅仅依靠机器视觉技术来构造辅助驾驶系统，更会实现各种复杂路况的无人驾驶，形成以人工智能为基础的智能驾驶汽车技术。以硬件设备更新为主，配合算法的设计和改良，未来智能驾驶汽车的计算处理能力和存储能力将大大提高，能在各种复杂场景下完成合理判断，提高驾驶的安全性。

4.2 车联网

随着5G等互联网技术的不断进步，机器视觉技术与车联网技术相互配合，辅助以大数据计算中心，将收集到的数据汇总，结合对交通设施数据的收集，可以对道路拥堵情况做出判断，将判断后的指令传输到智能驾驶汽车，可以有效缓解汽车拥堵情况。结合汽车本身内部各类传感器，可以帮助智能汽车寻找就近的加油站或充电桩，也可以精准进行故障诊断，并及时给出预警。

4.3 车辆通信系统

机器视觉技术与车辆通信系统的配合同样是智能驾驶汽车未来的发展趋势之一。装载车辆通信系统的智能汽车，可以实现对于驾驶员驾驶行为的实时评估和监控，提供车辆实时的安全信息和车辆行驶的时间地点信息，配合以机器视觉技术对于车辆行驶过程中道路情况的反馈，可以有效地避免交通事故的发生，提高道路行驶的安全性。

4.4 多传感器化

随着数字摄影机、图像处理卡等设备的发展，机器视觉技术未来可以实现多种功能协同运转，例如机器视觉技术与各类传感器相配合，解决单一设备在实际使用过程中的局限性，在光照条件不好不适合图像技术的运用时，可以借助雷达和传感器对图像技术进行补充，而在复杂路况下对于传感器干扰因素比较多时，可以通过图像为主的提取方法提取道路信息，取长补短，发挥各项技术的长处。

5 结论

本文研究了机器视觉技术在智能驾驶汽车领域的发展现状，对智能驾驶汽车机器视觉技术中图像采集、图像处理和图像分析技术进行了研究。首先介绍了图像传感器的种类和工作原理，其次对图像处理技术中的感兴趣区域提取、灰度化处理、滤波去噪和边缘检测等技术环节进行了介绍，然后分别介绍了传统的数字图像识别技术和基于深度学习的图像识别技术的特点，最后结合人工智能、车联网、多传感器化和车辆通信系统等技术对未来机器视觉技术在智能驾驶汽车领域的发展提出了展望。

[1] 中华人民共和国国家统计局.2022年中国统计年鉴. [EB/OL].(2022-01-01)[2023-03-06].http://www.stats. gov.cn/sj/ndsj/2022/indexch.htm.

[2] 张翔,唐小林,黄岩军.道路结构特征下的车道线智能检测[J].中国图象图形学报,2021,26(1):123-134.

[3] 杨涛.智能驾驶车辆跟踪控制方法设计与试验[D]. 合肥:安徽农业大学,2022.

[4] 王金强,黄航,郅朋,等.自动驾驶发展与关键技术综述[J].电子技术应用,2019,45(6):28-36.

[5] 刘金桥,吴金强.机器视觉系统发展及其应用[J].机械工程与自动化,2010(1):215-216.

[6] 朱飞虎.机器视觉原理及应用[J].自动化博览,2005 (2):81-83.

[7] 王海霞,李凯勇,陈佳舟.基于机器学习的高速线阵CCD图像数据采集系统[J].现代电子技术,2022, 45(10):160-164.

[8] 李策.基于计算机视觉的汽车车灯检测技术研究[D].北京:北京化工大学,2021.

[9] 张勇.基于图像处理的汽车前照灯检测系统的研究[D].长春:长春理工大学,2009.

[10] EKRIAS A,ELOHOLMA M,HALONEN L,et al.Road Lighting and Headlights:Luminance Measurements and Automobile Lighting Simulations[J].Building & Environment,2008,43(4):530-536.

[11] 王旭东,叶玉堂. CMOS与CCD图像传感器的比较研究和发展趋势[J].电子设计工程,2010(11):178-181.

[12] 刘翔章.基于宽动态CMOS相机的车道偏离预警技术研究[D].长春:长春理工大学,2013.

[13] 李成勇,王莎,陈成瑞.基于CMOS图像采集的车道偏移识别系统设计与实现[J].中国测试,2022,48(6): 106-110.

[14] 霍浩宇.基于CMOS的车载高清环视系统的研究与应用[D].天津:天津科技大学,2021.

[15] 孔德可,钟升,匡乃亮,等.基于CMOS传感器和FPGA的图像采集系统设计[J].机械工程与自动化,2020 (3):28-30.

[16] 梁璠.基于CMOS图像传感器的高速图像采集系统设计[D].太原:中北大学,2020.

[17] 王文滔.基于卷积神经网络的车道线检测算法研究与实现[D].重庆:西南大学,2022.

[18] Huang A,Moore D,Antone M,et al.Finding Multiple Lanes in Urban Road Networks with Vision and Lidar[J].Autonomous Robots,2009,26(2/3):103- 122.

[19] 宋凤菲.彩色图像灰度化及其效果的客观评价方法研究[D].泉州:华侨大学,2014.

[20] 田俊康.基于深度学习的车道线检测方法研究[D]. 太原:太原科技大学,2021.

[21] 王先月.基于机器视觉的自动喷涂系统设计[D].青岛: 青岛大学,2022.

[22] 魏笑.基于图像处理的车道线识别[D].大连:大连交通大学,2020.

[23] Joshi A,Boyat A K,Joshi B K.Impact of Wavelet Transform and Median Filtering on Removal of Salt and Pepper Noise in Digital Images[C]//Issues and Challenges in Intelligent Computing Techniques (ICICT), Krishna InstEngn & Technol, Ghaziabad.Piscataway: IEEE,2014:838-843.

[24] Qatawneh M,Massad Y,Musaddaq M,et al.A Uniform Noise Median Filter Based on a New Type of Filtering Window[J].International Information Insti- tute (Tokyo).Information,2012,15(2):699.

[25] 熊晶晶,杨雪,苏静,等.基于双边滤波的织物润湿区域有效提取[J].上海纺织科技,2021,49(11):41-45.

[26] Kopparapu S.K,Satish M.Identifying Optimal Gaussian Filter for Gaussian Noise Removal[C]//Third IEEE National Conference on NCVPRIPG.Piscata- way:IEEE,2011:126-129.

[27] 王芳佳.基于机器视觉的汽车驾驶疲劳识别方法研究[D].重庆:重庆大学,2021.

[28] 袁春兰,熊宗龙,周雪花,等.基于Sobel算子的图像边缘检测研究[J].激光与红外,2009,39(1):85-87.

[29] Canny J.A Computational Approach to Edge Detec- tion[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1986,8(6):679-698.

[30] 车畅,兰文宝.Canny算法和中值滤波法的红外全景图像拼接[J].激光杂志,2020,41(5):109-113.

[31] LAAROUSSI S,BAATAOUI A,HALLI A,et al.A Dyn- amic Mosaicking Method for Finding an Optimal Seamline with Canny Edge Detector[J].Procedia Com- puter Science,2019,148:618-626.

[32] 张常彪.复杂环境下的车道线检测算法研究[D].桂林: 桂林电子科技大学,2018.

[33] 翁佳昊.基于深度学习的车道线检测方法研究[D]. 扬州:扬州大学,2022.

[34] Ju C G,Wang G D.Human Instance Segmentation[J]. Digital TV and Wireless Multimedia Communication, 2021,1390:41-51.

[35] Lin F,Li B,Zhou W G,et al.Single-stage Instance Segmentation[J].ACM Transactions on Multimedia Computing,Communications, and Applications,2020, 16(3):1-19.

[36] 刘泽凌.基于卷积神经网络的车道线检测与车道保持控制研究[D].哈尔滨:哈尔滨工业大学,2021.

[37] Fan C,Song Y P,JIAO Y J.Multi-lane Detection Based on Deep Convolutional Neural Network[J]. IEEE Access,2019,7:50833-150841.

[38] Cao J W,Song C X,Song S X,et al. Lane Detection Algorithm for Intelligent Vehicles in Complex Road Conditions and Dynamic Environments[J].Sensors, 2019,19(14):3166.

[39] Huval B,Wang T,Tandon S,et al.An Empirical Evaluation of Deep Learning on Highway Driving [J]. Computer Science,2015,29(4):691-702.

[40] 景辉.基于卷积神经网络的全距车道线检测算法研究[D].北京:北京交通大学,2018.

[41] Tabelini L,Berriel R,Paixao T M,et al.Poly LaneNet:Lane Estimation via Deep Polynomial Regr- ession[J].ArXiv Preprint ArXiv:2021:9412265.

[42] 赵紫霞.基于卷积神经网络的车道线检测技术研究[D].北京:北京交通大学,2020.

[43] 袁枫.基于卷积神经网络的车道线检测算法研究[D].北京:北京交通大学,2019.

Analysis of Key Technology of Machine Vision for Intelligent Driving Vehicle

FAN Jing1, SHAN Shiyu*2, LIN Xianshan1

( 1.Guangzhou Highway Engineering Group Company Limited, Guangzhou 510730, China;2.School of Energy and Electrical Engineering, Chang'an University, Xi'an 710064, China )

The key technologies of machine vision for intelligent driving vehicle are studied in this paper. Machine vision technology is composed of three parts: image acquisition, image processing and image analysis. Firstly, it introduces the whole procedure of the image acquisition, focuses on the analysis of the characteristics of charge coupled device(CCD) image sensor and complementary metal oxide semiconductor(CMOS) image sensor and their working principles. Furthermore, the application of image acquisition card based on field programmable gate array(FPGA) and digital singnal processor(DSP)has been investigated. Secondly, the key technologies of the image processing, including the region of interest extraction, image gray processing, image filtering denoising and edge detection are studied. Thirdly, in terms of the image analysis technology, the traditional digital image recognition technology and deep learning-based image recognition technology are compared. Combined with the research results of this paper, the future development trend of intelligent driving vehicle machine vision technology is prospected, and the development ideas of artificial intelligence, vehicle networking, vehicle communication system and multi-sensor are expounded.

Machine vision; Image capture; Image processing; Image analysis; Intelligent driving

TP391.4

A

1671-7988(2023)21-173-06

10.16638/j.cnki.1671-7988.2023.021.035

范靖（1976－），男，高级工程师，研究方向为智能驾驶，E-mail:13725272600@139.com。

山世玉（2000－），男，硕士研究生，研究方向为机器视觉，E-mail:shansy129@163.com。

基于计算机视觉的公路养护车辆异常驾驶行为识别与网联监控预警技术研究（220238220503-GC20-A015- F04）；“新能源汽车”国家重点研发项目科学数据分析与共享方案研究（211938220518）。