一种基于机器学习的ADAS车道类型判别方法

郭剑鹰，郑 艳

（华域汽车系统股份有限公司，上海 200434）

一种基于机器学习的ADAS车道类型判别方法

郭剑鹰，郑 艳

（华域汽车系统股份有限公司，上海 200434）

高级汽车辅助驾驶系统（Advanced Driving Assistance System，ADAS）是利用安装在车上的各种传感器，在汽车行驶过程中随时感应周围的环境，收集数据，进行系统的运算与分析，有效增强汽车驾驶的舒适性和安全性。ADAS最重要的功能包括LDW、FCW、BSD、 PD、TSR等。目前，应用最广泛的传感器是雷达和摄像头。用单目摄像头进行车道线的识别目前已经有很多解决方案，但是还需要有效的车道线类型的检测方法为自动驾驶过程中的变道决策提供依据。本文提出一种基于机器学习的判断车道线类型的方法，利用车道线相邻区域的直方图特征，有效地解决了车道线类型的判别问题，实验数据表明此方法能够获得99.99%的正确识别率。

ADAS；摄像头传感器；车道线判别；车道类型判别

图1是一个车道偏离告警的结构框图。

图1 车道偏离告警框图

在图1中，摄像头标定模块根据摄像头的内参和外参，得到图像坐标和世界坐标之间的转换关系，并根据车道线在世界坐标下的特征，结合输入图像，提取车道线的特征点。把车道线特征点进行拟合和跟踪，可以得到车道线在世界坐标下的表达方程，并据此进行车道线偏离判断。同时，再根据得到的车道线方程，映射到图像坐标系下，判断当前的车道线是实线还是虚线，为自动驾驶提供变道的决策依据。

1 图像坐标和世界坐标之间的转换关系

图2 图像坐标和世界坐标之间的关系示意图

如图2所示，（u，v） 为图像坐标系， （x，y）为像平面坐标系，（Xc，Yc，Zc）为成像坐标系，（Xw，Yw，Zw）为项目中所用到的世界坐标系。

在式（1）中，dx、dy表示感光芯片上对应1个像素的实际感光点的物理尺寸（单位为长度单位），u0、v0是图像平面中心相对左上角原点偏移的像素个数。

式（2）由透视投影模型（图3）得到。

图3 透视成像模型

摄像机坐标系和世界坐标系之间的关系如式（3）所示，其外参矩阵由旋转矩阵R和平移向量T组成，R矩阵和摄像头的俯仰角、横摆角和旋转角相关。

由式（1）～（3），得到图像坐标和世界坐标之间的关系，如图4所示。

图4 图像坐标系和世界坐标系之间的关系

2 车道线模型

根据图像坐标到世界坐标的映射关系，可以为车道线建立一个世界坐标系下的模型，如图5所示。

图5 图像与透视图

根据图5c， 为左右2条车道线设计了车道线函数，分别为

在式（4）和（5）中，x 为距离车头前方的距离。从图2中可以看出，在图像坐标系中，距离摄像头（车头）越远，车道线的特征点越不明显，因此，本文中的实验仅采用距离车头80 m范围内的车道线进行特征判断， 即式（4）和（5）中 x 取值最大不超过80。

3 车道线区域直方图

3.1 车道线的区域定义

式（4）和（5）是拟合跟踪后的车道线方程，根据这2个方程，可以选取不同的点（Xw，Yw），其中Xw＜80， 这些点被映射到如图5所示的图像坐标系中，用（u，v）来表征，（u，v）成为“车道线关键点”，如图6所示。对于左侧车道而言，关键点左边的未越过外侧车道线的区域被成为内部区域，其右边区域被成为外部区域；对于右侧车道而言，关键点右边的未越过外侧车道线的区域被成为内部区域，其左边区域被成为外部区域。

3.2 车道线关键点的选取

图6 车道线关键点的选取示意图

由于车道线离摄像头越近，特征点的可靠性越高，本文采取以下策略选取特征点（Xw，Yw）和对应的实时场景和典型的直方图。的（u，v）值。即，当（u，v）值对应的世界坐标在车头20 m之内，每隔0.3 m选取一个关键点；当（u，v）对应的世界坐标在车头50 m之内时，每隔1 m选取一个关键点，其余情况每隔10 m选取一个关键点。伪代码表示如下所示。其中f（Wx）根据左车道或右车道，分别选取函数（4）或（5）。

for （Wx = 0.0； Wx ＜ 80.0 && num＜MAX_NUM； ）

{ Wy = f（Wx）；

WorldToImage（Wx，Wy， &u， &v）；

if （Wx ＜ 20.0） Wx += 0.3；

else if （Wx ＜ 50.0） Wx += 1；

else Wx += 10；

}

3.3 车道线区域直方图

以左侧车道线关键点为例，对于每一个车道线的关键点，选取其左侧的M个点，将像素值统计进入左侧车道内部区域直方图；同时选取其右侧的M个点，将像素值统计进入左侧车道外部区域直方图。

右侧车道直方图的建立类似。

图7和图8分别是左实线右虚线和左虚线右实线时

图7 左实线右虚线的场景和对应区域直方图

图8 左虚线右实线时的实时场景和对应区域直方图

4 机器学习在车道线判别的应用

4.1 机器学习概述

机器学习是研究如何使用机器来模拟人类学习活动的一门学科，通过经验自动改进的计算机算法的研究。机器学习使用数据或者以往的经验，以优化计算机程序的性能标准，从而在目标识别领域得到充分运用。

Adaboost是一种典型的机器学习迭代算法，其核心思想是针对同一个训练集训练不同的弱分类器，在前一个基本分类器分错的样本会得到加强，加权的全体样本再次用来训练下一个基本分类器；同时，在每一轮中加入一个新的弱分类器，直到到达某个预订的足够小的错误率，或达到预先指定的最大迭代次数，然后把这些弱分类器集合起来，构成一个强分类器。

4.2 车道线直方图特征

图7和图8表征了车道线内部区域和外部区域的图像直方图。

理论上，1条直线车道的内部区域和外部区域直方图，应该只有1个峰值，而且峰值出现的位置不同。由于内部区域是车道线，像素平均亮度高于地面部分像素平均亮度，因此，内部区域的峰值是大于外部区域的。

1条虚线车道的内部区域，应该有2个峰值，分别出现在车道线出现部分的像素平均值和车道线间断部分地面像素的平均亮度；外部区域直方图应该只有1个峰值，出现在地面部分像素平均亮度位置。根据以上分析，本文选取每条车道线内

部和外部直方图的以下特征值组成训练数据集合：①内部区域直方图的峰值个数及分布范围；②内部区域直方图的HOG特征；③外部区域直方图的峰值个数及分布范围；④外部区域直方图的HOG特征；⑤外部区域直方图与内部区域直方图峰值的位置关系。

4.3 车道线类型判别滤波器

由于摄像头本身或安装过程会引入图像噪声，且车道线会受到天气或者时间影响导致车道线的特征点会受到影响，本文中加入了卡尔曼滤波器对判断结果进行滤波，从而提高系统的鲁棒性。

4.4 车道线类型判别结构框图

车道线类型判别结构框图如图9所示。

图9 车道线类型判别结构框图

在Adaboost算法训练过程中，设定最大迭代次数为100次，纳入的车道线实线样本和虚线样本分别为10 000张，生成的分类器检测了2小时21.6 万张图片，正确判别率达99.99%，能够满足实际判别需求。

5 结论

车道线识别是ADAS的重要组成部分，而车道线类型的判别可以直接为自动驾驶决策提供依据。本文在对车道线进行识别的基础上，根据车道线方程在图像坐标中的反映射，找到车道线内侧区域和外侧区域的像素点，建立直方图，根据直方图的特征，使用同一个摄像头获取的实线和虚线样本，利用Adaboost算法设计分类器。实验结果表明，此方法能够获得99.99%的车道线类型识别，能够充分满足实际需求。

The Lane Type Identification Method of ADAS Based on Machine Learning

GUO Jian-ying， ZHENG Yan
（Huayu Aotomotive System Co.， Ltd.， Shanghai 200434， China）

The advanced driving assistance system （ADAS） uses sensors to collect environment data during driving process， and then conducts analysis to effectively increase the driving comfortability and security. Main functions of ADAS includes LDW， FCW， BSD， PD， TSR， etc. Currently， the most widely used sensors are radars and cameras. There are already many solutions to recognize road line using monocular camera， but effective method to identify the lane type is still needed to help decision-making for automatic driving. This article proposes a lane type identifying method based on machine learning， which uses histogram characteristics of neighboring lane area to effectively recognize lane type. Test data indicates that this method can achieve an accuracy of 99.99%.

ADAS； camera sensor； road line recognizatoin； lane identification

U463.6

A

1003-8639（2017）12-0022-03

2017-09-19；

2017-10-26

郭剑鹰（1973-），男，高级工程师，博士，长期从事计算机辅助制造、机器人及自动化、汽车电子产品开发、规划及管理工作；郑艳（1979-），女，博士，长期从事于国际视频解码标准、图像处理、模式识别、高级汽车辅助驾驶系统算法方向的研究。

（编辑 凌 波）