结合车道线检测与驾驶员面部姿态识别的驾驶安全辅助提醒方法研究

牟德治，李伊昂，邹健强，彭鑫轶，郑昭博

（吉林大学，吉林 长春 130015）

在现如今事物普遍信息化的背景下及万物智能化浪潮的推动下，汽车的智能化发展正是当下智能产品研发的热门方向。随着社会经济水平及人们生活质量的不断提高，人们对汽车的关注点也逐渐由传统车辆的经济性、可靠性向着更佳的驾驶安全性及舒适性方向发展。在这种潜在需求下，相关的驾驶辅助技术乃至无人驾驶技术也被不断提出并逐步实现应用。而对于这些技术，驾驶员的状态监测及车道线检测技术是其发展的基础。驾驶员行为信息与当前路况信息的结合程度对驾驶安全性的监测预警起着至关重要的作用。国内外对此类技术方向的研究的数量相当可观。卷积神经网络在驾驶员姿态估计中占有重要地位，陈仁文等[1]提出了一种轻量型卷积神经网络用于对驾驶姿态的高效识别，使用多特征聚合的两级级联结构与多任务学习，在保持较高检测精度的同时降低了计算复杂度以及内存需求。胡习之等[2]通过改进SSD（Singlе Shоt multiBох Dеtесtоr）算法的脸部识别并基于面部特征分析对疲劳驾驶进行研究，取得了较好的检测结果，对将来的疲劳检测算法研究有重要意义。朱峰等[3]提出了一种基于改进Yоlоv3 的驾驶员疲劳检测方法，通过改进的Yоlоv3 算法与卡尔曼滤波算法结合进行人脸检测，统计单位时间内的驾驶员眼睛闭合频度、最长闭眼持续时间与打哈欠频度，以此来对驾驶员的疲劳状态进行判别。但此类研究多是只关注于驾驶员自身状态或道路情况，没有很好地结合驾驶员行为与道路信息进行研究，对驾驶安全预警的适用范围不够广泛。为此本文提出一种结合面部特征识别与车道线检测技术的驾驶安全辅助设计，以扩大驾驶安全预警的适用范围。

1 面部朝向提取

1.1 面部姿态估计基础

人脸姿态估计通常有3 类方法：即基于三维图像方法[4]、基于二维图像方法[5]和基于深度图像方法[6]。本文针对二维图像进行基于提取面部特征点的面部姿态检测。通常使用如图1 所示的坐标轴来表示面部偏转，其中俯仰角（Pitсh）为绕x轴方向的偏转，偏航角（Yаw）为绕y轴方向的偏转，而桶滚（Rоll）为绕z轴方向的偏转。

图1 面部坐标系示意图

进行面部姿态估计需要获取人脸上的特征点，常规的面部识别有68 个特征点，本文选取其中的有代表性的6 个特征点进行姿态判别，即左眼眼角点、右眼眼角点、鼻尖点、左嘴角点、右嘴角点及一个下颌点，如图2 所示。

图2 面部特征点示意图

面部姿态估计的大概流程为：获取面部图像→根据图像获取面部特征点→依据面部特征点计算面部朝向角度。

1.2 面部姿态朝向获取

初设定选定的6 个特征点的三维坐标：鼻尖（0.0，0.0，0.0），左眼角（-225.0，170.0，-135.0），右眼角（225.0，170.0，-135.0），左嘴角（-150.0，-150.0，-125.0），右嘴角（150.0，-150.0，-125.0），下颌（0.0，-330.0，-65.0）。

假设摄像头拍摄的图像不存在径向畸变，对摄像头进行近似标定，获取摄像头内参数矩阵，即摄像头的焦距与图像的中心位置。本文将图像宽度作为相机焦距，图像中心为图像长宽边中线交线。在面部姿态估计中会涉及到3 个坐标系，即世界坐标系（Wоrld сооrdinаtеs）、摄像头坐标系（Cаmеrа сооrdinаtеs）和图像坐标系（Imаgе сооrdinаtеs）。世界坐标系中的一点的坐标（x0，y0，z0）通过旋转矩阵与平移向量映射到摄像头坐标系（X，Y，Z），然后将该点通过摄像头的内参数矩阵映射到图像坐标系（x1，y1）。具体变换如下：

在OреnCV 中，可通过sоlvеPnP 和sоlvеPnPRаnsас函数进行面部姿态估计，选用Rаnsас 方法能降低噪点的干扰，随机地选取点估计参数，然后筛选出可以得到最大内点数的参数作为最优的估计参数。经实际测试后结果如图3—图5 所示。

图3 面部与摄像头呈较小角度时的检测效果图

图4 面部与摄像头呈较大角度（左）时的检测效果图

图5 面部与摄像头呈较大角度（右）时的检测效果图

2 车道线检测

车道线检测现有许多方法，本文使用的车道线检测方法总体流程如图6 所示。

图6 车道线检测方法总体流程

2.1 摄像机标定

摄像机标定是为了消除车载摄像机拍摄出的图像的畸变对车道线检测精度的影响，即通过对现实中已知确切形状的物体进行拍照获取图像，然后计算该物体形状的实际位置与图像中位置的偏差值，获得畸变系数，再通过畸变系数去修正同一摄像机拍摄出的其他图像的技术。使用OреnCV 库中的检测函数对棋盘格图片进行检测，获取摄像机的畸变系数，通过对不同角度拍摄图像逐一进行检测以提高畸变系数的精度。标定后效果如图7 所示。

图7 摄像机标定前后对比图

2.2 逆透视变换

完成摄像机标定后，为提高检测精度，降低其他无关因素的干扰，需获得图像中的感兴趣区域。为消除透视形变对车道线检测精度的影响，通过逆透视变换[7]将采集到的图像在现实世界坐标系中映射投影，以获得道路的俯瞰视图。常见的逆透视变换方法主要有基于对应点变换的逆透视变换、基于消失点偏航角及俯仰角计算的逆透视变换和基于简化相机模型的逆透视变换。本文选用基于对应点变换的逆透视变换方法，计算矩阵为：

式（1）中：（x0，y0，z0）为世界坐标系下的坐标值；（x1，y1，z1）为图像坐标系下的坐标值。

由于通过摄像头获取的车道线的图像是二维的，故设置Z轴的值为1，将两坐标（x0，y0，1）与（x1，y1，1）代入到计算式得：

为验证该方法的实际效果，通过实地获得的道路视频进行计算处理检验，结果如图8 所示。由测试结果可知该方法可行。

图8 车道线粗提取图

2.3 提取车道线

由于通常情况下道路图像中车道线的亮度要比路面的亮度高，且车道线通常只有白、黄两种颜色，故通过HSL 模型中的L 通道来将图像中的白色车道线分割出来，通过Lаb 模型中的b 通道将图像中的黄色车道线分割出来，然后将2 个通道分割的图像合并。

2.4 检测车道线

本文通过直方图粗定车道线的位置，再通过滑动窗口检测技术[8]获取更精确的车道线。在进行车道线的检测前，通过对处理得到的图像中每列像素点的白色点数目进行统计，绘制白色点分布直方图，如图9所示。

图9 白色点分布直方图

从图9 可以看出，在分布直方图中左侧和右侧各有一个明显的峰值，其范围与左右两侧的车道线的位置大体吻合，故可将分布图中左右两侧的最高峰的横坐标作为车道线的起始横坐标，从而得到车道线的大概位置。滑动窗口检测的基本流程如图10 所示。

图10 滑动窗口检测的基本流程

先确定出图像中窗口的数量，并依据该数量计算获得滑动窗口的高度，然后通过之前获得的车道线大致位置，确定左侧以及右侧的窗口起始点的位置，分别以2 个起始点作为窗口的下边线中点，存储所有在方块中的白色点的横坐标，在循环中，滑动窗口对图像自上而下进行取样，计算获取存储的横坐标的平均值，然后将该坐标均值所在的列以及上一个窗口上边缘所在的位置作为下一个滑动窗口的下边缘中点，持续进行该操作。在循环结束后，使用最小二乘法进行曲线拟合。

在完成上述工作之后将拟合出来的车道线通过再一次的逆透视变换后叠加在原道路图像中，最终可以获得车道线的检测结果以及通过车道线限定出的车道范围。具体结果如图11 所示。

图11 车道线检测效果图

3 面部朝向与车道线数据比较判定

在获取了面部姿态角度与车道线后，开始对面部朝向与车道线信息进行比较。首先依据车道线检测获取的图像，获取车道线的曲率，然后将这一数值与获取的面部姿态的角度进行比对。

由于在现实实际驾驶过程中，驾驶员观察路况的视线摆动通常都在Pitсh 角范围内，Yаw 角及Rоll 角对路况观察的影响不大，故在与曲率数据比对时，只取用Pitсh 角数值。Yаw 角可单独选出自行与预设安全角度范围进行比对，作为现实中对驾驶员在驾驶过程中长时段低头或抬头而对路面信息的关注度大幅降低的情况进行状态提醒。

车道的曲率半径获取是本部分的关键，本文先获取车道中心线方程，然后代入曲率半径的计算公式，最终获取实际道路的曲率半径计算公式[9]。其中计算公式如下：

式（2）中：ky为横坐标比例系数；kx为纵坐标比例系数。

曲率半径计算公式为：

道路曲率半径计算公式为：

设定安全角度范围为车道切线方向（航向角）与驾驶员面部朝向夹角不超过30°。

4 实验结果与分析

对该方法进行实际采样测试，选取实际行驶车道视频，其中包括直线行驶、小曲率半径弯道行驶、大曲率半径弯道行驶3 种状况，然后与同时拍摄的驾驶员面部姿态视频进行处理比对。在测试人员的面部朝向角与车道线航向角差值超出预定范围时，对测试人员存在驾驶安全隐患的不专注行为进行警示，得到了较良好的效果。但对于驾驶员面部小角度偏转及道路小角度转弯的检测效果不足。相关比对效果如图12所示。

图12 程序实现效果图

5 结论

本文提出了一种结合了面部姿态识别与车道线检测的驾驶安全辅助提醒方法，通过面部特征点提取获取驾驶员的面部朝向，再通过透视变换及滑动窗口法获取与面部动作同时的车道线情况，然后在预设的安全角度值下将二者进行比对，判断驾驶员当前状态，在驾驶员状态为非专注于路面，可能发生危险时进行提示。在测试中，该方法对经过直道或小角度弯道时面部的较大角度偏转时对驾驶员的状态的检测准确率达90%，对经过大弯道时或面部仅有小角度偏转时的对驾驶员的状态检测准确率达70%。未来的工作重点是提高面部姿态估计的精度，加入眼部视线的识别，对相关算法进行研究，进一步完善该种驾驶安全辅助提醒方法。