基于图像识别与动力学融合的路面附着系数估计方法

张 雷，关可人，丁晓林，郭鹏宇，王震坡，孙逢春

（1.北京理工大学，北京电动车辆协同创新中心，北京 100081；2.北京理工大学，电动车辆国家工程研究中心，北京 100081）

前言

随着汽车电子技术的快速发展，车辆主动安全控制系统逐渐在量产车型上普及应用，有效提高了车辆安全性。路面附着系数是车辆主动安全控制系统的关键参数，其准确、快速估计可有效提升车辆安全性。

围绕路面附着系数估计，现有研究主要分为实验法、模型法与融合法3 类［1-2］。实验法利用声波［3］、红外［4］、摄像头［5-9］、雷达［10-11］等传感器辨识路面状态，在此基础上进一步估计路面附着系数。随着计算机视觉技术的迅速发展，有学者将图像识别与分割技术应用于路面状态识别。图像识别法通常是从车载摄像头或路端监控摄像头获取道路图像，通过预训练的分类器识别路面类型，再通过查表等方法将路面类型对应的路面附着系数经验值作为估计结果。图像识别法主要包括机器学习法和深度学习法。机器学习法通过人工提取RGB 值、纹理、灰度等图片特征，使用支持向量机、K 最邻近、贝叶斯分类器等识别路面类型［5-6］，但该方法存在人为设计特征复杂、泛化能力差等缺点。为克服上述弊端，深度学习方法利用卷积神经网络实现样本特征自动提取与自适应学习，已广泛应用于路面类型识别。例如，王海等［7］利用语义分割网络Res-UNet++分割出路面的积水和湿滑区域，取得了平均交并比为90.07%的分割精度。等［8］设计了一种深度卷积神经网络，对干湿沥青、干湿鹅卵石、干湿碎石等6 种路面类型的辨识准确率达88.8%。Nolte等［9］对比了ResNet50 和InceptionNetV3 两种深度卷积神经网络在6 种典型路面多数据集上的识别效果，结果表明，Resnet50 相对于InceptionNetV3 具备更强的分类能力。还有学者通过分析轮胎噪声［12］、胎面形变［13］、车轮振动［14］等参数估计路面附着系数，但这类方法对传感器要求高，且受周围环境影响大。

模型法通过建立与路面附着系数相关的车辆动力学模型，并结合状态观测器设计实现路面附着系数估计。现有研究主要聚焦于通过轮胎或车辆动力学响应特性实现路面附着系数估计。在轮胎动力学方面，有学者提出利用纵向轮胎模型激励特征，如μ-s曲线小滑移率区间斜率［15］、变化率［16］或Burckhardt模型参数［17］等进行路面附着系数估计。但受限于轮胎滑动率噪声、环境干扰等影响，该类方法在估计精度、可靠性等方面仍有待提升。在整车动力学方面，主要利用车辆动力学响应特性与路面附着系数的关联关系构建状态观测器，实现路面附着系数估计［18-21］。常见的状态观测器包括卡尔曼滤波［18］、无迹卡尔曼滤波［19］、容积卡尔曼滤波［20］、模糊自适应融合估计器［21］等。

实验法仅能确定路面类型而无法准确获得路面附着系数值，估计效果易受环境影响；模型法存在时间滞后问题，且仅在轮胎处于大滑动区间时才具有较高估计精度。为进一步提升附着系数估计效果，有学者提出了基于多方法融合的路面附着系数估计方法。例如，王世峰等［22］综合不同路面的加速度信号特征与路面图像纹理特征，通过神经网络实现了不同路面类型识别，但该方法未发挥利用图像识别实现路面附着系数预测的优势。Leng 等［23］和熊璐等［24］考虑路面类型映射经验值与真实值间的差异，构造了基于扰动观测的路面附着系数估计器。庹文坤［25］利用图像识别结果修正基于动力学方法的路面附着系数估计结果。但上述两种估计方法高度依赖于估计器增益设计，且未考虑图像识别错误等异常情况的影响。Leng 等［26］提出了一种综合数据级、模型级和决策级的融合规则，考虑到轮胎小滑移率和小侧偏时动力学估计结果不可靠，提出了基于图像识别的动力学估计器启停机制，根据图像识别结果自校正动力学估计器参数，但该方法同样未考虑图像识别结果不准确的情况。脱王捷［27］分别建立了基于图像识别和基于动力学的路面附着系数估计器，提出了基于前方路面变化的融合机制。刘惠［28］提出了视觉与动力学信息时空同步机制，基于不同路面类型对应的附着系数范围，采用概率密度函数截断法约束了基于动力学路面附着系数估计方法的估计值范围。何中正［29］综合利用路端三维相机、车载摄像头以及车辆动力学状态等多源信息，提出了“三选一”的路面附着系数融合估计机制，实现车辆小激励工况下的附着系数估计。

综上所述，现有的路面附着系数估计方法尚未充分发挥图像识别和动力学估计方法的性能优势，存在融合逻辑简单、适用工况有限等问题。由于四轮轮毂电机驱动电动汽车的车轮转矩、转速等信息可实时获取，本文中提出了一种图像识别与动力学融合的路面附着系数估计方法（图1）。首先，基于单轮动力学模型估计轮胎纵向力，结合魔术轮胎模型，构建了基于粒子滤波的路面附着系数估计器；其次，建立基于图像识别的路面附着系数预测方法；针对结构化道路干燥、潮湿、冰雪3 种状态，通过DeeplabV3+语义分割网络分割道路，再利用MobileNetV2 轻量化卷积神经网络实现路面类型辨识，并通过查表获取前向路面附着系数；最后，建立图像识别与动力学估计时空同步方法与融合策略，实现了两种估计器的有效关联和可靠融合。

图1 图像识别与动力学融合的路面附着系数估计方法

1 基于车辆动力学的路面附着系数估计

基于车辆动力学的路面附着系数估计方法，其主要思路是根据轮胎力学响应特性设计路面附着系数观测器。因此，首先需要实时准确估计轮胎力。

1.1 轮胎模型

为精准表征轮胎力学特性，采用摩擦相似原理修正魔术轮胎公式［30］，表示为

式中：Fx（x）为轮胎纵向力；μ为实际路面附着系数；s为轮胎滑移率；B、C、D和E分别表示轮胎力学特性曲线的刚度因子、形状因子、峰值因子和曲率因子；Sh和Sv分别为轮胎力曲线相对于原点的水平偏移和纵向偏移，本文取0。

1.2 轮胎纵向力估计

由于可实时精确获取4 个车轮的转速和转矩，因此，通过建立单轮动力学模型并利用卡尔曼滤波算法可实现对车轮纵向力的准确估计。

如图2所示，单轮动力学模型可表示为

图2 单轮动力学模型

式中：Jw为车轮转动惯量；ωw为车轮旋转角速度；Tm为作用于车轮的驱动或制动力矩；Rw为车轮滚动半径；Fx为轮胎纵向力。

式（2）的离散状态空间方程为

式中：k表示离散时刻；x=［ωw，Fx］T为状态变量；z=ωw为观测变量；u=Tm为控制量；w与v分别表示服从正态分布N（0，Q）的过程噪声和服从正态分布N（0，R）的观测噪声。状态矩阵A、控制矩阵B与观测矩阵H分别为

式中ts为离散采样时间。

卡尔曼滤波的基本流程如下。

步骤 1：根据上一时刻状态量及过程噪声计算先验估计值，可表示为

步骤 2：计算卡尔曼增益，可表示为

步骤 3：对先验估计进行校正，可表示为

步骤 4：获得由k-1 时刻到k时刻状态量的最优估计值重复步骤 1-步骤 4。

1.3 粒子滤波算法原理

粒子滤波算法采用蒙特卡洛模拟实现贝叶斯滤波，其基本原理为：随机抽样生成一组粒子集合，一个粒子代表一个样本；计算观测值与测量值之差，通过不断更新粒子权重使粒子分布逐渐贴近后验概率分布；计算样本均值近似为积分计算以减小运算量。由于路面附着系数与轮胎力之间呈非线性关系，因此，粒子滤波算法适用于路面附着系数估计。

非线性系统的后验分布概率密度函数复杂，难以对其采样。因此，间接对一个已知且易采样的重要性函数进行采样，通过计算后验分布概率密度函数与重要性函数的比值获得重要性函数与后验分布概率密度函数的接近程度，将该值作为粒子权重使符合重要性函数分布的粒子集接近后验分布。

经过多次迭代后，估计器的少数粒子权重增大，多数粒子权重减小，权重方差增大，粒子多样性减弱，导致粒子滤波结果出现偏差，形成粒子退化现象。为解决粒子退化问题，采用系统重采样方法（system resampling，SR）［31］，首先由均匀分布U（0，1］生成随机数在此基础上生成随机数组：

重新平均分配新粒子权重得到新的粒子集合为

1.4 路面附着系数估计器

假设路面附着系数短时间内不发生剧烈变化，则状态空间方程可表示为

式中：x=［μfl，μfr，μrl，μrr］T为状态矢量，其中，fl、fr、rl、rr分别表示左前轮、右前轮、左后轮、右后轮；z=［Fxfl，Fxfr，Fxrl，Fxrr，ax］T为观测矢量。

状态转移方程表示为

观测方程为车辆纵向运动方程和纵向工况魔术轮胎模型，表示为

式中：m为整车质量；ax为由惯性元件测得的车辆纵向加速度；δf为前轮转角。

（3）图像数据在服务器上的上传和下载过程都在服务器端完成，这种设计增加了服务器端的负担，影响了针对数据仓库的上传、检索和下载速度。

以单个车轮为例，粒子滤波算法流程如下。

步骤 1：初始化粒子数N、过程噪声w、观测噪声v，基于图像识别法预测的路面附着系数值确定初始粒子集合X（0）；

步骤 2：根据k-1 时刻的粒子集合X（k-1）中的每个粒子，由状态转移方程计算得到k时刻路面附着系数的先验估计值：

式中下标j=1，2，3，…，N表示第j个粒子。

以后验分布概率密度函数p（·）与重要性函数π（·）的比值作为粒子权重，即

粒子权重归一化后的粒子权重可表示为

k时刻路面附着系数的后验估计为

步骤4：代入式（8）-式（10）进行重采样，得到新的粒子集合及其权重，代入下一次循环，重复步骤 2-步骤 4。

2 基于图像识别的路面附着系数预测

基于图像识别的路面附着系数预测包括离线训练和在线辨识两部分。对于离线训练，首先训练语义分割网络，利用训练后获得的语义分割模型将原始数据集转化为仅保留路面区域的新数据集，再基于新数据集训练分类神经网络。对于在线辨识，先后利用训练好的DeeplabV3+网络和MobileNetV2 网络对采集图像进行路面区域分割和分类。

2.1 路面区域语义分割

语义分割可通过像素分类提取图像重要信息，目前已广泛应用于医疗诊断、自动驾驶等领域。为减小背景因素对分类的影响，首先通过语义分割划分路面区域。谷歌提出了Deeplab 系列语义分割网络，其中DeeplabV3+［32］在分割精度等方面具有较好性能。本文采用DeeplabV3+实现路面语义分割，同时考虑模型计算速度和分割性能，将骨干网络Xception 替换为MobileNetV2［33］轻量化卷积神经网络，DeeplabV3+采用编码-解码结构，具体网络结构如图3 所示。编码器首先经过骨干网络提取低维特征图，然后由空洞空间金字塔池化（atrous spatial pyramid pooling，ASPP）提取多尺度特征信息。1×1卷积提取细致的特征信息，不同空洞率的3×3 空洞卷积提取不同大小感受野的信息，全局平均池化提取全局信息。解码器部分由低维特征图与4 倍上采样的高维特征图级联，融合空间信息与通道信息以提高语义分割性能。最后，通过3×3卷积和4倍上采样得到最终预测结果。

图3 DeeplabV3+网络结构

2.2 路面类型识别

作为深度学习的重要分支，卷积神经网络已先后发展出LeNet［34］、AlexNet［35］、VGGNet［36］、ResNet［37］、MobileNet［33，38-39］、ShuffleNet［40-41］等网络。相比于传统卷积神经网络，MobileNet 和ShuffleNet 等轻量化神经网络具备较小的模型参数计算量，适用于移动端部署。车辆高速行驶工况对模型计算效率要求高，且车载控制系统算力有限，综合考虑分类准确性、模型大小、计算效率等因素，选用MobileNetV2 轻量化神经网络作为分类网络。

MobileNetV2 采用深度可分离卷积［35］。首先，特征图的每个通道仅与一个卷积核进行卷积运算，得到的特征图个数与通道数C一致；然后对新特征图采用N个1×1×C大小的卷积核进行卷积运算；最后得到与卷积核个数一致的N个特征图。深度可分离卷积操作可有效减少参数计算量。MobileNetv2 在此基础上加入倒残差结构和线性瓶颈模块。倒残差结构将先降维再升维的残差结构［37］调整为先升维再降维，先升维可丰富特征数量以提高模型精度。由于ReLU 激活函数将非正的输入特征置0 而导致大量信息丢失，因此，瓶颈模块采用线性激活函数可有效减少信息丢失。MobileNetV2 网络结构见表1，表中：Bottleneck 代表倒残差的线性瓶颈模块；Conv2d代表二维卷积，未特殊标注的卷积均为3×3 卷积；Avgpool代表平均池化；k代表类别数。

表1 MobileNetV2网络结构

2.3 路面类型与路面附着系数对照表

由GA/T 643—2006［42］和《汽车理论》［43］获得路面类型-路面附着系数对应关系，详见表2。

表2 路面类型-路面附着系数对照表

2.4 训练与验证

本文采用多个公开数据集［44-46］、网络图片和人工拍摄照片作为数据集，图片来源均为车辆前置摄像头，共计4 254 张。其中，训练集与验证集的比例为9∶1。

受限于计算资源，单次可训练的图片数量较少，从0 开始训练得到的模型精确度较低。因此，本文采用迁移学习方法，在已训练模型基础上针对分类任务重新训练模型，可以提高模型精度、缩短训练时长。本文使用的具体软件及硬件配置见表3。

表3 软硬件配置

2.4.1 语义分割网络训练

首先冻结骨干网络，仅训练骨干网络以外的参数，骨干网络部分采用已经训练好的模型参数。经过多次冻结训练，再对骨干网络解冻，训练整个网络。该训练方法可在获得较好模型训练效果的同时减小内存占用。冻结训练次数设置为epoch_freeze=50，解冻训练次数设置为epoch_unfreeze=50，采用SGD 优化器，设置余弦退火学习率，初始学习率lr=0.007，下采样倍率=16，batch_size=16。

RGB是一种颜色标准，在语义分割中，不同类别区域被赋予不同RGB 值。首先，根据目标提取区域RGB值查找语义分割结果图的3个通道R、G、B中相同的值，值相同的像素点赋为1，其它像素点赋0；然后，将得到3 个掩膜拼接，保留3 个掩膜值都为1 的像素点，其余像素点赋值0；最后，通过掩膜与原图矩阵运算即可提取原图中的目标区域。本文仅包括背景和路面两类语义分割对象，将生成掩膜过程简化为对语义分割结果图的灰度化处理，得到的灰度图仅有两个值：背景区域灰度值为0，路面区域灰度值为90。值为90 的像素点赋1，得到背景为0、路面为1 的掩膜，再通过掩膜与原图矩阵运算提取路面区域。

分割和提取结果见图4。语义分割通常采用平均交并比作为评价指标，此训练模型在验证集上的平均交并比miou=87.41%，表明模型精度较高。

图4 路面区域语义分割结果

2.4.2 分类网络训练

MobileNetV2迁移学习流程见图5。为保证各类别样本均衡，从语义分割提取路面结果中选取沥青路面的干燥、潮湿、冰雪3 种状态图片各1 100 张，共计3 300张。导入MobileNetV2网络在ImageNet数据集上训练的参数，在此基础上仅对网络微调训练。将图片压缩至像素为224×224，batch size=32，训练次数设置为epoch=100，采用Adam优化器，学习率lr=0.0001。此模型在验证集上的分类准确率为92.90%。

图5 MobileNetV2迁移训练流程图

3 融合估计策略

3.1 时空同步

车载前置摄像头可通过拍摄车辆前向道路实现路面附着预测，而车辆动力学估计方法仅能估计车辆当下路面附着系数，首先须将两种方法估计结果进行时间和空间匹配。摄像头采样频率为30 Hz，GPS 采样频率为20 Hz，惯导采样频率为100 Hz，以20 Hz频率进行采样。

由于基于图像识别的路面附着系数预测是对整车未来行驶区域的路面条件的辨识，不针对单个车轮，在时空同步中可将车辆近似为质点进行分析。如图6所示，lr为摄像头拍摄范围，ln为车辆质心到拍摄范围最小距离。在xik（k=1，2，…，N）点摄像头获取前方路面信息；在xd点获取车辆动力学响应信息。xi1-xiN区间内摄像头获取的路面信息均包含xd点。摄像头采集图像须经过语义分割和卷积神经网络处理，设运算时间为timage，则经过timage后车辆由xik移动到，须保证不超过xd。因此，能够与xd处车辆动力学算法融合的摄像头拍摄点应满足：

图6 时空同步示意图

选取xi1-xiN区间所有图像识结果中出现频率最高的路面类型作为最终图像识别结果，输入动力学响应处xd，记该类型出现次数为NMAX，则分类概率为P=NMAX/N。设置图像识别法置信度Pc，当某类型路面出现频率高于Pc时才将该路面类型作为图像识别的最终结果，本文图像识别法置信度取值为80%。

3.2 融合机制

图像识别法虽可预测路面附着系数，但受外界光照、天气等影响，且只能根据识别类型获得路面附着系数经验范围。车辆动力学法具有较高估计精度，但时效性较弱，且在车辆小滑移等工况下难以实现路面附着系数准确估计。因此，本文结合两种算法的优势，提出基于图像识别与基于动力学的路面附着系数估计方法融合机制，具体流程如图7所示。

图7 基于图像识别和基于动力学的路面附着系数估计融合机制流程图

（1）当P≥Pc时，图像识别结果可信，查表得到路面类型对应的路面附着系数范围［a，b］，预测值为μi=（a+b）/2，作为基于动力学的粒子滤波估计器初始值。判断μd是否在区间［a，b］之间；若μd位于区间［a，b］，则动力学估计准确，以动力学估计值μd作为最终μ估计值；相反，以图像法预测结果μi作为最终μ估计值。

（2）当P＜Pc时，此时图像预测结果不可信，则须判断基于动力学的估计结果是否可信。以纵向加速度的观测值与传感器测量值之差err作为判断依据，若err≤Ec则基于动力学的估计准确，以动力学估计值μd作为最终μ估计值；否则保持上一时刻估计值不变。

4 仿真

通过CarSim-Simulink 联合仿真验证所提的融合估计方法的有效性。选择CarSim 中B级轿车作为实验原型车，车辆参数见表4。为更好检验本文方法对路面附着变化的鲁棒性，仿真道路工况设置为对接路面。假设图像法识别的路面类型准确并将其作为已知条件。

表4 车辆模型参数

对接路面1 如图8 所示，设置为0-40 m 冰雪路面、40-80 m 潮湿沥青路面，相应图像法预测路面附着系数为0.275 和0.525，设定路面附着系数为0.3和0.5。初始车速设为40 km/h，采用开环节气门控制，0-3 s 内节气门开度在0.2-0.5 区间波动，3-5 s节气门开度在0.8-1.0 区间波动，车辆纵向车速、纵向加速度和车轮转速、滑移率变化情况如图9 所示。轮胎纵向力估计结果如图10 所示，左前轮、右前轮、左后轮、右后轮轮胎纵向力的均方根估计误差分别为74.13、83.90、73.18、74.29 N。路面附着系数估计结果如图11 所示，可以看出，在路面状态变化位置，基于动力学的附着系数估计器需要一定的收敛时间，此时估计值存在明显偏差。因此，通过图像识别法融合修正该阶段估计误差。仅采用基于动力学的估计方法，左前轮、右前轮、左后轮、右后轮处的路面附着系数均方根估计误差分别为0.040 1、0.030 0、0.040 0、0.030 5；基于图像法与动力学融合方法的均方根估计误差分别为0.023 9、0.023 6、0.028 6、0.026 0。

图8 对接路面1示意图

图9 车辆动力学参数

图11 路面附着系数估计结果

对接路面2 如图12 所示，设置为0-40 m 干燥沥青路面、40-80 m 潮湿沥青路面、80-120 m 冰雪路面，相应图像法预测路面附着系数为0.75、0.525和0.275，设定路面附着系数为0.7、0.5 和0.3。测试车辆初始车速设为120 km/h，制动轮缸压力0-3 s为3 MPa，3-5 s 为2 MPa，车辆纵向车速、纵向加速度和车轮转速、滑移率变化如图13 所示。轮胎纵向力估计结果和路面附着系数估计结果分别如图14 和图15 所示，左前轮、右前轮、左后轮、右后轮轮胎纵向力均方根估计误差分别为88.40、98.06、90.15、89.13 N，而仅采用基于动力学的估计方法，左前轮、右前轮、左后轮、右后轮处的路面附着系数均方根估计误差分别为0.068 6、0.065 4、0.066 3、0.064 6；基于图像法与动力学融合方法的均方根估计误差分别为0.028 2、0.024 6、0.035 2、0.034 3。

图12 对接路面2示意图

图13 车辆动力学参数

图14 轮胎纵向力估计结果

图15 路面附着系数估计结果

在表3 给定的电脑配置下，对每张图片进行语义分割和分类的总用时为0.3 s，偏差在0.05 s 以内，摄像头拍摄范围为车辆前方15-50 m 范围［28］。动力学法估计四轮轮胎力和路面附着系数总用时为0.04 s。高速公路限速为120 km/h，假设车辆以120 km/h速度行驶，识别每张图片车辆前行约10 m，x＇ik未超过xd，在动力学相应点xd能够获得5个图像识别结果。因此，不同车速下图像识别均符合时空同步模块要求，能够在动力学响应点前完成识别，为粒子滤波算法提供参考输入，本文算法可实现路面参数的实时估计。

综上，本文提出基于图像识别与动力学融合的估计方法能够准确估计路面附着系数，相较于单一动力学方法估计精度显著提升。

5 结论

本文中提出了一种基于图像法与动力学法融合的路面附着系数估计方法。首先，基于卡尔曼滤波算法和单轮动力学模型估计轮胎纵向力，利用估计的轮胎纵向力与魔术轮胎模型建立基于粒子滤波的路面附着系数估计器。其次，通过轻量化DeeplavV3+语义分割网络划分路面区域，再通过MobileNetV2卷积神经网络识别路面类型，查表获得基于图像识别的路面附着系数预估值。最后，建立时空同步体系和融合规则，实现了两类路面附着系数估计结果的有效关联和可靠融合。CarSim-Simulink 联合仿真验证结果表明，本文所提出的基于图像识别与动力学融合的方法有效提高了路面附着系数估计精度和工况适应性。