基于多任务神经网络的智能网联汽车环境自动感知研究

刘庆

安徽汽车职业技术学院，安徽合肥 230601

0 引言

随着科学技术的发展与人民生活水平的提高，汽车成为人们的主要出行工具[1]。汽车使用量的增加，导致交通拥堵现象日益严重,交通事故频发，驾驶员的生命和财产安全受到威胁[2]。为此，智能化管理成为汽车行业的发展趋势，一种充分利用电动、智能、网联及共享优势的智能网联技术逐渐应用到汽车上[3]。智能化是智能网联汽车开发过程的关键，而环境自动感知与检测技术是实现智能化的关键，在汽车智能化中发挥着重要作用[4]。

近年来，诸多学者对智能网联汽车环境自动感知方法进行了大量研究。尹慧琳等[5]提出了基于层次因子图的智能网联汽车环境感知方法，隗寒冰等[6]提出了基于融合历史轨迹的智能网联汽车环境感知方法。这些方法能自动感知汽车环境，在一定程度上减少了交通事故的发生，增强了驾车体验舒适感，但在进行汽车环境感知时，每执行1个任务就需要执行网络更换操作，过程复杂、成本较高，获取的环境信息有限，难以满足深层次的汽车环境感知需求[7]。

多任务神经网络由编码器和解码器组成，可以在同1个网络中完成不同的任务[8]。本文采用基于多任务神经网络的智能网联汽车环境自动感知方法，在执行环境感知任务时，无需更换网络就可实现语义分割及对目标的跟踪检测，且网络性能与目标检测效果较好，更好地实现交通环境自动感知，降低交通事故发生的概率，满足实际智能网联汽车的环境自动感知需求。

1 智能网联汽车环境自动感知多任务神经网络

1.1 卷积神经网络原理

卷积神经网络是1类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一，除了具有传统神经网络的良好容错性、自适应性和较强的自学习能力等特点，还具有自动提取特征、权值共享及输入图像与网络结构结合良好等优点，包括卷积层、池化层、批量归一化(batch normalization，BN)层及激活函数层[9]。

1.1.1 卷积层

卷积层主要负责提取采集的智能网联汽车环境图像特征信息，通过卷积核对特征图像执行滑动操作实现[10]。卷积计算过程为：

式中：ai，j为卷积计算结果；wm，n为第m行第n列卷积核的权重；xk+m，l+n为汽车环境图像中第k行第l列的元素；wb为常数偏置项，一般状况下满足wb=0；f(·)为激活函数。

卷积运算过程可归结为：1)对采集到的汽车环境图像执行图像输入操作，图像的分辨率设置为5×5；2)将卷积核的大小、步长及wb分别设置为3×3、2与0，将激活函数设置为ReLU；3)在输入的汽车环境图像上通过卷积核执行滑动操作，在汽车环境图像对应位置的像素执行乘法与加法操作；4)对经过执行步骤1)～3)操作的汽车环境图像执行输出操作，将输出图像的分辨率设置为2×2。

1.1.2 池化层

池化层主要包括最大池化操作与平均池化操作2种，与卷积层相比，池化层在执行池化操作时不需要学习参数[11-13]。池化操作过程如图1所示。

图1 池化操作过程

在池化层中，将输入汽车环境图像的分辨率、池化层及步长分别设置为4×4、2×2与2；在输出汽车环境图像的左上角放置输入汽车环境图像左上角的4个像素位置的最大像素；在输出汽车环境图像的右上角，通过执行滑动操作，放置输入汽车环境图像右上角的4个像素位置的最大像素；重复执行滑动操作，得到汽车环境感知结果图像。

1.1.3 BN层与激活函数层

BN层主要负责执行对卷积层的规范操作，提高网络收敛速度，避免过度拟合现象发生[14-15]。激活函数层[16]的工作原理是对数据执行非线性映射操作，达到提高网络表达能力的目的。ReLU激活函数用公式表示为：

ReLU(x)=max(0,x)，

式中x为激活函数的自变量。

1.2 多任务神经网络

1.2.1 多任务神经网络构建

多任务神经网络包括编码器与解码器2部分[17-18]。编码器执行提取特征操作，是整个网络构建过程最重要的部分；解码器包括语义分割解码器与目标检测解码器，执行处理特征操作[19]。

根据卷积神经网络的原理，将缩放因子为5的双线性插值层增添到卷积神经网络的底层[20]，对卷积神经网络的均值池化层执行修改操作。H与W分别为均值池化层输入的智能网联汽车环境感知特征图像的高与宽，kh与sh分别为均值池化层池化窗口的高与步长，kw与sw分别为池化窗口的宽与步长，得到的修改结果为：第1层满足kh=H、kw=W、sh=H、sw=W；第2层满足kh=H/2、kw=W/2、sh=H/2、sw=W/2；第3层满足kh=H/3、kw=W/3、sh=H/3、sw=W/3；第4层满足kh=H/6、kw=W/6、sh=H/6、sw=W/6。

将修改后的卷积神经网络用于智能网联汽车环境感知多任务神经网络中，多任务卷积神经网络结构如图2所示。

图2 多任务卷积神经网络结构

在构建的智能网联汽车环境自动感知多任务卷积神经网络中，定义池化层为环境自动感知网络的编码器；在解码器中输入智能网联汽车环境感知图像特征，语义分割解码器执行语义分割操作，结合分割结果利用解码器感知图像特征，根据图像特征感知结果得到智能网联汽车环境感知结果。

1.2.2 多任务神经网络训练

进行多任务网络训练时，为更好地执行向前传播操作，需要计算网络的多任务损失，通过计算语义分割损失及目标检测损失实现[21]。

语义分割损失计算以共享编码器特征图为媒介，通过求解交叉熵损失函数得到语义分割网络损失

式中：N为各训练批次样本数量，bi为隶属于类别i的数据，I为类别数量，c为多任务网络语义分割的类别数据，C为最大类别数据。

目标检测损失计算通过执行对目标网络的边界坐标损失与求解置信度交叉熵损失函数实现[22-24]，求解过程为：

Oobj=O1(p,q)+Oobj-con，

式中：O1(p,q)为目标检测网络边界框坐标损失，其中p为预测值，q为标签；δqi为边界坐标损失；xpi、ypi分别为目标网络节点pi的横、纵坐标；xqi、yqi分别为目标网络节点qi的横、纵坐标；wpi、wqi分别为pi、qi的权重；hpi、hqi分别为pi、qi的深度；Oobj-con为多任务网络的置信度；zi(c)、ki(c)分别为pi、qi的信息熵函数；Oobj为多任务网络的目标损失。

智能网联汽车环境自动感知多任务神经网络的总损失

O=λ1Oobj+λ2Oseg，

式中λ1、λ2分别为Oobj、Oseg的损失权重。

在执行智能网联汽车环境自动感知多任务神经网络反向传播操作时[25-26]，通过Adam优化函数执行网络权重参数更新操作，网络权重参数更新过程用公式表示为：

mt=umt-1+(1-u)gt，

采用小批量训练方法进行智能网联汽车环境自动感知多任务神经网络训练时，分别满足η=0.000 1，ε=0.000 01，u=0.9，v=0.999，在此基础上将网络第二层正规化操作加入到智能网联汽车环境自动感知多任务神经网络训练过程中，避免过度拟合现象的发生，神经网络第二层正规化系数一般为0.000 5。

2 试验与分析

以A市4种不同环境的道路为试验对象，借助Husky-200移动平台搭建多任务神经网络，验证本文方法在智能网联汽车环境自动感知的性能。

采集到的4种道路图像如图3所示。图3a)中道路1全长1200 m，路面平坦，车辆与行人较多；图3b)中道路2全长860 m，路面陡峭、弯曲，道路两旁为茂密的森林；图3c)中道路3全长460 m，路面布满石子；图3d)中道路4全长560 m，路面为土路，不平坦，但路面质量高于道路3。

a)道路1 b)道路2 c)道路3 d)道路4 图3 智能网联汽车道路环境图像

应用本文方法的智能网联汽车在4种不同道路的行驶状态如表1所示。

表1 智能网联汽车行驶状态

由表1可知：智能网联汽车在道路1和道路2行驶时，白天和夜间均能实现道路环境的自动感知，行驶过程中可自行避障，人工干预的次数为0，夜间的平均行驶速度与图像处理速度稍有下降；智能网联汽车在道路3和道路4行驶时，白天和夜间的平均行驶速度与图像处理速度有所下降，行驶过程中出现少数人工干预状况。说明本文方法可有效感知不同道路环境：路况较好时，可实现自动避障；路况较差时，可通过人工与自动相结合的方式实现避障。

应用本文方法的智能网联汽车在不同光照强度下的目标检测效果如图4所示。

a)光线较强 b)光线较暗 图4 智能网联汽车在不同光照强度时的目标检测效果

由图4可知：智能网联汽车在光线较强和光线较暗时均能实现对前方行驶车辆的目标检测，能有效降低交通事故的发生概率，满足智能网联汽车环境自动感知需要。

在实际的智能网联汽车环境自动感知过程中，网络性能直接影响环境感知效果。实时性与网络语义分割精度是衡量智能网联汽车环境自动感知网络性能的重要指标，实时性指每秒处理的汽车环境感知图像帧数，网络语义分割精度指通过真实值与预测值交集与并集比值的平均值，不同噪声下的网络性能如图5所示。

图5 不同噪声下的网络性能

由图5可知：随着噪声干扰增强，智能网联汽车环境感知网络实时性与网络语义分割精度逐渐降低，但曲线下降趋势缓慢，说明采用本文方法的智能网联汽车即使环境自动感知网络中噪声干扰较强，仍具有良好的环境自动感知网络性能，且自动感知精度较高。

3 结语

为提升智能网联汽车的驾驶体验感，设计了基于多任务神经网络的智能网联汽车环境自动感知方法，在不同道路环境、不同光线强度和不同噪声水平下可实现环境自动感知与目标检测，满足实际智能网联汽车环境自动感知需求。应用多任务网络使环境感知效率提高、成本降低，但环境感知的实时性还有待进一步提高。