基于多尺度深度学习的航空影像路面交通标志辨识研究

刘岩

(南京理工大学, 计算机科学与工程学院, 江苏, 南京 210094)

0 引言

随着科技水平的快速发展,交通运输也愈发便利,人们在选择长途出行所乘坐的工具时,不仅限于地面,还包括安全系数高、用时短的航空设备。航空航天制造业技术[1]发展至今,不但为大规模人口移动提供了可靠工具,还为国防安全添砖加瓦,提升了国家竞争力。航空设备在驾驶途中准确辨识路面交通标志,有利于及时调整限速、了解路况改变,因此,提升航空影像路面交通标志的辨识能力,是当下社会的热议话题。

陈朋弟等[2]通过高质量无人机采集300个路面交通标志,并组成路面交通标志数据集,然后以Mask R-CNN区域候选网络为基础,构建基于路面交通标志数据集的特征辨识模型,将平均精度算法代入特征辨识模型中修改特征初始参数,使模型内数据集所描述的路面交通标志辨识度提升,实现航空影像路面交通标志的辨识,该方法存在图像清晰度低的问题。杨凯等[3]通过全景影像定位系统自动定位路面交通标志,并以RGB格式将定位获取的路面交通标志存储在HSV空间中,再利用形态学运算提取路面交通标志特征,并将路面交通标志特征输入以HOG-LBP融合特征辨识函数为基础构建的匹配最佳模型中,实现航空影像路面交通标志的辨识,该方法存在召回率低的问题。BOUGUEZZI等[4]提出了一种基于改进自正则激活函数SigmaH的交通标志识别方法。利用自正则非单调激活函数替换双曲正切激活函数,以此获得SigmaH。采用卷积块注意模块提取交通标志特征将三重态中心损失与Softmax激活函数结合作为损失函数,以最大化正确识别率,但是该方法存在召回率较低的问题。赵树恩等[5]通过限制对比度直方图均衡算法获取航空影像路面交通标志基于色彩、饱和度、色明度的均衡化系数,并将均衡化系数代入膨胀卷积--VGG模型中,使路面交通标志的均衡化系数进一步分割,得到更为真实的图像增强数据,实现航空影像路面交通标志的辨识,该方法存在准确率低的问题。

为了解决上述方法中存在的问题,提出基于多尺度深度学习的航空影像路面交通标志辨识方法。

1 航空影像路面交通标志图像的采集和预处理

1.1 航空影像路面交通标志图像的采集

辨识航空影像路面交通标志的第一步是利用摄像机采集路面交通标志图像。采用12机位摄像机拍摄路面交通标志。12机位摄像机支持高清画面输出,可以全方位采集航空影像路面交通标志图像,受环境因素影响较低,因此可以满足航空影像路面交通标志辨识的精度要求。像机光圈与地面形成的夹角决定摄像机的光轴参数,路标拍摄场景如图1所示。

图1 路标拍摄场景示意图

图1中,r=10 m,i=30 m,α=50°,β=90°,根据路标拍摄场景所涉及的实景数据,可通过自动化测量方法推测摄像机光圈与地面形成的夹角度数。自动化测量方法的表达式如下:

(1)

航空影像路面交通标志主要分为警示、禁止及指示3种类型,且由于每种类型的路标位置不同,故摄像装置在采集各类型的路面交通标志图像时,摄像机光圈与地面所形成的夹角度数各不相同。以上述路标拍摄场景为例,在已知摄像机光圈与地面形成的夹角度数的前提下,可以利用夹角计算公式获取摄像机基于该路面交通标志的光轴参数,以此达到成功采集路面交通标志图像的目的。夹角计算公式的表达式如下:

(2)

式中,e表示夹角计算常数,u表示摄像机光轴参数的获取率,m表示摄像机光轴参数的获取误差。

1.2 航空影像路面交通标志图像的预处理

摄像机在采集航空影像路面交通标志图像的过程中,常由于硬件设备问题或外界因素干扰而存在图像采集结果粗糙、色彩饱和度低下等问题,为了提升路面交通标志图像的清晰度,避免由于图像失真或外界因素影像而导致后续航空影像路面交通标志辨识结果误差,需要在辨识任务前,对航空影像路面交通标志图像进行预处理。航空影像路面交通标志图像预处理主要分为图像颜色标准化处理[6]和图像分量阈值化处理。

(1) 图像颜色标准化处理

在路面交通标志图像中,每种颜色都具有独特的意义,想要从基数庞大的路标图像中精确提取目标特征,需要充分考虑图像色彩区域所涵盖的语义信息。经过摄像机采集的路面交通标志图像,其色彩区域所涵盖的语义信息表达力下降,使图像特征提取难度进一步提升,为了增加图像特征的提取率,需要利用RGB三维空间分割方法处理采集到的路面交通标志图像,从而获取可操作性更强的色彩标准化图像。

RGB三维空间分割方法处理路面交通标志图像的具体过程如下:首先利用耦合函数提取路面交通标志图像中全部色彩的标定值,考虑到路面交通标志图像常见色彩构成为红色、蓝色、黄色和白色,因此在成功获取基于路面交通标志图像的色彩标定值后,将色彩标定值输入颜色阈为红色、蓝色、黄色和白色的RGB三维空间模型内,该模型由27个标准色彩映射点组成,色彩标定值会根据智能群体算法[7]选取最适映射点,当所有色彩的标定值与对应映射点成功结合后,模型启动色彩标准化方法,使路面交通标志图像的颜色标准化。RGB三维空间模型的示意图如图2所示。

图2 RGB三维空间模型示意图

耦合函数的表达式如下:

(3)

式中,α表示耦合常数,β表示色彩标定值提取系数,d表示色彩标定值提取率,l表示色彩标定值提取误差。

智能群体算法的表达式如下:

P=φij(xn-xm)dxdy

(4)

式中,φij表示智能群体常数,xn表示最适映射点选取系数,xm表示最适映射点选取误差。

色彩标准化方法的表达式如下:

(5)

式中,λk表示色彩标准化常数,Sn表示路面交通标志图像参数,z表示路面交通标志图像的色彩标准化系数。

(2) 图像分量阈值化处理

图像分量阈值化处理是以颜色标准化处理结束的路面交通标志图像为基础,通过自适应图像处理算法[6]获取图像分量值,并利用阈值化函数将图像分量值阈值化,进而达到锐化图像细节、提升图像清晰度的目的。自适应图像处理算法的表达式如下:

(6)

式中,v表示自适应图像处理常数,C表示图像分量值获取系数,Tsr表示图像分量值获取误差。

阈值化函数的表达式如下:

(7)

式中,ηn表示阈值化常数,ηm表示图像分量值阈值化系数,φnm表示图像分量值阈值化误差。

2 基于多尺度深度学习的航空影像路面交通标志辨识

2.1 提取航空影像路面交通标志图像特征

航空影像路面交通标志的辨识建立在图像特征成功提取的基础上,经过预处理的路面交通标志图像无论是在图像色彩饱和度方面还是图像清晰度方面均表现出良好的特征提取性能,分别从颜色、纹理、形状3个方向提取路面交通标志图像的特征。

(1) 颜色特征提取

颜色特征是指参与构成路面交通标志图像的主要色彩,从单一的色彩角度观察路面交通标志图像,能够代表颜色特征的色彩在整幅图像中具有标志性和整体性。提取路面交通标志图像颜色特征的具体步骤如下:首先利用颜色直方图函数构建基于路面交通标志图像的颜色矩阵,然后利用概率密度函数规划矩阵中心,要求中心矩位置满足图像灰度直方图函数,当中心矩权重向量满足二维空间下图像灰度直方图函数的非负阶数时,颜色矩阵整体变量稳定,可以通过线性变换[8]提取基于路面交通标志图像的颜色特征。颜色直方图函数的表达式如下:

(8)

式中,F(w)表示颜色直方图常数,g0表示颜色矩阵的权重,gτ表示颜色矩阵的构建系数。

概率密度函数的表达式如下:

(9)

式中,δ表示概率密度常数,tr表示矩阵中心规划系数,f(r)表示矩阵中心规划误差。

图像灰度直方图函数的表达式如下:

L=t0x+ω0

(10)

式中,t0x表示图像灰度直方图常数,ω0表示图像灰度直方图的斜率。

线性变换的表达式如下:

(11)

式中,X1表示线性变换常数,X2表示颜色特征提取率,h表示颜色特征提取误差。

(2) 纹理特征提取

纹理特征提取是指通过纹理特征提取算法[9]获取路面交通标志图像中反映灰度方向的差分值。常见的纹理特征提取算法包括结构方法、信号处理方法、几何方法、模型方法和统计方法,其中统计方法是最常应用于路标图像纹理特征提取的方法。

利用统计方法提取路面交通标志图像的纹理特征的具体步骤为任取图像中的任一点,设该点坐标为(α0,β0),则与该点坐标邻近的另一点坐标为(αr,βr),视这两点为一个计算单位,利用灰度联合概率函数获取基于两点坐标的差分值,再重复此项操作,将多组差分值组合在一起,构成包含纹理特征统计量信息的灰度共生矩阵,最后在灰度共生矩阵中添加统计方法,实现路面交通标识图像纹理特征的提取[10]。灰色联合概率函数的表达式如下:

(12)

统计方法的表达式如下:

(13)

式中,uidm表示统计常数,γ表示灰度共生矩阵参数,vm表示图像纹理特征提取系数。

(3) 形状特征提取

路面交通标志图像的形状特征提取过程被详细分为轮廓特征提取和区域特征提取两部分,轮廓特征提取主要依靠Hough变换方法,区域特征提取主要依靠傅里叶轮廓描述法。Hough变换方法的表达式如下:

(14)

傅里叶轮廓描述法的表达式如下:

(15)

式中,θ表示傅里叶轮廓描述常数,a表示区域特征提取系数,b表示区域特征提取误差。

2.2 基于多尺度深度学习的航空影像路面交通标志图像特征聚类

以DAE网络为基础,结合EDFCC算法构建基于航空影像路面交通标志图像特征的多尺度深度学习聚类模型。该聚类模型包括8层神经网络结构,且每层神经网络所包含的神经元数量不等,设第一层为α,则第二层为α+x1,第三层为α+x2,以此类推。根据标量原理推断聚类模型中神经元数量的递进关系,可知其满足波段函数的曲线变化情况。标量原理的表达式如下:

(16)

波段函数的表达式如下:

(17)

将航空影像路面交通标志图像特征输入多尺度深度学习聚类模型中,模型聚类航空影像路面交通标志图像特征的具体步骤如下:聚类模型会在接收到航空影像路面交通标志图像特征的第一时间开启模型内设像素点解码器,使图像特征能够以像素点为单位逐层训练,进而减少由于输入数据的特征向量混乱,而导致最终获取的图像特征聚类结果误差的问题。聚类模型的基础框架为DAE网络,该网络与EDFCC算法结合后,保留了初始化网络收敛能力,即当聚类模型接收到的航空影像路面交通标志图像特征参数较大时,聚类模型会依靠DAE网络的初始化收敛能力,约束每一层神经网络结构的权重,使图像特征参数较大的训练数据能够通过这种控制手段,降低运算成本,提升聚类精确度。EDFCC算法的表达式如下:

(18)

聚类模型输出经过逐层训练的航空影像路面交通标志图像特征,实现航空影像路面交通标志图像的聚类,根据模型输出的聚类结果即可实现航空影像路面交通标志图像的辨识。

3 实验与结果

为了验证基于多尺度深度学习的航空影像路面交通标志辨识研究的整体有效性,需要对其测试。

选择4幅差异性较大的航空影像路面交通标志图像作为试验图像,且依照每幅路标图像准备300张相同样式的图像,组成以4幅航空影像路面交通标志图像为首的4组数据集。将4组数据集混合在一起,构成样本数量为1200幅的试验数据集,选取该数据集的10%、30%和60%,重新组成路标图像无序的3组试验对象(试验对象A、试验对象B、试验对象C)。

(1) 图像清晰度

不同方法针对路面交通标志的辨识度主要与所采集的路面交通标志图像的清晰度有关。不同方法基于路面交通标志图像的采集方式不同,最终获取的图像清晰度也不同。采用不同方法采集4幅路面交通标志图像,其图像清晰度对比如图3所示。

(A) 文献[2]方法 (B) 文献[3]方法

(C) 本文方法 (D) 文献[4]方法图3 不同方法采集4幅路面交通标志图像的清晰度对比

由图3可知,采用本文方法采集的路面交通标志图像清晰度较高,说明所提方法的路面交通标志辨识度较高。采用文献[2]方法、文献[3]方法和文献[4]方法采集的路面交通标志图像清晰度较低,说明文献[2]方法、文献[3]方法和文献[4]方法的路面交通标志辨识度较低。由此可见,本文方法针对航空影像路面交通标志的辨识性能明显优于传统方法。

在此基础上,为了进一步验证不同方法采集到的路面交通标志图像是否清晰,比较了不同方法采集到的图像信噪比,图像信噪比越高,图像越清晰,比较结果如表1所示。

表1 图像信噪比

分析表1可知,文献[2]方法的平均信噪比为36.3 dB,文献[3]方法的平均信噪比为34.2 dB,文献[4]方法的平均信噪比为41.1 dB,与这几种方法相比,本文方法的信噪比为53.2 dB,说明本文方法采集到的路面交通标志图像清晰度更高,可以为后续的航空影像路面交通标志辨识奠定坚实的基础。

(2) 召回率

召回率计算公式如下:

(19)

式中,tp表示辨识正确的正例,fn表示辨识正确的负例。

分别采用本文方法、文献[2]方法、文献[3]方法、文献[4]方法辨识3组试验对象的航空影像路面标志图像,将不同方法的辨识结果输入上述召回率计算公式中,不同方法的召回率如图4所示。

图4 不同方法的召回率

由图4可见,本文方法基于3组试验对象的召回率均不低于90%,说明本文方法在面对任意数量的航空影像路面交通标志图像时,均能保持良好的辨识能力,即本文方法针对航空路面交通标志图像的辨识能力较强。这是因为本文方法以DAE网络为基础,结合EDFCC算法构建基于航空影像路面交通标志图像特征的多尺度深度学习聚类模型,并将经过预处理及特征提取的航空影像路面交通标识图像输入该模型中,根据图像特征的聚类结果实现航空影像路面交通标志图像的辨识。文献[2]方法、文献[3]方法、文献[4]方法的召回率分别低于50%、80%、84%,说明文献[2]方法、文献[3]方法、文献[4]方法在面对任意数量的航空影像路面交通标志图像时,二者的图像辨识能力均较差,即文献[2]方法、文献[3]方法、文献[4]方法针对航空路面交通标志图像的辨识能力较差。经上述对比可知,本文方法针对航空影像路面交通标志的辨识能力明显优于传统方法。

(3) 准确率

准确率的计算公式如下:

(20)

式中,tp表示辨识正确的正例,tn表示辨识错误的负例,fp表示辨识错误的正例,fn表示辨识正确的负例。

分别采用本文方法、文献[2]方法、文献[3]方法和文献[4]方法辨识3组试验对象的航空影像路面标志图像,将不同方法的辨识结果输入上述准确率计算公式中,不同方法的准确率如图5所示。

图5 不同方法的准确率

由图5可见,本文方法基于3组试验对象的召回率均不低于90%,说明本文方法在面对任意数量的航空影像路面交通标志图像时,其辨识能力均较强。文献[2]方法和文献[3]方法、文献[4]方法的召回率分别低于40%、60%、80%,说明文献[2]方法和文献[3]方法、文献[4]方法在面对任意数量的航空影像路面交通标志图像时,二者的辨识能力较差。经上述对比,进一步验证了本文方法针对航空影像路面交通标志图像的辨识性能更强。

4 总结

交通行驶安全的提升有助于家庭乃至社会的稳定,航空技术作为信息化时代背景下的常用交通设备,其驾驶过程中能否有效辨识路面交通标志图像,是影响航班行驶安全的重要因素之一,为了提高航空影像路面交通标志图像的辨识能力,提出基于多尺度深度学习的航空影像路面交通标志辨识研究的方法。如何在保证航空影像路面交通标志辨识性能的同时,缩减路面交通标志图像的识别时间,是研究人员下一步工作的重点。