基于可见-近红外光谱的路面状况识别的研究

熊显名，张乾坤，秦祖军

基于可见-近红外光谱的路面状况识别的研究

熊显名，张乾坤，秦祖军

（桂林电子科技大学，光电信息处理重点实验室，广西 桂林 541004）

光谱技术在公路状态识别（是否结冰、积水或积雪）方面有着积极的应用前景，但太阳光作为光源识别公路状态的研究较少。分别采用阳光和卤钨灯作为白天和夜间的实验光源，通过微型光谱仪数据分别得到冰、水、雪和公路本底的可见-近红外波段的光谱曲线。白天时，结冰和积水状态在不同光照情况下会出现“异物类谱”现象，根据阳光光照特性，本文提出将“环境变量”作为特征值的解决方法，并基于光谱曲线及归一化后的“环境变量”特征值，将光谱数据组合成新的数据波形，基于Dropout与Adam优化器的神经网络模型对数据进行训练和识别，最终识别率为99.375%。夜间，由于各类样本光谱区域差异明显，采用“组合-阈值”法识别。实验证明通过两种光源结合的识别方法，能够有效识别路面状态。

公路状态识别；可见-近红外光谱；神经网络；环境变量；组合-阈值法

0 引言

公路状况识别和预警是保证道路安全行驶的重要环节之一。公路路面结冰、积雪或积水时抗滑能力明显降低，易发生车辆刹车失控甚至翻车的危险。据统计，在所有的交通安全事故中，路面结冰时发生交通事故的概率是干燥路面的10倍[1]。因此安装公路状况识别装置尤为重要。

当前公路路面状况检测方式主要有接触式和非接触式两种。接触式抗干扰性强，但需要切割路面，将设备埋入公路表面并与路面持平，导致安装和维护时需要封闭道路，影响正常交通和公路的使用寿命，例如东南大学利用电容板之间介质的变化引起电容变化的方法识别路面状况[2]。非接触式主要是通过红外光谱技术，红外光谱识别路面状况需要特定激光器作为辅助光源[3]，白天时易受外界阳光影响。除此之外，瑞典中部大学的Jonsson P.团队利用水吸收光谱范围内敏感的单点像素红外探测器来区分路面状态[4-5]，瑞典吕勒奥理工大学（1310nm和1550nm）[6]和浙江大学（880nm和950nm）[7]采用了两种特征波长，但是这种采集方式为单点面积采集方式，无法大面积进行数据采集，实用性较低。

针对以上问题，本文提出一种基于可见-近红外结合神经网络的公路状况识别方法。实验白天以太阳光作为光源，通过两个微型光谱仪获取结冰、积水、积雪和干燥时的计算光谱曲线和四者所对应的“环境特征值”，并将其作为基于Dropout与Adam优化器的神经网络模型的训练样本。为保证夜晚也能准确有效识别路面状态，实验以卤钨灯作为夜间实验光源，提出“组合-阈值”的方式识别公路状态。

1 基本原理

1.1 五点三次平滑算法

通常采集到的光谱数据除有用信号外，还带有随机噪声，这些噪声对光谱特征提取有一定影响，因此需对数据进行去噪处理[8]，提高整体光谱曲线平滑度。五点三次平滑处理算法可以对等距节点上的实验数据进行平滑处理，力争减弱由随机干扰信号产生的噪声或仪器本身原因产生的噪声，达到提高曲线光滑度的目的。

五点三次平滑算法公式如下：

五点三次平滑算法要求数据节点数≥5，为保证数据处理后的光滑性和真实性，数据前两个数据节点分别以公式(1)和公式(2)表示，数据最后两个数据节点分别以公式(4)和公式(5)表示，其余以公式(3)表示。在确保原光谱曲线特性不发生改变的情况下，使用五点三次平滑算法多次迭代，以达到效果最好的光滑处理。

1.2 神经网络

BP神经网络是一种按误差逆传播算法训练的多层前馈网络，由输入层、输出层和隐含层组成[9]。它主要是基于反向传播算法对网络的权值和偏差进行多次迭代，通过调整权值大小、减小偏差，进而实现输出和期望逐渐相符。如图1所示为BP神经网络结构示意图。

图1 BP神经网络结构示意图

在BP神经网络搭建过程中，输入层和输出层的层数固定为单层，隐含层的层数根据样本特性和所需要求设定。增加隐含层的层数在降低网络偏差的同时，也加大了网络复杂度，导致网络计算量增多，甚至出现过拟合现象；减少隐含层的层数网络将不能建立合适的判断界，容错性差。隐含层的层数的选取原则是：在达到设计需求的前提下，选取层数较少的网络结构。通常情况下，单层可以解决多数问题，所以单层隐含层优先考虑。输入层和输出层的节点数由设计要求直接确定，单隐含层节点数一般基于经验公式确定，如公式(6)所示：

式中：为隐含层节点数；、和分别为输入层节点数、输出层节点数和调节常数（一般选取为10以内整数）。

随机失活（Dropout）是对具有深度结构的人工神经网络进行优化的方法，在学习过程中通过将隐含层的部分权重或输出随机归零，降低节点间的相互依赖性，从而实现神经网络的正则化，降低其结构风险。

Adam是一种学习率自适应的优化算法，它能基于训练数据迭代地更新神经网络权重[10]。通过Dropout和Adam优化器的使用可以提高网络范化能力[11]。

2 实验与数据处理

2.1 实验仪器

实验采用基于日本滨松公司型号为C11708MA的CMOS探测器设计的微型光谱仪，该微型光谱仪的分辨率为1nm，探测范围为640～1150nm。微型光谱仪获取的实验数据为16位A/D输出的光强度信号数据值，范围为0～65535，仪器暗电流的A/D输出平均值约为9500。

微型光谱仪采集的数据为物体（光源）的光信号强度转化而成的数字信号量，表示物体（光源）当前的光信号强度。当结冰公路本底和积水公路本底处于不同阳光光照强度时，两者的光谱曲线易出现“异物类谱”现象。如图2所示，当结冰公路本底和积水公路本底所照射的光照强度不同时，微型光谱仪采集到两者的光谱曲线可能会出现相似的情况。

图2 结冰和积水A/D输出值的“异物类谱”图

实验反复验证，当结冰公路本底和积水公路本底出现“异物类谱”现象时，不同光照情况下的干燥路面光谱曲线差异较大，即两者所处的光照强度差异较大。所以实验在使用微型光谱仪采集结冰、积水公路本底的光谱数据时，在同一时刻、同一光照情况下使用另一套微型光谱仪采集另一块干燥的公路本底的光谱数据，用于表示两者所处的不同光照数据，将其作为环境光强特征值数据和背景物质光谱数据，从而增大样本数据的差异性，图2中结冰和积水公路本底所对应的背景物质光谱曲线如图3所示。环境光强特征值数据是从光谱曲线中选取的一些特殊数据点，用于解决“异物类谱”现象；背景物质光谱数据为光谱曲线全段数据，用于更直观地表达两个光谱仪所采集的数据关系。

图3 背景物质光谱曲线图

虽然微型光谱仪个体之间存在一定差异性（输出值差异小于0.1%），但两套设备采集的光谱数据并非同一物质且数据差异较大，对整体实验影响较小，在本实验中设备的个体差异性可以忽略不计。

为解决阳光亮度过强导致的仪器测量饱和问题，在CMOS探头前端放置光衰减片。采用数值孔径相关公式确定仪器与本底距离和仪器检测半径，如公式(7)所示：

式中：为CMOS探头检测半径；为CMOS探头半径；为CMOS探头到本底之间的距离；NA为CMOS探头的数值孔径，取值为0.22。因为CMOS探头半径数值较小，可以忽略不计，所以仪器与本底距离和仪器检测半径需满足如下关系：

2.2 样本选择

为保证能够采集到同一光照强度下冰、水、雪和干燥的公路本底光谱曲线与其背景物质光谱曲线，实验采用两个光谱仪同时进行数据采集。一号微型光谱仪用于采集一号公路本底表面积雪、积水、结冰和干燥4种状态的光谱数据，二号微型光谱仪用于采集二号公路本底的光谱数据，二号公路本底数据作为背景物质光谱和“环境特征值”数据。一号和二号公路本底为公路柏油路样本，材质相同，大小相同。

实验样本采集分为白天和夜间两部分。白天采集时，以太阳光为光源，时间分别为阴天、多云和晴天的上午8点～下午5点之间，每3min采集一次该时刻光照下积雪、结冰、积水和干燥的一号公路本底光谱数据，同时采集同一光照下的二号公路干燥本底数据。实验获得表面积雪厚度约为1mm、5mm和15mm的一号公路本底样本各200份，共600份；表面结冰厚度约为0.5mm、2mm和5mm的一号公路本底样本各200份，共600份；表面积水厚度约为1mm的一号公路本底样本共200份；表面干燥的一号本底样本共200份。白天时实验最终获得一号公路本底样本1600份，一号本底所对应的表面干燥的二号公路本底样本1600份，总计3200份。

夜间，以卤钨灯为光源，周围无其他明显亮光源，每3min采集一次该时刻光照下积雪、结冰、积水和干燥的一号公路本底光谱数据，同时采集同一光照下的二号公路本底数据。样本选择与白天时相同，夜间实验最终获得一号公路本底样本1600份，一号本底所对应的表面干燥的二号公路本底样本1600份，总计3200份。

数据处理时，白天和夜间的一号公路本底的不同厚度积雪或结冰统称为积雪或结冰，不做厚度区分。

2.3 实验步骤和数据处理

实验步骤：实验分为白天和夜晚两部分。白天时将表面分别结冰、积雪、积水和干燥的一号公路本底与表面干燥的二号公路本底平放于阳光下。微型光谱仪探头到公路本底的距离为20cm，探头与本底表面夹角约为45°，积分时间为5ms，在640～1050nm测量范围内采集256个波长数据点。微型光谱仪通过USB传输，将数据发送到PC端。图4所示为数据采集结构示意图，图5所示为单个微型光谱仪数据采集结构示意图。

图4 数据采集结构示意图

图5 单个微型光谱仪数据采集结构示意图

为更直观地表达一号公路本底光谱数据和二号公路本底光谱数据（背景物质光谱数据）之间的关系，将两组数据进行整合计算。为保证数据最终结果在±1之间，计算方式如公式(8)所示：

式中：，，和分别表示波长处对应的样本整合计算值，一号本底光谱信号值，二号本底光谱信号值（背景物质光谱值），仪器暗电流信号值。其中，仪器暗电流的A/D输出信号值平均为9500。

图6表示1400份白天时公路本底表面结冰、积水和积雪的整合计算后的部分光谱曲线。

图6 白天时，公路本底表面各状态整合计算光谱图

夜间以卤钨灯为光源，开启10min后，待光源稳定再测量，测量方式、距离、积分时间与白天相同。图7表示1400份夜间公路本底表面结冰、积水和积雪的整合计算后的部分光谱曲线。图8表示400份白天和夜间公路本底表面干燥时的整合计算后的200份样本的部分光谱曲线。

图7 夜间公路本底表面各状态整合计算光谱图

图8 白天和夜晚时公路本底表面干燥状态整合计算光谱图

结冰公路本底和积水公路本底在不同光照情况下，整合计算后的实验数据与A/D输出的实验数据一样会出现“异物类谱”现象。实验中高光强情况下的结冰整合计算曲线和低光强情况下的积水整合计算曲线有明显的“异物类谱”现象（高光强一般为晴天或者中午，低光强一般为阴天、清晨或傍晚），出现这种现象的光谱曲线比例占结冰和积水整合计算曲线总数的30%～40%。在不同阳光强度状态下，一组冰水样本和二组冰水样本数据都出现了“异物类谱”现象，如图9所示。两组样本数据从图6的(a)、(b)中选取。

在深度学习分类算法中，样本特征值的差异性决定了最终分类的准确率，所以为区别低光强和高光强光谱曲线的差异性，本文提出环境光强特征值提取法——“环境特征值”。如图10所示，一组冰水样本出现“异物类谱”时所对应的二号公路本底的归一化光谱曲线差异明显，同样二组冰水样本出现“异物类谱”时所对应的二号公路本底的归一化光谱曲线差异明显，所以提取二号公路本底光谱数据作为光谱数据特征值处理。为了减少算法的计算量，只选取二号公路本底的光谱曲线的五个峰值作为“环境特征值”，峰值分别位于720nm、760nm、790nm、830nm和890nm处。

图9 结冰和积水“异物类谱”图

图10 结冰和积水的环境特征值图

为保证整合计算曲线和“环境特征值”数值相似性，对“环境特征值”做归一化处理：

式中：、、max、min、分别表示为处“环境特征值”归一化值，“环境特征值”光谱信号值，“环境特征值”最大信号值（值为65535）和最小信号值（值为9500）。

数据处理方法：对采集到10条原始光谱曲线叠加求平均，将平均后的光谱使用五点三次平滑处理算法迭代3次，并计算获取样本整合计算曲线，最终将样本整合计算后的数据和其对应的“环境特征值”作为神经网络的输入样本节点。

3 实验结果与分析

3.1 组合-阈值法

由图7和图8可知，夜晚情况下，以卤钨灯为光源时，一号公路本底表面结冰、积雪、积水和干燥时的整合计算曲线差异区间明显，所以采用区间阈值法进行区分。因为光谱曲线数据点较多，以各波长段进行阈值区分较为繁琐，计算量较大，所以提出一种新的“组合-阈值法”：将波长从700～900nm数据点以10nm为步进单位提取，并采用比例放大方式突出曲线的波峰信息。将输出的“组合数值”通过阈值法判断即可。

则每一个样本的“组合值”为：

式中：＝700,710,…,940,950，为比例放大倍数，取2或3即可。图11为一号公路本底部分样本间的“组合数值”比较图。

图11 组合数值比较图

通过计算分析，公路本底表面结冰、积雪、积水和干燥的整合计算平均值，标准差和偏离平均值的最大绝对值（下文称为最大偏差）如表1所示。

平均值、标准差和最大偏差分别表明各样本区间差异明显、离散程度较低、各样本区间不会出现重叠。

3.2 建立Dropout与Adam优化器的神经网络模型

对于白天以阳光为光源时，采用基于Dropout与Adam优化器的BP神经网络模型对一号公路本底表面分别是否结冰、积雪、积水和干燥4种情况进行判断。将全波长内的256个数据点和5个“环境特征值”作为输入节点，共261个节点；输出层分别以1000、0100、0010和0001表示结冰、积雪、积水和干燥状况，共4个节点；隐藏层根据经验公式(6)确定为19个节点。

样本选择中，一号公路本底样本共计1600份，二号公路本底样本共计1600份。一号和二号本底共3200份数据通过公式(8)计算后最终获得1600份样本数据，分别为各厚度结冰整合计算样本共600个、各厚度积雪整合计算样本共600份、积水整合计算样本共200份，干燥整合计算样本共200份。模型搭建过程中，1600份样本数据的70%作为训练集，30%作为测试集。

实验模型共迭代2500次，输入层激活函数为ReLU，隐藏层激活函数为sigmoid，损失函数采用交叉熵代价函数，优化器为Adam，Dropout 神经元随机失活概率设置为25%。

3.3 模型验证

训练过程中模型损失值随迭代次数变化曲线如图12所示，训练集和测试集的预测准确率随迭代次数变化曲线如图13所示。

实验结果表明，实验测试集准确率为99.375%。在训练集和测试集迭代前500次时，模型损失值迅速下降，相对应的训练集和测试集准确度迅速上升，最终损失值和准确度随着迭代次数的增加而保持平稳，所以可以得知Dropout和Adam表现良好。

表1 样本分析统计表

图12 损失值变化曲线

图13 准确率变化曲线

4 结论

以太阳光为光源时，提出了样本整合计算曲线和“环境特征值”组合使用方法，该方法紧扣冰、水和雪的光谱特性与阳光光强特性，具有提取方便和分析简单等优点，结合基于Dropout与Adam优化器的神经网络分类器可以准确、快速地识别路面状况，实验结果表明识别准确率为99.375%。以卤钨灯为光源时，提出简单且高效的“组合-阈值”的方式。实验证明了本文两种光源结合的方法在公路状况检测领域中的可行性，但并未对冰和雪的厚度做出预估计，这将是未来进一步深入工作的重点。

[1] 欧彦, 浦翔, 周旭驰, 等. 路面结冰检测技术研究进展[J]. 公路, 2013(4): 191-195.

OU Yan, PU Xiang, ZHOU Xunchi, et al. Review on icing detection techniques of pavement[J]., 2013(4): 191-195.

[2] 童魁. 路面冰水检测系统技术研究[D]. 南京: 东南大学, 2011.

TONG Kui. Research On System Technology of Road Ice And Water Detection[D]. Nanjing: Southeast University, 2011.

[3] 张镇, 葛俊锋, 叶林, 等. 基于神经网络的主动式红外结冰探测[J]. 华中科技大学学报: 自然科学版, 2010, 38(6): 1-3.

ZHANG Zhen, GE Junfeng, YE Lin, et al. Active infrared icing detection using neural networks[J].: Natural Science Edition, 2010, 38(6): 1-3.

[4] Colace L, Santoni F, Assanto G. A near-infrared optoelectronic approach to detection of road conditions[J]., 2013, 51(5): 633-636.

[5] 梁曹佳, 叶林, 葛俊锋. 非接触式路面状态检测技术研究进展[J]. 传感器与微系统, 2019, 38(2): 1-4.

LIANG Caojia, YE Lin, GE Junfeng. Research progress of non-contact road surface condition detection technology[J]., 2019, 38(2):1-4.

[6] Johan Casselgren, Mikael Sjodahl, James LeBlanc. Angular spectral response from covered asphalt[J]., 2007, 46(20): 4277-4288.

[7] 王琮琪. 非接触式路面状况检测系统的研究[D]. 杭州: 浙江大学, 2014．

WANG Zongqi. No-contact Measuring System of the Condition of Road[D]. Hangzhou: Zhejiang University, 2014.

[8] 高斌, 赵鹏飞, 卢昱欣, 等. 基于BP神经网络的血液荧光光谱识别分类研究[J]. 光谱学与光谱分析, 2018, 38(4): 3136-3143.

GAO Bin, ZHAO Pengfei, LU Yuxin, et al. Study on recognition and classification of blood fluorescence spectrum with BP neural network [J]., 2018, 38(4): 3136-3143.

[9] 刘厚林, 吴贤芳, 王勇, 等. 基于BP神经网络的离心泵关死点功率预测[J]. 农业工程学报, 2012(11): 45-49.

LIU Houlin, WU Xianfang, WANG Yong, et al. Power prediction for centrifugal pumps at shut off condition based on BP neural network[J]., 2012(11): 45-49.

[10] 王威, 李青, 孙叶青, 等. 基于卷积神经网络的红外热成像罐车内壁裂纹识别[J]. 红外技术, 2018, 40(12): 1198-1205.

WANG Wei, LI Qing, SUN Yeqing, et al. Inner crack identification on car tanks using thermal imaging based on convolutional neural network[J]., 2018, 40(12): 1198-1205.

[11] 杨观赐, 杨静, 李少波, 等. 基于Dropout与ADAM优化器的改进CNN算法[J]. 华中科技大学学报: 自然科学版, 2018, 46(7): 122-127.

YANG Guanci, YANG Jing, LI Shaobo, et al. Modified CNN algorithm based on dropout and ADAM optimizer[J].: Natural Science Edition, 2018, 46(7): 122-127.

Research on Highway State Detection Based on Visible-Near-Infrared Spectrum

XIONG Xianming，ZHANG Qiankun，QIN Zujun

(Key Laboratory of Photoelectric Information Processing, Guilin University of Electronic Science and Technology, Guilin 541004, China)

Spectral technology is a promising prospect for highway state detection(whether frozen, water accumulated, or snow accumulated). However, there is little research on using sunlight as a light source to identify highway states. Sunlight and halogen tungsten lamps were used as experimental light sources in the day and night. Spectral curves of the visible-near-infrared bands of ice, water, snow, and highway backgrounds were obtained using a micro-spectrometer. During the day, the state of icing and stagnant water resulted in a phenomenon known as "Different substances with similar spectra" under different illumination conditions. Then, based on the characteristics of sunlight illumination, the solution of "environmental variables" as eigen values was proposed. The curve of the spectrum and the normalized "environmental variables" were combined into a new data waveform, and a neural network model based on Dropout and an Adam optimizer was established for training and recognition. The final recognition rate was 99.375%. At night, due to the evident differences in the spectra of various samples, the spectral curves of each sample were identified using the "combination-threshold" method. Experiments proved that the method of combining two light sources can effectively identify the road surface state.

highway state detection，visible-near infrared spectrum，neural network，the environment variables，combination-threshold

TN219

A

1001-8891(2021)02-0131-07

2019-07-19；

2019-10-08.

熊显名（1964-），男，学士，研究员，硕士生导师，研究方向为光电信息处理、光纤传感器。E-mail：5311128@qq.com。

国家自然科学基金（61665001）。