面向煤矸识别的近红外反射光谱数据预处理方法

丁震， 常博深

(1.国家能源集团 煤炭运输部， 北京 100013；2.中国矿业大学(北京) 机电与信息工程学院， 北京 100083)

0 引言

高效精准的煤矸识别是煤炭开采领域公认的难题，是实现煤炭无人化、智能化开采的关键[1]。众多学者提出了多种煤矸识别方法，如天然射线探测法[2]、声波探测法[3]、热红外分析法[4]、图像分析法[5]和振动探测法[6]等，但上述方法因适用环境约束问题没有被广泛应用。近红外反射光谱技术是一种针对原位物质的光谱分析技术[7-8]，其识别机理是被测物质的特定化学成分和物质结构在特定波长处存在光谱反射吸收特性，因此可根据该特性对煤矸属性进行反演。杨恩等[9]针对煤矸反射光谱特征，建立了基于支持向量机的煤矸识别方法。韦任等[10]利用煤矸反射光谱数据在2 130～2 250 nm波段的吸收特征，采用随机森林和支持向量机算法进行煤矸识别。然而，在利用近红外反射光谱数据进行煤矸定性分析时发现，由于工作面煤矸的形状不规则且堆积高度不确定，即使光谱采集装置固定，装置距工作面的探测距离仍不断变化，会导致近红外反射光谱数据变化[11]，且在粉尘干扰的工况条件下采集的近红外反射光谱数据含有大量无关信息，所以，对近红外反射光谱数据进行预处理尤为重要。笔者从某矿井综采工作面顶底板处收集了外观相近的无烟煤和矸石样本共计100个(煤样75个，矸石样本25个)，在实验室采集了不同探测距离和粉尘浓度下的煤矸近红外反射光谱，分别使用微分、标准正态变量变换和多项式平滑3种方法对近红外反射光谱数据进行预处理，从而确定最佳的近红外反射光谱数据预处理方法。

1 煤矸近红外反射光谱采集

使用透明PVC板材组成密闭空间，密闭空间内煤矸近红外反射光谱采集装置布置如图1所示。

(a) 实物

(b) 原理图1 煤矸近红外反射光谱采集装置Fig.1 Coal and gangue near-infrared reflectance spectrum acquisition device

准直镜(视场角θ=0.12°，镜头直径d=2.5 cm)和卤素灯并列放置；准直镜与NeoSpectra近红外光谱仪(波长范围为1 000～2 500 nm，分辨率为8 nm)之间使用石英光纤连接；计算机通过USB3.0与近红外光谱仪连接，实时显示煤矸样本近红外反射光谱曲线。为减小被测煤矸样本双向反射特性的影响，使用100 W的卤素灯以竖直方向照射样本表面中心，形成光照度约为20 000 lx的圆形光斑。使用近红外光谱仪进行光谱采集，采集每条光谱曲线耗时约为50 ms。为限制光谱采集时光的散射现象，使用准直镜对光束进行准直，调节准直镜使其轴线垂直对准样本表面的光斑中心，准直镜与光斑中心之间的距离为L。近红外光谱仪所采集光谱的范围为准直镜视场角在样本表面所形成圆面，底面圆的直径D、面积S分别为

(1)

(2)

设置准直镜与煤矸样本之间的距离分别为1.2，1.5，1.8 m，粉尘浓度分别为200，500，800 mg/m3。同一煤矸样本在不同探测距离和粉尘浓度下的近红外反射光谱曲线如图2所示。

(b) 煤样近红外反射光谱曲线图2 不同探测距离和粉尘浓度下煤矸样本近红外反射光谱曲线Fig.2 Near-infrared reflectance spectra of coal and gangue samples under different detection distances and dust concentrations

从图2可看出，矸石近红外反射光谱曲线在整个波段存在较为明显的波动，特别是在1 400，1 900，2 500 nm附近出现了明显的吸收谷；煤样近红外反射光谱反射率较低且变化较为平缓，且在1 400，1 900 nm附近存在微弱吸收谷；随着探测距离和粉尘浓度增大，煤矸近红外反射光谱的反射率减小，但光谱特征吸收波长点不受影响。

2 煤矸近红外光谱数据预处理

由于实验场地自然光强度不断变化，且不能及时使用定标白板进行背景反射光谱标定，所以会存在背景偏移现象，且煤和矸石均富含多种化学成分，其成分的差异性和不均匀性会形成光的散射，使得采集的煤矸近红外反射光谱数据存在大量噪声。为增强煤矸近红外反射光谱吸收特征，消除探测距离和粉尘浓度变化对光谱反射率的影响，利用微分、标准正态变量变换和多项式平滑3种方法对煤矸近红外反射光谱数据进行预处理[12-15]。3种预处理方法的核心求解算法如下。

(1) 一阶微分和二阶微分：

(3)

(4)

式中：yfir,ysec分别为经一阶微分、二阶微分处理后的反射率；yj为第j个波长点的反射率；λ为波长间隔。

(2) 标准正态变量变换：

(5)

(6)

(3) 多项式平滑：

y=Y·A+E

(7)

式中：y为经多项式平滑处理后的反射率；Y为以波长点m为中心的反射率矩阵，Y=[ym-2λym-λymym+λym+2λ]；A为拟合矩阵；E为平滑矩阵。

3 实验结果及分析

为比较3种预处理方法的效果，将经过不同方法预处理后的煤矸近红外反射光谱曲线以3:1的比例划分为训练集和测试集，并输入粒子群优化BP神经网络模型进行煤矸识别。粒子群优化BP神经网络模型参数设置：神经网络隐藏层数为3，损失函数为MSE，学习因子为2，学习率为0.001。

以整体煤矸识别准确率为评价指标，不同预处理方法下煤矸识别结果见表1。

从表1可看出：经微分预处理后的煤矸识别效果最佳，仅在探测距离为1.8 m、粉尘浓度为800 mg/m3情况下煤矸识别准确率为88%，其他条件下识别准确率均在90%以上，整体煤矸识别正确率约为98%；经标准正态变量变换预处理后，仅在探测距离为1.8 m、粉尘浓度大于200 mg/m3情况下煤矸识别准确率低于90%，整体煤矸识别准确率约为95%，这是由于该方法最突出的作用是修正样本个体物质差异造成的光谱数据突变，但不能有效优化探测距离和粉尘浓度对光谱数据的影响；经多项式平滑预处理后的煤矸识别准确率最低，约为89%，这是由于该方法在剔除光谱数据突变的噪声点时，探测距离和粉尘浓度变化使得光谱数据产生的波动及因煤矸本身特性产生的吸收谷特征被过滤掉，造成特定选择的煤矸光谱波段的特征信息部分丢失。

表1 不同预处理方法下煤矸识别结果Table 1 Identification results of coal and gangue under different pretreatment methods

4 结论

(1) 探测距离和粉尘浓度的变化对煤矸近红外反射光谱曲线波形和吸收谷位置无明显影响，即探测距离和粉尘浓度的变化不会影响煤矸特定光谱特征吸收波长点；但对煤矸近红外反射光谱的反射率产生明显影响，即光谱反射率随着探测距离和粉尘浓度的增大而减小，存在煤矸近红外反射光谱漂移现象。

(2) 与标准正态变量变换和多项式平滑预处理方法相比，微分预处理方法对探测距离和粉尘浓度变化下采集的煤矸近红外反射光谱数据的优化效果最佳，可有效消除探测距离和粉尘浓度变化对光谱数据的影响。