基于卷积神经网络的电选粉煤灰颗粒图像识别与烧失量预测模型

刘仲博

(宁夏职业技术学院，宁夏 银川 750022)

0 引 言

受到我国能源结构的影响以及火力发电技术的发展，煤炭广泛应用于火力发电中。煤炭在使用过程中由于燃烧不充分会产生粉体污染物，该污染物排放在一定时期内存在监管不到位的现象，产生了严重的环境问题[1]。同时，由于粉煤灰具有特殊的物理化学性质，可以广泛应用于工业和农业生产中，因此开展粉煤灰的回收再利用具有一定的环境意义和经济价值。粉煤灰中未燃烧完全的有机物影响粉煤灰的物理化学性能，如含量过高就会导致具有较强的吸水性，强度不够大，烧失量衡量粉煤灰中未进行充分燃烧的有机物含量，用来表征煤炭的燃烧效率，在进行粉煤灰重复利用之前需要对烧失量进行检测。检测的步骤一般包括人工取样、灼烧和称重几个部分，受到现场工期以及检测成本的限制，检测的样本数量常常不能满足现场要求。利用图像识别开展粉煤灰烧失量研究，能够缩短检测周期，降低检测成本，对粉煤灰烧失量的预测具有重要意义。近年来机器学习技术不断发展，广泛应用于工程与科学研究方面[2]。周波等[3]在实验基础上建立了遗传算法优化的BP神经网络抗压强度预测模型，预测了高强高掺粉煤灰实现高强度目标的实验条件。李章建等[4]建立了BP神经元网络预测模型对偏高岭土高性能混凝土的抗压强度进行了预测，并与多元线性回归模型预测结果进行了对比，研究认为BP神经网络的预测精度高，结果可靠。胡明玉等[5]在研究粉煤灰抑制AAR问题时引入了模糊神经网络，利用该模型分析了粉煤灰抑制AAR的整体规律，指出水泥碱量和粉煤灰碱量与AAR膨胀成正比，粉煤灰掺量与AAR膨胀成反比。方崇[6]为了全面对粉煤灰产品品质性能进行评价，利用投影寻踪聚类分析模型对粉煤灰进行分类，研究结果相对准确、客观。陈师杰等[7]利用工业摄像头抓拍了粉煤灰图片，获取了多个特征参数，利用BP神经网络、SVM神经网络、ELM神经网络对粉煤灰烧失量进行了训练和学习，对比了不同模型的预测效果，最终认为ELM神经网络预测精度相对较高。

传统的神经网络模型虽然表现出一定的智能特性，但在自主学习上表现较差。近年来随着深度学习的发展，自主性学习功能受到越来越多的关注，卷积神经网络在图像识别上和语音分析上取得了一些成果，然而在粉煤灰烧失量方面研究较少。为了准确的预测粉煤灰烧失量，挖掘出数据内部的深层关联和规律，本文采用了卷积神经网络对粉煤灰烧失量进行预测，卷积神经网络是近年兴起的图片高效识别方法，其独特的特征映射层使其在图片分析和识别方面具有明显优势。为弥补传统神经网络不能自主提取特征信息的特点，本文利用了卷积神经网络权值共享和自主特征学习能力的优势开展粉煤灰烧失量预测，对卷积神经网络的原理进行介绍，利用粉煤灰烧失量图片资料建立预测模型，对卷积神经网络的网络参数进行优化调节，对比不同模型的预测精度。

1 卷积神经网络的优化和改进

多层神经网络经过多年的进化和发展形成卷积神经网络,卷积神经网络结构包括输入层、卷积层、池化层、全连接层和输出层5个部分，其中卷积层和池化层是其具有的两个独特单元,卷积层用于连接前层并获取特征数据，池化层用于在保持数据内部特征的条件下对特征数据进行降维。通过相邻节点局部连接的形式对空间数据局部特征信息进行挖掘，在图像处理时效果显著，具有预处理简单、网络优化参数少以及网络复杂度小的特点[8-10]。

1.1 卷积与池化层

卷积层又名特征提取层，该层计算时首先确定卷积核，将卷积核与前层特征图输入参数利用非线性激活函数进行卷积处理，其他特征的位置由局部特征的提取获得。 卷积层特征值输出的表达式见式(1)。

(1)

池化层是对卷积层特征图进行降维处理，因此又称为采样层，用于减少和优化网格参数，从而提高数据特征的鲁棒性，随机池化和最大池化是常用的池化方法，卷积层的计算表达式见式(2)。

(2)

式(1)和式(2)中的激活函数通过引入权重使得神经网络具有非线性的表达能力，ReLu分段函数是常用的激活函数，其数学表达式见式(3)。

ReLU=max(0,x)

(3)

该函数将x<0神经元输出为0，提高了网络的运行速度和收敛性，对解决过拟合问题具有较好的效果。

1.2 Adam优化算法

通过在神经网络中引入优化算法可以减少网络训练迭代次数，提高了优化速度的同时加速了网络收敛。Adam优化算法充分结合了AdaGrad算法和RMSprop算法的优势，在处理稀疏梯度和非平稳目标时表现出了良好的性能，确保了梯度下降过程中参数更新的准确性和平稳性，其梯度计算的表达式见式(4)。

(4)

式中，φ为梯度值，包含权重项和偏置项两部分。

1) 首先估算梯度值和梯度平方值的均值，采用方法为指数加权平均法，见式(5)和式(6)。

Vφ=ρ1Vφ+(1-ρ1)φ

(5)

Sφ=ρ2Sφ+(1-ρ2)φ2

(6)

式中：Vφ和Sφ为加权平均值；ρ1和ρ2为偏差修正的指数衰减率。

2) 给定时间步长，对加权平均值进行偏差修正，其表达式见式(7)和式(8)。

(7)

(8)

3) 利用梯度的修正值对权重和偏置进行，其表达式见式(9)。

(9)

式中：α为学习率；δ为常数。

1.3 dropout技术

通过文献调研发现，随着神经网络层数的增加，预测精度并不是逐渐增加的，这是因为网络训练参数与网络层数呈指数关系，模型的累计误差大大增加。粉煤灰烧失量预测模型的输入参数相对较少，特征提取时多样性较差，容易产生过拟合的现象，为了提高模型的预测精度，本文在建立卷积神经网络时引入了dropout技术，该技术在卷积神经网络训练时首先设定神经元从网络中丢弃概率，部分神经元的活性保留，而另一部分神经元的输入和输出设置为0。该方法通过随机挑选神经元参与网络训练，弱化了部分神经元节点之间的连接，使得整个网络的泛化能力得到增强，有效地降低了模型迭代过程中的过拟合现象。

2 实验与分析

2.1 数据来源及数据处理

在获取不同烧失量粉煤灰时，首先从不同地区的电厂采集高低烧失量的两种粉煤灰，按照质量配比的原则获取2 000份不同烧失量粉煤灰样品，利用粉碎机将样品粒径粉碎至70 μm以下，随后进行脱水处理。将所有样品放入暗室中进行拍摄，暗室中配备有光源，利用计算机程序对工业摄像头进行控制，每个样品连续拍摄照片3次，选取最好的一组。在获得2 000份不同烧失量图片和烧失量后，利用图像灰度的特征参数进行烧失量研究。本文在进行卷积神经网络预测时不同于常规图像处理问题，运用有监督训练的方式，采用图像的特征参数模拟像素点。

灰度照片的特征参数分别为灰度均值、灰度方差、能量和熵值，在获取4个特征参数值之前首先建立灰度直方图，其数学表达式见式(10)。

(10)

式中：K为某样品采样点数量；ki为第i个灰度级像素点的个数。

直方图建立后对直方图的四个特征参数进行表征，数学表达式分别见式(11)～式(14)。

(11)

(12)

(13)

(14)

式中：m为灰度均值；σ2为灰度方差；U为图像能量；e为图像熵值；L为归一化后直方图的灰度级；ai为第i个灰度级；p(ai)为概率直方图中第i个灰度级的分布概率。

随机选取80%作为卷积神经网络的训练集，其余20%作为卷积神经网络的测试集进行研究。考虑到不同特征参数评价指标的差异性，为减少量纲以及量级对数据的影响，提高梯度下降算法的收敛速度，提高模型的计算准确度，在对各参数进行使用时首先进行归一化处理。

2.2 模型精度评估方法

模型精度进行评估时采用Pearson相关系数(R)和均方差函数(RMSE)来评判。其中R的取值范围在-1～1之间，用于衡量两个变量之间相关程度，该值越大代表精度越高；RMSE则用来反映目标值与预测结果之间的误差最大值，该值越小代表精度越高，两者的数学表达式见式(15)和式(16)。

(15)

(16)

式中：Y和P分别为参数的实际值和预测值；D为方差；Cov(Y，P)为协方差；yi和pi为某样品的烧失量实际值和预测值；N为样本数量。

3 结果分析

首先对2 000个样本的图片数据进行预处理建立卷积神经网络模型，根据经验设置卷积核为3×3权值矩阵，本文使用单层卷积神经网络，设置8个滤波器在卷积层中，迭代次数选值为500，每迭代5次输出一个结果。图1和图2展示了不同学习率下卷积神经网络模型训练值相关性以及训练精度。 从图1中可以看出，学习率为0.001、0.003、0.005、0.010、0.030和0.050时训练的相关性分别为0.904 3、0.948 0、0.911 9、0.948 0、0.929 9和0.920 9，学习率为0.003和0.010相关性较高；从图2中可以看出，不同时训练的模型训练精度相差不大，均在0.080左右，从学习率0.003和0.010的预测偏差曲线对比来看，学习率为0.010时的模型精度收敛速率较快，综合考虑相关性和模型训练精度，选取学习率为0.010时的卷积神经网络预测模型。

图1 不同学习率下的相关系数对比Fig.1 Comparison of correlation coefficients under different learning rates

图2 不同学习率下的精度对比Fig.2 Accuracy comparison under different learning rates

为了验证卷积神经网络预测效果与网络深度之间的关系，开展了网络深度与敏感性实验，与此同时引入dropout技术对卷积神经网络进行改进，对比了引入和不引入dropout技术时的精度预测曲线。从图3和图4可以看出，在不引入dropout技术时，卷积神经网络的最优层数为3，此时的预测效果最佳，数值相关性为0.975 0，训练精度为0.090 7，当网络深度超过3层后，过拟合现象出现，当达到6层时，数值偏差小于单层网络，这是由于网络加深过多后，内部参数增加量过快造成的。 引入dropout技术后，使得复杂的网络变得稀疏，在一定程度上避免了过拟合现象，随着层数的增加，预测精度不断递增。

图3 相关系数与网络深度关系Fig.3 Relationship between correlation coefficient and network depth

图4 预测偏差与网络深度关系Fig.4 Relationship between prediction bias and network depth

随后，为了进一步检验卷积神经网络模型在粉煤灰烧失量预测中的应用效果，对比了不同模型的预测精度，见表1。对比的模型分别为深度神经网络(DNN)、长短期记忆网络(LSTM)、和BP神经网络(BPNN)，从数值预测偏差和相关性上看，卷积神经网络(CNN)的预测性能最佳，表明卷积神经网络对粉煤灰图像具有较好的数据特征提取能力。

表1 不同模型的烧失量预测结果对比Table 1 Comparison of loss on ignition prediction results of different models

4 结 论

1) 针对目前粉煤灰烧失量实验成本高，样本点少的问题，本文提出利用多层卷积神经网络预测模型，运用深度学习技术开展粉煤灰烧失量预测，采用灰度照片的特征参数分别为灰度均值、灰度方差、能量和熵值对卷积神经网络进行训练。网络在构建时，设有相同层数的特征捕捉器提高预测精度，深度挖掘具有不确定性的输入数据，同时引入dropout技术降低网络的过拟合问题。

2) 以已有实验数据为基础开展预测模型研究，并于类似深度学习模型DNN、LSTM、BPNN等进行预测精度对比，对比结果表明本文的卷积神经网络模型具有相对较高的鲁棒性，与实际实验数据数值偏差为0.090 7，预测的数值相关性为0.975 0，预测的误差相对较小。

3) 运用卷积神经网络在进行粉煤灰烧失量预测时，需要对模型的相应参数进行适当调整，不需改变模型整体结构，训练好的模型具有较好的时效性和泛化性能，卷积神经网络不仅在图片识别上具有独特优势，还可以应用于特征提取上，在粉煤灰烧失量预测上具有广泛的应用前景。