改进回声状态网络的可燃气体异常检测研究

赵月爱,郗林栋

(1.太原师范学院 计算机系，山西 晋中 030619；2.太原师范学院 数学系，山西 晋中 030619)

0 引言

天然气、液化气、煤气等可燃气体被广泛应用在工业生产和日常生活中，带给人们极大的方便，但也存在一定的安全隐患问题，如若灶前阀门未关紧或软管存在问题没有及时发现并处理，在浓度达到爆炸下限5.3%后可能会引发爆炸事故，严重危害人们的生命和财产安全.据不完全统计，2019 年，我国共发生722 起燃气事故，造成63人死亡、585人受伤；2020 年，我国共发生539起燃气事故，造成88人死亡、496人受伤；2021年截止6月，我国共发生207起燃气事故，造成45人死亡、264人受伤.目前，部分城市的住宅用户中通过安装燃气管道阻断装置在管道压力发生变化时自动关闭阀门，很好地解决了燃气泄露问题，但阻断装置的局限性在于只能用于城市的输气管道，在乡镇农村使用的罐装液化气就无法使用.因此，如能及时检测出可燃气体泄露显得十分重要.本文前期已设计并实现了基于多传感器的可燃气体异常检测平台，通过部署MQ2，MQ5，MQ7等传感器对目标环境进行监测，运用 NB-IoT 物联网技术构建无线传输模块将数据传送到云服务器，最终通过预警系统实时监测异常数据并报警.本文重点对收集到的传感器数据使用改进的回声状态网络模型进行异常检测研究，实验结果表明该方法精度更高.

国内外许多学者对可燃气体的异常检测技术进行了研究.Lorenzo Baldacci等[1]对一个村庄和一个小城市的用气量历史数据进行了分析，并采用了最近邻方法和局部回归分析方法进行预测，结果表明该方法既能用于用气量预测，又能有效地识别异常用气量；丁汀等[2]人提出一种融合煤矿多维时序数据的煤矿瓦斯异常检测算法.该方法首先对煤矿中的多维数据进行滑动窗口采样，然后建立局部敏感哈希孤立森林，最后将每个待检测样本遍历森林中的每一棵树，通过计算平均路径长度来判断是否异常，并在淮南朱集东煤矿数据集上进行了大量实验，结果表明该方法的检测精度很高.

回声状态网络(Echo State Networks，ESN)[3]是Jaeger于2001年提出的一种新型递归神经网络.ESN采用储备池代替了传统神经网络的隐含层，简化了网络的训练过程，又可以缓解局部极小，同时能够取得很好的建模精度，并且成功应用于航空航天[4]、光电检测[5]、工况识别[6]和空气质量检测[7]等领域，但采用ESN进行可燃气体异常检测的研究很少.

为了在输出权值的训练中充分考虑到输入变量的特性.Yang 等[8]通过利用输入变量到输出权值的多项式函数，提出了多项式回声状态网络(Polynomial echo state network，PESN)，PESN的储备池通过奇异值分解方法构造，从而保证回声状态的特性，结果表明该方法的预测精度和学习速度很好；为了研究节点数和连通度对储层连通性的影响，Wen等[9]提出了一种基于记忆电阻的回声状态网络(Memristor-based echo state network，MESN)，通过提高输入数据的维数获得储备池状态矩阵，将其作为输入来训练输出权值矩阵，使网络结构具有记忆性神经突触，并分别在车辆评估和短期电力负荷预测上验证了其有效性.虽然改进的回声状态网络在其他方面已经有了很大的优势，但是在精度方面还需要提高.本文为提高可燃气体异常检测的预测精度，提出一种基于Xavier思想的回声状态网络的权值初始化方法(Xavier echo state network，XESN)，结果表明，与原ESN相比，XESN的预测精度更高，能对可燃气体异常信息进行更准确的刻画，具有更好的应用价值.

1 改进回声状态网络的可燃气体异常检测算法

1.1 回声状态网络基本原理

图1 ESN的网络结构

回声状态网络由输入层、储备池和输出层组成，储备池内含有成百上千个神经元，它们随机稀疏连接，彼此耦合在一起.ESN的网络结构如图1所示.

假定非线性系统的输入u(t)有K个节点，储备池状态x(t)有N个节点，输出y(t)有L个节点，那么t时刻输入、储备池、输出状态分别为：

u(t)=[u1(t),u2(t),…,uK(t)]T，

x(t)=[x1(t),x2(t),…,xN(t)]T，y(t)=[y1(t),y2(t),…,yL(t)]T.

储备池的状态更新方程和输出状态方程分别为：

x(t+1)=f(Winu(t+1)+Wx(t))

(1)

y(t+1)=fout(Wout(u(t+1),x(t+1)))

(2)

其中f,fout为激活函数，分别为双曲正切函数和线性函数；Win,W,Wout分别为输入权值矩阵、储备池权值矩阵、输出权值矩阵，其维数分别为N×K,N×N,L×(K+N+L);Win和W均在训练前随机确定，并且在训练和测试过程中保持不变.输出权值矩阵的计算公式为：

Wout=(M-1×T)T

(3)

其中M为储备池状态变量x1(k),x2(k),x3(k),…,xN(k),k=m,m+1,m+2,…,P构成的(P-m+1)×N的矩阵；T为输出变量y(k)构成的(P-m+1)×1的矩阵.这里m为开始收集储备池状态变量的时刻，P为训练样本数.

ESN的参数较多，如储备池规模、谱半径、输入单元尺度、稀疏度、输入权值范围及储备池权值范围等需要大量尝试并进行优化[10].储备池规模是储备池中神经元的个数，规模的选择与样本个数有关，规模越大，ESN对系统的描述越准确，但同时会带来过拟合问题；谱半径是连接权值矩阵绝对值最大的特征值，谱半径小于1时，ESN才能具有回声状态属性；输入单元尺度是一个尺度因子，需要在储备池的输入连接到储备池内部神经元之前相乘，从而对输入进行一定的缩放，并且输入单元尺度会随着处理对象非线性的增强而增大；稀疏度是储备池中相互连接的神经元数量占总神经元数量的比例，比例越大，非线性逼近能力越强；输入权值矩阵和储备池权值矩阵选用随机初始化的方法确定，并且在区间[-1,1]上服从均匀分布.不同的权值分布区间会对网络的性能造成不同的影响，因此选择合适的权值分布区间十分重要.本文对权值初始化方法进行了研究.

1.2 Xavier权值初始化方法

国内外学者对于回声状态网络权值初始化进行了一定的研究. Qiao等[11]提出了基于互信息的权值初始化方法来确保神经元的输入在Sigmoid函数的激活区域内，该方法使初始权值以较高的概率接近全局最优点，避免了过早饱和，结果表明该方法的稳定性和精度都很高；王磊等[12]提出了一种利用柯西不等式和线性代数确定初始权值范围的方法，该方法可避免奇异解，并在Mackey-Glass系统和太阳黑子序列数据集上进行仿真实验，结果表明该方法的精度和训练时间优于随机初始化方法，提高了网络性能.Glorot[13]提出了Xavier权值初始化方法，他认为优秀的初始化应该使得各层的激活值的方差、状态梯度的方差分别在传播过程中保持一致，即：

V(yi)=V(yj)

(4)

(5)

采用一层网络时输出为：

yi=W1u1+W2u2+…+Wniuni

(6)

其中Wi(i=1,…,ni)表示输入权值矩阵，ui(i=1,…,ni)表示输入变量，ni表示输入个数.

方差公式：

V(Wiui)=E(Wi)2V(ui)+E(ui)2V(Wi)+V(Wi)V(ui)

(7)

假设输入变量ui和权值矩阵Wi均值为0且独立同分布时，则(7)式化为：

V(Wiui)=V(Wi)V(ui)

(8)

输出方差为：

V(yi)=niV(Wi)V(ui)

(9)

由输入与输出方差相等，即V(y)=V(ui)得：

(10)

多层网络某一层输出的方差用累积的形式表示为：

(11)

同样由输入与输出方差相等得：

(12)

同理其反向传播权值的方差为：

(13)

但实际中输入与输出的个数往往不相等，均衡考量后最终的权值方差为：

(14)

由概率论与数理统计可知区间[a,b]上的均匀分布的方差为：

(15)

因此，

(16)

1.3 基于Xavier权值初始化的XESN算法

本文对Xavier权值初始化方法进行了分析，并应用到了回声状态网络，提出了XESN算法，其训练过程步骤如下：

第1步：通过式(16)对储备池的状态x(t)进行权值初始化.

第3步：W0通过比例因子α(0<α<1)调整后满足回声状态的必要条件，即W=(α/ρ(W0))W0,其中ρ(W0)为W0的谱半径.

第5步：通过输入变量u(t)驱动储备池，并且从时刻m开始收集内部状态变量x(t).

第6步：根据式(3)计算输出权值矩阵Wout.

第7步：测试训练好的网络.

1.4 预测模型

结合Xavier权值初始化方法，本文提出了XESN算法预测模型.该模型的预测步骤如下：

1)对时间序列数据进行归一化处理，选取一定数量的数据作为训练样本和测试样本.

2)以训练样本作为预测模型的输入变量，对预测模型进行训练.

3)用测试样本输入训练好的预测模型，得到预测值，通过计算预测值与实际值的误差验证预测模型的准确度.

4)用预测模型对时间序列进行预测.

2 数据采集与仿真实验

2.1 可燃气体数据采集平台

本文在可燃气体检测周围环境中的众多物理特征中选取一些具有明显特征的物理量，作为对可燃气体异常检测依据.本文主要选择可燃气体浓度、温度、烟雾浓度、一氧化碳浓度作为探测参量，具体如表1所示.

表1 硬件设备选型及说明

可燃气体异常检测采用多传感器阵列采集目标环境的相关数据，设备包括温湿度传感器、烟雾传感器、可燃气体传感器、主控制器、蜂鸣器、窄带物联网设备等.可燃气体检测实时预警系统实验装置结构图如图2所示.

图2 实验装置结构

主控制器采用STM32F103芯片，其接口丰富、对各种系统都能很好地支持，有实时性强、产品稳定性好等特点.主控制器负责产品控制、数据采集、数据传输等工作.产品工作时，传感器阵列采集实验环境数据，经过A/D转换，由主控制器对数据进行预处理.其中，蜂鸣器会根据所采信息情况进行预警提醒.数据会通过组帧的方式，由无线模块将数据传至云服务器数据库.

2.2 实验环境与数据预处理

仿真实验环境为Windows10，64位，CPU为3.40 GHz，内存为4 GB，matlab版本为2018a.为了消除数据过大对训练过程造成的不利影响，对数据进行归一化处理，公式为:

(17)

其中dg是归一化后的值，d是数据集中的原始值，dmin是数据集中的最小值，dmax是数据集中的最大值.

实验在不同的储备池规模中采用均方误差(E1)、归一化均方根误差(E2)和平均绝对百分比误差(E3)作为网络的性能评价指标[14-15]：

(18)

(19)

(20)

2.3 可燃气体数据采集与分析

在2021年8月3日、4日的不同时间段，不同情况下分多次进行数据采集，用MQ-5，MQ-7，DHT11和MQ-2传感器分别对空气中的可燃气体、一氧化碳、温度和烟雾进行检测，期间每隔一段时间向空气中释放一分钟一定浓度的煤气.本文实验选取了从2021年8月4日16点49分开始，18点15分开始释放一分钟一定浓度的煤气，18点32分结束，用MQ-5传感器采集到的1 800组数据进行实验.

2.3.1 正常数据集预测

采集到的1 800组数据中，前1 565组数据和最后120组数据为正常数据集.实验在正常数据集上进行， 1 000组用于训练，100组用于测试，丢弃100组克服初始瞬态的影响，Q取100.储备池规模分别取500和1 000时，ESN与XESN对可燃气体的测试误差比较分别为图3和图4，与ESN对可燃气体的测试误差相比，XESN的测试误差明显减小，并且更加稳定.

图3 储备池规模为500,ESN与XESN对可燃气体的测试误差

图4 储备池规模为1 000,ESN与XESN对可燃气体的测试误差

储备池规模分别取500，550，950和1 000时，分别采用ESN和XESN对可燃气体进行预测，结果如表2所示，可以看到XESN比ESN的E1，E2和E3都小，是一种误差更小、结果更可靠的预测方法，并且储备池规模取1 000时，预测效果更好.

2.3.2 异常数据集预测

采集到的1 800组数据中，中间115组数据为异常数据集，并且在第9组时异常值达到最大.采用储备池规模为1 000的XESN，1 000组用于训练，700组用于测试，丢弃100组克服初始瞬态的影响，Q取700.

表2 可燃气体仿真结果

从图5和图6可知，当空气中的可燃气体发生异常时，会导致实际值与预测值之间出现极大偏差，残差变大，残差曲线斜率出现异常突变，可以表征出异常.

图5 可燃气体实际值与预测值

图6 实际值与预测值残差

2.4 其他数据集上的实验

2.4.1 MackeyGlass_t17数据集预测

MackeyGlass_t17数据集中有10 000组数据均分布在区间[-1,1]上.2 000组用于训练，2 000组用于测试，丢弃100组克服初始瞬态的影响，Q取100.储备池规模分别取500，750，1 000和1 250时，对应的测试误差比较分别如图7、图8、图9和图10所示，与ESN对可燃气体的测试误差相比，XESN的测试误差明显减小，并且更加稳定.

图7 储备池规模为500,ESN与XESN对MackeyGlass_t17的测试误差

图8 储备池规模为750,ESN与XESN对MackeyGlass_t17的测试误差

表3的对比结果表明，在储备池规模分别取500，750，1 000和1 250时，相对于ESN，采用XESN有效提高了预测精度，可以对数据进行更加准确的预测.

2.4.2 太阳黑子序列预测

太阳黑子序列数据集常用于测试神经网络的建模和预测能力，所用的数据集为1749年1月至2013年6月的3 174组月均值Wolf太阳黑子数据，2 000组用于训练，1 000组用于测试，丢弃100组克服初始瞬态

图9 储备池规模为1 000,ESN与XESN对MackeyGlass_t17的测试误差

图10 储备池规模为1 250,ESN与XESN对MackeyGlass_t17的测试误差

表3 MackeyGlass_t17仿真结果

的影响，Q取100.储备池规模分别取900和1 000时，对应的测试误差比较分别如图11和图12所示，结果表明与ESN对可燃气体的测试误差相比，XESN的测试误差明显减小，并且更加稳定.

图11 储备池规模为500,ESN，XESN对太阳黑子的测试误差

图12 储备池规模为1 000,ESN，XESN对太阳黑子的测试误差

表4的对比结果表明，在储备池规模分别取900和1 000时，相对于ESN，采用XESN对太阳黑子进行预测，误差更小，预测效果更加令人满意.

表4 太阳黑子仿真结果

3 结束语

本文针对传统回声状态网络存在的缺陷，引入Xavier初始化的思想来优化初始权值的范围，提出了基于XESN权值初始化的回声状态网络异常检测模型，并在真实环境中采集的数据集上进行可燃气体异常应用研究.实验结果表明，改进的回声状态网络有效地降低了测试误差，建立起预测性能更优的可燃气体异常检测的预测模型，具有一定的实际应用价值.今后的工作集中在有效降低回声状态网络中储备池输出的维数，提高运算效率，构建更为完善的异常检测模型.