基于遗传算法—优化长短期记忆神经网络的柴油机瞬态NOx排放预测模型研究

2022-02-15谭盛兰黄俊明

内燃机工程 2022年1期

杨蓉，杨林，谭盛兰，张松，黄伟，黄俊明

（1.广西大学机械工程学院广西制造系统与先进制造技术重点实验室，南宁530004；2.广西玉柴机器股份有限公司，玉林537005）

0 概述

柴油机因热效率高、燃油经济性好、工作范围广等特点被广泛地应用于交通、电力、农业等领域［1］。柴油车是排放NOx的主要移动源，截至2019年底，中国柴油车NOx排放总量占全国汽车NOx排放总量的88.9% 以上［2］。为了改善环境空气质量，加快建设美丽中国的步伐，柴油车排放的NOx已经成为打赢蓝天保卫战的重点攻克对象之一。以尿素为还原剂的选择性催化还原（selective catalytic reduction，SCR）技术是降低柴油车NOx排放的主要途径。通常情况下，SCR 对NOx的净化效果受尿素喷射量的影响［3］。尿素喷射量过少，NOx的排放量仍可能超标；尿素喷射量过多，将导致氨气排放增加，污染环境。为严格监控柴油车的污染物排放，目前已有政策指出重型柴油车应开展全天候、全方位的排放监控，利用机动车道路遥感监测设备、排放检验机构联网实现重型柴油车远程排放监控。

当前SCR 系统中尿素基本喷射量的控制主要通过查表法确定，即依据柴油机转速与喷油量查找柴油机稳态工况的NOx排放MAP 图决定，所以SCR 系统对柴油机NOx排放的净化程度很大程度依赖柴油机台架标定试验。柴油机台架标定试验是获得柴油机稳态NOx排放MAP 图最直接的方法，该方法可靠且结果说服力强，但试验成本高且标定时间长。随着各种新技术在柴油机上应用，原本就是多输入多输出的柴油机系统变得更为复杂，致使排放标定难度成倍增加。其次，标定过程中工作人员操作是否得当也会影响标定结果。此外，对于使用年限较长的柴油机，由于其结构老化、喷油系统磨损等现象，导致同一工况下通过MAP 图查表得到的柴油机NOx排放值可靠度降低。更重要的是，通过台架试验标定得到的是柴油机稳态特性，不一定适用于瞬态特性。因此，目前相关研究人员为了降低发动机试验成本及优化SCR 系统尿素喷射量的控制，已开始利用柴油机NOx排放模型预测不同工况下的柴油机NOx排放［4-7］。

随着机器学习的迅速发展，神经网络模型目前已被广泛应用于预测柴油机稳态和瞬态的NOx排放［8-14］。区别于稳态工况，柴油机瞬态运行过程中所经历的各个工况点无法被视为互相独立的工况点。相关研究［13-14］指出，柴油机瞬态过程中所经历的工况点，能够在连续时间内反映出柴油机性能参数变化的趋势。针对这种趋势，本文中将借鉴时间序列预测的思想，考虑柴油机过去运行状态对当前NOx排放的影响，构建一种运用遗传算法（genetic algorithm，GA）优化后的长短期记忆（long short term memory，LSTM）神经网络模型，并评估该模型对柴油机瞬态NOx排放的预测效果，为SCR 系统尿素喷射量的精确控制提供参考。

1 LSTM 神经网络基本结构

LSTM 神经网络是一种部分反馈神经网络，通过引入门控机制，避免了误差反向传播过程中出现梯度消失和爆炸的现象，能有效地对过去状态进行判断，加强了学习样本的长时依赖关系［15］。LSTM神经网络对时序数列具备良好的处理能力，被广泛地应用于电力与流量负荷预测等领域。

图1 所示为LSTM 神经网络基本单元结构，其中Ct-1表示t-1 时刻单元的状态矩阵，其元素的值在0 到1 之间，值越大表示上一刻被保留的信息越充足；St-1表示的t-1 时刻单元的输出矩阵；Ct、St分别表示单元在t时刻的状态与输出矩阵。f 与tanh表示网络层，其中f 层的激活函数为sigmoid 函数，tanh 层激活函数为tanh 函数。在LSTM 神经网络中，遗忘门与输出门是更新单元状态信息的主要结构，其中遗忘门决定了Ct-1和St-1是否被保留在t时刻的Ct中，而输入门则决定了当前输入Xt有多少信息需要被保留在当前的Ct中。LSTM 基本单元结构如式（1）～式（6）所示。式中，ft、it分别为遗忘门中f 层、输入门中f 层与输入门中tanh 层在t时刻的输出矩阵；Wfx为外部输入Xt与遗忘门中f 层的连接权值矩阵；Wfs为上一刻输出St-1与遗忘门中f 层的连接权值矩阵；bf为遗忘门中的偏置向量；Wix为Xt与输入门中f 层的连接权值矩阵；Wis为St-1与输入门中f 层的连接权值矩阵；bi为f 层的偏置向量；Wcx为Xt与输入门中tanh 层的连接权值矩阵；Wcs为St-1与输入门中tanh 层的连接权值矩阵；bc为tanh 层的偏置向量；⊙为Hadamard 乘积，表示两个矩阵中对应位置元素相乘；Wox为Xt与输出门中f 层的连接权值矩阵；Wos为St-1与输入门中f 层的连接权值矩阵；bo为输出门f 层的偏置向量；ot为f 层的输出矩阵。

图1 LSTM 神经网络基本单元结构示意图

LSTM 根据时间反向传播（back propagation through time，BPTT）算法更新网络参数［16］。即BPTT 算法中误差是按照时间反向传播的，在误差反向传播计算过程中St的误差包含了t时刻及t时刻以后的误差，故计算每一时刻的误差时都需通过计算St与Ct+1实现。

2 构建预测模型

2.1 试验数据获取

试验测试对象为一台排量为7 L、带增压中冷的电控高压共轨车用柴油机，其基本参数如表1 所示。测试设备主要包括发动机控制单元（engine control unit，ECU）标定套件（ETAS-INCA 6.0 软件及接口等）、用于测试整机燃油消耗的AVL 735 油耗仪、测试转速与转矩的AVL PUMA 台架测试系统、测试机油压力与温度的AVL ComsysLube 554 机油监控系统、测试冷却水温度与压力的AVL ComsysCool 553 冷却水监控系统及测量NOx排放的AVL AMA i60 常规气体排放测试仪等。

表1 发动机基本参数

对该款柴油机进行欧洲瞬态循环（European transient cycle，ETC）测试，其转速、转矩和NOx排放如图2 所示，其中测试时长为2 022 s。测试过程中，台架测试系统根据发动机外特性曲线，在最高转矩点（1 000 r/min、1 050 N·m）和最高转速点（2 300 r/min、100% 负荷）分别对发动机进行预热，总预热时长为222 s，此后为1 800 s 的ETC测试。研究中每隔0.1 s 采集记录1 个工况数据，共采集记录了20 220 个瞬态工况点。

图2 转速、转矩及NOx排放随时间的变化趋势

2.2 输入层设计

在瞬态过程中，转速与转矩不断变化，进而使得进气量、喷油量及喷油规律等随之发生变化，从而对柴油机燃烧性能和排放产生影响。本文中预选择了转速、转矩、进气量、总喷油量、主喷提前角、预喷提前角、轨压及主喷持续时间作为模型的输入参数，部分数值如表2 所示。

表2 部分预选变量数值

为了从预选变量中选择合适的参数作为模型的输入，剔除与NOx生成相关性不显著的参数，对上述参数分别进行了相关性分析。本文中对预选参数分别采用了Pearson 相关系数“R”分析和Spearman 相关系数“ρ”分析，其中Pearson 相关系数用于分析参数间的线性相关程度，Spearman 相关系数用于分析参数间的非线性相关程度。

表3 所示为各预选变量对NOx生成的相关性分析结果，其中相关系数的正值表示预选变量与NOx呈正相关，两者变化趋势相同；而相关系数的负值表示预选变量与NOx呈负相关，两者变化趋势相反。此外，相关系数绝对值越接近1，两参数间的相关性越强；相关系数绝对值越接近于0，两参数间的相关度越弱。表3 中相关性分析结果在0.01 级别时，变量间相关性不显著。从表3 可知，转速、主喷提前角和预喷提前角与NOx的Pearson 相关系数绝对值高于Spearman 相关系数绝对值；转矩、进气量、总喷油量、轨压和主喷持续时间的Spearman 相关系数绝对值更高。从整体上看，除转速和预喷提前角外，其余变量与NOx生成的相关性较强。

表3 相关性分析结果

虽然转速与NOx的相关系数较低，但是转速是反映柴油机当前运行状态的主要参数，其对NOx生成的影响不可轻易忽略。此外由于现代柴油机多采用高压共轨技术，可实现燃油分段喷射，而合适的预喷策略可以实现柴油机油耗、NOx与碳烟排放的综合优化［17］，因此也无法忽视预喷提前角对NOx排放的影响。综上所述，本文中将保留所有预选参数。

由于无法将每个瞬态工况点视为互相独立的工况，因此需要考虑上述参数的历史状态对当前NOx排放的影响。此外排放测试设备探头安装在排气总管上，受排气运动的影响，无法将测试得到的NOx排放结果理想化地等同于对应时刻柴油机缸内燃烧循环产生的NOx排放浓度，在建立瞬态排放预测模型时需要综合考虑各预选参数和NOx排放的历史状态对当前NOx排放量的影响。

图3 为各预选参数和NOx排放的历史状态与当前NOx排放的相关系数的计算结果。其中转速、主喷提前角、预喷提前角和NOx采用Pearson 相关系数进行分析计算，转矩、进气量、总喷油量、轨压和主喷持续时间采用Spearman 相关系数计算。

图3 历史状态相关性分析

对神经网络而言，减少网络输入参数有利于降低网络结构复杂度，进而加快网络收敛速度，但是可能降低网络的预测性能，因此必须在保证模型最终预测性能的前提下降低模型结构的复杂度。研究按照0.75∶0.15∶0.15 的比例将数据依次划分为训练集、验证集和测试集，即训练集为0 至第1 415.4 s 的ETC 循环测试数据，共14 154 个工况点，验证集为第1 415.5 s至第1 718.7 s 的ETC 循环测试数据，共3 033 个工况点，测试集为第1 718.8 s 至第2 022.0 s 的ETC 循环测试数据，共3 033 个工况点。建立了3 种输入参数不同的LSTM 神经网络模型，用以判断历史状态对当前NOx排放的影响。3 种LSTM 模型参数设置如表4所示。

表4 模型参数设置

输入参数间的数量级差距明显，为了合理平衡不同数量级的输入参数对输出参数的影响，采用min-max 标准化将输入输出参数映射在［-1，1］之间，标准化计算公式如式（7）所示。式中，i为参数个数；j为样本个数；Xij为第i个参数、第j个样本的原始数据；Ximax为第i个参数的最大原始数据；Ximin为第i个参数的最小原始数据；xij为第i个参数、第j个样本的归一化数据。

预测计算完成时，输出参数还应按式（8）进行反归一化处理。

式中，xj为输出变量第j个预测结果；Xmax为原输出变量中的最大值；Xmin为原输出变量中的最小值；Xj为相应预测结果的反归一化数据。

模型建立后，还需要对模型进行评价，本文中选用Pearson 相关系数R、决定系数R2、均方根误差Rrmse及平均绝对误差Mmae作为评价指标，用以评估具有不同输入参数的LSTM 模型的预测效果。各评价指标数学表达式如式（9）～式（12）所示。

式中，yi为实际期望值为BP 神经网络输出值；n为样本总量。

本文中对3 种LSTM 模型进行了多次测试，并对每次测试进行统计分析，计算其评价指标，以均值作为判断模型预测性能的最终依据。表5 为不同模型输入参数下LSTM 模型对验证集的预测效果。从表5 可知，输入参数中，考虑了预选参数与NOx排放的历史状态的LSTM（1）模型与LSTM（2）模型的测试效果优于未考虑历史状态的LSTM（3）模型。与LSTM（2）模型相比，LSTM（1）模型的整体预测效果表现更佳。虽然从表5 可看出考虑转速与预喷提前角的历史状态对当前NOx排放影响的LSTM（1）模型较LSTM（2）模型的Rrmse和Mmae的降低幅度并不明显，分别为3.597% 和2.226%，但不考虑转速与预喷提前角的历史状态会降低模型的预测精度，故对这2 个参数予以保留。

表5 3 种LSTM 模型测试效果对比

增加模型的输入参数将增加模型的复杂度，使模型的计算时间延长。为了对比LSTM（1）模型和LSTM（2）模型的预测时间，研究复现了两种模型对验证集的预测过程，并分别进行了10 次测试。测试结果显示，LSTM（1）模型总耗时为345.436 517 s，LSTM（2）模型的总耗时为343.191 599 s，前者的总耗时相比后者增加了0.65%。由此可见，虽然LSTM（1）模型的预测精度相比LSTM（2）模型有所增加，但同时也牺牲了系统响应时间。本研究的初衷是尽可能提高模型的预测精度，因此最终选择了LSTM（1）模型。

结合图3 与表5 的测试结果，本文中最终确定预测模型的输入参数为t-1 时刻与t时刻的转速、转矩、进气量、总喷油量、主喷提前角、预喷提前角、轨压、主喷持续时间及t-1 时刻的NOx排放量。

2.3 网络结构与参数确定

通过测试分析具有不同隐含层层数的LSTM（1）模型的预测性能，可以确定预测模型的隐含层层数。其中每一层隐含层上的神经元数均设置为30，即每增加1 层隐含层，就增加30 个神经元。表6 所示为不同隐含层下LSTM（1）模型对验证集的预测效果。从表6 可看出，具有两层隐含层的LSTM（1）模型预测效果最佳，R和R2最高，分别为0.977 和0.954；Rrmse与Mmae最低，分别为177.360 和141.066。因此，确定预测模型的隐含层为2 层。后文中再提及LSTM（1）模型，均是指具有2 层隐含层的LSTM（1）模型。

表6 具有不同隐含层的LSTM(1)模型的预测效果

学习率与隐含层神经元数均会对模型的预测性能造成一定影响。其中学习率决定训练过程中模型能否收敛至最小值及何时收敛；而隐含层神经元数则决定训练过程中模型能否有效地从样本中提取其潜在规律。此外，在目前主流的机器学习框架（如TensorFlow、Kears、Theano 及MATLAB 深度学习工具箱）中，通常采用小批量梯度下降算法训练LSTM 神经网络，即使用训练集中的部分样本（Batchsize）更新修正连接权值与偏置，保证网络预测性能的同时减少训练时长。由于上述参数的选取对LSTM 神经网络的预测效果影响明显，因此需要选取合适的参数，保证模型的预测性能。

学习率、隐含层神经元数及Batchsize 的选取范围广，依照经验法等传统调参方法难以对这些参数进行合理选取。遗传算法［18］是一种基于种群的自适应全局搜索进化算法，通过借助概率实现在搜索范围内搜索方向的自动调整，进而求解待优化问题的最优解。本文中采用遗传算法对LSTM（1）模型的学习率、隐含层神经元数及Batchsize 进行组合选取，进而构建预测柴油机瞬态NOx排放的GA-LSTM 模型，即应用遗传算法优化后的LSTM 模型。遗传算法优化LSTM（1）模型流程如图4 所示。

图4 遗传算法优化LSTM（1）模型流程图

首先，将待优化参数（学习率、隐含层神经元数和Batchsize）作为遗传算法的优化对象，并根据其各自优化范围进行染色体初始化，建立染色体种群；将染色体重组赋值于LSTM（1）模型进行训练，并将计算得到的验证集预测值与实际值之间的均方误差作为评价染色体适应度优劣的指标；然后，对染色体进行遗传操作，并将更新的染色体再赋值于LSTM（1）模型训练，直至筛选出具有最佳适应度值的染色体；最后对筛选出的染色体进行解码，以实现GA-LSTM 模型的训练过程。GA-LSTM 模型参数设置如表7 所示。

表7 GA-LSTM 模型参数设置

图5 展示了遗传算法优化学习率、隐含层神经元数和Batchsize 过程中迭代轨迹的变化趋势。从图5 可以看出，随着迭代次数的增加，染色体适应度值呈现出逐级递减的趋势。在迭代35 次后趋于稳定，其最优均方误差为0.063 67。通过遗传算法优化，得到LSTM（1）模型的最优学习率、隐含层神经元数和Batchsize 组合为0.058、26 和360。

图5 遗传算法迭代轨迹

图6 所示为LSTM（1）模型与GA-LSTM 模型对验证集的测试效果。从图6 可以看出，采用遗传算法优化后的LSTM（1）模型（后文将统一称为“GA-LSTM 模型”）对验证集的测试效果明显优于LSTM（1）模型。其中，GA-LSTM 模型预测的NOx排放曲线与NOx实际排放曲线的重合度较高，其R与R2分别为0.992 和0.983，较LSTM（1）模型分别提高了0.015 与0.029。此外，与LSTM（1）模型相比，GA-LSTM 模型预测值与实际值间的偏差相对较小，其Mmae与Rrmse分别为89.780 和119.345，较LSTM（1）模型分别降低了36.356% 与32.710%，由此也体现出遗传算法组合优化LSTM（1）模型参数的有效性。

图6 LSTM（1）模型与GA-LSTM 模型的验证预测结果

3 模型评估

利用遗传算法对LSTM（1）模型的学习率、隐含层神经元数与Batchsize 进行组合寻优后，进一步确定了具有最佳参数的柴油机瞬态NOx排放预测模型，即GA-LSTM 模型。虽然通过图6 已经可以看出不同模型的预测效果，但是模型的泛化性能还需要进一步评估。选择ETC 循环测试工况中的测试集进一步对模型的泛化能力进行分析验证。图7 展示了经过训练后GA-LSTM 模型对测试集的预测结果。

图7 GA-LSTM 模型预测结果

由图7（a）可知，基于GA-LSTM 模型的NOx排放预测曲线与实际NOx排放曲线基本重合，预测误差整体较小。通过计算得出GA-LSTM 模型对测试集的NOx预测值与实际NOx排放值间的R与R2分别为0.993 与0.985，Rrmse和Mmae分别为75.645 和56.218。此外，残差分布区间也可反映模型的预测效果。图7（b）统计了GA-LSTM 模型预测值与实际值间的预测残差分布情况，其中直方体的宽度代表预测残差区间。从图7（b）中可以看出，GA-LSTM模型对预测集的预测残差主要集中在［-200，200］区间内，工况点数共有2 989 个，约占预测集样本总数的98.5%。其中有278 个工况点落入［-200，-100）区间，有1 537 个工况点落入［-100，0）区间，有984 个工况点落入［0，100）区间，有190 个工况点落入［100，200］区间。有2 521 个工况点的预测残差分布在［-100，100］区间内，约占预测集样本总数的83.1%。此外从图7（b）中也可看出，存在34 个工况点的预测残差分布在［-200，200］区间外，仅占整个预测集样本总数的1.1%。由此可知，建立的GALSTM 模型具有较好的泛化性，能够较为准确地预测出未参与模型训练的ETC 循环工况点的NOx排放数值。