基于深度学习的贫燃熄火预测方法和实验研究

何 涛，王思睿，卫思霁，刘训臣，李 磊，韩 啸，张 弛，董 雪，齐 飞,

基于深度学习的贫燃熄火预测方法和实验研究

何 涛1，王思睿2，卫思霁2，刘训臣2，李 磊2，韩 啸3，张 弛3，董 雪1，齐 飞1, 2

(1. 上海交通大学中英国际低碳学院，上海 200240；2. 上海交通大学机械与动力工程学院，上海 200240；3. 北京航空航天大学能源与动力工程学院，北京 100191)

针对低污染贫燃预混燃烧技术中的火焰振荡、局部熄火和复燃现象，提出一种基于深度学习的贫燃熄火预测方法．该方法使用VGG19深度网络提取火焰图像重点特征，对火焰状态进行分类；利用vid2vid模型生成的含有随机噪声火焰RGB图像，对振荡火焰状态分类模型(BFC)进行鲁棒性和泛化性验证；通过生成火焰驻定程度的量化对火焰状态分类结果进行更加细节的补充，减少火焰状态的误判；此外从视频预测角度预测熄火前振荡火焰未来帧状态，增强对临近熄火的理解．结果表明：BFC模型的识别准确率达95.44%，1-score为94.54%，未来2ms火焰状态在多个测试集上的平均预测准确率也在84%以上，从而实现较为可靠的火焰状态分类和未来状态预测．

贫燃熄火；火焰振荡；时序预测；深度学习；旋流火焰；语义分割

近年来对燃气轮机和民用航空发动机的氮氧化物排放已经建立了越来越严格的规范．贫燃预混燃烧技术作为目前最有前景的低污染燃烧技术之一，能够有效降低氮氧化物的排放，但是在接近贫燃极限时会出现火焰振荡以及局部熄灭后又复燃现象[1-6]，贫燃熄火会对高空飞行的飞机和运行的燃气轮机造成重大危害．20世纪50年代Nicholson等[2]发现旋流火焰在熄火前重新附着到火焰喷嘴处的现象．一些研究发现旋流数从0逐渐增大时，火焰逐渐从驻定火焰到不稳定以及最后熄灭[3-4]，但是不同旋流数对于火焰稳定燃烧的当量比区间影响较小[5]．一些研究人员提出若当量比降低到熄火极限附近，火焰传播速度和燃烧反应速度降低，从而导致局部吹熄[6-8]．而Zhang[9]认为火焰振荡阶段主要与火焰的应变水平有关，真正熄灭阶段则和Damkohler数有较大的关系．临近吹熄的火焰动力学非常复杂，虽然以上研究对贫燃熄火进行了一定程度的解释，但贫燃熄火的主动控制仍是一个难题．贫燃熄火前的火焰振荡和局部熄灭的明显特征可以作为贫燃熄火预测的基础，通过阈值统计和符号法等方法对采集光学信号声学信号以及离子等信号分析，实现燃烧状态的监测和贫燃熄火的预测[10]．近年来深度学习技术发展迅速，在医学、诊断等领域展现其优势，在燃烧诊断方面能够用于对火焰状态的识别和预测．Han等[11]、Tokarev等[12]、Zhou等[13]通过神经网络对火焰图像进行特征提取，进而识别火焰状态，取得较高精度．Zhou等[13]还对网络的中间特征图进行分析，解释不同区域对于燃烧不稳定性的贡献．但是以上研究主要是针对火焰形态结构在某种工况下保持相对不变，而贫燃熄火包含大量的火焰来回振荡过程，火焰结构变化较大，并且有很多驻定和抬升的临界状态，这对模型的特征提取和分类能力提出更高的要求，以上方法并不能有效解决．到目前为止的火焰监测是根据已经发生火焰图像对其状态进行判别，不能在火焰不稳定和熄火前给出警示．预测贫燃熄火极限的经验公式在不同燃烧器设计和工况下，可能需要对公式进行修正，修正工作困难且修正后的使用环境也有针对性．基于监督学习的深度学习仿照人脑感知信息方式，寻找数据输入和输出之间的映射关系．相当于高维特征转换器的深度学习，能够在假设空间较快得到类似于修正后的经验公式的映射关系．本文提出一种结合高速采集的火焰自发光图像和深度学习的贫燃熄火预测方法．该方法的火焰驻定和抬升的判别准确率依然能够达到95.44%，并且能够根据已经发生的火焰状态预测未来2ms的火焰状态，提前为熄火提供 警示．

贫燃熄火预测的难点在于火焰动态时序状态的预测，而目前动态时序图像预测的难点在于将图像中语义内容和时序信息进行融合．当前的多种视频预测方法中，直接从RGB图像预测RGB图像的效果不够理想，以预测未来帧的语义分割图方法的准确性较高[14]．vid2vid模型能够通过语义图标签信息的更换实现视频内容风格的超清变换[15]．因此本文创新地将视频预测方法、vid2vid模型和图像分类模型结合，实现从火焰RGB图像预测未来帧火焰RGB图像，并进一步对火焰的驻定程度进行量化．本文主要分两部分，首先实现对已发生振荡火焰的状态快速准确预测和模型鲁棒性验证，再进一步对时序火焰的未来帧进行预测研究．该方法的创新点主要在于：①迁移学习避免振荡火焰状态分类模型出现过拟合，并加快模型的训练速度；②通过vid2vid模型生成的火焰图像验证振荡火焰状态分类(BFC)模型的鲁棒性和泛化性；③损失函数和优化方法的选择，提高了对火焰状态的识别分类能力；④实现时序上未来帧火焰状态预测．

1 实验与建模方法

1.1 实验系统

为了研究贫燃熄火的预测问题，测量了典型旋流火焰的自发光成像．贫燃熄火自发光实验在BASIS[16]中心分级旋流燃烧器上进行，实验系统示意图见图1．自发光测量系统由一台高速摄像机(Photron SA-Z)和像增强器(Lambert HiCATT)组成，使用了短焦镜头(Nikon 50mm f/1.4G)和窄带通滤波片(Semrock，439/154nm)，记录火焰中的CH*自由基化学发光信号．进入到燃烧器中的甲烷和空气在上游由质量流量计控制，在两个预混罐中通过搅拌器混合均匀后，分别通入预燃级和主燃级，并通过内外旋流器形成同向的旋转射流，在喷嘴出口处形成中心分级旋流火焰．由石英玻璃组成的旋流火焰头部尺寸为90mm×90mm×100mm．

图1 CH*自发光实验系统示意

1.2 数据处理

表1 燃烧工况

Tab.1 Combustion conditions

1.3 振荡火焰状态分类模型及其鲁棒性验证

贫燃火焰振荡期间会出现驻定火焰到抬升火焰的来回跳跃，可以作为主动控制的重要先验知识，所以在振荡过程中对当前火焰的驻定和抬升的识别就显得十分重要．

反向传播对前向网络的损失进行最优化，不断优化调整前向网络的权重系数，使得损失误差不断减小并趋于收敛．前向网络的预测和反向传播的优化过程称之为模型“训练”．训练集和验证集中的数据训练一次称为一个“Epoch”．一个模型的训练一般需要经过多个Epochs的优化．除此之外优化方法、学习率、损失函数、初始化权重系数等超参数的选择对模型的最终性能有很大的影响．

本文的振荡火焰状态分类预测是驻定火焰和抬升火焰的二分类问题，所以本文采用交叉熵损失函数．为了实现较好的分类预测性能，主要在优化方法和初始权重参数上进行了多组实验．优化方法上主要比较随机梯度下降(SGD)和自适应矩估计(Adam)方法；由于火焰振荡到吹熄时间较短，能采集的火焰图像较少，为了避免出现模型的过拟合，初始化参数使用迁移学习预训练的模型参数．一般而言，学习率减小，能够获得较高的精度，但训练的时长也相应更长．综合考虑训练精度和训练时间，本文学习率为0.0001．

图2 振荡火焰状态分类模型结构示意

迁移学习是将在其他高质量数据集上预训练学习到的模型参数，通过某种方式分享给新的模型，使模型在已有参数下进行训练，而不是以随机参数从0开始，这样能够大大提高新模型训练速度，解决标签数据不足的情况[19]．Yosinski等[20]发现深层卷积网络的前几层获取的特征比较普适，越靠后获取的特征更加具体．本文在SGD和Adam两种不同的优化方法和冻结预训练模型不同卷积层的参数进行了多组 实验．

图3 振荡火焰状态分类模型鲁棒性验证示意

式中：为火焰驻定程度，当越接近1时，火焰驻定的程度越高，当越接近0时，火焰驻定程度越低．

1.4 火焰未来帧预测模型

由于火焰在驻定和抬升振荡之间的模态切换时间尺度非常小，如果能够根据前面若干时刻的火焰状态预测下一时刻的火焰状态，便能够对火焰振荡的不稳定情况进行针对性的控制．本文在对旋流火焰振荡切换过程中已发生火焰的驻定和抬升有效分类预测外，进一步开展对未来时刻的火焰状态预测研究．

对未来帧火焰图像的预测主要参考Luc等[22]工作，从火焰图像的高层语义特征进行融合预测而不是RGB火焰图像层级，实现过程如图4．

图4 火焰未来帧预测过程示意

图5 F2Fl网络结构示意

2 结果与讨论

2.1 振荡火焰状态分类模型

振荡火焰分类预测模型训练集和测试集分别为9053张驻定火焰、10802张抬升火焰和2991张驻定火焰、3673张抬升火焰，学习率为0.0001，动量为0.9，批大小为40，在CPU和GPU分别为Intel®Xeon Sliver 4100CPU@2.10GHz和Tesla V100的Linux服务器上训练．图6为BFC模型在不同优化方法以及冻结预训练模型不同层的参数下，训练的准确率和损失变化情况．当使用SGD时，冻结在ImageNet数据集上预训练模型VGG19_BN前3、6、7、8层卷积层的准确率和损失的收敛效果差异不大，但冻结前6层比冻结前4层和前5层预训练模型的参数表现更好．一般而言，冻结层数越少，需要更多时间进行参数的更新；冻结层数越多，虽然更新时间会缩短，但学习的特征更具体，和目标数据集差别较大．为了平衡模型精度和计算时间，本文选择冻结预训练模型的前6层卷积参数不变．在当前火焰数据集上进行训练，更新预训练模型冻结层之后的参数．在冻结预训练模型前6层参数，使用Adam优化方法情况下，模型有轻微的过拟合，但在可接受范围内．

图6 振荡火焰状态分类模型冻结不同层参数和不同优化方法下的训练准确率和损失

Vid2vid模型在测试集上推理生成的火焰图像作为已训练好火焰分类模型输入，验证火焰分类模型的鲁棒性和泛化性，其中15个测试火焰视频序列生成了570张火焰图像．本文使用准确率和1-score评估有无光流信息、不同损失函数和不同优化方法下不同模型的效果．准确率和1-score计算可见式(3)～(6)，其中、、和分别表示将正类预测为正类、将负类预测为正类、将负类预测为负类和将正类预测为负类，本文正类即驻定火焰，负类为抬升火焰．1-score能够防止正负类比例不均导致模型效果不好，而准确率很高的情况发生．表2～5中的6th表示冻结预训练模型的前6层参数，从表2～5中可以发现在迁移学习冻结预训练模型VGG19_BN前6层参数下，增加了多尺度结构相似性损失MS-SSIM后，测试集上的总准确率提高了30%以上，1-score提升了59%以上，可以看出损失函数的改进大大提高了Vid2vid模型生成火焰和对应真实火焰的相似性，这个相似性在光流下进一步提升．结果表明，振荡火焰状态分类模型中Adam优化方法是较优的选择．在综合以上优化下，最终的测试集上的准确率为95.44%，1-score为94.54%．在NVIDIA GeForce GTX 2080每次的预测耗时大约为7ms，未来工程部署可以通过使用低比特量化、模型剪枝和蒸馏、专用推理引擎和更高算力的硬件等方法进一步降低预测时间.

表2 无光流情况下测试集准确率

Tab.2 Accuracy of test dataset without flow

表3 光流情况下测试集准确率

Tab.3 Accuracy of test dataset with flow

表4 无光流情况下测试集1-score

Tab.4 F1-score of test dataset without flow

表5 光流情况下测试集1-score

Tab.5 F1-score of test dataset with flow

图8则是测试集中的一个火焰序列振荡火焰的驻定程度的量化结果，可以发现在驻定程度接近0.5时，火焰大概处于驻定和抬升状态的临界位置．在实际工作中可以对振荡火焰驻定和抬升状态分类进行补充，减少预测错误并使得预测更加精细，这也是主动控制的重点因素．

2.2 火焰未来帧预测模型

图7 真实火焰序列和预测火焰序列比较

图8 生成火焰驻定程度量化

为了进一步测试模型的鲁棒性和泛化性，对测试集的其他火焰序列＋1帧的预测火焰状态进行测试．预测的准确率是每个火焰序列中火焰状态标签预测正确的数目和总火焰图像数目的比值．如图10，在25个测试火焰视频序列上的平均准确率为84.04%．

图10 测试集上t＋1帧预测火焰的准确度

3 结 论

本文所提出的基于图像的贫燃熄火预测方法，能够通过振荡火焰分类模型提取火焰图像特征，对当前火焰驻定和抬升状态进行分类；并通过vid2vid模型生成带有随机噪声的下一时刻的火焰RGB图像对模型进行鲁棒性和泛化性验证．测试集上的总准确率达95%左右，1-score为94.54%，证明振荡火焰分类模型具有较好的鲁棒性和泛化性．振荡火焰驻定程度的量化能对振荡火焰分类模型的预测结果进行补充，减少误判并为主动控制提供更加精细的参考．火焰未来帧预测模型在25个测试集上的平均预测准确性为84.04%，生成的火焰轮廓和对应时刻真实火焰的相似度较高，能够较准确地预测未来2ms的火焰状态．未来可以进一步优化模型，预测未来更长时间的火焰状态以及不同压力下的贫燃熄火状态．

［1］ Candel S，Durox D，Schuller T，et al. Progress and challenges in swirling flame dynamics[J].，2012，340(11)：758-768.

［2］ Nicholson H M，Field J P. Some experimental techniques for the investigation of the mechanism of flame stabilization in the wakes of bluff bodies[J].，1948，3(1)：44-68.

［3］ Santhosh R，Basu S. Transitions and blowoff of unconfined non-premixed swirling flame[J].，2016，164：35-52.

［4］ 杨甫江，郭志辉，任立磊. 贫燃预混旋流火焰的燃烧不稳定性[J]. 燃烧科学与技术，2014，20(1)：51-57.

Yang Fujiang，Guo Zhihui，Ren Lilei. Combustion instability of lean premixed swirl flame[J].，2014，20(1)：51-57(in Chinese).

［5］ 赵晓敏，葛宏达，王俊懿，等. 基于火焰OH自发光技术的贫燃旋流预混燃烧吹熄机理[J]. 燃烧科学与技术，2019，25(3)：244-250.

Zhao Xiaomin，Ge Hongda，Wang Junyi，et al. Blow-out mechanism of lean-premixed swirl flame combustion based on flame OH chemiluminescence technology[J].，2019，25(3)：244-250(in Chinese).

［6］ Longwell J P. Flame stabilization by bluff bodies and turbulent flames in ducts[J].()，1953，4(1)：90-97.

［7］ 刘联胜，林博颖，包 婕，等. 贫燃预混旋流火焰动力学失稳过程分析[J]. 燃烧科学与技术，2011，17(6)：491-498.

Liu Liansheng，Lin Boying，Bao Jie，et al. Dynamics instability of lean premixed swirl flames[J].，2011，17(6)：491-498(in Chinese).

［8］ 俞森彬，刘 潇，刘 欣，等. 基于旋流火焰根部熄火现象的FGM模型研究[J]. 燃烧科学与技术，2020，26(4)：301-309.

Yu Senbin，Liu Xiao，Liu Xin，et al. Prototype swirl flame using strained flamelet generated manifold[J].，2020，26(4)：301-309(in Chinese).

［9］ Zhang Q. Lean Blowoff Characteristics of Swirling H2/CO/CH4Flames[D]. Atlanta：Georgia Institute of Technology，2008.

［10］ 黄建青，李磊，蔡伟伟. 贫燃熄火实验预测方法综述[J]. 实验流体力学，2018，32(2)：1-9.

Huang Jianqing，Li Lei，Cai Weiwei. Experimental prediction of lean blowout：A review[J].，2018，32(2)：1-9(in Chinese).

［11］ Han Z，Hossain Md M，Wang Y，et al. Combustion stability monitoring through flame imaging and stacked sparse autoencoder based deep neural network[J].，2020，259：114159.

［12］ Tokarev M P，Abdurakipov S S，Gobyzov O A，et al. Monitoring of combustion regimes based on the visualization of the flame and machine learning[J].：，2018，1128：012138.

［13］ Zhou Y C，Zhang C，Han X，et al. Monitoring combustion instabilities of stratified swirl flames by feature extractions of time-averaged flame images using deep learning methods[J].，2021，109：106443.

［14］ 莫凌飞，蒋红亮，李煊鹏. 基于深度学习的视频预测研究综述[J]. 智能系统学报，2018，13(1)：85-96.

Mo Lingfei，Jiang Hongliang，Li Xuanpeng. Review of deep learning-based video prediction[J].，2018，13(1)：85-96(in Chinese).

［15］ Wang T C，Liu M Y，Zhu J Y，et al. Video-to-video synthesis[C] //. New York，2018：1152-1164.

［16］ Han X，Laera D，Morgans A S，et al. The effect of stratification ratio on the macrostructure of stratified swirl flames：Experimental and numerical study[J].，2018，140(12)：121004.

［17］ 王思睿，刘训臣，李 磊，等. 分层比对分层旋流火焰稳定模式及流动结构的影响[J]. 航空动力学报，2020，38(3)：619-628.

Wang Sirui，Liu Xunchen，Li Lei，et al. Effects of stratification ratio on flame stabilization and flow structure in stratified swirling flame[J].，2020，38(3)：619-628(in Chinese).

［18］ Simonyan K，Zisserman A. Very Deep Convolutional Networks for Large-Scale Image Recognition[R]. San Diego：ICLR Press，2015.

［19］ Pan S J，Yang Q. A survey on transfer learning[J].，2010，22(10)：1345-1359.

［20］ Yosinski J，Clune J，Bengio Y，et al. How transferable are features in deep neural networks?[G]// Ghahramani Z，Welling M，Cortes C，et al.27(2014). Califor-nia，USA：NIPS Press，2014：3320-3328.

［21］ Wang Z，Simoncelli E P，Bovik A C. Multiscale Structural Similarity for Image Quality Assessment[R]. Pacific Grove，CA，USA：IEEE，2003：1398-1402.

［22］ Luc P，Couprie C，Lecun Y，et al. Predicting Future Instance Segmentation by Forecasting Convolutional Features[R]. Cham，CH，Switzerland：Springer，2018：593-608.

［23］ Lin T Y，Dollár P，Girshick R，et al. Feature Pyramid Networks for Object Detection[R]. New York，USA：IEEE，2017：936-944.

［24］ He K，Gkioxari G，Dollár P，et al. Mask R-CNN[C]//2017(). New York，USA，2017：2980-2988.

［25］ Ilg E，Mayer N，Saikia T，et al. FlowNet 2. 0：Evolution of Optical Flow Estimation with Deep Networks[C]// 30th(). New York，USA，2017：1647-1655.

Prediction Method and Experimental Research on Lean Burn Blow-Off Based on Deep Learning

He Tao1，Wang Sirui2，Wei Siji2，Liu Xunchen2，Li Lei2，Han Xiao3，Zhang Chi3，Dong Xue1，Qi Fei1, 2

(1. China-UK Low Carbon College，Shanghai Jiao Tong University，Shanghai 200240，China；2. School of Mechanical Engineering，Shanghai Jiao Tong University，Shanghai 200240，China；3. School of Energy and Power Engineering，Beihang University，Beijing 100191，China)

Aimed at the flame beating，local extinction and reignition before the blow-off of lean burn swirling flames，a method was proposed to predict the lean burn blow-off of premixed flames based on deep learning. Deep network VGG19 was employed to extract the key features of flames and the flame states were classified. The RGB flame images containing random noise generated by vid2vid model were used to verify the robustness and generalization performance of beating flame’s state classification(BFC) model. Through the quantification of flame stagnation degree，more details are added to the classification results of flame states，thus reducing the misjudgment of the flame state. In addition，the future frame state of the oscillating flame before the blow-off is predicted from the angle of video prediction to enhance the understanding of near flameout. The results show that the recognition accuracy of the BFC model is 95.44%，the1-scoreis 94.54% and the average prediction accuracy of the future 2ms frame state of the flame is also over 84%. Therefore，the method can achieve a reliable prediction of flame state classification and future state.

lean burn blow-off；beating flame；time-series prediction；deep learning；swirling flame；semantic segmentation

TK16

A

1006-8740(2022)03-0304-09

2021-02-24

国家自然科学基金资助项目(52076137，91941301)；国家科技重大专项资助项目(2017-Ⅲ-0004-0028).

何 涛（1993—  ），男，硕士，tao-he@sjtu.edu.cn.

刘训臣，男，博士，讲师，liuxunchen@sjtu.edu.cn.

10.11715/rskxjs.R202102021

(责任编辑：梁 霞)