基于CNN-LSTM深度学习的燃烧不稳定性检测方法研究

闾曾怡，王高峰，杨 瑶，张非非

基于CNN-LSTM深度学习的燃烧不稳定性检测方法研究

闾曾怡，王高峰，杨 瑶，张非非

(浙江大学航空航天学院，杭州 310027)

提出了一种基于高速火焰图像序列的深度学习模型来检测燃烧不稳定性．模型以高速火焰图像序列作为输入，结合卷积神经网络(CNN)和长短期记忆网络(LSTM)同时学习图像序列的空间特征和时间相关性，输出燃烧不稳定性检测结果．利用旋流燃烧室多种工况下稳态和非稳态的瞬态火焰图像数据集验证模型的鲁棒性和准确性．该深度学习模型被证明是一种潜在的燃烧不稳定性检测工具，并有望成为一种很有前途的燃烧不稳定性预测工具．

旋流预混燃烧；燃烧不稳定性；深度学习；卷积神经网络

燃烧不稳定性是一个存在于包括燃气轮机在内的各种系统中的复杂问题．燃烧不稳定通常由热释放率脉动和压力脉动的正耦合引起．燃烧时流动扰动引起热释放率的波动，产生声学振荡．如果热释放率波动与声压场波动相一致，则可能建立一个正反馈，导致燃烧不稳定[1]．燃烧不稳定的发生难以预料，并且极有可能导致结构破坏和灾难性故障，造成巨大的经济损失．因此，检测燃烧不稳定性具有重要研究价值．研究发现，相干结构的存在是热声反馈产生的一个重要机制[2-6]．相干结构是与涡度相干相位、高涡度等定义相关的流体力学结构[2]，通过弯曲和拉伸引起大范围的速度振荡和整体火焰形状振荡.相干结构的发展及分解会导致周期性的热释放[3].对相干结构的检测，目前已经提出并成功实现了几种方法，包括适当的正交分解(proper orthogonal decomposition，POD)[7]和动态模态分解(dynamic mode decomposition，DMD)[8]．尽管相干结构可能是一个强烈的不稳定性指标，但很难从视觉上直观表征这种结构．此外，由于缺乏对相干结构的物理理解，识别燃烧不稳定性的前兆变得困难．

神经网络的灵感来源于诺贝尔奖得主Hubel和Wiesel对猫初级视觉皮层的研究．2012年，Krizhevsky等[9]利用丰富的图像数据，基于卷积神经网络(convolutional neural network，CNN)学习到了有意义的图像空间特征．随着计算能力的持续增长和处理超大数据集能力的增强，深度学习神经网络正在迅速成为处理高维数据和提取特征的关键工具．基于CNN的应用包括自然语言处理[10]、图像增强[11]和视频描述[12]等．基于深度学习的燃烧不稳定性检测是近年新出现的一个研究课题．Sarkar等[4]提出了一种神经符号框架，使用CNN从图像中提取低维特征，并使用符号时间序列分析捕捉图像提取特征的时间演化，通过分析大量连续的高速燃烧图像进行早期不稳定性检测．Ghosal等[5]采用3D CNN网络模型架构，利用连续图像帧之间的时间相关性，将燃烧图像序列分为稳定和不稳定两类．Gangopadhyay等[13]提出了一种结合二维卷积神经网络提取空间特征和长短期记忆(long short-term memory，LSTM)网络捕捉数据时间相关性的高效检测框架．Choi等[14]基于卷积神经网络提出了一种基于高速火焰图像的深度学习模型检测燃气轮机的燃烧不稳定性，模型建立了两个网络融合层，早期融合层学习图像序列功率谱密度，后期融合层结合不同时间步输出预测当前燃烧状态．

论文提出了一种基于高速火焰图像序列的深度监督学习燃烧不稳定性检测模型．与以往单图像输入或固定长度图像序列输入不同，该模型可接受可变长度图像序列输入，更具灵活性．模型以连续的火焰图像序列作为输入，将卷积神经网络和长短期记忆网络相结合，底层卷积网络层提取输入图像序列的空间特征并作为其上布置的长短期记忆网络的时间步输入．长短期记忆网络通过学习序列全局时间特征来捕捉特征演化，全连接层接收长短期记忆网络的输出，并将检测问题变为二分类问题(稳定或不稳定)，输出图像序列的类标签．利用高速相机拍摄旋流燃烧室不同工况下稳态和非稳态的瞬态火焰图像对模型进行验证测试，确保模型的准确性和检测不同燃烧工况的鲁棒性．

1 实验装置

训练深度学习模型需要大量的数据来确保最终模型的准确性与可靠性．为了采集足够多的处于不同工况下的火焰图像数据，建立如图1所示的丙烷-空气旋流预混燃烧实验台．整个实验台由配气室和燃烧室两大部分组成，丙烷和空气经充分预混后在旋流喷嘴出口被点燃．旋流器喷嘴出口直径为10mm，其旋流数约为0.71[15]．出口上方装有直径50mm的圆柱形石英玻璃视窗以便在系统中实现声反馈．为采集不同燃烧工况的数据，调节流速与当量比，以期获得稳定燃烧的火焰和处于不同模态下的不稳定火焰．根据不同工况下收集的火焰图像数据，提出了火焰不稳定性的检测问题．

图1 实验系统示意

石英玻璃视窗处配备高速相机(PCO dimax HD)，相机采集频率为2000帧/s，图像分辨率为1200×976像素．神经网络采用监督学习，图像需要有属性标签(稳定或不稳定)．在实验时，同时记录声压脉动，结合声压脉动和火焰抖动情况[13]，同步标注火焰图像视频(稳定或不稳定)，见图2．

采集得到的大量不同工况的火焰图像序列被用来训练深度学习模型，以及测试基于图像的检测框架的鲁棒性．表1为数据集的工况表，分为训练集和测试集．训练集为模型构建训练时的数据样本，作为调整参数、特征选择等算法相关的选择依据．训练集共有120组稳定和不稳定旋流火焰图像序列，每组包含200帧连续图像序列．测试集与训练集的采集工况不同，用于评估最终模型的检测能力．测试集共106组稳定和不稳定图像，每组同样为200帧连续图像序列．关于卷积神经网络的研究已证明图像大小的调整对结果没有影响[13,16]，为了保证训练速度和控制内存消耗，图像调整为320×240像素．

图2 燃烧火焰图像序列部分采样

表1 燃烧火焰图像数据集工况

Tab.1 Experimental conditions for flame datasets

2 深度学习检测模型

论文提出的深度学习模型将卷积神经网络和LSTM[17]相结合．图3为论文提出的深度学习模型，包括输入层、CNN层、LSTM层、全连接层和输出层．将连续的火焰图像序列逐帧输入CNN层，利用卷积特征提取器学习图像空间特征，检测火焰图像中的相干结构．由于燃烧不稳定性是动态行为，理解各种相干结构之间的演化过程是很重要的．在CNN层上布置LSTM网络，它以上层CNN层的卷积输出作为时间步的输入．LSTM层学习图像序列全局时间特征，检测相干结构的演化．CNN和LSTM的组合保证了网络可以从输入的图像序列中学习到空间特征和时间相关性．网络将燃烧不稳定检测转化为二分类问题(稳定或不稳定)，输出检测结果．模型具体细节在下面小节描述．

图3 深度学习模型

2.1 卷积神经网络

卷积神经网络[16,18]是一种使用非线性映射对局部邻域数据降维的深度学习网络模型，它是一种有效的复杂非线性模型建模工具，在多维数据处理上具有优势．卷积神经网络通过局部连接和参数共享在减少网络参数数量的同时，降低过拟合的风险[16]．多维图像可以直接作为网络输入，避免了传统识别算法中复杂的特征提取和数据重建过程．卷积神经网络能自行提取图像特征，包括颜色、纹理、形状及图像的拓扑结构，并且不受图像缩放、扭曲等操作影响，具有良好的鲁棒性，如图4所示．

网络输入图像通常由像素的2D网格表示，卷积神经网络的非线性映射为对所有像素进行线性滤波，对图像进行2D卷积．卷积核的大小一般在1×1像素到7×7像素之间．对于一个含有通道总数的图像，2D卷积操作如下[14]：

图4 卷积神经网络结构[20]

图5 CNNnet-18 卷积神经网络结构

2.2 长短期记忆网络

循环神经网络[24-25](recurrent neural network，RNN)是专门为处理时序数据提出的神经网络，利用“内部状态”(隐藏层神经元各权重矩阵)记忆来学习系统状态的时间依赖关系，从而能够对动态系统的演化进行建模．根据Haykin提出的通用近似定理[26]，如果一个完全连接的循环神经网络有足够数量的sigmoid型隐藏神经单元，它可以以任意的准确率去近似任何一个非线性动力系统，即

图6 LSTM网络单元结构[20]

模型训练时使用随机优化方法的Adam优化器[28]，在整个训练集上训练网络模型，同时监测验证精度．论文用不同的随机种子重复了3次训练过程，并存储了验证精度最高的最佳模型参数．

3 结果与讨论

实验采集了多种工况下稳定和不稳定瞬态燃烧火焰图像测试模型．图像序列依序输入网络，在卷积层提取图像空间特征．CNN已经被证明能够捕捉火焰中相干结构的碎片[4-5, 13]．

每层中单个卷积核只感受局部邻域并输出特征映射，特征映射和原始图像具有空间上的对应关系，随着层数加深，更高层将这些局部信息进行综合得到全局信息．图7给出了前两层卷积中部分特征映射的可视化输出，在第二层可视化中显示了它捕获了火焰相干结构的碎片．

图7 燃烧火焰图像原图及第1层和第2层部分卷积特征映射的可视化输出

为了评估模型性能，使用测试集(表1)进行测试，在图像序列(视频级别)评估模型准确度，测试序列从图像序列中随机采样．输入序列每一帧都会输出根据当前时刻与之前时刻的信息输出分类结果(稳定或不稳定)，准确度定义为正确检测帧数占总图像数目中的比例．从准确度的角度，卷积神经网络层数的增加有利于提升准确度，但同时增加参数量会减慢运算速度，降低效率．不同卷积网络模型测试结果见表2，每个模型均用不同的随机种子重复3次训练过程，存储精度最高的最佳模型参数．最终模型卷积网络为CNNnet-18最佳准确度可达98.77%，同时在NVIDIAGPU实时计算，每帧平均计算时间约1.23ms.与先前工作模型相比[13-14]，准确度已达到检测精度要求．检测结果以视频形式可视化输出，见图8．

在准确性指标外，论文提出敏感度和特异度指标来评估模型的有效性．通常情况，二分类问题检测结果有4种情况，见表3．

表2 不同模型检测准确度

Tab.2 Detection accuracy of different models

图8 燃烧火焰图像序列检测结果

表3 二分类问题检测结果

Tab.3 Categoryof model detection results

在证明模型可以应用于论文实验采集的旋流火焰不稳定检测后，论文验证了模型的泛化能力，即一个已经学习图像特征的预训练网络能否应用于解决另一个不同但相关领域的问题，比如层流火焰不稳定性检测．在笔者的实验中，使用了如图9的本生灯火焰图像序列．利用迁移学习知识[29]，输入稳定和不稳定本生灯火焰图像序列各200帧作为样本数据，对论文的神经网络模型进行微调．采集多种工况下本生灯火焰图像序列共2000帧进行测试，模型准确率为94.75%，敏感度为100%，特异度为94.17%．测试结果验证了得到的模型可用于层流火焰不稳定性检测.

图9 本生灯火焰图像序列采样

4 结 论

本文提出了一个用于燃烧热声不稳定性检测的深度学习模型，通过将不稳定性检测转为二分类问题，实现了对不同长度输入序列的检测分类(稳定或不稳定)．高速燃烧火焰图像序列被输入多层CNN来提取空间特征，学习火焰中相干结构，并在CNN卷积器中可视化观察相干结构碎片．由于燃烧不稳定性是动态行为，理解各种相干结构之间的演化过程是很重要的，模型使用LSTM学习燃烧火焰图像序列时间演变．笔者在旋流燃烧室上进行了大量的实验，并根据声脉冲频率对采集图像序列进行分类(稳定或不稳定)，验证了模型准确度(98.77%)，敏感度(99.9%)，特异度(97.5%)．在证明模型用于燃烧不稳定性检测的鲁棒性与可靠性后，使用本生灯火焰迁移学习，验证了模型的泛化能力．

在未来研究中，燃烧火焰图像序列将包括稳态到非稳态或非稳态到稳态转变过程．利用LSTM学习输入序列的时间演变过程，可视化LSTM内部计算，找到向失稳过渡时的单元结构变化．模型有望成为燃烧不稳定的早期预测工具，通过有效检测临界过渡实现主动控制，从而可以消除燃烧不稳定的不利影响．

［1］ Rayleigh L. The explanation of certain acoustical phenomena[J].，1878，18(455)：319-321.

［2］ Hussain F. Coherent structures—Reality and myth[J].，1983，26(10)：2816-2850.

［3］ Schadow K C，Gutmark E. Combustion instability related to vortex shedding in dump combustors and their passive control[J].，1992，18(2)：117-132.

［4］ Sarkar S，Lore K G，Sarkar S. Early detection of combustion instability by neural-symbolic analysis on hi-speed video[C]//2015：. Montreal，Canada，2015.

［5］ Ghosal S，Akintayo A，Boor P，et al. High-speed video-based health monitoring using 3D deep learning[C]//2017. Cambridge，MA，2017.

［6］ Chakravarthy S R，Shreenivasan O J，Bhm B，et al. Experimental characterization of onset of acoustic instability in a non-premixed half-dump combustor[J].，2007，122(1)：120-127.

［7］ Berkooz G，Holmes P，Lumley J L. The proper orthogonal decomposition in the analysis of turbulent flows[J].，1993，25(1)：539-575.

［8］ Schmid P J. Dynamic mode decomposition of numerical and experimental data[J].，2010，656：5-28.

［9］ Krizhevsky A，Sutskever I，Hinton G E. ImageNet classification with deep convolutional neural networks[J].，2017，60(6)：84-90.

［10］ Collobert R，Weston J. A unified architecture for natural language processing：Deep neural networks with multitasks learning[C]//. Helsinki，Finland，2008：160-167.

［11］ Lore K G，Akintayo A，Sarkar S. LLNet：A deep autoencoder approach to natural low-light image enhancement[J].，2017，61：650-662.

［12］ Venugopalan S，Rohrbach M，Donahue J，et al. Sequence to sequence—Video to text[C]//(). Santiago，Chile，2016.

［13］ Gangopadhya T，Locurto A，Michael J B，et al. Deep learning algorithms for detecting combustion instabilities[G].. Singapore：Springer，2002：183-300.

［14］ Choi O，Choi J，Kim N，et al. Combustion instability monitoring through deep-learning-based classification of sequential high-speed flame images[J].，2020，9(5)：848.

［15］ Durox D，Prieur K，Schuller T，et al. Different flame patterns linked with swirling injector interactions in an annular combustor[J].，2016，138(10)：101504.

［16］ Arbib M A.[M]. Massachusetts，USA：MIT Press，1995.

［17］ Hochreiter S，Schmidhuber J. Long short-term memory[J].，1997，9(8)：1735-1780.

［18］ Kim P.[M]. CA：Apress，2017.

［19］ Canny J. A computational approach to edge detection[J].，1986，8(6)：679-698.

［20］ 邱锡鹏. 神经网络与深度学习[M]. 北京：机械工业出版社，2020.

Qiu Xipeng.[M]. Beijing：China Machine Press，2020(in Chinese).

［21］ Ioffe S，Szegedy C. Batch normalization：Accelerating deep network training by reducing internal covariate shift[C]//. Lille，France，2015.

［22］ Boureau Y，Bach F，LeCun Y，et al. Learning mid-level features for recognition[C]// 2010. San Francisco，CA，2010.

［23］ Redmon J，Farhadi A. YOLO9000：Better，faster，stronger[C]//2017. Honolulu，USA，2017.

［24］ Rumelart D E，Hinton G E，Williams R J. Learning representations by back-propagating errors[J].，1986，323：533-536.

［25］ Lang K J. A Time-Delay Neural Network Architecture for Speech Recognition[D]. USA：Carnegie Mellon University，1988.

［26］ Haykin S.[M]. USA：Prentice Hall，2008.

［27］ de Boer P T，Kroese D P，Mannor S. A tutorial on the cross-entropy method[J].，2005，134：19-67.

［28］ Kingma D P，Ba J. Adam：A method for stochastic optimization[C]//. San Diego，USA，2015.

［29］ Tajbakhsh N，Shin J Y，Gurudu S，et al. Convolutional neural networks for medical image analysis：Fine tuning or full training? [J].，2016，35(5)：1299-l312.

Combustion Instability Detection Method Based on CNN-LSTM Deep Learning

Lü Zengyi，Wang Gaofeng，Yang Yao，Zhang Feifei

(School of Aeronautics and Astronautics，Zhejiang University，Hangzhou 310027，China)

The paper proposed a deep learning model based on high-speed flame image sequences to detect combustion instability. Taking high-speed flame image sequence as input，and combining convolutional neural network(CNN)and long short-term memory(LSTM) network，the model was adopted to study spatial features and time correlation of image sequences，with the combustion instability detection results as the final output. Robustness and accuracy of the model were verified by transient steady and unsteady flame image datasets in a swirl combustion chamber under various working conditions. The deep learning model has been proved to be a potential tool for detecting combustion instability and is expected to be a promising tool for predicting combustion instability.

swirl premixed combustion；combustion instability；deep learning；convolutional neural network

TK11

A

1006-8740(2022)02-0119-07

10.11715/rskxjs.R202202012

2021-04-09．

国家重大科技专项资助项目(J2019-Ⅲ-0006-0049)；国家重点研发计划资助项目(2021YFA0716202).

闾曾怡（1996—  ），女，博士，lzyi@zju.edu.cn.

王高峰，男，博士，教授，gfwang@zju.edu.cn.

(责任编辑：隋韶颖)