基于时序图像深度学习的电熔镁炉异常工况诊断

吴高昌 刘强 柴天佑 秦泗钊

电熔镁砂(Fused magnesium furnace,FMF)具有熔点高、结构致密、抗氧化性强、耐压强度高、耐腐蚀性强以及化学性能稳定等优良特性,在工业、军事领域乃至航天工业中都是不可或缺的战略资源.目前,提炼电熔镁砂的工艺流程通常是利用三相交流电熔镁炉(简称电熔镁炉)通过电弧来对以菱镁矿石为主的粉末状原料加热熔炼.通过吸收电弧产生的热量将矿石粉末加热到近3 000◦C,分解为熔液状态的氧化镁(MgO)和二氧化碳(CO2)气体,再通过降温结晶过程排除杂质,从而得到高纯度的MgO晶体,即电熔镁砂[1−3].而熔炼所用容器为有限使用次数的铁制炉壳,并通过水循环系统进行冷却.

电熔镁炉的运行主要包括加热熔化、加料和排气三种正常工况.由于我国电熔镁矿石存在品位低、矿物组成复杂以及成分波动大等特性,物料在熔化过程中电阻和熔点不稳定,易发生欠烧等异常工况[4−5],对生产安全、人员安全和产品质量产生很大影响,通常是由于原料杂质成分导致局部熔点升高,以及不适当的电流设定值使局部熔炼区温度低于原料熔化温度,熔池过于粘稠,使CO2气体无法正常排出,迫使溶液穿透炉壳保护层与铁质炉壳直接接触,造成炉壳温度过高至烧红烧透,处理不及时甚至会导致烧漏、熔液漏出现象.

由于超高温电熔镁炉熔液温度不直接可测,目前欠烧异常工况主要通过现场工人定期观察炉壳特征来诊断.但人工巡检工作强度大、危险性高,且准确性高度依赖操作人员的经验和状态.此外,通常从正常工况到产生欠烧工况仅需2∼3 分钟,而巡检工人通常需要对每个厂区内的三台电熔镁炉进行往返巡视,滞后性大,处理不及时会导致漏检.针对上述问题,亟需一种自动且快速有效的电熔镁炉工况诊断方法.文献[4]提出了一种基于电流数据的工况诊断方法,通过各工况的历史电流数据提取出一系列专家规则库,再利用该规则库对现场运行工况进行实时诊断.但实际生产的众多不稳定因素导致该方法无法准确、稳定地工作,例如熔池中不断产生的CO2气泡导致熔液翻滚,使液面与三相电极间距不断变化,电阻也会随之改变,导致电流无规律的波动.此外,根据电流数据人为制定专家规则也高度依赖于专家经验,易发生漏报和误报.在计算机视觉领域,卷积神经网络(Convolutional neural network,CNN)由于出色的空间特征提取性能被用于图像分割[6]、图像超分辨率复原[7−8]以及图像识别[9−10].利用CNN 的空间特征提取特性以及生成式对抗神经网络(Generative adversarial networks,GAN)的样本生成特性,文献[11]通过静态图像信息进行工况诊断,但在训练与预测过程仅利用单帧图片输入,缺少对连续时间信息的感知,因此模型无法描述实际生产的动态过程.而在动态过程的表征及识别方面,循环神经网络(Recurrent neural network,RNN)由于特殊的时序编码结构被广泛应用于语音辨识[12−13]、视频识别[14]以及视频预测中[15].但RNN 结构仅利用全连接结构作为输入,因此往往忽略了图像序列中的空间特征.

根据前文所述,电熔镁炉欠烧工况时溶液凝固在炉壳内壁导致炉壳烧红烧透,为异常工况诊断提供了更直观的视觉信息.本文主要工作如下:

为排除熔炼现场众多随机因素的干扰,提出灰度一致性变换和时序残差图像提取的预处理方法;针对电熔镁炉异常工况发生发展的视觉特征,提出将CNN 与RNN 相结合的工况诊断方法,其中CNN 对预处理后的序列图像提取空间特征并编码为时间独立的特征向量,再将一系列按时间序列排列的特征向量输入至RNN 用以提取时序特征,从而挖掘出异常工况从无到有再到显著的时空特性;针对电熔镁炉异常工况标记数据稀疏及获取困难等问题,且为了避免人工逐帧标记,结合电熔镁炉异常工况的位置相对固定以及随时间变化缓慢的特性,提出一种基于加权中值滤波的欠烧工况标记方法,并利用电熔镁炉实际生产过程的视频信号,对所提方法与现有两种深度学习模型(基于CNN 的模型与基于RNN 的模型)进行了实验比较,验证了所提方法的有效性.

1 电熔镁炉欠烧工况视觉特征分析

电熔镁炉生产现场如图1(a)所示,其中实线框内为所标记的炉壳区域.当欠烧工况开始发生时,炉壳的局部区域会被粘稠MgO 熔液烧红(如图1(b)所示,其中欠烧工况发生的部位被标记在实线框内).通过识别炉壳的图像序列中的高亮度区域便能对这一工况进行判断.但由于高亮度水雾以及炉壳上固有的白斑干扰,直接通过图像中高亮度区域来判断往往导致极高概率的误报.通过对原始图像序列提取出时序残差信息(如图1(c)显示了某时刻欠烧工况下的时序残差图像,两处高亮度区域为欠烧区域),可有效抑制炉壳上固有特征(如白斑)带来的干扰,以及由于不同图像序列中光照不一致造成的环境干扰.

在空间维度上,虽然欠烧工况的区域形状不定,但由于其形成的内在机理是由于熔液凝固在炉壳内壁所致,因此具有一定的空间特征规律(如图1(b)所示).最直接的异常工况诊断方法是对残差图像进行逐帧空间特征提取,再对工况进行分类.然而,由于环绕在炉壳周围的水雾也呈现出高亮度特征,且区域形状不定,会对最终的分类结果造成较大干扰.因此,大量水雾带来的干扰成为从空间维度准确诊断电熔镁炉欠烧工况的主要难点.简单地将空间特征作为判断依据并无法完整描述欠烧工况.

图1 电熔镁炉欠烧工况视觉特征分析Fig.1 Analysis of visual features of semimolten condition for an FMF

在时间维度上,欠烧区域一旦发生则位置随时间相对固定,且亮度与范围随时间递增的特征不同,水雾在时间维度中呈现出持续时间短且空间位置不确定性强的特征.图1(d)为图1(c)中竖线标记位置处残差随时间的变化,其中横坐标为时间序列,纵坐标为图像空间维度中的垂直维度y.图1(d)中,虚线框内为水雾干扰区域,随时间呈现出类似噪声分布特征;实线框内为欠烧工况区域,在时间维度上呈现出位置相对固定而强度递增的特征.但由于各种因素干扰,欠烧工况区域并不是严格随时间变大,即会在某些时刻变小甚至在短时间内消失(如图1(d)箭头所示).因此,在利用每一时刻图像的空间信息的同时,需要结合其在长时间跨度的整体动态特性作为诊断依据.

2 基于卷积循环神经网络的电熔镁炉异常工况诊断

2.1 电熔镁炉异常工况诊断策略

图2 基于CRNN 的电熔镁炉欠烧工况诊断策略结构图Fig.2 Framework of the proposed semimolten condition diagnosis based on CRNN for FMF

本文利用电熔镁炉现场生产过程的视频信号,结合欠烧(异常)工况的视觉特征,分别利用CNN与RNN 提取空间与时间维度上的特征,并建立如图2 所示的基于卷积循环神经网络(Convolutional recurrent neural network,CRNN)的电熔镁炉欠烧工况诊断结构.该结构主要由三部分组成:图像序列预处理模块、基于卷积循环神经网络的特征提取模块和基于加权中值滤波的工况区域标记模块.

将图像序列预处理得到的结果作为网络输入,基于加权中值滤波的工况区域标记作为网络的期望输出,建立基于CRNN 的特征提取模型.在实时诊断过程中(图2 中实线框部分),对于实时视频信号首先通过视频序列预处理模块,处理后的图像序列输入训练得到的CRNN 模型得到诊断结果输出.

具体地,图像序列预处理模块由图像序列灰度一致性变换与时序残差图像提取步骤组成,前者用以排除电熔镁炉炉口火焰亮度波动造成的相机不稳定曝光干扰,后者用以排除不同炉壳表面固有视觉特征带来的干扰.在基于RNN 的特征提取模块中,CNN 利用输入的图像提取空间特征,并输出时序上无关联的空间特征向量,而RNN 则利用该特征向量在时序维度上进行特征提取,并最终获得工况诊断信息.本文使用对时间感知能力较强的长短期记忆(Long short-term memory,LSTM)结构[16]作为RNN 的基本单元.由于对实际视频信号进行逐帧的异常工况区域标记过程复杂且成本过高,本文结合欠烧异常工况的视觉特征,利用基于加权中值滤波的工况区域标记模块对标记数据进行稠密化与区域优化,而初始标签数据获取阶段仅需要粗略与时序稀疏的人工标记.

2.2 异常工况诊断算法

2.2.1 图像序列预处理

首先对相机采集的原始图像序列依次进行灰度一致性变换和时序残差图像提取.

1)图像序列灰度一致性变换.在生产过程中,电熔镁炉炉口亮度波动会对相机曝光产生随机干扰,相机自动调整曝光量会使拍摄的炉体图像明暗不一.这种整体的环境光波动会对后续空间特征提取产生干扰.因此,本文利用灰度一致性约束[17]对炉壳图像序列进行处理.令VRGB={I1,I2,···,IN}为相机拍摄的图像序列,其中In为第n帧RGB 空间的图像.首先通过颜色空间映射将RGB 空间的图像序列V转换到Lab 空间,即VLab=fLab(VRGB)={fLab(I1),fLab(I2),···,fLab(IN)},其中fLab为颜色空间映射函数(将RGB 空间图像映射到Lab 空间).现将Lab 空间的图像f(In)简写为Hn,则经过灰度一致性约束的图像为

2)时序残差图像提取.不同电熔镁炉可能存在固有的视觉特征差异,例如图1(b)中炉壳上的白斑,以及不同的环境光源.为排除这些固有视觉特征差异对工况诊断的干扰以及使后续网络模型可以用于不同电熔镁炉,本文对经过灰度一致性变换后的图像序列进行时序残差图像(图1(c))提取,其值为

其中,Rn表示第n帧时序残差图像,fYUV为将图像从RGB 空间映射到YUV 空间的函数.类似式(1),取前N2帧图像的平均值作为参考图像,其中N2取经验值50.本文仅采用式(2)中时序残差图像Rn的Y 通道作为后续基于深度学习的工况诊断的网络模型输入,即时序残差图像序列VR={R1,R2,···,RN}.

需要注意的是,本文提到的时序残差图像是指相对于初始状态(即前50 帧的平均状态)的残差而非相对于上一时刻的残差.另一点需要注意的是,由于熔炼初期不会发生欠烧工况,使用熔炼初期的前N2帧图像的平均值作为参考图像.因此,该预处理不会带来诊断延迟.

2.2.2 基于卷积循环神经网络的特征提取

1)基于CNN 的空间特征提取.传统图像处理方法依靠人为定义的算子(如梯度算子、Sobel 算子和SIFT 算子)提取图像特征.这些由算子提取特征的操作可视为算子ω与残差图像R的卷积操作,即F=ω ∗R,其中,∗代表卷积操作,F为图像特征矩阵.与传统方法不同,CNN 将卷积算子也称为卷积核W,视为可以调节的网络参数,即依靠大量训练数据和优化算法对这些参数进行自动调整,从而达到提取图像特征的目的.因此本文将一层卷积网络描述为

2)基于RNN 的时序特征提取.本文使用的循环神经网络直接利用CNN 的输出yconv作为输入,结构如图4 所示,其中网络输入x对应于卷积网络输出yconv.RNN 的隐含层单元不仅输出结果y,还包括状态h,且该状态h通过不断循环(如图4(a)所示),将时间序列信息引入网络.本文将输入x的当前时刻及历史时刻的序列作为RNN 的输入,展开为如图4(b)所示的结构.需要注意的是,由于状态h通过不断循环传递时序信息,时间t的状态ht为该时刻的输入x,即以及之前时刻的输入{xt−1,xt−2,···},即共同作用的结果.因此,RNN 的循环结构使得该网络能够描述输入序列的时间特性.

传统循环神经网络单元,存在随着时间递增,后节点对前节点的感知能力下降,即长期依赖问题[18].而长短期记忆单元,即LSTM 单元,通过门的设计来保护与控制每个节点的状态,其中一个门仅允许少量的线性交互,使得时间较早的信息不会流失[19].因此,本文利用LSTM 作为RNN 结构的核心单元来提取来自于CNN 的时序特征,结构如图5 所示,其中

图3 卷积神经网络结构Fig.3 Architecture of the proposed CNN

图4 循环神经网络结构Fig.4 Structure of the RNN

图5 LSTM 单元Fig.5 The LSTM unit

其中,K为诊断结果类别空间,K=[0,1](0 代表正常区域,1 代表欠烧区域).最终诊断结果为

本文将两个网络(CNN 与LSTM)作为一个整体进行训练,其损失函数LLoss为交叉熵,定义如下

其中,(x,y)为一组数据对,X为批处理数据中数据对数量,Q(y=k)为标签数据的概率分布,即对于正常区域Q(y=0)=1,Q(y=1)=0,而欠烧区域Q(y=0)=0,Q(y=1)=1.

2.2.3 基于加权中值滤波的工况区域标记

电熔镁炉欠烧工况主要依赖于人工判断,但人为地对训练集图像序列的每一帧进行标签制作成本较高.例如,对一段持续1 小时的图像序列进行标签制作,视频为30 帧/s,则需要对10 万帧数据进行欠烧工况发生位置的标记.尽管训练集不成对的网络训练方法已被提出[20],但需要利用只有输入数据和只有标签数据分别对网络进行训练,再通过同时有输入和标签的数据对进行网络参数调整.因此,仍然需要获取大量带有标签的工况数据.

为了快速并准确获取大量已标记数据,本文首先做出下述观察:

1)欠烧工况一旦发生,其空间位置保持不变,在残差图像中呈现出的区域大小随时间增加.

2)欠烧区域形状不规则,但是一旦发生,其形状不随时间发生较大变化.

产生这两项观察的根本原因是由于接触炉壳内壁的MgO 高粘度溶液不会随时间发生较大变化.

结合上述两项观察,本文提出一种从稀疏标记数据中自动得到密集标记数据的方法,仅需手动对图像序列中的2 帧图像进行欠烧工况的粗略定位,就能够通过自动标记优化方法对整段图像序列的欠烧工况发生区域进行准确标记,其具体步骤如下:

1)对图像序列进行稀疏粗略标记.对一段时序残差图像中欠烧工况发生的起始帧G1与结束帧GN进行人工定位,构成含有粗略定位的参考标记图像(如图6(c)所示).

2)将稀疏粗略标记传播至其他帧图像.利用线性投影将第一步中的两帧参考标记图像的标记区域传播至其他帧,构成其中线性投影可描述为

其中,Oi为第i帧对应的人工定位坐标.

3)标记区域优化.前两步得到的标记区域仅为粗略定位,因此本文利用加权中值滤波对每一帧的参考标记图像进行优化处理以得到最终的标签数据Yn:

图6 基于加权中值滤波的训练集标签生成Fig.6 Generation of training labels based on weighted median filter

其中,N(p)为像素p的邻域,xp为像素p的空间坐标,δ为克罗内克函数(Kronecker delta function),即当内部变量为0 时δ(·)=1,否则为δ(·)=0,Ri为预处理得到的第i帧时序残差图像,ρR和ρx为加权中值滤波器的固有参数.本文取ρR=0.08,ρx=2.图6(d)为经过加权中值滤波后的标签,结合图6(a)和图6(b)可以看到该标签能够对欠烧区域进行准确定位.

3 应用验证与实验结果与分析

本节结合实际的电熔镁炉过程介绍卷积循环神经网络的具体实现细节,并从电熔镁炉欠烧工况的诊断率与诊断敏感度两方面,对提出的深度学习网络模型进行评价.其中,诊断率由网络模型对所有测试帧的诊断正确率表示,包括漏诊断率(欠烧工况发生时未检测出)、误诊断率(正常状态下诊断为欠烧工况)和总诊断率(总的诊断准确率);诊断敏感度用从实际发生欠烧工况到由模型诊断出欠烧工况发生所历经的帧数表示.

实验主要与现有的纯卷积神经网络模型[21]和纯循环神经网络模型[12]进行对比.其中,文献[21]对输入图像分别提取局部空间特征与全局空间特征进行图像的显著性检测.具体地,文献[21]对局部裁剪图像以及整体图像,分别利用两个卷积神经网络进行空间特征提取,再通过一层全连接层融合不同尺度的空间特征.而文献[12]利用含有多层LSTM单元的RNN 进行语言识别.为了尽可能保证不同网络之间的对比公平性,对文献[21]及文献[12]均采用7 层网络结构,即对文献[21]采用4 层CNN与2 层全连接层进行不同尺度的空间特征提取,并利用1 层全连接层进行特征融;对文献[12]采用7层LSTM 单元(本文提出的网络包含6 层卷积层与1 层LSTM 单元).此外,通过去除预处理步骤中的图像序列灰度一致性变换和时序残差图像提取这两步来分析提出的预处理方法对最终诊断结果的影响.

3.1 卷积循环神经网络训练

本文使用从电熔镁炉熔炼现场采集的5 组图像序列,分辨率分别为330×380×300,330×380×367,315×385×800,360×480×201 和360×321×200,其中,前两个维度分别为水平与垂直方向的空间维度,最后一个维度为时间维度(即视频帧数).将第1∼3 组序列作为训练数据集,第4 组和第5 组用于进行应用验证.由于工业背景下存在数据获取困难的问题,直接使用采集到的图像序列用于会导致训练集过小,网络容易产生过拟合现象.为此,本文对第1∼3 组训练数据进行窗口化处理.CNN 网络输入为33×33×10 的数据(即空间维度取33×33),LSTM 网络总共所需的输入为64×10 的数据,则网络需要33×33×19 的数据输入.从欠烧工况开始时刻进行训练数据选取,3 组数据的开始时刻分别为121、266、290 帧,数据选取步幅为[14,14,8].共产生51 452 组训练数据对.使用第2.2.3 节中的训练数据集标记方法对训练与评价数据进行标记仅耗时60.46 s(除去对欠烧工况区域的人工定位时间).网络训练采用批处理方法,每批含有128 组数据,则共产生401 批数据,其中350 批作为训练数据,50批作为验证数据.

本文利用tensorflow[22]框架建立卷积循环神经网络模型(CNN 网络与LSTM 网络),并利用式(7)中的损失函数对两个网络同时进行训练.使用均值为0、方差为1×10−3的高斯分布来初始化网络模型的权值,偏置则初始化为0.使用Adam 优化算法[23]进行网络训练,初始学习率为1×10−3,学习衰减率为0.99,即对所有训练集训练一次则学习率衰减为之前的0.99 倍.网络训练在i7-4770,3.40 GHz的4 核CPU、内存为16 GB 的电脑中运行.通过4×105次训练,网络模型逐渐收敛,收敛曲线如图7所示,其中,训练Loss 和训练Acc 分别表示训练时的损失函数Loss 和准确率;验证Loss 和验证Acc分别表示验证时的损失函数Loss 和准确率.

图7 卷积循环神经网络收敛曲线Fig.7 Convergence curve of the convolutional recurrent network

3.2 诊断结果分析

本文利用电熔镁炉熔炼现场采集的图像序列4和5 对提出的卷积循环神经网络进行测试.将测试集中每一帧图像及其对应的工况作为一组测试数据,即总测试数据数量为序列总帧数(401 组).漏诊断率rO、误诊断率rF和总诊断率rA定义为

表1 显示了文献[21]提出的卷积神经网络模型、文献[12]采用的循环神经网络模型和本文使用的卷积循环神经网络对电熔镁炉欠烧工况的诊断率.所有方法均使用第2.2.1 节描述的预处理后的时序残差图像作为输入.

表1 电熔镁炉欠烧工况的诊断率(%)Table 1 Diagnosis rates of semimolten condition for FMF(%)

从表1 可以看出,由于缺少在时间维度上的特征提取,文献[21]中的卷积神经网络模型的总诊断率最低;文献[12]中的循环神经网络模型由于缺少对图像序列中每个像素的领域像素进行编码(即空间特征提取)而导致总的诊断率低于本文提出的方法;本文提出的CNN 与RNN 结合的方法通过对图像序列的空间特征和时序特征同时进行提取,从而能够达到较高的诊断率,且误诊断率较低(对本次实验的序列4 和5,误诊断率为0).

图8 电熔镁炉欠烧工况诊断结果Fig.8 Results of the semimolten condition diagnosis for FMF

图8 显示了对图像序列4 和5 的欠烧工况诊断结果,包括序列中炉壳表面某一欠烧区域的平均灰度值,对应的时序残差图像平均灰度值,以及文献[12]中的循环神经网络模型和本文方法的诊断结果.文献[12]中的循环神经网络模型对欠烧工况的诊断在序列4 中滞后标签数据8 帧(0.27 s),在序列5(图8(b))中滞后27 帧(0.90 s),而本文方法在对欠烧工况的诊断序列4 中滞后标签数据17 帧(0.57 s),在序列5 中滞后1 帧(0.03 s),因此本文提出的方法对异常工况有着更高的敏感度.此外,从图8 可以看出,循环神经网络模型[12]的诊断结果稳定性较差,例如在图8(b)中判断当前工况为异常工况后仍然可能将后续序列判断为正常工况,而本文提出的方法相对而言更加稳定.为了方便方法比较,对序列4 从101∼181 帧(显示间隔为10 帧)的结果进行了可视化展示,每列自上而下分别为输入序列、CNN[21]、LSTM[12]和本文方法的结果,诊断的欠烧区域以最小包围矩形标记显示如图9 所示.从图9可以看到,文献[12]中仅使用LSTM 的诊断模型与文献[21]中仅使用CNN 的诊断模型相比诊断结果更加稳定,但两者均倾向于将高亮度水雾区域误诊断为欠烧区域(例如,文献[21]诊断结果的第101,111,161,181 帧,文献[12]诊断结果的第101,141帧).而本文所提的卷积神经网络与循环神经网络相结合的方法则能够很大程度地避免这类误诊断现象.

在算法运行角度方面,在与训练所用电脑相同配置(i7-4770,3.40 GHz 的4 核CPU,16 GB 内存)条件下,所提方法在线诊断时对分辨率为360×480 的视频信号的执行速率为0.0271 s/帧,其中预处理耗时0.0057 s/帧,卷积循环神经网络耗时0.0214 s/帧.因此,整个算法流程每秒可处理约37帧图像,能够满足实时性要求.

3.3 预处理与网络可视化分析

本节对第2.2 节描述的预处理步骤(图像序列灰度一致性变换和时序残差图像提取)对最终欠烧工况诊断结果的影响进行分析,并对训练中间结果,即CNN 的第一层卷积核进行可视化,以分析空间特征对整个工况诊断的意义.

表2 为预处理步骤对欠烧工况诊断率的影响结果,其中,无预处理为去除灰度一致性变换和时序残差图像提取步骤的结果,无预处理1 为去除灰度一致性变换步骤的结果,无预处理2 为去除时序残差图像提取步骤的结果.本文提出的两步预处理步骤分别解决了炉口火焰对相机曝光产生的影响和冗余信息对网络模型产生的影响.从表2 可以看出,两者对最终的诊断结果均产生较为重要的影响,其中图像序列灰度一致性变换(即预处理1)对诊断结果的影响更大.此外,从图8 中输入图像平均灰度值与残差图像平均灰度值这两条曲线可以看出,未做任何处理的图像序列,图像灰度值在异常工况发生时无任何变化,而经过时序残差图像提取后,其灰度值变化较为明显.

表2 预处理对诊断率的影响(%)Table 2 Influences of two preprocessing procedures on diagnosis rates(%)

图9 电熔镁炉欠烧工况诊断结果可视化Fig.9 Visualization of diagnosis result of semimolten condition for FMF

图10 卷积神经网络的核函数可视化Fig.10 Visualization of kernels in the trained CNN

图10 为本文使用的卷积循环神经网络模型中CNN 权值参数的可视化结果,其中卷积核按照方差从大到小排列,且每个卷积核均被归一化到[0,1]区间.图10(a)为层(10×11×11×64)卷积核W1的第一个通道(共10 个通道).在这些卷积核中,部分核呈现出类似噪声分布的状态,主要是由于相机本身的噪声以及生产现场的水雾在空间与时间上呈现出无规律的变化;另一部分核呈现出较为规律的模式,类似人为定义的特征提取算子,例如边缘提取算子 点提取算子和纹理提取算子.这些卷积核通过将分布在不同空间位置的图像信息聚合为一个整体输入到LSTM 网络中,并通过参数训练来调整每个空间位置对最终输出结果的影响,从而将异常工况在炉壳的空间分布信息利用起来,使之在最终的工况诊断中发挥作用.

由于本文使用的CNN 模型采用多帧残差图像作为输入,网络也起到一部分时序特征提取作用,则卷积核W1的通道可以理解为卷积核随时间的分布.图10(b)展示了层第3 个卷积核(即图10(a)中实线框标记出的卷积核)随输入通道(即时间维度)的变化结果,可以看到卷积核随时序呈现较为缓慢的变化.但仅从10 帧图像无法判断该特征是由故障工况引起还是由大范围水雾干扰引起.因此仅采用10 帧图像作为CNN 的输入无法提取足够的时序信息来判断故障工况的发生,而利用更多的时序图像来将图像随时间的变化建立到CNN 中代价较高[24](例如,将30 帧图像序列建立到模型中则需要第一层核函数为30 层),这对网络收敛速度和后续的诊断速度都会产生较大的影响.由于循环神经网络有着出色的时序记忆特性,可以充分提取出序列图像随时间的变化关系,因此本文对电熔镁炉异常工况的时序特征提取主要通过循环神经网络来实现.

4 结论

本文结合生产现场的实际视频信息,提出了一种基于卷积循环神经网络的异常工况诊断方法.通过图像序列灰度一致性变换和时序残差预处理,排除了生产现场环境光变化以及不同电熔镁炉炉壳固有视觉特征的变化带来的干扰,提高了诊断精度.在此基础上,使用工况的视频信号,从空间和时间两个维度提取电熔镁炉异常工况局部缓变的时空特征,并诊断异常工况,相比其他方法具有更高的诊断精度.

本文提出的卷积循环神经网络可推广于其他具有强时空特征的其他工业过程的工况诊断,以及难以利用电流电压等易受到强干扰的一维数据进行工况诊断的工业过程;所提出的基于加权中值滤波方法可推广应用于工况标记困难的其他工业过程.

结合现有视频语义预测方法[25]以及基于过程数据故障趋势预测方法[26],下一步将在本文提出的卷积循环神经网络框架基础上,开展基于视频信号的故障趋势预测研究工作.