基于深度学习的烧结断面识别分类研究*

阮志国，周 敏，文喆皓，高 强

(1.武汉科技大学 冶金装备及其控制教育部重点实验室,湖北 武汉 430081;2.武汉科技大学 机械传动与制造工程湖北省重点实验室,湖北 武汉 430081)

0 引 言

烧结机是冶金烧结工作中重要的供用设备之一，其烧结工作是一个非线性、强耦合性的过程，机尾断面的烧结状态难以建立完整准确的模型[1，2]。烧结机机尾断面是反映烧结终点与烧结过程动态信息最直观有效的方式，其状态的实时监测和在线识别对提高烧结质量、工艺参数调优等起着重要作用。宋宝宇等人[3]应用电荷耦合器件(charge coupled device,CCD)摄像机采集烧结机尾断面图像，经特征提取后使用反向传播(back propagation,BP)神经网络对图像分类识别，在一定程度上改善了烧结生产方法。刘征建等人[4]利用一种新的特征断面图像采集算法，在判断区域设定边界阈值，提高了不同烧结条件下截面采集图像的准确率，但此种方法耗时较长，实时监测效果差。Chen Z K等人[5]提出一种识别烧结矿尾部的火焰图像特征来确定烧结断面状态的方法，使用基于粒子对优化器的模糊C均值(fuzzy C-means,FCM)聚类对图像分割，取得较好效果，但对烧结状态判断需要大量数据。Wang F等人[6]提出了一种自适应模糊增强的方法，对烧结断面在火焰图像增强、亮度特征、几何特征方面进行分析，得到各特征之间的相关性关系，该方法可有效判别烧结终点状态，但对图像质量要求较高。

在结合前人研究的基础上，提出了一种基于深度学习的机尾断面识别分类方法。首先，在图像预处理环节增加YCbCr色彩转换模型，有效减弱光晕影响；接着，使用粒子群优化(particle swarm optimization,PSO)算法优化Canny算子,提高断面图像边缘检测连续性；最后，建立LetNet—5卷积神经网络模型进行识别分类。

1 烧结断面状态分类

通过工业面阵相机获取烧结断面图像，根据武汉某企业烧结机机尾烧结断面监测数据并结合专家经验判断，烧结断面可分为以下3种状态：烧结均匀、欠烧、过烧。分别如图1(a)～(c)所示。

图1 3种烧结状态

2 烧结断面图像预处理

工业相机在采集烧结断面图像时，会受到灰尘、振动和光线等外界因素的影响，导致红火层区域和背景区域之间的边界模糊且不连续，图像附带噪声并出现光晕[7]。相机采集到的图像属于由 R(红色)、G(绿色)、B(蓝色)3种色彩分量组成的RGB彩色图像，RGB颜色空间受亮度影响大，其中一种分量变化会同时影响另外两种分量，适用于系统显示，对图像处理效果差。当实物亮度相差比较大或者受光线因素影响区域模糊时，工业相机难以获取到理想的图像，且光晕的出现会导致红火层区域面积扩增，后续的识别分类不准确，所以，必须先对断面图像预处理。一般的图像平滑处理对消除光晕现象效果不明显，对RGB图像而言，转换色彩空间可以滤除图像中不必要颜色分量，提取有效分量，保留高频信号的边缘信息。YCbCr颜色空间亮度通道稳定，对抑制噪音，增加图像细节有较好的效果[8]。图像RGB颜色空间转换到YCbCr颜色空间公式如下

(1)

式中Y为亮度分量，Cb为蓝色色度分量，Cr为红色色度分量。由RGB颜色空间转换到YCbCr颜色空间效果如图2(a)所示，断面灰度化实现需提取Y分量，效果如图2(b)所示。

图2 RGB到YCbCr转换

由图2(b)看出，烧结断面图像光晕得到部分消除，为保证后续识别分类工作的有效进行，使用中值滤波算法对转换后的图像进一步处理。中值滤波是一种非线性滤波算法，核心理论为排序统计，对抑制噪声、保留图像边缘细节效果好[9]。中值滤波定义如下

H(x,y)=Median(G(x,y)),(x,y)∈A

(2)

式中G(x,y)，H(x,y)分别为输入图像和输出图像的灰度值，A为大小为m×n的选取窗口，Median为像素总值的平均函数。选取m=n=3时的中值滤波效果如图3所示，可以看出，通过YCbCr颜色空间转换并进行中值滤波过滤后，烧结断面图像光晕得到有效减弱，图像细节更加清晰。

图3 中值滤波处理

3 基于PSO优化Canny算子的断面边缘检测

边缘检测是图像识别的重要步骤，从边缘中能够得到有关图像细节的许多基本信息，是图像深度学习领域的重要环节[10]。Canny边缘检测算子充分利用了图像梯度幅值和梯度方向的极大值来确定边缘，并引入滞后阈值方法寻找合适阈值，边缘点能够很好地被定位并且接近真实边缘。在Canny算子中，如果边缘像素小于低阈值则被丢弃，边缘像素大于高阈值则保留真实边缘，这种检测方法在抑制噪声方面更好，更容易检测到图像中的强弱边缘[11]。Canny算子检测到的边缘如图4所示。

图4 Canny算子边缘检测结果

图4所示Canny算子检测出一些错误边缘，边缘较为杂乱且连续性差。这是因为Canny算子在运算处理时，需要保留的边缘细节较多，阈值的设定和检测结果受到图像及其应用情况影响。粒子群算法是一种全局智能寻优算法，通过搜寻粒子解空间和粒子间相互作用找到全局最优解[12]。使用PSO算法选择Canny算子最佳阈值，实现非线性复杂阈值的自适应确定。

PSO算法优化Canny算子步骤如下：

1)输入图像数据集。

2)高斯滤波：是一种线性低通滤波器，允许某一频率以下的信号分量通过，而抑制该频率以上的信号分量，平滑效果柔和，边缘保留较好。Canny算子先设计一个滤波器并同时计算合适的掩模，然后将原始图像与掩模卷积在一起。用σ表示标准差，则高斯滤波函数可表示为

(3)

3)确定图像梯度：通过确定梯度来识别图像的变化强度进而查找边缘。梯度幅值、方向定义如下式

(4)

θ(i,j)=arctan[py(i,j)/px(i,j)]

(5)

式中px(i,j)和py(i,j)分别为一阶x方向和y方向上的偏导数。

4)非极大值抑制：梯度图像具有模糊边缘，通过保留所有局部极大值并消除图像中的其他像素，将其转换为强边缘。

5)双阈值确定和边缘连接：此时的图像仍可能包含噪声或不相关的值，Canny算子使用双阈值进一步抑制噪声并保留真实图像。假定边缘像素为T、高阈值为H、低阈值为L；若T>H，则T被定义为强像素；若T

Step1 断面图像灰度化并识别图像直方图，像素值概率表示公式为

(6)

式中Pb,Pt分别为背景像素和对象像素的先验概率；μb，μt为均值；σb，σt为分布标准差。若用Rb为背景像素概率分布，Rt为对象像素概率分布，则背景像素误分类为对象像素概率可用式(7)表示，对象像素误分类背景像素概率可用式(8)表示

(7)

(8)

Step2 若图像灰度等级为G，则阈值选择如式(9)所示

T=min(Eb(T)+Et(T)),T∈[0,1,…,G-1]

(9)

Step3 设定迭代次数并初始化PSO算法中粒子位置Xi和速度Vi；

Step4 粒子适应度评估；

Step5 以适应度最小值作为每次迭代时粒子个体极值Pi，并找出全局极值Pg；

Step6 由下式更新粒子速度和位置

(10)

6)使用滞后阈值对图像进行边缘跟踪，去除虚假边缘并将有效边缘进行连接，获得最终分割图像。

PSO算法优化Canny算子后的检测结果如图5所示，对比图4可以看出，引入PSO寻优的阈值，Canny算子滤除了一些杂乱线条，边缘轮廓清晰且连续，细节更好。

图5 PSO算法优化Canny算子边缘检测结果

4 模型训练

此时机尾断面烧结图像轮廓已经被较好地分割出来，建立的图像库可用深度学习的方法进行分类。卷积神经网络以其在图像识别中的高性能得到许多学者青睐，是深度学习中常用的方法之一，该方法中图像本身直接用于学习过程中，重要特征自动学习并提取，能够提取浅层特征和深层复杂的高阶特征[13，14]。

4.1 基于LeNet—5模型的断面图像分类

本文数据来自于武汉某企业烧结机断面烧结图像库。烧结机机尾安装振动传感器在收集到振动信号后触发工业相机进行连续拍照，所有的图片通过数据采集卡上传计算机图像库。由于本文数据集中图片数量不大，若采用太过复杂的网络模型容易出现过拟合现象，LeNet—5模型能很好适应该情况。基于LeNet—5烧结图像分类模型结构如图6所示。其中，输入层图像尺寸统一归一化为64×64。输出层设为全连接层，包含3个神经元节点对应烧结状态3种类别，激活函数为SoftMax。

图6 基于LeNet—5烧结图像分类模型结构

4.2 实验与结果分析

本文卷积神经网络模型主要在Keras框架[15]下实现，使用Python3.6编写。实验在Windows10 64位平台中运行，CPU型号为i5—10300H，内存为8 G，GPU型号为GTX 1650Ti。具体实验步骤如下：

1)数据预处理：将分割提取后的断面图像进行划分，即作为训练集的样本图像每类360张，共计1 080张，验证集样本图像每类120张，共计360张，测试集样本图像每类60张，共计180张；2)参数设置：设置训练的轮数为50，初始学习率0.001，批量的大小设置为32。梯度下降优化器选择Adam[16]，设置所有的图像尺寸统一为64×64；3)确定损失函数和评价指标：图像分类识别属于多分类任务，由于图像样本数量均衡，可采用准确率作为网络模型的评价指标。模型采用交叉熵损失函数，计算公式为

(11)

式中p为模型的预测值，t为真实值，i为对应的数据点，j为对应的类别；4)训练网络：将划分好的样本输入给构建的LeNet—5模型进行训练，模型训练结果如图7所示。

图7 模型训练结果

实验结果得出，该模型测试准确率达到92.7 %，具有良好的分类效果。将该模型与BP神经网络模型进行比较。设定BP神经网络输入节点数为3，隐含层节点数为10，输出节点数为3，1 080个训练样本，最终分类结果比较如表1所示。可以看出，基于LeNet—5模型的烧结图像分类识别效果优于BP神经网络模型。

表1 BP神经网络、LeNet—5模型分类结果比较

5 结束语

由于传统烧结断面识别工况复杂，难以建立准确有效的分类识别模型，且人工控制效率低、成本高。基于此提出一种基于深度学习的烧结断面识别分类方法，预处理环节利用YCbCr色彩转换结合中值滤波的方法减弱光晕现象，增强图像质量；针对Canny算子阈值难以设定问题，采用PSO算法优化Canny算子阈值参数，提高了边缘提取精度；最后建立基于LeNet—5卷积神经网络的烧结断面分类模型，分类精度达到92.7 %。对比BP神经网络模型，LeNet—5模型分类精度更好。在未来工作中，将进一步考虑复杂环境下的烧结状态的分类识别，实现多参数下的工艺自动调优。