基于超像素混合合并方法的铜电解槽红外图像功能区域分割

2023-03-27李欣李勇刚吴仁超朱红求周灿

中南大学学报（自然科学版） 2023年1期

李欣，李勇刚，吴仁超，朱红求，周灿

(中南大学自动化学院，湖南长沙，410083)

铜电解精炼主要通过电化学反应完成粗铜精炼提纯。电解槽是电解反应发生的主要设备，电解槽内部反应状态难以直接监测，但槽面温度可反映电解槽工作状态[1]。红外热成像法由于具有非接触、大面积测温的优势而被用于监测槽面温度分布[2-3]。红外图像中电解槽主要分为3 类功能区域即盖布区、母排区、电解液区(进、出液区)，不同工况下各功能区呈现不同的温度特征。例如，极间电流分布失衡，母排区温度分布不均匀；电极间发生故障，盖布区呈现局部高温或低温；电解液质量下降，进、出液区域温度差异明显，并进一步导致盖布区温度发生变化。因此，将3类功能区域从红外图像中完整分割并标记出来对分析槽况、优化电解效率意义重大。然而，受环境因素干扰与热传导影响，各功能区灰度分布复杂，区域间边界模糊，为分割带来挑战。

目前，常用分割方法有阈值分割[4-5]、区域生长法[6-7]、活动轮廓[8-9]、神经网络[10-11]等。但由于电解过程涉及电化学、传热和流场，属于典型的多场耦合复杂过程，导致温度分布及热传导复杂，槽面灰度分布不均匀情况严重，给阈值选择带来困难。盖布与电极接触，电极短路后对应盖布区灰度升高，导致盖布与母排出现图像区域连通，区域边界不连续，区域分割方法和活动轮廓方法在区域间边缘处表现欠佳。神经网络方法良好的分割效果则依赖足够数量的已标注样本图片，这在实际工程问题中是一项繁琐、耗时的工作。区域分割还可通过像素分类方法实现，这需要提取判别性特征，而与可见光图像相比，红外图像具有分辨率低，缺乏颜色、边缘等细节特征，热传导的复杂性使得同类区域的特征差异增大，不同类区域间的特征差异减小，区域更加难以区分。

不同尺度空间的局部区域包含显著性不同的图像特征[12]，更有利于准确分割。方形[13]或高斯核函数[14]常用于提取不同尺度空间上的局部特征，用于分割面积小、具有特定灰度分布模式的小目标。对于大面积、灰度分布复杂的电解槽功能区域而言，超像素过分割法为不同尺度空间上的所有局部区域特征获取提供了基础[15-16]。过分割后一般通过合并算法或分类算法[17-18]完成最终分割，但合并算法中基于特征相似性的合并停止条件容易导致不同区域的超像素产生过合并，而分类算法中单一尺度区域的特征提取会使属于同一区域的超像素产生欠合并。本文针对铜电解槽红外图像，提出超像素混合合并方法，分两步在不同的尺度空间上提取不同超像素特征进行合并与分类。第一步，在小尺度空间上，针对合并停止条件，提出基于空间独立性约束的合并方法，引入莫兰指数[19]阈值并给出阈值选取办法，可有效避免过合并；第二步，在大尺度空间上，提取超像素纹理特征进行多类别SⅤM 训练，完成功能区域分类。最后，对本文所提方法进行实验验证。

1 实验方法

铜电解现场与电解槽槽面红外图像如图1所示。基于超像素混合合并方法的电解槽功能区域分割流程如图2所示。

图1 铜电解现场与电解槽槽面红外图像Fig.1 Copper electrolysis site and infrared image of cell surfaces

图2 分割流程Fig.2 Flow chart of segmentation

1)预处理提取单个完整槽；

2)超像素预分割，即利用简单线性迭代聚类(simple linear iterative clustering，SLIC)[20]算法对单槽图像过分割得到一系列超像素；

3)超像素混合合并：在合并阶段，利用小尺度特征，根据空间独立性判定条件迭代合并超像素；在分类阶段，提取大尺度超像素纹理特征训练SⅤM多类别分类器，识别电解槽3类功能区域。

2 预处理

2.1 单槽图像提取

所有电解槽形状、尺寸相同，每个电解槽具有独立编号。为了将槽号与图像对应，需提取单槽图像。图像中，横向的槽间母排区灰度明显比盖布区的高；两侧纵向的电解液区(进、出液区)灰度比盖布区的高。利用像素累积峰值法对图像进行简单分割：

其中：pij为像素灰度值；红外图像分辨率为M×N(M和N分别为图像的纵向和横向像素数)。通过确定累积曲线峰值坐标位置，定位母排区和电解液区位置(图3)也就是图像分割位置。

图3 单槽图像提取Fig.3 Individual cells image extraction

2.2 超像素预分割

保持边界完整性是确保区域准确分割的基础。电极随机短路，盖布区灰度值相应增大并接近母排区的灰度值，导致两区域之间的部分边界模糊甚至消失。简单线性迭代聚类能够产生分布紧凑且对边界贴合度较好的超像素。该算法流程如下：

1)将图像由RGB 彩色空间转化为CIE Lab 颜色空间。提取每个像素点的颜色特征(l,a,b)和空间位置特征(x,y)组成5 维特征向量(l,a,b,x,y)；构造距离函数，在局部范围内根据距离函数对像素点进行k-均值聚类。红外图像颜色特征为一维灰度值，因此，像素特征为3 维向量(g,x,y)，其中g为灰度值。

2)初始化聚类中心，确定聚类个数即超像素个数K；每间隔S像素对图像均匀采样，形成初始超像素。

确定每个超像素的聚类中心，在中心2S×2S范围内，计算每个像素与范围内所有聚类中心的相似度，根据相似度对像素分类，从而调整超像素。

K的选择影响超分割后边缘的准确度[21]。所有槽面尺寸相同，通过实验确定K(图4)。由于模糊边界主要位于盖布区与母排区之间，手动标注盖布区作为参照。分割后与标注区相交但不完全属于标注区的超像素被定义为欠分割超像素(见图4)，欠分割超像素所包含的边界像素数占标注边界像素数的比例为边界错误率。统计不同K取值情况下的边界错误率(见图4)，本文取K=600，因为此时边界错误率最小并开始保持稳定。槽面超分割效果如图5所示，超像素边界与区域边界黏合度高，为方便观察，相邻超像素间的共边分开表示。

图4 K选择过程Fig.4 Determination processes of K

图5 K=600时的超像素分割效果Fig.5 Super pixel segmentation when K=600

3 超像素混合合并方法

根据2.2节可知，槽面图像被过分割为K=600个超像素，超像素集合表示为RK={R1,R2,…,RK}。槽面图像中包含3 类功能区，完整分割各功能区域，需识别、合并属于同类区域的超像素。超像素混合合并方法利用不同空间尺度上的超像素特征，结合区域合并和分类完成最终分割。

采用区域邻接图(RAG)[17]描述超像素的拓扑结构，图中每个顶点代表一个超像素，连接2个顶点的边的权重w(vi,vj)表示相邻2 个超像素Ri和Rj之间的相似度。

传统的区域合并是根据RAG 中邻接顶点间的属性相似度迭代合并最相似的2个邻接超像素，直至所有邻接超像素的相似度满足阈值条件[17]。对高分辨率图像而言，相似度计算时超像素属性可选择多维特征[22-23]，而红外图像分辨率低，过分割后的超像素小(约27个像素)，主要捕获各局部区域的灰度特征，如图6所示。因此，提取超像素的平均灰度值μ={μ1,μ2,…,μK}和方差特征值σ={σ1,σ2,…,σK}构建邻接节点相似度函数fdis：

图6 3类功能区的超像素块Fig.6 Super pixel examples of three functional areas

其中：F为相似度阈值；I为超像素的邻接矩阵，默认不邻接的超像素完全不相似，邻接矩阵中对应元素值为无穷大。fdis越小，具有邻接关系的超像素Ri和Rj越有可能属于同一目标区域，满足式(6)条件，则合并停止。

迭代合并涉及到合并停止问题，即超像素合并到什么程度合适。由式(6)可知，迭代停止判断条件只考虑了超像素间属性的相似性，而没有考虑超像素属性的空间依赖性，如果阈值设置过大，导致不属于同一区域的、具有邻接关系的超像素过合；阈值过小，不能实现有效合并。

3.1 空间独立性约束下小尺度超像素合并

3.1.1 空间独立性约束合并

超像素是二维平面上分布在不同空间位置的图像块，原本属于不同类别的区域。而各类区域因为具有不同的结构、发热机制和传热材质，相互之间灰度特性具有独立性与空间差异性。例如，母排区热量主要来自电阻热，温度分布受电极排布与极间电流影响，灰度分布呈现周期性；进/出液区热量来自高温电解液，灰度分布较均匀；盖布区热量主要来自盖布、电极、热蒸汽之间的热传导和热对流，温度相比于其他区域较低，因此灰度较小，灰度分布具有随机性。

超像素分割增加了区域数量，减小了区域面积，同时也降低了这些区域之间的空间差异性，增大了超像素间灰度特性在空间位置上的依赖性，即超像素与其他位置超像素灰度特性相关。空间自相关(spatial autocorrelation)[24]可用来描述二维平面上不同对象的观测数据在空间位置上的相关性。莫兰指数是度量空间自相关性的常用指标，被应用于各个领域[25-27]，莫兰指数Mml的计算式如下：

其中：Xi与Xj分别为第i和j个超像素的平均灰度测量值；为所有超像素的平均灰度值。空间权重矩阵W用于描述各测量对象之间的空间接近程度或邻接关系[28]，本文W为零一矩阵：当wi,j=1时，第i和j个超像素邻接；当wi,j=0 时，超像素不邻接。-1 ≤莫兰指数Mml≤1。当Mml趋于1 时，对象平均灰度测量值之间空间相关性明显；当Mml趋于-1 时，对象平均灰度测量值之间空间呈负相关；当Mml接近0时，对象平均灰度测量值在空间随机分布。式(6)中每次迭代合并只考虑局部超像素对的相似性，而莫兰指数(式(7))既考虑了全局邻接对象的相似性，同时也兼顾了超像素间的空间分布，更加适用于合并停止条件的判断。

属性相似、灰度空间相关的邻接超像素合并为尺度更大的超像素后，使当前二维图像上各超像素区域平均灰度间的空间相关性相比于之前降低。图7所示为超像素平均灰度值莫兰指数随合并次数不断下降的过程。

图7 Mml随超像素合并次数的变化Fig.7 Changes of Mml with the merging number of super pixels

在迭代合并过程中，每次合并超像素后，计算当前区域邻接图的超像素平均灰度莫兰指数，直至莫兰指数小于阈值停止合并。图8所示为空间独立性约束下分割后的超像素(见图5)的初步合并效果。

图8 超像素合并结果的伪彩图与实际区域Fig.8 Pseudo-color map and actual area of super pixel merging result

基于空间独立性约束的超像素合并算法伪代码如下。

3.1.2 阈值选择

基于空间独立性约束的超像素合并，在各区域灰度分布均匀、同质的理想情况下，合并超像素的尺寸逼近所属区域尺寸，平均灰度值莫兰指数阈值达到最低。因为实际槽面图像各区域内灰度分布复杂，区域内存在局部的灰度异质分布，如槽面高亮短路，盖布区与母排区的灰度值类似，过小的莫兰指数阈值导致槽面短路区与母排区过合并为一个区域，故不能仅仅依靠设置一个小的阈值实现区域的分割。

为了增强合并算法的鲁棒性，考虑到电解槽面场景固定，选择10 张具有不同程度干扰的槽面图像，手工划分超像素，超像素个数为t，确保将每个关键区域完整地作为一个超像素(图9)，构建RAG，计算相应RAG 下的平均灰度值莫兰指数Mt，取均值作为莫兰指数阈值TM(式(10))。

图9 功能区作为超像素Fig.9 Functional areas as super pixels

3.2 基于PSO-SVM的大尺度超像素分类

空间独立性约束下的超像素初步合并保留了超像素与目标区域相贴合的边界，同时增大了超像素尺度。大尺度的超像素相比于小尺度超像素蕴含了更丰富的特征，尤其各区域由于物理结构不同而表现出的纹理差异：母排区呈现周期性纹理，且纹理较深；盖布区虽然也表现出一定的周期性纹理，但盖布区纹理较浅且粗糙；电解液区纹理平滑。因此，提取大尺度超像素的纹理特征，对超像素进一步分类，4 类目标区域的类别标签见表1。

表1 功能区域类别标签Table 1 Labels of functional areas

纹理特征的计算基于规则图形，超像素形状不规则，因此，需在每个超像素内构建最大内接矩形，然后，计算内接矩形在水平方向上(θ=0)、间隔2 个像素的灰度共生矩阵G。基于G，提取7个(表2)具有灰度变换不变性的纹理特征[29]用于分类识别。其中，Pij为共生像素对(Ri，Rj)在G中出现的概率；pi和pj分别为共生像素对的灰度值；μr和σr为灰度值pi在G中对应行上的均值与方差；μc和σc为灰度值pj在G中对应列上的均值与方差。为了展示超像素纹理特征的分类能力，随机抽取数据，得到4 类区域的纹理特征在各维度上的特征值，如图10所示，C1类与C2类、C1类与C3类均可由熵(ENT)、相异性(DIS)、对比度(CON)、相关性(COR)进行区分，C2 类与C3 类均可由相异性(DIS)和对比度(CON)进行良好区分。

图10 4类区域各维度上的特征值Fig.10 Feature values on each dimension of the four class of regions

表2 大尺度超像素的纹理特征Table2 Textural features of large scale super pixels

利用SⅤM 分类器[30-31]对大尺度超像素进行分类。根据3.1节方法进行超像素初步合并后，搜集属于各类区域的大尺度超像素，构成带有类别标签的数据集，并将其作为SⅤM 的训练样本，根据表2 对每个数据提取纹理特征，组成包含n个7 维(即维度l=7)特征的训练集Xn×l参与SⅤM 训练，Yn×l为类别标签，yi∈{-1,1},i=1,2,…,n。分类器学习通过下式实现：

式中：C为常数惩罚因子；ξi为松弛变量；超平面(w,b)中w为分类超平面的法向量，b为原点到超平面的距离。φ(xi)为映射函数，其拉格朗日对偶问题如下：

其中：K(xi,xj)=＜φ(xi),φ(xj)＞为核函数，＜·,·＞表示直积；a为拉格朗日乘数；根据多次实验，考虑超像素分类的准确度，最终选择RBF 函数作为核函数即σ为高斯核带宽此时，分类决策函数为

为了提高SⅤM 的分类器的泛化能力，采用粒子群算法对参数C和σ进行优化，适应度函数为分类器的准确率。由于支持向量机是二分类学习算法，这里需应用OⅤO(one versus one)方法[32]设计多类别分类任务，对每一对不同类别的样本设立一个二分类器，共6个SⅤM分类器。

4 实验结果与分析

采用大立科技DM63在线式系列红外热成像仪采集铜电解槽面红外图像数据，成像仪垂直吊装于距槽面9.3 m 高的搬运行车上，镜头(焦距为9 mm)向下拍摄，图像分辨率为240 像素×320 像素。计算机配置参数如下：CPU，AMD Ryzen 5 1600 Six-core，16 GB内存，64-bit Windows10 操作系统，MatlabR2016 a编程。

为证明空间独立性约束合并方法的有效性，将其与相似性约束合并停止条件[17]进行对比。对包括和不包括短路2种情况的电解槽图像进行超像素分割后(K=600，归一化参数m=2)，分别应用2种方法进行超像素初步合并，结果如图11所示，相似性约束使得原本不属于同一区域的大量超像素过合并(红色方框区域)，大大降低了分割的精确度，槽面短路区域与母排区合并为同一区域。而在空间独立性约束合并方法中，有效的合并属于同一功能区的超像素块，虽然合并结束后形成的图像块数量较多，但保证了同类合并区域的准确性，同时也保证了区域边界的完整性，为后续超像素分类实现精确区域识别与分割奠定了基础。

图11 相似性约束与空间独立性约束下的合并效果对比Fig.11 Comparison of merging effects with similarity constrain and space independence constrain

随机选取50 张槽面图像，在进行超像素分割与小尺度超像素合并后，随机选择266个属于各类区域的、面积大于1/100图像面积的图像块作为样本集，其中2/3 作为训练样本集，母排区、盖布区、电解液区、背景区四类样本的占比为1:1:1:1；剩余1/3 用于测试。由于SⅤM 算法选择RBF 函数作为核函数，故采用粒子群优化(PSO)算法对RBF_SⅤM参数寻优，粒子群优化算法中的加速系数设置为τ1=1.5，τ2=1.7，种群数量为5，优化得到的最优参数C和σ见表3。在PSO 算法寻优过程中，针对6 个SⅤM 分类器的适应度曲线如图12所示。

图12 多类别SⅤM分类器的适应度曲线Fig.12 Fitness curves of multi-class SⅤM classifier

表3 PSO寻优后多类别SⅤM分类器的最优参数Table 3 Optimum parameters of multi-class SⅤM classifier with PSO

精确率(Qp)、召回率(Rc)以及F1可用于定量评估SⅤM 算法对各类区域的识别效果，各指标计算式如下：

其中：NTp指实际为正例、同时被模型识别为正例的测试样本个数；NFp指实际为负例但被模型识别为正例的测试样本个数；NFn指实际为正例但被模型识别为负例的测试样本个数。4类区域的图像块分类结果如表4所示，其中，NT为测试数据集中包含的各类样本个数，详细的混淆矩阵如图13所示。

结合表4 和图13 可知：利用纹理特征，SⅤM分类器对盖布区C1、母排区C2 和电解液区C3 的大尺度超像素识别准确率较高，对电解液区C3 超像素的召回率较低，37.5%的电解液区(C3)被误识别为盖布区(C1)。这是因为在超像素分割阶段，盖布区和电解液区的边界上不可避免地存在欠分割现象，欠分割的超像素在合并步骤中被合并为盖布区。

表4 4类区域的识别效果Table 4 Recognition effects of the four classes of areas

图13 混淆矩阵Fig.13 Confusion matrix

图14所示为基于多尺度超像素特征分割方法与OTSU、活动轮廓方法的分割效果。关键区域分割完整是获取完备温度信息的关键，在活动轮廓法中，盖布上的短路信息被遗漏。单阈值分割结果还需借助其他手段进一步区分母排区和电解液区，而且母排区尖刺多，区域信息并不完整，并且该方法也同样在短路电极处产生信息中断。基于多尺度超像素特征法相对较完整地保留了盖布区地上的异变温度信息，同时也能完整准确地识别母排区和电解液区。

图14 活动轮廓法、Otsu、基于混合超像素合并法的功能区分割效果Fig.14 Segmentation effects of functional areas with active contour method,Otsu and the proposed hybrid merging method

以手动标记的各功能区域为参照，计算各区域分割结果与实际区域之间被错误分割的像素数占实际区域像素总数的比例(即区域错误率)，并将其作为衡量各区域分割结果的准确度，盖布区、母排区、电解液区的分割错误率分别为1.38%，1.59%和5.35%。