基于多颜色分量CLBP提取的浮选泡沫状态识别

梁秀满，田 童，刘文涛，牛福生，刘振东

(1.华北理工大学电气工程学院，河北 唐山 063210；2.华北理工大学矿业工程学院，河北 唐山 063210)

泡沫浮选用于微细粒矿物质的分离提取，广泛应用于稀有金属、钢铁、化工和煤炭等工业部门的原料分离过程。目前，选矿厂主要凭借工人对浮选泡沫的颜色、形态和纹理等表面视觉特征的判断调整各个浮选操作，并由精矿的品位与产率等参数检测加以校准指导浮选工艺流程[1]。整个过程自动化水平较低，难以实现状态参数的实时检测，对浮选操作的主观经验意识较强，缺少浮选指标的客观评价标准，容易造成浮选药剂、矿产资源与人力资源的浪费。近年来，机器视觉、图像处理等技术飞速发展，将其应用到浮选过程中，代替人眼实现浮选表面视觉特征的量化描述与生产状态的客观评价[2-3]。对提高矿产资源的利用率，实现浮选过程的自动化控制具有重要的研究意义。

浮选过程中泡沫表面表现出独特的图像特征。这些特征是各种浮选操作综合作用的结果，同样能够反映出浮选效果相关指标的优劣。国内外学者为了能将其作为浮选工况状态识别与分类的依据，对泡沫图像纹理的提取与应用展开了许多研究。BARTOLACCI等[4]研究了灰度共生矩阵(GLCM)和小波分析等纹理描述方法，对不同类型的泡沫图像分类；刘金平等[5]提出了基于Gabor小波的浮选泡沫图像纹理特征提取方法，能够有效地对浮选过程中的泡沫状态予以表征。赵洪伟等[6]使用局部保持投影(LPP)降维算法将Gabor滤波器获取的纹理特征参数进行降维处理，通过BP神经网络进行不同浮选生产状态的识别。泡沫纹理特征已被证明能够用于浮选工况状态的识别[7-8]，但对纹理参数的种类与分辨率要求过高。维数较低的简单纹理表述方法难以满足浮选生产需要，特别对于煤泥浮选而言，其泡沫表现为灰色、纹理特征变化不明显。为了提高图像的纹理辨识度，更加准确地表征不同浮选状态的泡沫图像，本文提出了一种基于HSV颜色空间的CLBP纹理提取的浮选泡沫状态识别方法。

1 算法原理

1.1 双域去噪

图像噪声严重影响了纹理参数提取的准确性。常用的滤波方法在去除图像噪声的同时消除高频分量，影响图像中的细节，将其应用到泡沫图像中会改变纹理的结构。双域去噪(DDID)[9]结合了空间域中的双边滤波器与变换域中的短时傅里叶变换(STFT)系数收缩。在去噪的同时保留了类似边缘等高对比度特征细节。DDID采用迭代的方式从噪声图像中还原原始图像。将图像分成两层，用于双边滤波的基础层与用于STFT系数收缩的细节层。细节层由双边滤波处理前后的图像相减获得，两层图像滤波后的结果相加重建去噪图像，根据幅度从大到小去噪，利用当前迭代的去噪结果来指导后续的迭代以达到理想的滤波效果。单次迭代主要包括以下过程。

1) 使用双边滤波同时对引导图像g与原始图像y进行去噪，见式(1)和式(2)。

(1)

(2)

(3)

2) 利用kp,q对双边滤波前后像素点p的残差加窗，防止边界效应，然后进行STFT系数收缩，见式(4)和式(5)。

(4)

(5)

3) 利用Gp,f构造的高斯核Kp,f对Sp,f收缩得到细节层图像，见式(6)和式(7)。

(6)

(7)

(8)

1.2 完全局部二进制模式

LBP[10]初始定义为以某一像素为中心的3×3邻域窗口内的方形矩阵中，如图1所示。通过将每个邻域像素的值与中心像素对比将其二值化。若邻域像素点的值大于中心像素点则置1，否则为0。以此将邻域内的像素点转换成二值形式，并以中心像素右侧的像素点为二进制的最低位逆时针将邻域像素编码。将此二进制编码转为十进制数字作为此像素点的LBP值。如图1中LBP二进制模式为11011001，转换为十进制为217。

图1 LBP初始定义Fig.1 LBP initial definition

为了使LBPr,p具有旋转不变性，提出了基于圆形邻域理论的局部二进制模式LBPr,p。其中，r为中心像素与邻域像素的欧式距离；p为均匀分布的邻域像素的个数。对于不在像素中心的采样点使用双线性差值获得其数值大小。通过改变参数(r,p)的大小获得不同尺度的纹理特征参数。在获得二进制编码后，通过循环移位将二进制数转换为数值最小的编码顺序。针对随尺度增加LBPr,p特征分布直方图维数过高的问题，将LBP分为均匀和非均匀两种模式。定义LBP圆形邻域中相邻的两个元素的跳变次数(0→1或1→0)为U，U≤2为均匀模式。由于图像信息通常表现为低频，将非均匀模式归于一类，其他为非均匀模式。旋转不变均匀LBP模式进行定义，见式(9)。

(9)

式中：s(x)为一个符号函数；xr,p,n为邻域内的一个像素值，其中的第三个索引值n表示邻域像素的位置；xc为中心像素。

(10)

(11)

1.3 多尺度纹理特征融合

在浮选过程中，泡沫表面能够反映矿物本身特有的颜色。这种颜色特征随着表面矿物颗粒承载率的不同产生深度、饱和度等变化。颜色明显矿物质在RGB颜色分量上可以得到良好的区分效果。但煤泥等矿物在不同工况中表现出的灰度差异较小。HSV颜色空间包含色调H、饱和度S和亮度V，与人感受色彩的方式比较接近。将初始的RGB图像向HSV转换，对H、S和V三个颜色分量图分别取CLBP特征，建立纹理特征矩阵，见式(12)。

(12)

将属于同一分量的多尺度的特征归一化后由小到大的排序，重新排列得到高维数的CLBP特征直方图。以图2所示为例，将HSV颜色分量图分别提取的(1,8)(2,16)(3,24)三个尺度的CLBP_Sr,p特征按序排列，以更高维数的特征直方图建立分类模型，利用该分类模型进行纹理特征的分类训练与测试。

图2 归一化后的CLBP直方图Fig.2 Normalized CLBP histogram

2 实验过程

在XFD实验室用单槽1.0 L浮选机上进行煤泥浮选实验，机器视觉系统采集泡沫图像视频信息。浮选实验过程持续5 min左右。实验开始后以60 s为时间间隔从中各截取连续60帧幅如图3所示的4类浮选状态的泡沫图像。图3中由左到右的4副图像分别为时间点为1 min、2 min、3 min和4 min时的泡沫图像。随着浮选进程的推移，浮选槽中的精矿不断被刮板刮出，泡沫纹理的粗细、亮点的密集程度和灰度值的变化等视觉状态发生改变。选取其中30幅图像的纹理数据用于分类训练，剩余的30幅用于结果测试。像素大小均为512×512。

将每个样本图像进行双域去噪处理，然后转换为HSV颜色分量图像，分别提取其CLBP纹理特征并归一化后线性排列，将其作为工况识别的纹理特征点。将实验提取的4组图像的纹理特征数据分别做出类别标记，再将每个类别的连续60帧图像的纹理特征数据按照顺序分成奇偶两组。其中，奇数组作为训练样本集，偶数组作为测试样本集，以保证样本选取的随机性。至此两个样本集分别具有四类泡沫状态的120组纹理特征数据，将这些特征数据使用一对一模式的支持向量机(OVO-SVMS)进行多分类任务的训练与测试。选用泛化能力比较强的径向基核函数，采用交叉验证算法寻找的最佳惩罚因子c以及径向基核函数中的γ参数大小为(0.32,1)。算法实现的硬件平台为Inter Core i5-2450M 2.50 GHz CPU、8 GB(RAM)，软件运行环境为Window 10 Matlab 2014b。具体实验过程如图4所示。

图3 不同纹理结构的泡沫图像Fig.3 Foam images with different textures

图4 实验步骤Fig.4 Experimental steps

3 实验对比分析

3.1 去噪效果对比

为了验证DDID的去噪效果，在Lena图像和通过EYE软件滤波后泡沫图像中添加方差为25的高斯白噪声，分别使用3次迭代的DDID进行去噪，以峰值信噪比(PSNR)为滤波效果的客观评价指标。PSNR的单位是dB，数值越大表示失真越小。对于原始图像x及滤波图像y，PSNR定义见式(13)和式(14)。

(13)

(14)

式中：N为图像中像素的数量；S为可允许的图像像素强度的动态范围，对于8位灰度级图像S=255。

图像滤波结果如图5所示。观察图像可以发现DDID去除了叠加在原图上的高斯白噪声，从放大区域来看Lena图像中帽子的纹理与气泡上的颗粒等细节区域仍然存留了原始图像中的特征，在数值上两幅图像相对于原图的峰值信噪比为34.27 dB和30.32 dB。滤波图像与原始图像的差距较小。结果证明，DDID在去噪的同时能保留图像中的细节，适用于泡沫纹理提取前的滤波处理。

图5 DDID去噪效果对比图Fig.5 Comparison of DDID denoising effect

3.2 分类结果与分析

分类测试结果如图6所示。图6中1-30、31-60、61-90和91-120样本集分别对应类别1、类别2、类别3和类别4的泡沫图像，其实际类别标签分别为1、2、3和4。泡沫状态最初纹理粗糙、边界模糊呈灰黑色；随着浮选槽中的精矿不断被刮板刮出，矿物粒子不足以覆盖到整个泡沫的表面，导致出现黑色的“窗口”；最后由于泡沫表面载矿量过小，气泡密集泛白色。由此泡沫状态的差异进行分类的结果中120个样本集中有17个分类错误，平均识别正确率为85.8%。由于样本集是按照浮选时间选取，截取不同状态的泡沫图像在纹理结构和颜色上递进变化，相邻泡沫类别的图像纹理相似度较高；而类别1和类别2为浮选泡沫初始状态和完成状态，相对于类别3、类别4纹理相似性低，识别正确率为86.7%与93.3%相对较高。 与其他方法相对比分别使用文献[6]～文献[8]中的纹理提取方法在同参数的SVM分类器下对以上四类泡沫图像进行分类实验，结果见表1。结果表明，本文方法的单一类别及总体样本的识别正确率均高于其他纹理提取方法，适用于纹理结构相似、颜色差异不明显的浮选泡沫图像分类。

图6 分类测试结果Fig.6 Test results of classification

表1 不同纹理提取方法对比Table 1 Comparison of different texture extraction methods

4 结 论

1) 本文提出了一种基于HSV颜色空间的CLBP纹理提取的浮选泡沫图像识别的方法。考虑了图像噪声对纹理提取的影响，使用双域去噪滤除噪声，同时保留图像细节；以HSV颜色分量和CLBP纹理的结合方法增大了分类模型的特征维数，提高了泡沫状态识别的分辨率。

2) 实验以煤泥泡沫图像为纹理提取对象进行SVM分类训练与测试，分别对四类纹理提取方法进行比较，本文方法的单个泡沫状态样本的正确识别率均高于80%，总体样本识别率为85.8%，高于其他方法。为以泡沫图像状态分类为基础的浮选工况识别提供了应用前景。