基于超像素粒化与同质图像粒聚类的矿井人员图像分割方法

李晓宇，杨 维，刘 斌，范伟强，张向阳

(1.中国矿业大学(北京) 机电与信息工程学院，北京 100083; 2.北京交通大学 电子信息工程学院，北京 100044; 3.国家能源集团 宁夏煤业有限责任公司双马煤矿，宁夏 银川 750408)

煤炭资源科学化、精准化开采是煤炭工业可持续发展的必然趋势[1-2]，其中对煤矿井下作业人员进行信息化、智能化管理是奠定煤炭工业高质量发展[3-4]的重要基础。近年来，机器视觉技术已逐渐开始在煤矿领域崭露头角，如:孙继平[5]探讨了矿用机器视觉的特点及其在煤矿井下的应用;曹玉超等[6]提出了将机器视觉技术应用于矿井水灾图像识别中;田子建等[7]提出基于机器视觉的煤岩界面识别研究;赵晓莉等[8]提出基于机器视觉的矿井天轮偏摆监测系统设计方法。然而，由于煤矿井下环境特殊[9]，如非均匀照度[10]，低对比度[11]，大型机械设备的阴影等对井下人员图像的成像质量产生较大影响，导致图像像素特征复杂多变，这使得机器视觉在处理矿井人员图像方面存在一定困难。人员图像分割是机器视觉应用于矿井人员管理中的一项关键技术，对井下人员监控[12]、检测[13]、定位[14]和跟踪[15]等研究具有重要意义。

传统图像分割方法主要包括基于像素灰度值的阈值法[16]、像素聚类法[17]、边缘分割法[18]、区域生长法[19]、图割法[20]等，均已成熟应用于解决各类场景下的图像分割问题。然而，阈值分割法对噪声敏感，对灰度差异不明显，对于灰度值相近的不同目标重叠区域的分割并不理想;边缘分割法不能得到更好的区域结构，且噪声抗扰度与检测精度之间存在冲突;区域分割容易导致图像过度分割;聚类分割法没有考虑空间信息，对噪声和灰度不均匀性敏感;图割法是一种交互式的分割方法，要求用户在图像中指定前景和背景，不便于自动分割。此外，上述方法均忽略了像素间的潜在相关信息，不适用于对矿井非均匀照度下的人员图像进行分割。

近年来，基于超像素模型的图像分割方法在计算机视觉技术应用中显现出显著优势[21-23]，将具有相似颜色、纹理和亮度特征的像素划分为固定数量的不规则超像素块，即图像中的大量像素特征信息由少量的超像素表示。基于颜色和距离相似性的简单线性迭代聚类(Simple Linear Iterative Clustering,SLIC)算法[24-25]吸引了越来越多研究者的关注，该算法生成的超像素大小均匀，能够更好地拟合目标边界，此外，超像素数量只由一个参数控制，同一超像素中像素之间的差异很小。SLIC模型易于实现和操作，在处理各种随机不确定复杂场景时具有良好的鲁棒性和适应性，但在煤矿领域的应用近乎空白。

笔者研究了井下人员图像分割方法，紧密结合SLIC超像素粒化模型和同质图像粒聚类思想，充分考虑了超像素间的语义信息和像素间的空间联系。笔者应用SLIC将人员图像粒化为超像素块，分析并选择表示超像素数量的最优输入参数;通过计算RGB相似度值区分人员超像素与背景超像素，RGB相似度值由超像素和离线标记像素的RGB均值度量;建立人员超像素的区域邻接图，利用人员超像素及其邻居超像素的RGB均值检测欠分割人员超像素(Under-segmented Personnel Superpixel，UPS)，通过提出的基于RGB最小距离差 (Minimum Distance Difference based on RGB,MDD-RGB)模型将欠分割人员超像素再分割为2个子超像素，其中一个子超像素为背景超像素，另一个为精英人员超像素(Elite Personnel Superpixel，EPS);将具有最相似超像素特征值的邻接精英人员超像素定义为同质图像粒(Homogeneous Image Granules，HIG)，根据所提同质图像粒聚类(Homogeneous Image Granules Clustering,HIGC)模型将同质图像粒聚类形成多个同质人员区域，所有同质人员区域最终构成完整人员区域。通过对多种场景下实验的定性和定量分析，验证了本文方法的可行性和有效性。

1 人员图像分割算法框架

本文算法面向计算机视觉下的矿井人员分割识别问题，以实现对井下人员的智能化监控管理。现场人员图像分割需要依赖于事先采集的历史人员图像信息，通过提取历史人员图像中人员像素图像特征初步判定出人员超像素。因此，如图1所示，本文算法结构由离线数据准备和在线数据测试2部分组成。离线工作主要是准备样本人员图像及其相关数据，在线测试工作包括以下几个方面:① SLIC算法初始粒化人员图像;② 人员超像素与背景超像素分离;③ 欠分割人员超像素识别及二次分割;④ 同质图像粒聚类及同质人员区域生成;⑤ 从图像中分割出人员区域。

图1 人员分割算法框架结构Fig.1 Framework structure of personnel segmentation algorithm

2 基于SLIC的人员图像超像素粒化

2.1 m值选择

SLIC的粒化结果与它的输入参数预分割超像素数量m密切相关，无论m偏大或偏小，都会影响测试图像的粒化效果。较大的m值在增加SLIC计算复杂度的同时会引起过分割现象，不利于算法后期的同质图像粒聚类;较小的m值容易导致人员超像素欠分割，不能充分将人员像素区域精确粒化。

本节研究离线状态下对应于不同m值的人员图像SLIC粒化准确度，为在线分割人员图像选择出最佳m值。 粒化准确度定义为正确分割人员超像素数量与m的比值。实验步骤如下:

(1)备份样本人员图像，在备份图像中标记人员区域并提取其掩模图像，如图1所示。记录掩模图像中对应于人员区域的像素点位置。

(2)以不同的m值对样本人员图像进行SLIC超像素粒化，粒化结果如图2所示。

图2 不同m值的SLIC人员图像分割Fig.2 SLIC segmentation of personnel image with different m values

(3)提取超像素中的像素点位置，并与掩模图像中的人员像素位置进行比较。若该超像素的所有像素点位置均属于掩模图像中的人员像素位置，则将该超像素定义为正确分割人员超像素;若该超像素中只有部分像素点位置属于掩模图像中的人员像素位置，则将该超像素定义为误分割人员超像素。将其中所有像素位置均不属于掩模图像中人员像素位置的超像素定义为背景超像素。

(4)统计正确分割人员超像素数量，计算不同m值对应的超像素粒化准确度，如图3所示。

图3 不同m值对应的人员超像素粒化准确度Fig.3 Granulation accuracy of personnel superpixels with different m values

(5)选择粒化准确度最高的m值为在线测试图像的最优输入值，此时m值对应400。m<400时人员超像素分割不充分，m>400时反而降低了粒化准确度。

2.2 人员超像素判定

在对人员图像进行SLIC粒化之前，需要标注离线样本图像I′，如图4所示。将C,Ct,Cb分别定义为I′中所有颜色成分、人员区域颜色成分、背景颜色成分。图4(a)为原始样本图像，Ct如图4(b)标注样本所示。I′的作用是为图像I的在线分割提供参考。

图4 样本图像标记Fig.4 Marking of sample image

Ct与Cb的之间的关系定义为

C=Ct∪Cb，Ct∩Cb=∅

(1)

(1)将人员图像I与最优m值输入SLIC进行初始粒化，如图5(a)，(b)所示。

(2)

(3)

(4)

(5)

(6)

(7)

图6显示了本节算法所判定的人员超像素，其中红色边框表示一类人员超像素，黄色边框表示二类人员像素。

图6 人员超像素类型Fig.6 Types of personnel superpixels

2.3 欠分割人员超像素检测与二次分割

MDD-RGB 步骤如下:

(1)建立一类人员超像素的区域邻接图，输出以任意pspj为中心的邻居超像素列表Lj，记录每个pspj及其邻居超像素pspjr(r=1,2,…,m-1)，r为pspj的邻居超像素数量。

(8)

(9)

(10)

且

(11)

或

(12)

(13)

(14)

图7 欠分割人员超像素二次分割Fig.7 Secondary segmentation of under-segmented personnel superpixel

(7)顺序延伸超像素标签l，更新I中超像素并获得新标签l′。

3 同质人员图像粒聚类

为有效分割人员区域，需要充分考虑超像素之间潜在的语义信息和空间结构关系。本文将具有最相似图像特征的精英人员超像素定义为一组同质图像粒，选用精英人员超像素的灰度G和纹理特征作为搜索同质图像粒的依据，纹理特征由灰度共生矩阵的4个特征能量En、对比度Co、同质性Ho、熵Em表示，提取它们的特征均值组成精英人员超像素的五维特征向量V=(G,En,Co,Ho,Em)，为便于算法计算，对5个特征分量值作归一化处理。同质图像粒聚类促进同质区域的形成[26]，进一步地，同质区域彼此融合得到完整的人员区域。同质图像粒的聚类如图8所示，图8(a)为草裙图像粒的聚类，图8(b)为人员手部聚类。

本节HIGC算法步骤如下:

(1)选择任意Epspj(j=1,2,…,q+n)为初始种子点，n为更新l后新增的人员超像素标签数量。计算Lj中pspj与pspjr(r=1,2,…,m+n-1)的超像素特征值距离差D，公式为

(15)

(16)

(3)建立Ra的邻居图像粒列表La，重复执行步骤(1),(2)直到满足如下条件:

(17)

(4)选择下一个Epspj，重复步骤(1)～(3)直到算法遍历完所有精英人员超像素(完成同质图像粒聚类)。

(5)合并所有Ra。

本文规定邻居超像素全部为背景超像素的Epsp为孤立同质人员图像粒，在算法中按背景图像粒处理。

4 实验结果及分析

为评估本文算法性能，分别采集了运输巷、掘进巷、工作面和变电站4种不同场景下的井下人员图像，如图9(a)～(d)所示。本文中的人员图像均采集于宁夏灵武市马家滩镇双马煤矿，现场拍摄环境:DS-FB4024海康威视防爆摄像机，低照度，粉尘质量浓度3.2 mg/m3，湿度60%，温度17 ℃，二氧化碳体积分数0.04%。实验环境:CPU处理器Intel(R)Core (TM)i5-2450M,2.5 GHz 主频，4 GB内存，64-bit Windows 7操作系统，Matlab R2016b编程工具。

4.1 SLIC 粒化与欠分割人员超像素检测

对图9(a)～(d)中的原始图像进行SLIC初始分割，根据2.1节方法计算所得其最优m值均为200。图9(e)～(h)为人员图像的SLIC粒化结果，图9(i)～(l)为对欠分割人员超像素进行了标注。

图9 人员图像超像素粒化及欠分割检测Fig.9 Personnel image superpixel granulation and under-segmentation detection

图9(a)中的人员位于4-1煤辅助运输巷，在光照不足或人员颜色与背景难以区分之处产生了欠分割人员超像素，图中共检测了6处欠分割人员超像素并由5个黄色边框标记，最上方的边框内包含2个相邻的欠分割人员超像素。图9(b)中的人员位于I0104106回风巷，经SLIC粒化后原图被分割为人员与背景2类超像素，然而巷道内特殊的光照条件也导致了欠分割人员超像素的出现，图中共检测了3处欠分割人员超像素并由3个黄色边框标记。图9(c)中的人员位于I0104301综采工作面，大部分人员超像素与背景超像素是相互独立且不兼容的，但仍存在少量欠分割人员超像素，由3个黄色边框标记。图9(d)中的人员位于具有较多供电设备的变电所内，背光照射条件及设备与人员颜色的相似性造成了一些欠分割人员超像素的出现，共检测了7处并由6个黄色边框标记，人员左肩处的边框内包含2个欠分割人员超像素。

4.2 MDD-RGB 二次分割

本节对4.1节中的欠分割人员超像素进行二次分割测试。MDD-RGB将欠分割人员超像素中的像素点分为2类，在本文中属于监督学习的数据分类方法，为此本节列出了5种分类学习算法与MDD-RGB 进行对比，分别有KNN(K-Nearest Neighbor)[27]，NB (Naive Bayes)[28]，LDA (Linear Discriminate Analysis)[29-30]，QDA(Quadratic Discriminate Analysis)[31]，SVM (Support Vector Machine)[32-33]。为使所有算法具有相同的测试条件，本实验中的训练样本统一选自于欠分割人员超像素本身Lj中的人员超像素和背景超像素，实验结果如图10所示。

如图10所示，对于图10(a)中的6个欠分割人员超像素，KNN有效分割了其中4个，剩余2个失败，分割成功率约为67%，NB，LDA和QDA有效分割了其中5个，1个失败，分割成功率约为83%，SVM和MDD-RGB有效分割了全部，无失败分割，分割成功率为100%;对于图10(b)中的3个欠分割人员超像素，KNN，NB，QDA，SVM 和 MDD-RGB 有效分割了全部，无失败分割，分割成功率为100%，LDA有效分割了其中2个，剩余1个失败，分割成功率约为67%;对于图10(c)中的3个欠分割人员超像素，5种对比算法及MDD-RGB 均有效分割了全部，无失败分割，分割成功率为100%;对于图10(d)中的7个欠分割人员超像素,KNN 有效分割了其中5个，剩余2个失败，分割成功率约为71%，NB 有效分割了其中6个，剩余1个失败，分割成功率约为86%，LDA，QDA，SVM和MDD-RGB有效分割了全部，无失败分割，分割成功率为100%。

为进一步验证MDD-RGB的有效性，使用精确度Precision和召回率Recall两项分割指标评价其性能[34]，公式为

(18)

(19)

式中，PT为检索到的人员像素点;PF为检索到的背景像素点;NF为未检索到的人员像素点。

本节中，用于计算分割指标的像素点均属于4.1节中的欠分割人员超像素。通常情况下，Precision和Recall越大，算法分割性能越好，但2者之间存在冲突关系。引入F-Measure[34]可综合评价Precision和Recall，定义为

(20)

显然，F-Measure同时考虑了Precision和Recall的结果，F-Measure越大，算法性能越好。各算法分割指标的数据结果见表1。

从表1可以看出，图10(a)中，MDD-RGB的精确度Precision高于其他5种对比算法，召回率Recall较低，仅高于LDA,F-Measure略低于NB和SVM;图10(b)中，MDD-RGB的精确度Precision高于其他5种对比算法，召回率Recall略低于KNN和QDA，F-Measure仅次于KNN;图10(c)，(d)中，MDD-RGB的精确度Precision、召回率Recall和F-measure值均领先于其他5种比较算法。

图10(a)，(b)关于5种对比算法的Precision,Recall和F-Measure三项指标的均值和MDD-RGB的指标值比较如图11所示。图11(a)中，MDD-RGB的精度值明显高于比较算法，召回值略低于比较算法，但F-Measure值仍高于比较算法。图11(b)中，MDD-RGB的3项指标值均明显高于比较算法，充分说明了MDD-RGB可以有效地二次分割欠分割人员超像素，且分割性能较好。

4.3 HIGC 同质图像粒聚类

本节对同质图像粒聚类算法HIGC进行测试，列出了3种聚类算法及2种需要设定分割标签数的典型图像分割算法作为对比，分别有K-means[35]，HC(Hierarchical Clustering)[36-37]，GMM (Gaussian Mixture Model)[38]，Ostu[39]，Ncut multiscale[40]。

图12展示了离线样本图像中人员区域的主要标记部分，分别对应于图9 (a)～(d)。根据离线样本数据库的标记类型，将所有算法关于图10(a)～(d)的聚类标签数量分别设置为6，6，6和5(所有的背景标记部分视为一个聚类标签)。图13为人员区域的全局分割结果。

图10 不同算法的二次分割结果对比Fig.10 Comparision of the secondary segmentation result of different algorithms

表1 不同算法分割性能比较Table 1 Comparison of segmentation performance of different algorithms

图11 算法性能均值对比Fig.11 Comparison of the mean values about algorithm indicators

图12 样本图像主要标记成分Fig.12 Main marker components in the sample images

图13 人员图像分割结果对比Fig. 13 Comparison of segmentation results of miner image

由图13可知，K-means基本可将人员区域从背景中分离出来，但是一些背景超像素被错误聚集到人员区域中，直接降低了对人员区域的分割准确性。 HC对于图13(b)的分割效果较其他图像要好，但图13(b)中存在个别人员图像粒被错误聚类，使得人员区域没有得到准确分割。GMM对于图13(a)，(b)，(d)的分割效果较图13(c)要好，但图13(a)，(b)，(d)中仍有一部分人员图像粒被视为背景错误分割。Ostu是一种基于像素灰度阈值的分割方法，对人员的分割效果较差，局部区域分割过度，另外，井下光照条件较差，像素灰度值随机变化，使得人员的分割效果不清晰。Ncut-Multiscale侧重于全局分割，在聚类标签数量较少的情况下容易忽略细节，同时分割结果中人员目标不够显著，很难从背景中分辨出人员。HIGC直接对同质人员图像粒进行聚类，在不受背景超像素干扰的情况下，将具有相同标签的同质图像粒逐个合并，分割效率较高，分割效果相对较好。

本节进一步对K-means，HC，GMM和HIGC四种算法的性能进行定量分析并比较其聚类精度，定义同质人员图像粒的聚类精度Accuracy公式为

(21)

式中，Np为每个聚类标签中的同质人员图像粒数量;Nr为每个聚类标签中的超像素总数。

图14以折线图形式呈现了4种算法的聚类精度，横坐标为聚类标签，纵坐标为每个聚类标签下对应的同质人员图像粒聚类精度。

图14 同质人员图像粒聚类精度对比Fig. 14 Comparison about clustering accuracy of homogenous image granules

如图14所示，4幅图中的聚类精度均在区间[0,1]内，但数据变化形式各不相同。图14(a)中，K-means和HC的数值变化区间约为[0.08，0.80]，说明人员图像粒与背景超像素并没有完全分离。GMM和HIGC的变化范围基本在[0，1]内，但HIGC的数据显示出更好的极化特性，6个标签中有4个等于1，1个接近1，剩余1个接近0。图14(b)中，4种算法的数值变化范围均在[0，1]内，说明所有算法均可以准确分离部分人员和背景，但HIGC呈现出最好的极化特征，6个标签中有5个等于1，1个等于0，没有中间过渡值。图14(c)中，4种算法的数值变化范围均在[0，1]，同理4种算法都可以将部分人员与背景准确分离，但对于HIGC而言，6个标签中有3个等于1，2个接近1，1个接近0，极化特性比其他算法更明显。图14(d)中，K-means与HC的数值变化区间为[0，0.9]，GMM与HIGC的变化范围在[0，1]。理想情况下，聚类的结果是只有1个标签值为0，其余都为1，HIGC在5个标签中有3个等于1，1个接近1，1个等于0，较其他3种算法要好。综合分析图14可看出，HIGC更符合理想状态，其聚类效果优于其他3种算法。

5 结 论

(1)提出了一种基于超像素特征和同质图像粒聚类的人员分割方法，该方法利用SLIC将人员图像粒化为超像素块并对欠分割人员超像素进行二次分割，通过计算欠分割人员超像素与其相邻超像素之间的RGB颜色关系获得精英人员超像素，精英人员超像素在其邻域列表中搜索同质图像颗粒进行聚类，形成同质人员区域，多个同质人员区域最终形成完整人员区域。

(2)就4幅人员图像的二次分割测试而言，所提MDD-RGB算法的F-Measure值分别较对比算法的平均值高出2.11%，3.36%，13.16%，6.82%。针对4幅人员图像中同质图像粒的聚类精度分析，所提HIGC的精度分别达到99%，100%，94.4%和93.75%。可见，本文方法在对人员图像的分割质量上具有较好的性能，这对基于计算机视觉的矿井图像分析研究具有一定的参考价值。