深度图像引导的岩石颗粒分割方法

严良平，潘月梁，姜雄彪，陆秋雨，徐畅

1. 新疆阜康抽水蓄能有限公司，新疆 乌鲁木齐 830032

2. 浙江宁海抽水蓄能有限公司，浙江 宁波 315612

3. 河海大学 物联网工程学院，江苏 常州 213022

堆石料开采过程中常采取爆破直采的方法[1]。堆石坝的填筑材料需要具有良好的级配，以保证坝体的稳定性[2]。同时堆石料的级配性状直接影响到石坝的力学特性和抗渗性能[3-4]。因此需要对堆石料进行准确的测量，将石料的粒径控制在一定的范围内。传统的岩石颗粒筛分以人工的方式进行，通过肉眼估计或手工测量的方法，需要花费大量的人力和时间成本，效率低下且精确度不够。相较于传统的人工筛分法，图像分割技术具有简单、快速、花费小的优点，能够实现更智能化的堆石料岩石颗粒参数测量和分析[5]。

通过图像处理技术，对岩石颗粒图像进行分割后获取岩石颗粒的形状等信息，能够测算堆石料的级配数据。在岩石图像分割方面，目前有很多学者进行了大量的研究。文献[5]提出一种基于Mask R-CNN 和分水岭算法的岩石颗粒图像分割方法，能避免图像过分割和欠分割的问题，但网络训练过程耗时较长；文献[6]通过分类器学习图像的特征，利用图像特征对像素进行分类后实现分割，但方法对岩石颗粒图像的分割精度低；文献[7]提取图像感兴趣的区域后进行统计区域合并（statistical region merging，SRM）图像分割，对小面积区域进行合并处理得到最终的分割结果。但该方法无法准确分割复杂的岩石颗粒图像，效果较差；文献[8]利用改进的图论归一化割算法来分割矿岩颗粒图像，分割精度低；文献[9]结合深度信息和图像区域特征聚类的算法进行显著性目标检测，分割效果较好。

传统的分割算法大多只使用到了颜色、灰度等特征信息，同时算法应用的待分割图像中目标数较少，目标与背景区分明显，分割任务较为简单。当面对目标数多、形状不规则、颜色相近的岩石图像分割任务时，通常难以实现准确的分割，存在一定的局限性[10-12]。随着深度传感器技术的发展，有效利用深度信息这一重要的视觉信息成为了可能，并为图像分割提供了新的解决方案，有效提高了分割的精确度[13-17]。针对岩石图像难以精确分割的问题，本文提出了一种深度图像引导的岩石颗粒分割方法，有效利用了深度图像所提供的三维距离信息辅助分割[8,16,18]。协同利用可见光图像和深度图像的信息冗余性和互补性，大幅提高了岩石颗粒图像分割的准确性[19-22]。首先对深度图像进行预处理，去除深度图像中的噪声；然后通过神经网络提取深度图像和可见光图像中的随机特征和显著性特征，并对随机特征进行多次采样得到多组不同的随机特征；最后结合显著性特征和多组不同的随机特征，得到多个图像分割预测结果图像，并选择最优的分割结果。实验结果证明，该算法在分割目标数目多、边界模糊的复杂场景下能实现准确的分割。对精确分割堆石坝石料，保障堆石坝填筑材料的良好级配，提高坝体稳定性有着极大的应用价值。

1 图像分割算法

1.1 算法流程

如图1 所示，本文提出的深度图像引导的岩石颗粒分割方法的流程如下：

图1 本文方法思路框图

1）通过深度图校正网络优化深度图像，去除原始深度图像D中的噪声；

2）通过先验网络对深度图像D与可见光图像I进行卷积操作，将RGBD 图像对映射至低维的特征空间，提取图像中的随机特征Ss；

3）通过显著性网络提取优化后的深度图像和可见光图像I的显著性特征Sd；

4）对随机特征进行多次采样，并结合显著性特征，得到多个图像分割预测结果；

5）通过显著性共识网络，根据每个预测结果给出各个位置的像素值，投票选出对应位置的像素值，得到最终的图像分割结果。

1.2 特征提取

1.2.1 深度图像校正

深度图像的获取主要采用深度传感器或双目立体相机计算深度的方式。不论是深度传感器获取得到的深度，还是双目立体相机计算得到的深度图像，深度图像中都会存在一定的噪声[23]。同时，由于遮挡、光照等原因，深度图像中存在由无效点构成的缺失区域。深度图像的灰度值变化反映了场景中距离信息的变化，可以近似地认为深度图像的边缘与可见光图像的边缘具有一致性。因此，可以利用可见光图像的边缘信息对深度图像进行校正处理。通过基于语义引导的深度图校正网络[24]，得到处理后的深度图像D'。

深度图校正网络的编码部分采用VGG16 网络[24]前五级作为输入图像的编码器，并删去了网络第5 个池化层之后的全连接层。 S1 ～S5分别表示为VGG16 网络删去第5 个池化层后的全连接层之后，剩余网络部分的5 组卷积层和池化层。解码部分由4 个连续卷积层和双线性上采样操作组成。

网络通过边界IOU 损失函数进行正则化处理，网络损失函数定义为

图2 显著性特征提取网络结构

1.2.3 随机特征提取

图3 PriorNet 网络结构

同时，通过对随机特征Ss进行多次采样得到多组不同的随机特征，以此在预测网络部分产生多组不同的分割预测结果。

1.3 岩石图像分割

图4 显著性共识示意

2 实验结果及分析

针对实际场景下堆石料岩石颗粒图像具有不同的岩块类型情况，本文使用ZED2 双目相机拍摄了多种类型的岩石颗粒图像，并制作数据集。其中，数据集共包含岩石颗粒RGBD 图像1 000组。部分RGBD 图像以及人工标注的真值图像GT如图5 所示。训练集与测试集以9:1 的比例进行划分。训练集包含900 组岩石颗粒的RGBD 图像及真值图像GT；测试集包含100 组岩石颗粒的RGBD 图像及真值图像GT。

图5 RGBD 岩石颗粒分割数据集示意

2.1 分割结果预测实验

本文算法针对不同类型的岩石图像进行分割实验对比，并与传统分割算法OTSU 分割算法，分水岭分割算法以及深度学习算法UNet[26]、RTFNet[27]进行比较，验证本文算法的分割效果与成功率。

对测试集中100 组RGBD 图像进行算法分割结果预测实验，部分结果示意图如图6 所示。

图6 不同算法的岩石图像分割结果

其中图6(a) 为岩石原图，根据岩石形状、大小、堆叠以及遮挡情况将实验图像划分为4 组。其中，A 组图像岩石数目以及形状较为简单，岩石之间间隔大，易于区分；B 组图像岩石形状、大小复杂，有堆叠、粘连的问题，同时有较多的非岩石目标物；C 组图像岩块之间的堆叠现象较为严重，难以区分岩石边界；D 组图像岩石的堆叠、粘连现象严重，存在有非岩石目标物遮挡的情况。

2.1.1 传统分割算法结果

图6(b) 为OTSU 分割算法的分割结果图像，OTSU 分割算法通过最大化类间方差划分图像中的目标和背景。对于A 组岩石图像，OTSU 分割算法能够较好地处理图像，但是分割结果并不精确，同时并未很好地区分前景与背景，还出现了错误分割的问题；对于B 组岩石图像，OTSU 分割算法对光照较为敏感，同时无法处理岩石之间的粘连部分，出现了错误分割的问题；对于C 组岩石图像，OTSU 无法区分前景与背景，在岩石堆叠部分的分割出现错误；对于D 组岩石图像，OTSU分割算法无法区分非岩石目标物，对其他目标物出现了错误的分割。

图6(c)为分水岭分割算法的分割结果图像。分水岭分割算法将待分割图像按照像素灰度值进行排序，局部极小值处被视为集水盆地，盆地的边界构成分水岭。对于4 组岩石图像，分水岭算法的分割效果均较差，无法实现岩石的正确分割。

根据分割结果可知，2 种传统的图像分割算法，OTSU 分割算法与分水岭分割算法对于岩石图像分割的效果均较差。其中，OTSU 分割算法对岩石图像能够进行较好的处理，然而其分割结果并不准确，背景存在有明显的噪声；分水岭分割算法完全无法实现岩石图像的正确分割。

2.1.2 深度学习分割算法结果

图6(d)为UNet 算法的分割结果图像，在网络训练过程中，仅使用可见光图像作为网络的输入，设置网络学习率rlearning大小为0.001，训练周期epoch为100。对于A 组岩石图像，UNet 算法有错误分割的问题，部分待分割目标缺失，分割效果不佳；对于B 组岩石图像，UNet 算法对粘连和堆叠部分的岩石分割效果较差，对于阴影部分的岩石图像分割错误；对于C 组岩石图像，UNet 算法对无法处理岩石的堆叠部分，分割结果形状不准确；对于D 组岩石图像，UNet 算法分割结果丢失了部分待分割图像，对于非岩石目标的分割不准确，算法精度低。

图6(e)为RTFNet 算法的分割结果图像，在网络训练过程中，使用RGBD 图像对作为网络的输入，设置网络学习率rlearning大小为0.01，训练周期epoch为100。对于4 组图像，RTFNet 算法的分割精度和效果相较于UNet 算法有所提高，但仍然有错误分割的问题，分割结果的形状不准确，与真值图像GT有较大差异。

图6(f)为本文算法的分割结果图像，根据实验结果可知，相较于传统图像分割算法以及基于深度学习的分割算法，本文所提出的深度图像引导的岩石颗粒分割方法在岩石图像粘连、堆叠以及遮挡较为严重的情况下，依旧能够实现岩石之间的准确区分，分割效果良好。同时，本文算法对光照、噪声具有较强的鲁棒性，不易受影响。

2.2 定量分析

2.2.1 评价指标

本文选取平均绝对误差(mean absolute error,MAE)[28]、F-measure[29]、 加 权F-measure[30]、Emeasure[31]、S-measure[32]以及曲线下面积（area under the curve，AUC）作为算法性能的评价指标。实验中各个算法对100 组测试图像均做了多次重复实验，结果取平均值。

1）MAE( σMAE)： σMAE的 计 算 方 法 如 式(1)所示，通过计算分割结果中每个像素点的值与人工标注图像之间绝对差的均值得到，代表了误差相对于真实值的大小，值越小反映误差越小。

6）AUC（AUC）：AUC 为接收者操作特征(receiveroperating characteristic，ROC)曲线下的区域面积[33]。其中，ROC 曲线是评价分类器性能的一种二维曲线，横坐标为假正率（false positive rate，FPR）RFP，纵坐标为真正率（true positive rate，TPR）RTP。AUC的数值越大，表示分类器的性能越好。首先在真值图中选取目标区域像素点作为正样本，并随机选取同样数量背景区域的像素点作为负样本，计算获取各个分割算法的FPR 与TPR 值，然后绘制ROC 曲线并计算各算法的AUC 值。

2.2.2 实验对比

将本文算法与OTSU、分水岭算法、UNet、RTFNet 进行对比实验，评价指标如表1 所示。相比于其他算法，本文算法在各项评价指标中均最优。根据实验结果可知：本文算法的准确度更高，对于岩石图像具有更优的分割效果。

表1 岩石图像分割结果定量分析

2.3 方法应用

采用数字图像处理技术的方式，对岩石颗粒图像进行分割，能够实现无接触地测量岩石参数信息。相较于人工筛分的方式具有较大的优势，能够实现更智能化的堆石料岩石颗粒参数测量和分析。然而单独使用可见光图像所提供的颜色、形状和纹理等信息难以实现岩石目标的精确分割，进而影响到岩石参数测量的准确性。

如图7 所示，读取岩石目标的可见光图像与深度图像，协同使用可见光图像提供的细节信息以及深度图像提供的三维距离信息，完成对岩石图像的精确分割。

然后，通过连通域分析方法，标记出图像分割结果图像中的岩石目标，并测量出岩石的面积等参数信息。有助于在堆石坝建设过程对堆石料岩石实现精确地分割后获取堆石料岩石颗粒准确的参数信息，保证堆石料良好的级配，提高坝体的稳定性。

3 结论

本文提出了一种深度图像引导的岩石颗粒分割方法，利用深度图像所提供的三维距离信息辅助分割岩石颗粒并测量参数。

1）算法对初始的深度图像进行优化，增加深度图像的语义和几何信息。通过模拟标注真值图像的不确定性，网络输出多组图像分割预测结果并选择最优的分割图像。

2）由于堆石料岩石颗粒图像具有待分割目标多、岩石间堆叠粘连以及目标与背景相近的问题，现有的大部分图像分割算法无法实现精确的图像分割。本文算法有效利用了深度图像的三维距离信息，大幅提高了图像分割的精确度。

本文算法协同使用岩石RGBD 图像进行分割，算法在多个评价指标上均优于对比算法，分割精度高。算法后续可以应用到岩石颗粒度评估的场景中，获取岩石颗粒的形状等信息，测算堆石料的级配数据。