基于全卷积神经网络的花岗岩中不同组分分布特征分析

2021-03-04朱楚雄徐金明钟传江

中国地质灾害与防治学报 2021年1期

朱楚雄，徐金明，钟传江

（1.上海大学土木工程系，上海 200444；2.中铁十七局集团有限公司，山西太原 030006）

0 引言

确定岩石中不同组分的实际分布，是分析岩石物理力学性质的重要基础，对分析岩石变形破坏过程具有重要意义。对于一幅岩石图像来说，确定不同组分分布的核心是确定不同位置组分的类别，本质上是对岩石图像进行图像分割处理。目前，图像分割的常规方法是阈值分割法和聚类法，利用图像中不同组分的颜色、轮廓、纹理等特征来确定类别。但使用常规图像分割方法确定组分类别，效果往往不能令人满意。

使用图像分割的方法确定岩石中不同组分的类别已经进行了很多研究。徐永进等[1]根据CT 图像中相邻图像的直方图相似性来确定岩石中不同组分的分割阈值；张嘉凡等[2]基于相似性度量标准的改进聚类分析，对岩石CT 图像进行了图像分割和损伤量化分析；钱庆波等[3]使用点选法和阈值分割技术，得到花岗岩中不同组分的分布情况；朱赛楠等[4]使用迭代最佳阈值算法提取了岩石CT 图像中的损伤区域；刘春等[5]使用改进种子算法分割岩石图像中的颗粒和孔隙，研究了岩石中微观颗粒与孔隙形状复杂度的变化；简文星等[6]编写了利用Sobel 算子进行边缘检测、进而对岩石图像中不同组分进行阈值分割的岩石裂隙检测系统。

近年来，随着人工智能技术的发展，使用深度学习确定物体中不同组分分布的研究取得了很多进展。与传统图像识别方法相比，使用深度学习算法进行图像分割的精确度更高，可以将比较复杂的目标识别出来。KRIZHEVSKY 等[7]使用ReLU 算法作为激活函数的激活层和防止模型过拟合的Dropout 层，设计了经典卷积神经网络AlexNet，促进了深度学习算法的应用；SIMONYAN 和ZISSERMAN[8]建立了VGGNet 网络，分析了卷积神经网络（CNN）中网络深度和网络性能之间的关系；GIRSHICK 等[9−13]通过在感兴趣区域上单独进行卷积网络评估和边框目标检测的方法，构建了区域卷积网络R-CNN（Region-based CNN），并在几次改进之后得到了Mask R-CNN 网络；BADRINARAYANAN 等[14]使用编码层、解码层和像素分类层建立了SegNet 图像分割网络；LONG 等[15]提出了端到端、像素到像素的全卷积神经网络（Fully convolutional networks，FCN），可以有效解决图像中不同组分类型的确定问题。

在农业、生物和医学等领域，使用全卷积神经网络进行图像分割也取得了一些成果。王振等[16]通过改进全卷积神经网络中的激活函数和分类器，改善了黄瓜叶部病斑的图像分割效果；黄英来等[17]采用基于跳跃连接的全卷积神经网络分割技术，进行林木图像的图像分割；RONNEBERGER 等[18]使用具有数据增强功能的全卷积神经网络，对细胞图像中的神经元结构进行图像分割；黄龙等[19]利用层间融合方法，构建了用于室内场景分割的全卷积神经网络；郑婷月等[20]利用多尺度特征融合技术来改进全卷积神经网络，进行了视网膜血管的图像分割研究。

虽然深度学习方法取得了很多进展，在不同领域应用也获得了丰硕成果，但是将深度学习方法用于确定岩石中不同组分的位置与类别，目前研究成果还不多。本文拟以花岗岩为例，根据抽取岩石单轴压缩试验视频中的单帧图像，在建立不同组分数据集的基础上，使用全卷积神经网络（FCN）确定图像中任意位置的组分类别，进而使用试验视频分析不同组分分布及其识别准确率随时间的变化情况；探讨网络深度、初始学习率和网络迭代次数等参数对识别正确性的影响。

1 岩石中不同组分的识别

1.1 数据集的建立

试验所用岩石为花岗岩，相应岩块取自甘肃省玉门市北山地区。将岩块切割并磨光制成100 mm × 50 mm ×50 mm 的标准试块，采用单轴压缩试验机对试块进行加载，试验时同时拍摄视频。

为了减小后续计算量，在试块变形破坏过程的280 s内每隔1 s 选取一帧图像，总共得到280 张图像。将所有单帧图像转换成灰度图像并裁剪成238 px × 238 px，每个像素实际宽度为0.17 mm/px，如图1所示。

图1 用于制作数据集的单帧图像Fig.1 Frames in making dataset

根据岩石中不同组分的形态和颜色特征，使用肉眼判定方法来识别岩石中4 种不同组分的类型，将不同组分的实际分布标记出来，制成标签数据集。数据集中的标签分为4 类，对应花岗岩中裂隙、黑云母、石英、长石4 种细观组分，如图2所示。图2中，白色像素为不同组分的实际位置，黑色像素为背景。

图2 花岗岩中不同组分的标签图像Fig.2 Labeled images of various compositions in granite

1.2 全卷积神经网络的建立

普通卷积神经网络（CNN）结构由卷积层、池化层、激活层和全连接层（Fully connected layer）等组成。花岗岩图像经过一系列卷积、池化和激活操作，进入有分类器作用的全连接层后会丢失空间坐标，只能得到图像中不同组分类别的概率[21]。比如，取花岗岩图像右上角一部分区域输入CNN 网络中进行识别，只得到图像中黑色色块为黑云母组分的概率，但无法识别周围灰色和白色部分的组分类别、也无法得到不同组分的具体位置信息，如图3（a）所示。

全卷积神经网络（FCN）将普通卷积神经网络（CNN）中的全连接层修改成卷积核为1×1 的全卷积层（Fully convolutional layer），使用像素类型分类层将每个像素点映射到不同组分的分类，进而对每一个像素点进行分类，并保留像素的空间坐标信息[15]。利用所建全卷积神经网络对花岗岩图像中4 种组分进行识别，得到不同组分的实际分布情况，如图3（b）所示。

图3 不同网络中花岗岩组分的识别过程Fig.3 Identification process of compositions in granite using various networks

本文建立的全卷积神经网络包含5 个网络模块，分别是：输入层、下采样模块（Downsampling）、上采样模块（Upsampling）、像素类型分类模块和输出层，如图4所示。

图4中，图像输入层定义了网络训练时输入的图像大小及图像颜色通道数，输入的图像是前述得到的数据集。研究时，将数据集分为训练集和测试集，4 种组分的训练集图像均为200 组，测试集图像均为80 组。

图4 全卷积神经网络Fig.4 Fully convolutional network (FCN)

下采样模块的功能是不断缩小图像并提取图像中各组分的特征，该模块包括5 个卷积层（Convolutional layer）、5 个ReLU 层（Rectified Linear Unit，线性整流函数）和2 个最大池化层（Max pooling layer）。其中，卷积层的目的是压缩图像大小，提取不同组分的颜色、几何、位置等信息；ReLU 层的目的是增加稀疏性、激活一部分神经元；最大池化的目的是压缩图像大小，减少计算的复杂度，提取图像中不同组分的主要特征。上采样模块的功能是提取各组分特征后将图像还原回原来的大小，该模块包括2 个转置卷积层（Transposed convolution layer）和2 个ReLU 层，转置卷积层是卷积过程的转置操作，能够按照像素的颜色和位置信息将图像还原回原来的尺寸。像素类型分类模块包括1 个全卷积层、1 个Softmax 层和1 个像素分类层。Softmax 层是对全卷积后的图像进行归一化处理，像素分类层则进行像素类别的确定。

1.3 网络训练的主要参数

为了防止网络调整速度过慢、出现过拟合的情况，将初始学习率设置为0.008；为了提高网络训练效率，将训练集中标签图像分成4 个批次、网络训练周期设为100。所建全卷积神经网络中各层参数如表1所示。

表1 全卷积神经网络的各层参数Table 1 Parameters used in FCN

1.4 全卷积神经网络的训练

1.4.1 输入数据集

将标记好的标签图像数据集输入到全卷积神经网络中进行训练，让网络自行学习数据集中不同组分标签的特征属性。经过反复迭代调整后，得到用于花岗岩不同组分识别的FCN 网络。

1.4.2 不同组分的可视化特征

全卷积神经网络训练完成之后根据网络各层结构，将各卷积层、转置卷积层和全卷积层按照网络的搭建顺序进行可视化处理，研究不同卷积核“学习”到的特征，如图5所示。

由图5可以看出，第1 个卷积层（cov1）将不同组分的颜色信息提取了出来；第2 个卷积层（cov2）能够初步识别不同组分的轮廓、颗粒大小等形状特征；随着卷积层深度的加大，不同组分形态特征和颜色特征不断被抽象化；第5 个卷积层（conv5）已经基本再现了不同组分的形状特征和颜色特征；再经过两层转置卷积层（Trans1和Trans2），图像的局部信息被逐渐恢复；通过全卷积层、Softmax 层和像素分类层，最终识别了花岗岩图像中的不同组分类别。

图5 全卷积网络中不同卷积层的可视化结果Fig.5 Visualization of convolutional layers in fully convolutional network

全卷积神经网络的组分识别结果可能存在少量误差。将输出图像和原图像对比可知，就裂隙和黑云母而言，裂隙右侧有极少量黑云母组分被识别成裂隙，中间区域顶部和底部有一部分裂隙被识别成黑云母组分；就石英和长石来说，两种组分交界处界限不是很明显、交界处识别出现了一些误差，例如左上角区域石英被识别成长石，中部区域裂隙周围长石被识别成石英。但总体而言，全卷积神经网络有很强的图像分割能力，岩石中大部分位置的组分被很好地识别出来。

2 不同组分分布随时间的变化

观察花岗岩从开始变形到完全破坏的整个过程，可以将外荷作用下花岗岩的变形破坏过程分为A、B、C 三个阶段：0～58 s 的阶段A 为变形阶段，岩石表面微观裂隙逐渐发展为宏观裂隙；59～197 s 的阶段B 为渐进破坏阶段，宏观裂隙宽度和长度持续增大；198～280 s的阶段C 为完全破坏阶段，宏观裂隙长度达到最大、宽度持续增加。

利用训练好的全卷积神经网络对变形破坏过程时图像中不同组分进行识别，得到不同组分分布随时间的变化情况，如图6所示。

由图6可以看出，在变形阶段，裂隙首先出现在岩样中间偏上部的位置然后向上下两端延伸，在50 s 时岩样中间偏下位置出现第2 条裂隙并不断向中间和底部延伸。黑云母的面积较小，呈现为分散的点状分布，位移不明显。石英呈现为均匀的块状分布，相互之间连结紧密，中间石英向左右两侧移动。长石主要以片状集中分布在左上角区域，部分以点状和块状分散在其他区域，中间部分向左右两侧轻微移动。

图6 花岗岩不同组分分布随时间的变化Fig.6 Time-variation of distribution of various compositions in granite

在渐进破坏阶段，开始时第1 条裂隙向上延伸于接近岩样顶端，向下与第2 条裂隙几乎相连，然后上下两条裂隙连通，纵向贯穿于岩石表面并将岩石分为左右两个区域，且裂隙宽度不断增大；黑云母在岩样左侧时往左上移动，在右侧时往右上移动；石英在岩样中间时被大量压裂，没有被压裂的则向两侧移动；长石在岩样中间也被大量压裂，周围长石向两侧大幅移动。

在完全破坏阶段，裂隙宽度持续增大并没有迅速出现新生裂隙；黑云母基本分散出现在岩样中间区域，位移持续增大；石英基本分布在岩样两侧区域，位移也逐步增大；长石在岩样左上角区域增多，持续向左右两侧移动。

由上可知，在花岗岩整个变形破坏过程中，裂隙在中部区域萌生，最后纵向贯穿了整个岩石表面。黑云母组分分布比较分散且不断向左上方或右上方移动。石英集中分布在两侧区域，长石集中分布于岩样中间区域和左上角区域。石英和长石在岩样中间区域均遭受破坏且多向左右两侧移动。

3 全卷积神经网络识别效果分析

3.1 评估指标

研究时，本文使用两个定量指标来评价所建全卷积神经网络对岩石单帧图像中不同组分的识别效果。这两个指标是：

（1）准确率（Accuracy），即某一组分类别正确分类的像素数量与标签上该类别像素数量之比；

（2）全局准确率（Global Accuracy,GA），即所有组分类别正确分类的像素数量与图像总像素数量的比值，计算公式如下：

式中，CN、QN、FN、BN分别为对裂隙、黑云母、石英、长石进行正确分类的像素数，TN 为图像总像素数。GA的变化范围是[0,1]。GA越大，识别效果越好。

3.2 不同组分识别准确率随时间的变化

使用准确率作为评估参数，利用已经训练好的全卷积神经网络对变形破坏过程中岩石中的不同组分进行识别，得到识别准确率随时间的变化情况，如图7所示。

由图7可知，裂隙识别的准确率为98%左右，但在60 s 左右时有小幅降低；黑云母识别的准确率为95%左右，在60，150，200 s 左右时有小幅下降；长石识别的准确率为83%左右但波动较大，在60 s 左右时明显下降，70 s 左右时为85%左右，200 s 后下降较大；石英识别的准确率为75%～80%波动，60 s 左右明显下降，70 s 左右时为80%左右，200 s 后下降幅度较大。

图7 花岗岩中不同组分识别准确率随时间的变化Fig.7 Accuracy of recognition of various compositions on granite with time

由此可知，花岗岩中不同组分识别准确率大小顺序是：裂隙>黑云母>长石>石英。加压至60 s 左右时岩石从变形阶段转到破坏阶段，各组分识别的准确率均会下降；200 s 后岩石完全破坏，岩石中黑云母、长石和石英这三种基本组分识别的准确率不断降低。

3.3 网络参数影响分析

将网络深度、初始学习率和网络迭代次数作为影响因素，使用全局准确率来评估因素所建FCN 识别效果的影响。FCN 的网络深度取3 个，分别是17 层（拥有3 个卷积层和5 个ReLU 层）、19 层（拥有4 个卷积层和6 个ReLU 层）、21 层（拥有5 个卷积层和7 个ReLU 层）；初始学习率r分别取0.001、0.002、0.004、0.006、0.008；网络迭代次数分别取2 600、5 000、6 600。不同因素下所建FCN 识别效果的计算结果如表2所示。