基于改进Faster RCNN的岩石热红外图像张剪裂纹检测

黄晓红 卢 晔 张润东 董诗琪

(1.华北理工大学人工智能学院,河北 唐山 062310;2.河北省工业智能感知重点实验室,河北 唐山 062310;3.华北理工大学管理学院,河北 唐山 062310)

岩石的破裂模式会对岩石破坏形态产生影响,张性破坏和剪性破坏的破坏形式具有明显区别[1],故对岩石张剪裂隙进行检测对于矿山灾害防治具有重要意义。热红外图像监测一直是岩石破裂过程研究的重要方法之一[2-7]。吴立新等[8]试验研究了岩石压剪破裂过程的热红外辐射成像规律,发现压剪作用越强,破裂过程中红外辐射升温现象越明显。陈国庆等[9]研究了节理岩桥在单轴加载过程中的红外热像图变化特征,得出岩石在加载破裂过程中存在两种红外异常破裂前兆,并根据热像图变化预测了裂纹扩展趋势。谢玉晟[10]对煤岩的张剪破坏演化过程中的红外辐射特征进行了分析,结果表明:剪切破坏形式的煤岩试样破坏前红外辐射温度整体呈升高趋势,热像图沿破裂带呈高温条带特征;张拉破坏形式的试样红外辐射温度整体呈下降趋势,热像图沿破裂带呈低温条带特征。刘善军等[11]对不同岩性岩石破裂前后的红外异常辐射进行了研究,认为岩石破裂热红外异常是热弹效应和摩擦热效应综合作用的结果,且岩石热像在破裂前存在异常前兆。李铁峰[12]采集了岩石破裂过程中的热红外图像,并使用改进的Faster RCNN对岩石的张剪裂纹进行了检测定位,检测精度达到了88.81%。

总体来说,现有研究对于张拉破裂和剪切破裂的破裂模式区分不足,随着深度学习的加速发展,基于卷积神经网络的图像和视频目标检测算法不断更新[13-15],基于深度学习的张剪裂纹识别会成为岩石破裂失稳研究的热点。本研究在Faster RCNN 网络的基础上优化了特征提取和检测框回归算法,提出一种新的岩石热红外图像张剪裂纹检测方法,并通过岩石破裂试验采集岩石破裂过程中的张性裂纹和剪性裂纹热红外图像构建数据集,训练并验证模型的准确性,在牺牲少量推理速度的情况下,大幅度提高了岩石张剪裂纹检测的准确率。

1 试验数据

本研究通过开展花岗岩单轴压缩试验收集岩石破裂过程中的红外热像图,建立岩石红外裂隙数据集。

1.1 岩石破裂试验

花岗岩单轴压缩试验环境为TAW-3000 型常规三轴压力机和Infra Tec Image IR 8300 红外热像仪。将花岗岩试件加工成大小为50 mm×50 mm×100 mm(长×宽×高)的长方体,将试件受力面两端打磨至不平整度在0.05 mm 范围内,共制备了14 块试件,分别编号为GUD-1～GUD-14。试验控制方式采用轴向等位移加载,先将试件预加载至2 kN,再以0.15 mm/min 的速率加载至试件破坏。使用红外热像仪记录花岗岩试件表面的红外辐射温度变化,且在试验过程中禁止人员走动,以减少环境因素干扰。

1.2 数据集构建

本研究花岗岩热像异常表现为:在花岗岩破裂前沿破裂带出现热红外辐射高温或低温异常条带,高温异常预示剪性破裂,低温异常则预示张性破裂[11]。

从在岩石破裂试验中获取的岩石裂隙红外热像图中筛选出267 幅差异较明显的图像,图像格式均为jpg 格式。为了保证训练过程中样本相对均衡,在张裂与剪裂目标数量相差较小的前提下,从筛选出的267 幅岩石裂隙热像图中随机抽取227 幅图像,其中张性裂隙162 幅,剪性裂隙65 幅。使用角度旋转、尺度变换、裁剪等数据增广方法进行预处理,获得3 632 幅照片用作训练集。将剩余的40 幅图像同样做数据增广至200 幅,用作测试集。使用LabelImg软件对岩石裂隙进行标记,制作岩石红外裂隙的PASCAL VOC 格式数据集。数据集中典型样本如图1所示。

图1 典型的张剪裂纹图像Fig.1 Typical tension-shear crack images

2 基于改进Faster RCNN的岩石热红外图像张剪裂纹检测

2.1 Faster RCNN 模型检测原理

Faster RCNN[16]网络模型结构如图2所示,采用ResNet50[17]为Faster RCNN 网络的特征提取网络,使用特征金字塔(Feature Pyramid Networks,FPN)[18]进行多尺度特征融合。首先将图片输入主干网络进行特征提取,通过FPN 生成多尺度特征图,然后用区域建议网络(Region Proposal Network,RPN)生成相对较精确的建议框,将建议框映射到每一个尺度的特征图上,利用ROI Align 将每个建议框所对应的特征图统一为固定尺寸,送入后续网络进行分类和回归,最终获得检测框的类别并实现精准定位。

图2 Faster RCNN 模型架构Fig.2 Structure of Faster RCNN model

2.2 改进的Faster RCNN 模型

在目标检测算法中,目标分类和检测框回归的操作都是在主干网络提取的特征图的基础上完成的,因此提取的图像特征的质量会直接影响最终的检测精度,另外,回归的检测框质量也会对检测精度造成很大影响。综上,本研究从特征提取角度和检测框回归角度对模型进行改进,引入注意力引导的上下文特征金字塔网络结构和级联检测结构,来提高岩石张剪裂纹检测的准确率,改进后的Faster RCNN 模型结构如图3所示。

图3 改进的Faster RCNN 模型架构Fig.3 Structure of improved Faster RCNN model

2.2.1 采用注意力引导的上下文特征金字塔网络

岩石裂纹具有形态多样、大小不一等特点,识别难度高。图像在输入特征提取网络后会生成低维度到高维度几个不同维度的特征图,不同维度特征图包含不同的特征信息。FPN 网络可以将不同维度的特征图进行融合再用于后续的分类和回归操作,加强卷积神经网络的特征表达能力。但是,FPN 方法依然存在一些不足:在输入图像分辨率过高的情况下,感受野不能很好地覆盖整幅图像,无法获取有效的语义信息,难以充分利用目标周围的环境信息;对于大尺度目标的检测效果不十分理想,经过多次下采样后特征图分辨率降低,虽然感受野会变大,但是细节特征会丢失,多尺度感受野获取的语义信息利用率低。为此,本研究引入了注意力引导的上下文特征金字塔网络(Attention-guided Context Feature Pyramid Network,ACFPN)[19],该结构能融合来自不同尺寸的感受野特征,在增大感受野的同时能够充分利用物体的上下文语义信息,获得更高的准确率。

ACFPN 的网络结构如图4所示。该网络主要由两部分组成:一部分是上下文提取模块(Context Extraction Module,CEM),其作用是从各个不同大小的感受野中获取上下文信息,但是为了避免大量且繁杂的上下文关系对定位和识别任务造成误导,又加入了另外一个部分即注意力引导模块(Attention-guided Module,AM),该模块可以通过注意力机制来显著增强对象周围的有用信息。AM 模块包含两个子模块:上下文注意模块(Context Attention Module,CxAM)和内容注意模块(Content Attention Module,CnAM)。前者用于捕获各子区域间的语义信息,后者用于定位精确位置信息,将经过两模块细化后的特征与输入特征进行融合能得到更全面的特征表示,从而获得更好的检测结果。

图4 ACFPN 结构Fig.4 Structure of ACFPN

2.2.2 引入级联检测结构

情人节我玩失踪，对叶霭玲是一个致命打击。她一顿疾风骤雨般的审问，让我不得不承认，我是在白丽筠那里。我甚至向她坦白我与白丽筠发生了实质性的两性关系。我觉得我所做的一切都是顺理成章的，没有一点儿牵强，因而也是美好的，用不着惭愧。

交并比(Intersection over Union,IOU)是用来评估预测框与目标框接近程度的一个指标,IOU值越大,表示预测框越接近真实框。IOU可取的最小值为0,表示预测框与真实框没有相交,可取的最大值为1,表示预测框与真实框重合。

在Faster RCNN 模型的分类回归阶段,会设置一个IOU阈值来界定正负样本,若阈值设置过小,正样本中也会包含大量背景信息,容易造成误检;若阈值设置过大,则会造成正样本数量过少。当输入的建议框与真实框的IOU值与设置的阈值接近时,模型的检测效果达到最佳[20]。为进一步提高检测框的检出率和准确率,避免漏检和检测框偏离真实框的情况,在Faster RCNN+ACFPN 网络结构的基础上引入了级联(Cascade)检测结构。Cascade 结构的特点是级联多个不同的IOU阈值的检测器[21],将前一个检测器的输出用作后一个检测器的输入,IOU逐步上升,由于每一级结构输出时的IOU普遍大于输入时的IOU,因此检测效果也会逐步提升。

2.3 整体思路

基于改进Faster RCNN的岩石热红外图像张剪裂纹检测流程如下:

(1)进行花岗岩单轴压缩破坏试验,获取岩石破裂的热红外图像,从获取的岩石破裂图像中挑选出差异明显的张性裂纹图像和剪性裂纹图像并标注成数据集。

(2)使用自制的岩石红外裂隙数据集对改进的Faster RCNN 模型进行训练。首先将ResNet50 输出的多层特征经过ACFPN 融合成包含上下文信息的多级特征金字塔,送入RPN 网络生成建议框;然后将建议框映射到每一个尺度的特征图上,经过ROI Align统一尺寸后,送入检测器进行分类和回归,多级检测器级联并逐步提高检测器的IOU阈值得到最终的检测结果。进行消融试验验证模型改进的有效性。

(3)使用训练后的模型对岩石破裂实例进行检测,证明模型的有效性。

3 试验设计与结果分析

3.1 试验设计

本研究使用百度飞桨深度学习平台作为试验平台,核心框架采用PaddlePaddle 1.8。训练过程中的模型优化策略使用动量法(Momentum),将动量系数设置为0.9,初始学习率设置为0.002 5,迭代次数为20 400,衰减系数为0.1。当迭代次数分别为13 600、18 000 时,将学习率调整为原来的0.1 倍,每隔1 000次进行一次模型评估。

本研究采用平均精度均值(mean Average Precision,mAP)和每秒传输帧数(Frames Per Seconds,FPS)作为岩石裂纹目标检测方法评估指标。mAP为指数据中全部类的Precision-Recall 曲线下面积的平均值。精确度P、召回率R的计算公式为

式中,TP为分类器判断为正样本且实际为正样本的数量;FP为分类器判断为正样本但实际为负样本的数量;FN为分类器判断为负样本但实际为正样本的数量。

3.2 试验结果

本研究使用的基础Faster RCNN 网络模型与文献[12]中模型相同,使用自制的岩石热红外图像裂纹数据集训练模型,基础Faster RCNN 模型在测试集的mAP为88.81%,检测速度为26.71 fps。使用ACFPN和Cascade 作为改进策略对基线网络模型进行改进后,在相同的数据集上,对岩石热红外图像的张剪裂纹检测精度分别提升了1.34%和3.96%,消融试验结果见表1。最终模型在自制数据集的测试集上检测精度达到了94.11%,检测速度为19.27 fps,模型mAP收敛情况如图5所示。与基础模型相比,改进后的模型检测精度提升明显,证明了方法的有效性。

表1 消融试验结果Table 1 Results of ablation experiment

图5 Faster RCNN+ACFPN+Cascade 模型mAP 值变化Fig.5 mAP values changes of Faster RCNN+ACFPN+Cascade model

使用改进后的Faster RCNN 模型对岩石热红外图像张剪裂纹进行了检测,结果如图6所示。

图6 张剪裂纹检测效果Fig.6 Detection effects of tension-shear crack

3.3 实例检测分析

岩石在受力加载过程中的破坏形态是多样的,往往不是单一的张拉破裂或者剪切破裂,多为张拉破裂和剪切破裂混合的复合破裂模式。由于复合破裂模式破坏过程过于复杂,本研究暂不讨论。以发生典型张性破裂的GUD-5 试件为例,该试件的破坏形式为一条轴向主裂纹将试件分割成两部分。

GUD-5 试件加载过程的AIRT 变化曲线如图7所示。由图7 可知:在试件加载初期岩石试件表面整体温度先短暂上升后平稳变化,在158 s 后转为下降趋势,加载进行至335 s 时,温度出现突降,在第464 s时,试件表面平均温度出现第二次突降。总体而言,发生张拉破裂的岩石表面温度呈下降趋势。

图7 GUD-5 试件AIRT—时间曲线Fig.7 AIRT-time curves of sample GUD-5

根据试件AIRT 曲线变化情况选取0、338、341、379、447、473 s为代表性时间节点将裂纹的物理变化与裂纹的热红外图像以及本研究模型对裂纹的检测结果进行对比分析,结果如图8所示。图8(a)为试件单轴压缩过程中的可见光照片,图8(b)为该试件与图(a)对应时间点的热红外图像,图8(c)为使用本研究模型对图(b)的检测结果。在加载初期,岩石试件的红外热像图无异常变化,在第338 s 时,试件中间开始出现低温异常辐射现象,而后低温异常逐步延伸成形,341 s 时,试件中央出现明显的低温条带,与试件AIRT 曲线上出现的第一次温度骤降时间段相符,试件表面出现肉眼可见的裂纹。加载至379 s时,热像图能直观展现裂隙形状,且与岩石物理裂隙形状相同,随着加载进行,岩石裂隙不断加深、加宽,红外热像图也呈现对应的变化,464 s 出现第二次温度骤降后,试件破裂面积明显增大,直至完全破裂。

图8 GUD-5 试件破裂过程及检测结果Fig.8 Fracture process and detection effects of GUD-5 sample

使用本研究模型将GUD-5 试件加载破裂过程中的典型图像进行了检测,结果表明:

(1)在裂隙发展初期,裂隙未成形时,本研究模型检测能力低下,338 s 时,产生了将岩石表面反射光点检测为剪性裂纹的误检现象。

(2)裂隙成形后,应用本研究模型能准确检测出岩石破裂位置,精确度较高,且随着加载进行,岩石裂隙不断扩大,模型仍能准确检测出岩石破裂位置。

(3)本研究模型能够在岩石破裂前期及时发现岩石表面裂隙,标记岩石破裂位置,精度高、速度快,为岩石破裂空间预警提供了新思路。

4 结论

(1)在Faster RCNN 模型的基础上,利用ACFPN网络和级联检测网络优化了模型特征表示和检测框回归准确度,在自建的岩石红外裂隙数据集上获得了更高的检测精确度。

(2)所提模型可以识别出岩石表面的温度异常区域,根据热像图上的异常温度变化特征预测岩石的破裂模式和破裂区域。将本研究岩石破裂试验获取的花岗岩破裂过程中的热红外图像数据使用所建模型进行检测,结果显示:花岗岩在单轴压缩试验中试件整体多发生张性破裂,剪性破裂多发生在岩石局部位置,检测结果可以为岩石破裂预警提供参考。

(3)在岩石裂纹出现早期,裂纹特征不明显,使用所建模型的检测效果不理想,有待进一步优化。