基于改进Faster R-CNN算法的岩石裂隙发展方向跟踪预测研究

黄晓红，李铁锋，刘祥鑫，李伟

（1.华北理工大学 人工智能学院，河北 唐山 063210；2.华北理工大学 矿业工程学院，河北 唐山 063210）

0 引 言

在深部矿产资源开采、交通桥隧工程、水利水电工程中，岩土工程灾害（如岩爆、岩体崩塌、岩体滑坡等）时有发生，给国家经济和工人人身安全带来巨大损失和威胁，因此，岩体破裂失稳问题一直都是国内外岩体力学研究的重点问题。

20世纪90年代初，一些学者屡次发现地震前存在岩石热红外图像异常现象并展开了岩石加载过程中红外辐射变化规律研究。刘善军等［1-3］研究发现，岩石破裂红外辐射前兆机理是岩石热弹效应和摩擦热效应的综合，并且岩石在破裂前平均红外辐射温度（AIRT）与热像类型存在异常前兆；花岗岩的AIRT异常表现为发生剪切失稳破裂前，AIRT迅速上升，而红外辐射热像异常表现为沿未来破裂带出现热红外辐射高温或低温条带；不同性质的辐射条带预示不同的破裂性质，高温条带预示剪性破裂，低温条带预示张性破裂。岩石张裂隙发育时，产生热弹（吸热）效应，导致温度下降；剪裂隙发育时，破裂面间发生相互错动和摩擦，导致温度上升。对花岗岩失稳破裂前的红外热像中高温和低温区域内的AIRT分别进行了监测，发现破裂前高温区域内的AIRT持续上升，而低温区域在破裂前AIRT先急剧下降然后再上升。徐忠印等［4］研究发现，花岗岩破裂过程中，目标区域AIRT随时间变化曲线持续上升，直至破裂前夕。这让越来越多的学者意识到，岩石破裂红外辐射前兆对岩石破裂预警的重要性，同时也涌现许多基于岩石破裂红外辐射前兆的机理分析与预警方法。张艳博等［5］采用岩石破裂红外辐射特征与声发射信号的联合监测对岩石破裂的损伤演化进行了分析；陈国庆等［6］对节里岩桥裂纹扩展的热红外辐射前兆信息进行了研究。

本文针对花岗岩单轴压缩试验中岩石表面裂隙发展方向的跟踪预测方法进行研究。基于岩石失稳破裂前的热红外辐射前兆具有平均红外辐射温度-时间曲线异常的现象，且裂隙延展往往与内部失稳破裂有关，因此在监测到岩石破裂时，定位岩石裂隙所在红外热像图中的位置，监测红外热像图中岩石裂隙及附近区域的温度变化，并绘出红外辐射温度-时间曲线，然后进行分析，有助于跟踪预测岩石裂隙发展方向。基于岩石破裂红外热像图定位岩石裂隙称为目标检测。为避免裂隙发展带来的部分岩土工程灾害，必须及时定位红外热像岩石裂隙，所以对目标检测精度和实时性均有一定要求。传统图像处理手段需要根据特定场景设计不同的图像特征提取方法，但往往在某一场景有很好的表现，换另外一个场景可能就表现得很差。

近年来神经网络快速发展，其模拟人脑进行学习分析，实现数据特征分层理解、解释、表达，具有强大的信息处理能力。神经网络在计算机视觉领域应用取得了非常好的效果，特别是图像目标检测，从而大量的优秀算法被提出，其中应用比较广泛的有从R-CNN到Faster R-CNN等［7-9］一系列二阶段算法。单阶段算法比较常见的有Yolo［10］，SSD［11］等一系列算法。鉴于本文岩石裂隙检测对精度与实时性均有一定要求，提出使用基于改进的Faster R-CNN岩石裂隙发展方向跟踪预测方法，并进行仿真，最后通过实验验证本文方法的有效性。

1 岩石裂隙发展方向跟踪预测方法

1.1 改进的Faster R-CNN算法

岩石裂隙类型分为张性裂隙和剪性裂隙，本文针对这两类裂隙进行目标检测。考虑到岩石单轴压缩试验中产生的裂隙尺寸差异较大，且岩石裂隙形态复杂，所以对模型检测不同尺寸岩石裂隙性能和模型的拟合能力有一定要求。对于工程应用，对裂隙检测的精度和速度也有一定要求。针对这些要求，提出使用改进的Faster R-CNN算法进行裂隙目标检测。

原始的Faster R-CNN（图1）引入了区域建议型网络（region proposal network，RPN），将传统的区域建议方法用神经网络方法实现，减少了CPU使用率，利用GPU运行神经网络速度快的特点，加快模型运行速度。不仅如此，RPN还让Faster R-CNN成为二阶段目标检测算法，即对每张红外热像图的目标检测经过两次识别与回归，检测精度很高。

图1 Faster R-CNN结构Fig.1 Faster R-CNN structure

1.1.1 深度残差网络

一般而言，卷积神经网络拥有更多的层数，即网络的深度越深，可提取到的语义特征越丰富，模型的拟合能力越强，从而拥有更好的鲁棒性。虽然网络宽度即卷积核数量也影响模型的拟合能力，但其带来的影响远不及深度，因此本文着重考虑增加卷积神经网络深度，以提升其拟合能力。考虑到对模型速度也有一定要求，且网络层数越深，速度越慢，本文将原始Faster R-CNN的特征提取网络即VGG16改为ResNet50，而不使用拟合能力更强的ResNet101。

ResNet由 多 组 残 差 块［12］（residual block）（式（1），图2）堆叠而成，旨在解决深层神经网络存在的梯度消失问题，使深层神经网络的层数可以更多，精度更高，训练更容易。

图2 残差块Fig.2 Residual block

式中：Ouput为输出；relu为激活函数；f（x）为残差块中‘⊕’之前的输出；x为残差块的输入。

1.1.2 优化建议框与岩石裂隙特征的空间对应关系

由于RPN产生的建议框大小包含的多种特征图区域尺寸各异，而后面分类器与回归器使用的全连接层要求每次输入的特征尺寸相同，针对上述问题，原始Faster R-CNN引入了ROIPooling结构［9］。

ROIPooling结构将每个建议框包含的特征图尺寸统一为后面回归器与分类器需要的大小，包含了两次量化操作，从而引入了两次量化误差。对于尺寸较小的岩石裂隙，由于其本身所占图像像素个数较少，因此量化误差可能会导致检测框误差较大。针对此问题，本文将ROIPooling结构改为ROIAlign［13］结构。

ROIAlign结构将ROIPooling结构的发生两次量化误差的操作改为保持原有的浮点数不量化，并用双线性插值法填充特征图目标像素点，从而尽量避免量化误差的产生。ROIAlign结构如图3所示。

图3 ROIAlign结构Fig.3 ROIAlign structure

图3所示为ROIAlign结构利用双线性插值法求特征图的过程。横向虚线落在像素点上，说明其并未直接量化，而是保留了浮点数对应关系，然后用双线性插值法求出图中‘×’位置的像素值，尽量避免产生量化误差。

1.1.3 多尺度特征融合

原始Faster R-CNN仅用顶层特征图做分类与边框回归，随着网络层数加深，特征图尺寸被压缩，并伴随有信息丢失，若岩石裂隙在原图中尺寸较小，可能会在中间层丢失特征信息，导致漏检。本文引入FPN（feature pyramid networks）结构［14］，将特征提取网络中多个不同层特征图进行融合，由于不同层特征图感受野不同，故称多尺度特征融合。

图4 FPNFig.4 Feature pyramid networks

1.2 平均红外辐射温度-时间曲线

裂隙发展方向预测方法主要是基于花岗岩加载过程中表面红外辐射温度场的定量分析。通常是选定目标区域，即神经网络模型检测到的裂隙及附近区域，将区域内的平均红外辐射温度（AIRT）作为分析指标，观察AIRT随时间的变化过程。AIRT（式3）考虑了温度场内所有像素的温度值，能够反映岩石温度表面红外辐射的整体强度［15］。

式中：aij为目标区域对应温度矩阵中每个像素点的温度值；m为矩阵宽；n为矩阵长。

部分学者研究表明［4］，单轴压缩下岩石在失稳破裂前，目标区域的AIRT不断上升直至发生失稳破裂，随后AIRT发生陡降。这是因为失稳破裂发生前，内部微小破裂已经发生，由于内部微小破裂的摩擦热效应越发强烈，致使热量积聚，温度升高并传至岩石表面，导致目标区域温度升高。失稳破裂发生后，岩石内部空隙增大，从而热量开始释放，温度骤降，且岩石裂隙延展通常与内部失稳破裂发生有关，因此目标区域的AIRT不断上升可作为裂隙延展的前兆。

2 试验与分析

2.1 岩石试样制备

试验岩石为花岗岩，均取自沈阳，将自然状态下的花岗岩加工成50 mm×100 mm×50 mm的标准试样，试样两端平整度误差小于0.02 mm，试样制备满足常规岩石力学试验的要求。共制备试样14块，编号分别为GUD-1～GUD-14。

2.2 岩石单轴压缩试验与方法

岩石单轴压缩试验采用轴向等位移控制的方式进行加载，加载系统为TAW-3000型常规三轴试验机。试验机的最大轴向压力3 000 kN，测量精度±1%。为了保证试样和加载面完全接触，先将试样加载至2 kN，随后以0.15 mm／min速率加载至破坏。试验中采用德国Infra Tec Image IR 8 300红外热像仪，分辨率为640像素×512像素，光谱为2.0～5.7μm，温度灵敏度小于25 mK（温度在30°C时），试验设备如图5所示。

图5 试验设备Fig.5 Layout of test system

2.3 数据集制备

试验中的岩石裂隙分为张性裂隙和剪性裂隙两种类型（图6）。由于花岗岩破裂状态不可控，加载时6个面均可能出现裂隙，但仅可选取1个面作为观测面，因此花岗岩裂隙红外热像图收集具备一定的随机性，从而导致收集难度较大。从试验产生的红外热像图中筛选277张差异较明显的图像，其中包含张性裂隙203个、剪性裂隙217个，图像格式均统一为jpg格式。

制作训练集。从277张红外热像图中随机选取227张，其中包含张性裂隙152个，剪性裂隙170个，用于训练集制作。由于数据样本有限，考虑到实际应用场景的复杂状况，以及红外热像仪拍摄过程中视角与清晰度的变化，为提高模型泛化能力，采用角度旋转、亮度变换、图像裁剪、放大缩小和添加高斯噪声的方法扩充训练样本图像至3 632张。

制作测试集。为增加测试集数量，更好反映模型性能，使用余下的40张岩石裂隙红外热像图做上下翻转、镜像翻转、增加高斯噪声、调整明暗等操作，将图像扩充至200张。

《人力资源社会保障部 食品药品监管总局关于表彰全国食品药品监督管理系统先进集体和先进工作者的决定》影印件

针对基于改进Faster R-CNN算法的岩石裂隙检测任务，利用选取的训练集图像与测试集图像建立标准PASCAL VOC2007格式的岩石热红外裂纹图像数据集。

为适应ResNet50的模型拟合能力，增加图像差异，提升学习效果，验证方法有效性，训练集和测试集均未将红外热像图右侧颜色条与背景裁剪掉，如图6所示。

图6 岩石红外热像裂隙图像样本Fig.6 Thermal infrared images samples of rock cracks

2.4 神经网络模型训练试验及结果

本文仿真试验硬件配置为：Tesla V100 SXM2 GPU，Intel（R）Xeon（R）Gold 6271C CPU＠2.60 GHz×24，32 GB内存，100 GB硬盘。软件平台为：Ubuntu18.04LTS，paddlepaddle1.8.0框架，CUDA 11.0，cuDNN 7.6，Anaconda4.7.5（Python3.7.4）开发环境。

本文中使用的评价指标为平均精度均值mAP［16］（mean average precision），该评价指标兼顾了检测准确率（precision）和召回率［16］（recall），相较于单纯使用准确率，使用此评价指标能更好地反映模型算法的全局性能。mPA计算方法如下。

式中：IOU为预测框与真实框重叠部分与其总面积的比值，用于评估预测框与真实框的重合度，IOU≥0.5，并且模型判断为True，归类为TP，其余以此类推；AP为平均精度；对每一类AP（式7）求均值，得到mAP。

为缩短训练时间，增强模型泛化能力，使用预训练模型的参数进行参数初始化。预训练模型均是基于ImageNet［17］的骨架网络预训练模型。所有预训练模型均通过标准的Imagenet-1k数据集训练得到。训练过程中，衡量模型预测误差的函数即损失函数（loss）总体趋势下降，且mAP总体趋势上升，表示训练有效，如图7所示。

图7 训练过程中评价指标及裂隙检测结果Fig.7 Evaluation index and detection results of fissures during training

训练过程不仅训练了改进的Faster R-CNN模型，而且还训练了两种现有目标检测模型，即Yolo v3和SSD，并将它们进行对比分析。

不同模型在测试集上的测试结果见表1。每项改进对于Faster R-CNN的mAP均有较明显提升，以ResNet50为特征提取网络的Faster R-CNN其mAP达到80.31%，检出率一般，有一定的漏检率。改用ROIAlign后的Faster R-CNN，其mAP达到84.95%，上升了4.64%，表明提高了检出率，这是因为建议框与岩石裂隙特征的空间对应关系更加准确。引入FPN结构后的Faster R-CNN，其mAP达到88.81%，上升了3.86%，表明检出率进一步提升，这是因为FPN结构对模型特征进行了多尺度融合，提升了模型对不同尺寸岩石裂隙的检测能力。最终改进后的Faster R-CNN的mAP可以达到88.81%，平均每秒能处理26.07张红外热像图。由上述分析可见，改进后的Faster RCNN对红外热像图中的岩石裂隙有着良好的检测效果，但实时性一般，Yolo v3和SSD虽然实时性良好，准确度却远低于前者。实际应用场景下，改进后的Faster R-CNN平均每秒处理26.07张图像的速度基本可以满足应用需求，并且其达到88.81%的mAP表明模型可以适用大部分情况下的岩石裂隙检测任务。

表1 测试结果Tab.1 Test results

为了更加直观地对比模型检测性能，挑选一张未添加到数据集且尺寸不同、裂隙形态复杂的红外热像图，送入改进后的Faster R-CNN，及Yolo v3、SSD进行处理，然后观察检测结果。为了清晰显示检测结果，仅截取岩石部分，如图8所示。由图8可知，改进后的Faster R-CNN漏检较少，而Yolo v3与SSD漏检较多，表明改进后的Faster RCNN岩石裂隙检测性能明显优于Yolo v3与SSD模型。综合试验结果与实际应用情况，本文选用改进后的Faster R-CNN。

图8 检测结果对比Fig.8 Comparisons of detection results

2.5 岩石裂隙方向发展跟踪预测仿真实验及结果分析

利用通过训练获得的神经网络模型，即改进后的Faster R-CNN，对本文获得的单轴压缩花岗岩试验过程中的红外热像图依次进行处理。当神经网络模型检测到花岗岩破裂裂隙时，获得裂隙位置坐标，并开始监测该坐标区域内AIRT随时间的变化，从而绘出监测区域内裂隙坐标时间之前1秒为起点的AIRT随时间变化曲线。为清晰显示检测结果，仅截取图中岩石部分。限于篇幅，选取典型试样，如图9～10所示。

由图9（a）可知，花岗岩剪性裂隙出现，在内部失稳破裂进一步延展前，表面裂隙尺寸较小，改进后的Faster R-CNN模型可以准确识别并定位它在图中的坐标位置，由于两个裂隙坐标太近，故取两个框坐标的最左上与最右下坐标组成目标区域坐标监测，并绘出AIRT随时间变化曲线。图9（b）为花岗岩张性裂隙出现且未进一步延展时，由于其仅检测出一个框，故可直接以该框为目标区域进行监测，其余同理。

图9 检测结果Fig.9 Detection results

图10（a）中剧烈陡降点为GUD-4监测区域岩体内部发生失稳破裂导致岩石裂隙延展的时刻，这印证了前人的研究结果［4］，即花岗岩发生失稳破裂时，AIRT随时间变化曲线会发生陡降，且在失稳破裂前，该区域岩体表面温度持续上升，这同样符合前人的研究结论［4］。从监测改进后的Faster R-CNN模型定位的裂隙区域绘制的AIRT随时间变化曲线观测到的在花岗岩发生失稳破裂前期AIRT持续上升的特征，可作为花岗岩失稳破裂导致岩石裂隙延展的前兆信息。

图10 AIRT随时间变化曲线Fig.10 AIRT curves with time

图10（b）中剧烈抖动点为GUD-5监测区域内岩体发生失稳破裂致使裂隙延展的时刻。图10中AIRT多次出现陡降并再次升温，这是因为岩体内部多次发生失稳破裂，导致内部空隙增大从而释放内部热量，致使温度降低，但内部仍持续发生微小破裂，并再次积聚热量，升高温度，孕育新的失稳破裂，通过观测破裂过程也印证了这一点。图10中最后温度急剧下滑不再上升，预示该区域对应岩体内部微小破裂很少或不再发生，失稳破裂致使裂隙延展再次发生概率也急剧下降。

3 结 语

岩石裂隙因内部失稳破裂而进一步导致裂隙延展前，表面会出现尺寸较小的裂隙，改进的Faster R-CNN模型可有效并准确地检测出裂隙位置并获得其坐标，较Yolo v3和SSD模型有更好的检测效果。模型还考虑了mAP评价指标、模型的运行速度和运行环境等。在本文自建测试集上，改进的Faster R-CNN模型的mAP达到88.81%，且在Tesla V100 GPU下运行速度达到26.07 f／s，表明模型可以检测出大多数岩石裂隙，综上可知，模型性能一定程度上可满足应用需求。

利用改进后的Faster R-CNN模型处理花岗岩裂隙红外热像图，对获得的裂隙坐标区域进行AIRT监测，结果表明，AIRT随时间变化曲线符合前人研究规律，即花岗岩内部失稳破裂前目标区域温度持续上升，表明对花岗岩裂隙因内部失稳破裂而延展带来的灾害在一定程度上可以预测，证明了本文方法的有效性。

本文岩石裂隙发展方向跟踪预测方法有其局限性，不适用于所有情况，未来会完善。岩石裂隙红外热像图像稀缺，相信以后有更多的数据参与到模型训练中，从而进一步提升模型性能。