基于RF和KNN的地下采场开挖稳定性评估

仉文岗，李红蕊，巫崇智，王林，2，3

（1.重庆大学土木工程学院，重庆 400045；2.库区环境地质灾害防治国家地方联合工程研究中心（重庆大学），重庆 400045；3.山地城镇建设与新技术教育部重点实验室（重庆大学），重庆 400045）

地下采场的稳定性是采矿作业安全性的主要关注点，对采场生产率有着重要影响.确定采场稳定性的普遍方法是通过对岩石力学参数进行评估，然后采用岩石质量Q系统分类法、RMR（rock mass rating）分类法或地质强度指标（GSI）等方法对岩石进行评分，最终根据相应的分级标准[1-3]，确定岩石的稳定性程度.近年来，一些方法如数值模拟法[4]、临界跨度图法[5]以及Mathews稳定图法[6-7]等被提出用于预测矿洞的稳定性，然而这些方法比较传统，经验性较强.在数据挖掘时代，越来越多的准确可靠的机器学习算法模型应用于实际工程中指导工程师判断矿体稳定性[8-11].

Wang等[12]采用神经网络算法，选取由加拿大6个地下采场组成的数据库（292组数据），将采场跨度、RMR值、Q值作为输入参数，对数据库进行训练并创建神经网络“专家”，进而对不同测试集进行训练得到预测模型，应用神经网络得到的跨度设计图与经验设计方法相比得到显著改进.García-Gonzalo等[5]提出采用支持向量机（Support Vector Machine，SVM）和极限学习（Extreme Learning Machine，ELM）方法对加拿大采场更新的数据库（8个地下采场，399组观测数据）对应的临界跨度图进行重新划分区域，与Lang[13]根据加拿大Detour Lake Mine中的172组数据提出的临界跨度图稳定性分区范围作比较，结果吻合较好，并在此基础上进行了优化.Goh等[14]结合多元自适应回归样条与逻辑回归两种方法（Multivariate Adaptive Regression Splines and Logistic Regression，MARS_LR），首次采用新的评估标准——第一类犯错率及第二类犯错率对预测模型的准确性进行评估，预测地下采场开挖稳定性.

然而，以上经典的机器学习模型——神经网络，虽然预测结果精确，但对数据量要求高，且计算量大，较为费时[15].对于SVM等算法，尽管模型预测能力令人相对满意，但模型解释性差且调整参数过程繁琐.此外，广泛应用于岩土工程领域的MARS方法[16-17]，其在解决问题时需要涉及具体的表达公式，在计算应用时较为复杂.因此本文采取机器学习方法中RF算法与KNN算法来避免上述问题.这两种机器学习方法可解释性强，对变量之间隐藏的关系不进行任何假设，直接体现变量间的交互作用，便于计算变量的非线性作用，从而提高模型泛化能力，在处理非平衡的数据时结果更加稳健.

鉴于此，以加拿大地下采场实测数据为例，研究RF与KNN算法对采场开挖稳定性预测的可行性.结合临界跨度图法对RMR值、跨度以及对应稳定性状态进行了综合分析，然后详细介绍了RF算法、KNN算法及预测模型准确性评估准则，在三分类及二分类方式下，基于10折交叉验证理论进行超参数优化.最后，通过计算各种模型评价指标和ROC曲线定量检验，对比分析不同分类方式下预测模型的表现，探讨本文方法的可行性.

1 临界跨度图及数据库

在许多矿洞填挖工程中，经验法因其简单性且不需要完全掌握岩体力学参数等优势而被广泛采用，其通常不考虑实际的破坏机制，而是根据综合很多案例得出的规律进行预判，具有一定的代表性，因此常被工程师应用于设计初级阶段对岩石稳定性进行初步判断.

临界尺寸图是一种被广泛应用于地下采场开挖稳定性评估的经验理论，由加拿大学者Lang首次提出[13].本文根据采场的跨度、岩石质量分级RMR值（依据Bieniawski于1976年提出的RMR分类法[18]）及矿洞稳定性等信息绘制成临界跨度图，可明显地将区域分为3部分，即稳定、潜在不稳定和不稳定区域（见图1）.通过观察矿洞不同稳定程度的分区范围，对类似地质条件的矿洞稳定性进行初步判断.

图1 临界跨度图（改编自文献[13]）Fig.1 Critical span graph（Adapted from[13]）

表1中总结了加拿大8个矿山的399组历史数据，其中包含241个稳定案例，78个潜在不稳定案例和80个不稳定案例，具体包括RMR分值、跨度以及相应的矿洞稳定性状态等信息.图2统计了输入参数RMR值和跨度直方图，关于案例的详细介绍，读者可参考文献[19].

表1 历史数据统计表Tab.1 Data sources of the case histories

由于矿洞实际观测情况分为稳定、潜在不稳定和不稳定三种状态，大部分研究根据临界跨度图将数据分为三组，但潜在不稳定状态与另外两种状态的边界划分不够明显.García-Gonzalo[5]、Goh等[14]考虑了临界跨度图的替代形式，即把不稳定及潜在不稳定均视为不稳定，只考虑稳定和不稳定两种情况绘制临界跨度图.为了对比不同分类方式对预测结果准确性的影响，本文采用RF和KNN算法对三分类与二分类两种方式进行预测分析.此外，在二分类方式下，采用ROC曲线下AUC面积值对不同算法的表现进行对比分析.

图2 直方图Fig.2 Histograms

2 分类算法

2.1 RF算法

RF是由Breiman提出的基于CART决策树（Classification and regression trees）的集成算法[20].目前该算法已广泛用于分类、回归和无监督学习等方面.对于多分类问题，采用随机抽样形成多个分类器，可收敛到更低的泛化误差[21]，有效地提高了算法的泛化能力，并且运算可实现高度并行化，进而提升模型计算效率[22-24].另外，RF算法对于不平衡样本分类表现优异，本文数据库中不稳定案例数量少于稳定案例数量，因此可以通过分析预测结果来验证预测模型的适用性.

RF算法利用bootstrap重抽样方法从原始样本中抽取多个样本组合构成多棵决策树（见图3），在不同决策树演化过程中随机改变预测变量组合来增加分类树的多样性，经过n轮训练，将不同决策树h1在样本x上的预测输出表示为一个N维向量，，其中是hi在类别标记ck上的输出.采用多数投票机制决定最终分类结果[25]，分类决策公式见式（1）.

式中：类别标记ck∈{c1，c2，…，cN}；H（x）表示输出类别，即预测为得票最多的标记，若同时有多个标记获得最高票，则从中随机选取一个标记.式（1）解释了该算法采用多数投票决策方式的原理.

图3 RF预测模型原理图Fig.3 Establishment of RF prediction model

2.2 KNN算法

KNN算法是一种基于统计的非参数模式识别分类算法，由Yakowitz首次提出并应用于时间序列预测方面[26].由于其实现过程的简单性，已在很多领域得到应用，如文本分类[27]、短期需水量预测[28]、年平均降雨量预报[29]等.该算法简单易用，但对内存要求较高，其在学习过程中简单地存储已知的所有训练数据，当遇到新的查询样本时，取出一系列相似的样本，用来分类新的查询样本.图4为三分类情况下，KNN算法原理示意图.

图4 KNN算法原理示意图Fig.4 Schematic diagram of k-nearest neighbor algorithm

假定所有的样本对应于n维空间R″中的点，一个样本的最近邻可根据标准的欧氏距离定义[30].任意的样本x表示为特征向量x={x1，x2，…，xi}，xi表示样本x的第i个特征值.那么两个样本xm和xn的距离定义为d（xm，xn），在二维和三维空间中的欧氏距离即两点之间的实际距离，计算公式为：

给定一个待分类的样本xm，x1，x2，…，xk表示训练集中与xm距离最近的K neighbors个样本，使用最近邻的大多数投票法作为待查询样本的预测值.

2.3 模型评估准则

在计算模型准确率的时候，许多研究常采用正确率和判错率来判断模型的准确性，然而只采用这两个指标不足以全面说明模型的准确性，因此采用混淆矩阵来计算模型对任何一种情况的判断准确率或者失误率是必不可少的.混淆矩阵是一个评估分类模型表现好坏的表格，矩阵的列代表实际分类情况，行代表预测分类情况，三分类混淆矩阵如表2所示，对于二分类方式同理，在此不再赘述.

表2 混淆矩阵Tab.2 Confusion matrix

混淆矩阵的每个单元代表不同预测状态与实际状态对应的统计数.采用表3中评价指标判断模型准确性：召回率（Recall rate）表示模型对地下采场三种稳定性状态判断的正确率，如式（3）所示，这个数值代表模型对每种情况判断正确的概率，在很大程度上决定了模型的适用性；模型的精确度（Precision）表示为式（4）.模型判断准确率（Accuracy）定义为式（5）.

表3 评价指标Tab.3 Evaluation criteria

此外，采用受试者工作特征曲线（Receiver Operating Characteristic Curve，ROC曲线）来评估两种算法的性能，ROC曲线图是反映敏感性与特异性之间关系的曲线，横坐标X轴为假阳性率（误报率），纵坐标Y轴为真阳性率（敏感度）.ROC曲线下方部分的面积被称为AUC（Area Under Curve），用来表示预测准确性，AUC值越高，即曲线下方面积越大，说明预测准确率越高[31-32].AUC的值介于0.0～1.0，表现出色的模型AUC值高于0.9，一般的模型AUC值介于0.7～0.9，当AUC值小于0.7时，模型效果较差[33].

通常情况下，将不稳定判断为稳定的代价要远高于将稳定判断为不稳定的代价，因此降低模型对不稳定判断为稳定的概率，即提高不稳定情况的召回率是至关重要的.本文将重点分析两种算法在不同分类模式下的召回率及模型准确率，旨在提高模型实用性和可靠性.

3 计算流程及超参数优化

为了对比RF和KNN算法的表现，设定两种算法的训练集与测试集是相同的，均从399个数据中随机选出299个数据作为训练集，剩余100个作为测试集.将矿洞稳定情况分别按照三分类和二分类两种方式进行预测，并根据AUC值对两种算法的表现进行对比，确定表现更好的模型.两种算法具体计算流程详见图5.

图5 预测模型建立流程图Fig.5 Prediction model establishment flow chart

超参数是在建立模型前设定的一组参数，是用于控制模型好坏的调节旋钮，调节超参数的目的是使模型在数据处理过程中训练难度与模型效果达到平衡.RF预测模型建立的最关键步骤是设置超参数N estimators和Max depth，分别代表树的数量和最大深度.如果N estimators的值很大，计算模型的复杂性会增加，反之，训练可能会不充分.若Max depth的值很大，模型容易发生过拟合；若其值很小，则模型的准确性可能会降低.

在分类模型建立过程中必然存在相应的决策边界，当N estimators或Max depth达到一定值后，模型准确性往往不再上升或开始波动.通常利用全局搜索先确定一个学习分数较高的区间，然后根据这一范围细化参数取值，进行局部搜索得到最优超参数组合.

本文选定N estimators取值范围为[10，200]之间的整数，Max depth取值范围为[1，10]之间的整数.同样在采用KNN算法时，其超参数K neighbors对模型影响最大，选定取值范围为[1，20].然后，采用10折交叉验证方法[34]优化模型参数，即将样本数据分为10个子集，9个子集用于训练模型，剩余子集用于测试，子集交替充当独立测试集，而其他子集充当训练集[35].这个过程增加了训练子集多样性，同时保证了均匀采样.

基于上述方法，按照召回率和准确率最高的原则，绘制超参数学习曲线，得到三分类及二分类情况下N estimators、Max depth及K neighbors最优值，设定超参数，将训练集的变量作为输入值来生成RF与KNN预测模型.采用测试集对模型进行验证，得到最终的准确率和召回率，其中具体超参数优化过程详见图6、图7.

图6 RF算法超参数优化Fig.6 Hyper-parameter optimization process of RF algorithm

图7 KNN算法超参数优化Fig.7 Hyper-parameter optimization process of KNN algorithm

4 结果分析

基于RF和KNN算法，两种分类方式下训练集及测试集的预测结果如图8、图9所示.在三分类情况下，对比两种算法训练集结果，RF算法对不稳定情况的召回率更高，KNN算法的准确率更高.对于测试集而言，两种算法准确率及对不稳定情况的召回率相等.当把潜在不稳定视为不稳定情况，采用二分类方式时，两种算法的预测结果都比较理想，训练集与测试集的准确率及召回率均高于90%，与三分类方式相比，二分类方式下模型预测结果准确率及召回率更高.这也说明由于潜在不稳定是一种过渡状态，对其判断的准确性必定会影响整体的准确性.采用二分类方式，将采场观测状态进行简单化，可以更大程度地提高预测准确性，从而降低损失.同时对比图9（a）与（c）、图9（b）与（d）可以看出，KNN算法的训练集及测试集的预测结果均优于RF算法.

图8 三分类下预测值混淆矩阵Fig.8 Ternary classification prediction value confusion matrix of algorithm

与先前文献对比，Goh等[14]提出的MARS_LR模型，在二分类方式下，其训练集和测试集的准确性分别为0.91和0.88.本文在二分类方式下，RF模型的训练集和测试集的准确性分别为0.96和0.93，KNN模型的训练集和测试集的准确性分别为0.98和0.94.

图9 二分类下预测值混淆矩阵Fig.9 Binary classification prediction value confusion matrix of algorithm

García-Gonzalo等[5]采用的SVM模型，三分类方式下对应的总体平均准确率为0.82，二分类方式下对应的总体平均准确率为0.98.另外，基于ELM模型，三分类方式下对应的总体平均准确率为0.88.本文中RF和KNN模型在三分类方式下对应的总体平均准确率分别为0.93、0.95，在二分类方式下对应的总体平均准确率分别为0.95、0.97.

相对而言，本文所采用的两个模型比SVM及ELM等算法表现更为稳定，可解释性更强，在准确性方面有所提高.尤其采用二分类方法时，两种算法对不稳定情况的召回率有明显提升，即降低了将不稳定状态判定为稳定状态的概率，极大地提高了预测方法的可靠性.另外，在本文样本不均衡且数据量较小的情况下，两种模型也未出现过拟合现象，更具有实用性.

由于两种算法在二分类方式下的预测结果更准确，采用ROC曲线定量评估二分类方式下两种算法的性能.对比图10（a）与（b）可看出，AUC值均高于0.9，但无论是训练集还是测试集，KNN算法的AUC值均高于RF算法的AUC值.总体而言，KNN算法表现优于RF算法，虽然其原理相对简单，但模型表现更好，这也证明，KNN算法更适用于有明显分类界限的数据.

图10 二分类下ROC曲线Fig.10 ROC curve for binary classification

5 结论

结合加拿大的8个地下采场，399组历史案例观测数据，采用RF和KNN两种机器学习方法对地下采场开挖稳定性进行评估，得到如下结论：

1）将地下采场稳定状态划分为两种分类模式，基于10折交叉验证理论分别对RF和KNN模型进行超参数优化，在三分类方式下，确定最优超参数取值分别为N estimators=30、Max depth=7及K neighbors=2，二分类方式下，最优超参数取值分别为N estimators=20、Max depth=7及K neighbors=11.

2）在两种分类方式下，RF及KNN算法在训练集及测试集上的平均准确率均高于90%.并且二分类预测结果表现更好.对于不稳定情况的召回率这一评价指标，在三分类情况下，两种模型在测试集上的值均为0.79.在二分类情况下，两种模型在测试集上的值分别为0.90、0.93.因此将稳定状态进行二分类，可大幅提升对不稳定情况的预测准确率.

3）对于二分类情况，KNN算法表现优于RF算法，KNN算法在测试集和训练集上的准确率、召回率以及ROC曲线下AUC值更高.同时，与先前研究结果相比，两种算法均有效提高了预测模型的准确性和泛化能力，实用性更强.

考虑到模型可解释性、数据驱动及自适应性、构建变量之间的相互作用的能力以及预测不稳定情况的准确性等方面，这两种算法在评估地下采场稳定性方面都是可取的.应该强调的是，数据库和特征已决定了计算方法的准确度上限，各种模型和算法只是以不同的方式来达到这个极限.因此，高质量的数据集及重要特征提取对于计算方法的成功应用至关重要.