基于BOA-ELM的混凝土抗压强度预测研究

吴小平　李元栋　张英杰　阮映辉　刘志文

摘   要：為控制控制混凝土生产成本，在混凝土拌和期限制抗压强度不足的缺陷构建产出，可以有效降低原料的浪费，是节能降耗的关键方法之一。针对混凝土抗压强度的传统测量方法严重滞后的问题，提出了基于贝叶斯优化极限学习机（BOA-ELM）的混凝土抗压强度预测方法。首先，分析了混凝土拌和过程中对抗压强度预测值实时获得的需求。以各物料的用量为分析基础，28天标准养护后混凝土抗压强度值为预测目标，设计了基于极限学习机的强度预测模型。其次，为进一步提高模型的稳定性以及准确行，提出基于贝叶斯优化的极限学习机模型，根据模型超参数的分布特征，以高斯过程作为超参的先验分布，预测误差最小化作为目标，寻找最优的模型超参。最后，在实际施工产生的C50标号混凝土数据集上测试文中模型，并对比分析了其他预测模型和寻优算法。结果表明，结合了贝叶斯优化的极限学习机预测模型相较于经典算法具有更高的预测准确性和模型训练的高效性。

关键词：混凝土;抗压强度预测模型;极限学习机;贝叶斯优化;软测量

中图分类号：TU528.1                                             文献标识码：A

Prediction of Concrete Compressive Strength Based on BOA-ELM

WU Xiao-ping1，LI Yuan-dong2？覮，ZHANG Ying-jie2，RUAN Ying-hui3，LIU Zhi-wen4

（1. Highway Administration of Zhejiang Province，Hangzhou，Zhejiang 310009，China;

2. College of Computer Science and Electronic Engineering，Hunan University，Changsha，Hunan 410082，China;

3. Zhejiang Taizhou Coastal Expressway Co.，Ltd.，Taizhou，Zhejiang 318000，China;

4. College of Civil Engineering ，Hunan University，Changsha，Hunan 410082，China）

Abstract：In order to control the cost of concrete，it is one of the key methods to save energy and avoid the waste of materials by limiting the output of defects whoes compressive strength is not up to standard，during the concrete mixing period. Because the traditional measurement method for concrete compressive strength is seriously lagging，the prediction method of concrete compressive strength based on extreme learning machine Bayesian optimized（BOA-ELM） is proposed. Firstly，the real-time demand of the value of the compressive strength predicted during the concrete mixing process is analyzed. Based on the analysis of the amount of each material and the compressive strength of the concrete after 28 days of standard curing ，the strength based on the extreme learning machine is designed. Secondly，in order to further improve the stability and accuracy of the predictive model，a extreme learning machine model Bayesian optimized（BOA-ELM） is proposed. According to the distribution of the model hyperparameters，the Gaussian process is used as the prior distribution ，and take prediction error minimized as the target，to find the best model super parameters. Finally，the model is tested on the C50 concrete dataset generated by the actual construction，and other prediction models and optimization algorithms are compared and analyzed. The results show that the extreme learning machine prediction model combined with Bayesian optimization has higher prediction accuracy and more efficiency of model training than classical algorithms.

Key words：concrete;prediction model of compressive strength;extreme learning machine;Bayesian optimization algorithm;soft-sensor

随着建筑行业的发展，作为土木施工的主要材料之一的混凝土每年要消耗19.1亿立方米之多。随着各地对环境保护意识的增强，砂石的开采、运输管理逐步规范化，混凝土原料的采购成本也随之增加。如何合理控制混凝土生产成本成为土木行业的重要问题。混凝土的抗压强度是结构设计和施工的重要参考指标[1]，按照传统的方法，需要经过混凝土试块压制、28天养护室养护、压力机压力测试的漫长实验获得。如若该批次混凝土浇筑构件抗压强度未达到规定标准，则废除重筑。不仅浪费了原料，还延误了工期，甚至影响施工安全。如果可以在混凝土拌和期间及时获得预期强度，利于及时采取加固、补强措施，对于提高施工的质量和进度，避免物料浪费节约成本具有实用价值。

混凝土抗压强度受物料、养护时间等多种因素影响，且成动态非线性。致使19世纪基于经验构建的解析模型都有不同方面的局限性[2-3]。随着人工智能方法的发展，混凝土抗压强度预测研究领域涌现出多种智能模型，准确性更高的神经网络[4]、支持向量机[5]及其衍生建模方法[6]被大量应用。但支持向量机核函数参数、规则化系数等设置较为复杂，核函数必须满足Mercer条件。神经网络方法需要大量数据进行训练，且基于梯度下降的训练速度较慢。为了能够实时获得混凝土预期抗压强度强度，即时修正不满足预期的拌和料，预测模型的内部参数复杂度一定要低、训练效率一定要高。为此，严东等提出基于特征提取和极限学习机的软测量方法[8]，并对混凝土抗压强度的软测量问题进行了实验研究，验证了所提方法的有效性，弥补了以上方法的不足，提高了训练精度，缩短了训练时间。

预测模型的泛化性能较大地受核参数、隐藏层节点数的影响，恰当的参数设置可以较大地提高模型的预测精度。目前广泛使用的调参方法包括人工手动调参、网格搜索[9]以及如粒子群[10]、遗传算法[11]等智能优化算法。手动调参繁琐且依赖经验，网格搜索以及智能优化算法大量占用计算资源和内存资源，模型训练时效性较差。

综上，为弥补上述建模以及超参寻优方法的不足，提出了基于贝叶斯方法来优化极限学习机超参数的混凝土抗压强度软测量方法。该方法采用了贝叶斯方法高效地优化对模型泛化性能具有较大影响的超参数，避免了手动调参的繁琐、智能优化调参的费时费资源，并充分利用了极限学习机的高效性。

1   极限学习机

极限学习机[12-13]（Extreme Learning Machine，ELM）是Huang G B等人于2004年在前馈神经网络基础上提出的一种高效的机器学习算法。极限学习的结构和原理与单层神经网络相似，如图1和图2，隐藏层把输入层输入向量映射至高维特征空间，输出层为输出权重矩阵，基于数据训练学习各层权重参数。以拥有 个输入层节点，个隐藏层节点，1个输出层节点的 结构的单层反馈网络为例，给定 个随机样本 输出表示为

f（Xk） = ■βjg（Wj·Xk + b1j） + b2  k = 1，2，…，m

（1）

式中Wj = [wi1，wi2，…，wil]，i = 1，2，…，n，是隐藏层与输入层的输入权重向量，wij表示输入层第 i个节点和隐藏层第j个节点之间的权值;βj是输出层节点和隐藏层第j个节点的权值，bij是隐藏层第 j个节点激活函数的偏置量，b2是输出层节点的偏置量，g（x）是如图3的隐藏层激活函数Sigmoid。

单层神经网络输出表达式紧凑表示为

y = Hβ + b2，y∈R        （2）

图1   单层神经网络结构图

图2   极限学习机网络结构图

x

图3   Sigmoid函数曲线图

H =  [h1，h2，…，hl]是隐藏层输出矩阵，hj = g（Wj·Xk + b1j），y是对应输入矩阵的输出层输出。β =[β1，β2，…，βl]T是输出层和隐藏层间的输出权重向量网络在第k个训练样本上的均方误差为：

Ek = ■（yk - tk）2        （3）

单层神经网络输出表达式紧凑表示为

y = Hβ + b2，y∈R        （2）

H =  [h1，h2，…，hl]是隐藏层输出矩阵，hj = g（Wj·Xk + b1j），y是对应输入矩阵的输出层输出。β =[β1，β2，…，βl]T是输出层和隐藏层间的输出权重向量网络在第k个训练样本上的均方误差为：

Ek = ■（yk - tk）2        （3）

網络中待确定的参数有：

1）输入层到隐藏层的n × l个权值wij，

i = 1，2，…，n;j = 1，2，…，l;

2）隐藏层到输出层的 个权值βj，j = 1，2，…，l;

3）隐层节点的l个阈值b1j，j = 1，2，…，l;

4）输出层单节点的1个阈值b2。

目前广泛使用BP算法求解这l × （ n + 2）个参数。BP核心在于链式求导法则的运用，基于梯度下降方法，以目标的负梯度方向对参数进行调整：

Δwij = -η■;Δβj = -η■;

Δb1j = -η■;Δb2 = -η■;

其中η是学习率。

可见单层反馈神经网络参数复杂，且BP调参方法需要大量的微分和矩阵运算，致使整个模型训练效率低。为解决该问题，极限学习机在此模型基础上依据以下两个理论提出。

理论1.1

给定一个N个隐藏层节点的标准单隐藏层反馈神经网络（SLFN），且激励函数η：R→R在任意区间无限可微，对于N个随机不同样本（xi，ti），{xi，ti|xi∈Rn，ti∈Rm}，以及依据任意连续概率分布在Rn和R空间任意区间随机选择的wi和bi，都有SLFN隐藏层输出矩阵H可逆、 ‖Hβ-T‖概率1成立。

理论1.2

给定任意小正值ε<0，和在任意区间无限可微的激励函数g：R→R，存在■≤N对于N个随机不同样本（xi，ti），{xi，ti|xi∈Rn，ti∈Rm}，以及依据任意连续概率分布在Rn和Rm空间任意区间随机选择的xi和 bi，都有‖HN × ■ β■ × m- TN × m‖<ε，概率1成立。

只要激励函数满足在任意区间无限可微，输出层偏置就可以忽略不计，SLFN结构简化如图2。隐藏层权重矩阵wi、偏置矩阵bi可以在Rn 和R空间内依据任意连续概率分布随机生成，不需要采用SLFN的链式求导法则，反向传播进行调整。只要一次解析计算便求得输出层权值矩阵β，如式4

其中，β是输出层权重矩阵，T是输出矩阵，H？覮是隐藏层输出矩阵的Moore-Penrose广义逆（伪逆），求解过程如式5

H？覮是矩阵H的左伪逆矩阵，带入式4得β*式6最小二乘解计算方法

β* = （HTH）-1HTH       （6）

从而极大地减少了对计算资源的占用，降低了模型训练时间。

训练步骤如下：

1）由连续概率分布随机设定隐藏层权重矩阵wi，偏置矩阵bi超参数;

2）计算隐藏层输出矩阵h0;

3）根据式6计算输出权重矩阵βk。

2   贝叶斯优化的ELM算法

极限学习机预隐藏层激励函数通常选择高斯径向基函数，测模型的预测精度跟超参σ、隐藏层节点数n的设定密切相关。但超参数的调整是一个黑盒问题，无法解析求得。只能采用基于经验的人工手动调节、近似穷举的网格搜索，计算复杂较高的遗传算法和粒子群算法等方法。上述方法虽能满足模型训练所需，但由于训练时间较长，工程实践中难运用。Martin Pelikan等人于1999年提出贝叶斯优化算法[14-15]（Bayesian Optimization Algorithm，BOA）。BOA算法是基于遗传算法结合统计学理论的一种对目标分布的估计方法。贝叶斯优化相较于网格搜索，充分利用了历史搜索点的信息，收敛速度更快;相较于智能优化算法具有更简单的结构、更低的计算复杂度。其以高斯过程为先验函数，采样函数根据已有经验数据，选择新采样点修正先验函数。

优化步骤如下：

（1）定义目标函数：X* = argmax f（x）;

（2）随机产生n个超参数初始样本点，依据前人总结，超参数分布多服从高斯分布。高斯过程得出初始超参数的先验分布;

（3）采样函数（acquisition functions）基于期望增量expected-improvement最大化原则，选取使使得期望函数最大化的期望X;

（4）计算X的实际目标值 ，如果满足条件要求，则输出X作为最优超参数，否则将X及真实值 添入初始采样点，重复（3）。

图4是贝叶斯优化流程图：

图4   BOA流程图

3   数值仿真

3.1   ELM算法测试

仿真实验环境：操作系统Windows10，处理器Intel（R）Core（TM）i7-4710MQ CPU@2.50GHz，内存8GB，仿真软件MATLAB2018a。算法可行性实验4.1、4.2采用UCI的Concrete Compressive Strength数据，如表1. 包含1030条样本，每个样本有8个特征维度。应用实验4.3样本来源于实际施工中标号C50混凝土的拌合站数据，如表2. 有1135条样本，每个样本有9个特征维度。合并相同特征，并依据三倍方差原则剔除了异常数据。因同批次试块抗压强度的测量结果非定值而成正态分布，实验中的强度数据是同批次三个试块的均值，致使数据自身既存在一定范围的误差。在文献2中预测相对误差平均值7.33%，文献7中预测相对误差平均值5.04%，普遍在5%左右，且满足工程需求。将5%相对误差作为可行性的评判标准。

为验证极限学习机的泛化性能和计算效率，進行如下极限学习机、BP神经网络和支持向量机对比实验。BP网络为9-9-1结构，输入层9个节点，隐藏层9个节点，输出层1个节点，核函数为高斯函数。ELM采用相同结构。支持向量机选取高斯核。三种算法核参数均由网格搜索方法寻优获得。训练时间忽略超参寻优。混凝土数据分为800条用于模型训练、230条用于验证。实验分别进行50次，平均结果如表3，图5是其中某次的实验结果。极限学习与支持向量机的训练时间相近，短于BP神经网络。实验中BP神经网络的预测精度最高，但由于BP神经网络基于链式求导法则，误差反向传播方法迭代计算的特性，计算性能最差，训练时间最长。

表3   ELM、SVM和BP对比实验结果平均值

样本编号

图5   单次ELM、SVM和BP对比实验结果

3.2   贝叶斯超参数优化

为验证贝叶斯优化算法（BOA）的高效性，将其与常用的网格搜索（GS）、遗传算法（GA）以及粒子群算法（PSO）优化的极限学习机进行对比实验。参数寻优算法中，设置超参数搜索空间 ，该值由多次试验经验值基础上获得，并考虑到实际需求，避免意外情况略增大搜索范围。GS搜索步长0.5，BO采样函数使用expected-improvement-plus，GA、PSO步长（StepTolerance）设置0.5。相对误差率、训练时间以及寻优算法的迭代次数如表4。四种算法的泛化误差虽然相近，在4%左右满足实际需求，但贝叶斯优化算法以其极快的收敛速度较低的计算复杂度，迭代次数最少，训练时间最短。表明了贝叶斯优化算法在该问题模型上超参寻优的高效性。

表4   BOA、GA、PSO和GS对比实验结果平均值

3.3   BOA-ELM算法应用

为验证BOA-ELM算法在混凝土生产过程中的实际表现情况，采集C50混凝土拌合站数据和压力机数据如表2。800条用于模型训练，335条用于模型验证。基于该数据集验证BOA-ELM预测模型的现实性能。图6是部分运行结果，训练时间15.5110s，平均预测相对误差2.0209%小于5%，优于期望，满足实际需求。

样本编号

圖6   BOA-ELM预测模型在工程实际数据集上的验证结果

4   结 论

针对C50标号混凝土进行抗压强度预测研究，根据施工现场对实时性有较高要求的特点，采用极限学习机高效建模方法。由于预测模型的泛化精度极大程度受超参数影响，为降低超参寻优的耗时，选择贝叶斯优化方法对ELM进行超参调优。并在实际施工产生的C50数据集上进行了实验仿真。实验表明本文提出的方法相较于其他，能够快速地训练预测模型、较准确地预测出混凝土强度，适合混凝土抗压强度预测的实际应用。

参考文献

[1]    靳江伟，董春芳，冯国红. 基于灰色关联支持向量机的混凝土抗压强度预测[J]. 郑州大学学报：理学版，2015（3）：59—63.

[2]    汪澜. 水泥混凝土：组成、性能和应用[M]. 北京：建材工业出版社，2005.

[3]    李章建，宋杨会，李世华. 偏高岭土高性能混凝土抗压强度预测研究[J]. 硅酸盐通报，2017，36（9）.

[4]    范立强，吕国芳. 基于高维云RBF神经网络的混凝土强度预测[J]. 电子设计工程，2016，24（08）：80—82.

[5]    KHADEMI F ， AKBARI M ， JAMAL S M ，et al. Multiple linear regression，artificial neural network，and fuzzy logic prediction of 28 days compressive strength of concrete[J].Frontiers of Structural and Civil Engineering，2017，11（1）：90—99.

[6]    龚珍，卜小波，吴浩. 基于PSO-SVM的混凝土抗压强度预测模型[J]. 混凝土，2013（12）：11—13.

[7]    张静，刘向东. 混沌粒子群算法优化最小二乘支持向量机的混凝土强度预测[J]. 吉林大学学报：工学版，2016，46（4）：1097—1102.

[8]    严东，汤健，赵立杰. 基于特征提取和极限学习机的软测量方法[J]. 控制工程，2013，20（1）：55—58.

[9]    XIAO T，REN D，LEI S ，et al. Based on grid-search and PSO parameter optimization for Support Vector Machine[C]. Intelligent Control & Automation. IEEE，2015.

[10]  ROBLES-RODRIGUEZ C E ，BIDEAUX C ，ROUX G ，et al. Soft-sensors for lipid fermentation variables based on PSO support vector machine （PSO-SVM）[M] Distributed Computing and Artificial Intelligence，13th International Conference. Springer International Publishing，2016.

[11]  李刚，王贵龙，薛惠锋. RVM核参数的遗传算法优化方法[J]. 控制工程，2010，17（3）：335—337.

[12]  HUANG G B，ZHU Q Y，SIEW C K. Extreme learning machine：Theory and applications[J]. Neurocomputing，2006，70（1）：489—501.

[13]  HUANG G B，ZHOU H，DING X，et al. Extreme learning machine for regression and multiclass classification[J]. IEEE Trans Syst Man Cybern B Cybern，2012，42（2）：513—529.

[14]  SHAHRIARI B，SWERSKY K，WANG Z，et al. Taking the human out of the loop：a review of Bayesian optimization[J].Proceedings of the IEEE，2015，104（1）：148—175.

[15]  江敏，陈一民. 贝叶斯优化算法的发展综述[J].计算机工程与设计，2010，31（14）：3254—3259.