基于卷积神经网络的结构损伤识别

李雪松， 马宏伟,2， 林逸洲

(1.青海大学 土木工程学院，西宁 810001；2.东莞理工学院，东莞 523808；3.暨南大学 力学与土木工程学院，广州 510000)

近年来，多层、高层建筑及大跨度桥梁的出现给结构健康监测带来一系列问题，如何提取结构的特征用于损伤识别是我们正在面临的重要挑战。为实现这一目标，国内外学者做出了很多成果，但距离应用在实际结构仍有一段距离[1]。传统损伤特征如频率、阻尼比等已被公认对损伤不敏感，而基于结构动力特性发展的如曲率模态[2]、柔度模态[3]、应变模态[4]等损伤特征虽在实验阶段均能取得良好效果，但很少在大型结构上取得良好效果。由于大型结构的检测中，不同季节的自振频率都会产生很大变化[5]，且由于结构始终处于激励未知的状态，所以一些在机械损伤检测领域取得良好效果的方法如小波变换[6]、HHT[7]及一些基于此基础上的变换方法也都受到一定限制。也有部分学者应用机器学习方法来进行损伤识别，如支持向量机[8]、神经网络等。但传统应用神经网络多是做为顶层分类器，特征还是前述小波[9]等信号处理技术提取的特征或结构动力指纹[10]。原因在于神经网络虽然有一定的特征提取能力，但应对实际结构的海量数据，训练参数会指数级增多，而且容易出现过拟合现象。

近几年，人工智能领域捷报频传，以谷歌的AlphaGo[11]在围棋界的突出表现最能体现。而本文用的卷积神经网络[12](Convolutional Neural Network，CNN)就是人工智能领域的一个重要工具。早在2012年，Abdel-Hamid等[13]将CNN应用于NN-HMM声学模型，并在在LVCSR数据库取得了成功。而加速度信号与声音信号同属振动响应，同理推断CNN在加速度信号也能取得同样好的效果。

基于前人工作，本文用卷积神经网络直接从加速度信号自动提取特征，其优点是损伤敏感、计算简单、容易获得并有一定抗噪能力。并与小波包频带能量、本征模态函数能量特征对比，分析CNN提取特征的有效性。同时提出混合噪声训练模式，加强特征抗噪能力。具体如下：①对比小波包频带能量、经验模态分解法[14](Empirical Mode Decomposition，EMD)证明卷积神经网络对结构特征提取的有效性和优势;②测试含噪声数据，分析CNN自动提取特征的鲁棒性;③由于分析单噪声数据经CNN训练的特征鲁棒性有局限性，故提出混合噪声数据训练模式，验证此方法的有效性;④分析卷积核自动提取特征的实际物理意义，验证卷积的有效性和混噪训练模式的优势性。

具体过程为先对Benchmark数据进行划分重组，构成训练样本，由卷积神经网络提取特征再与目前两种比较成熟的特征提取方法(小波包频带能量、EMD)输入同样的分类器进行对比，包括分类准确率与识别稳定程度以及计算效率，分析卷积神经网络在提取特征方面的能力并分析其鲁棒性。若准确率高说明该特征能很好的表达不同损伤工况之间的差别。

1 卷积神经网络

CNN是受Hubel等[15]在1962年提出的猫的视觉结构模型启发而衍生的一种具有深度学习能力的人工神经网络。经典的LeNet等[16]诞生于1998年，然而由于当时计算力有限，所以其优势并没有被发掘。近些年，卷积神经网络已经广泛应用于搜索检索、图像理解、语音识别、手机应用、地图导航、医疗制药、无人机和无人驾驶汽车等领域。

1.1 卷积神经网络基本思想

卷积神经网络和常规神经网络非常相似，他们都是由单层感知机[17]组成，如式(1)所示，单层感知机具有权值w和偏差b。每个单层感知机都会把输入数据xi进行内积再进行激活函数运算。不同点在于

y=f(Σiwixi+b)

(1)

第一，由于权值过多，常规神经网络在处理大尺寸数据时效果不理想，而CNN通过权值共享和局部连接有效的解决了大尺度数据网络无法学习的问题；

第二，CNN通过局部连接、权值共享[18]和汇聚层(Pooling)等减少了参数，提高了效率。

第三，CNN能够保留、提取具有拓扑结构的数据中的特征，正是由于这个特点才适合处理图片和音频，本文中采用的每个样本大小均为4 000×16矩阵(宽4 000为采样点数，高16为测点个数，类似于一张4 000×16的黑白照片)。

1.2 卷积神经网络结构

输入样本在CNN中经过逐层的特征提取后输入分类器。而特征提取阶段一般包括卷积层和汇聚层。在卷积层中，单层感知机与输入层的一个局部区域相连，图中的小方块(卷积核，大小为3×3)，每个单层感知机都会按一定的步长遍历整个输入层，每移动一步计算一个输出，如图1所示。本文第一层有16个卷积核，且控制第二层形状与输入层相同，所以得到的第一层特征图为16×4 000×16。汇聚层在进行的是下采样(down sampling)操作，本文采用最大下采样操作，取每个区域最大值传递到下一层，如图2所示。如图3所示，本文采用4个卷积层，2个汇聚层。最后将4层卷积提取的特征，通过全连接网络计算分类。

图1 离散卷积计算示意

图2 汇聚层计算示意

2 钢架模型试验验证

2.1 特征提取

本文重点描述构建一个卷积神经网络提取特征的方法，为了说明该方法的优势，采用使用广泛的小波包频带能量以及经验模态分解得到的本征模态函数前5阶频带能量作对比。

2.1.1 经验模态分解法提取特征向量

利用经验模态分解法把每个测点的加速度信号分解为10本征模态函数(Intrinsic Mode Function，IMF)和一个余项。为了防止边缘效应截取三个采样周期的加速度信号进行EMD变换，对变换后的IMF前后各截去一个采样周期长度，并取前五阶的IMF(能够表达原信号的99.66%信息)分别对每一阶的信号对时间求积分，计算每一阶本征模态函数能量作为特征组成特征向量，为方便下文作图表达此特征向量简称EIMF。

图3 卷积神经网络结构

2.1.2 小波包变换提取特征向量

利用db1小波包对每个测点的加速度信号做3层正交分解，得到3层小波包分解后8个频段的小波包分解系数，对其进行重构，计算重构系数Si，重构后代入式(2)，求出各层小波包重构系数的能量，进行归一化处理组成特征向量，此特征向量简称EWPT。

(2)

式中:k为分解层数，j为分解频带的序号，m为第k层第j个分量重构信号的离散点数，xj,m为重构信号Sk,j的幅值，N为每个测点的采样点数[19]。

2.1.3 卷积神经网络提取特征向量

将各个工况16个测点加速度数据拆分成4 000×16的矩阵输入图3所搭建的网络结构，通过构建一个目标函数，用RMSprop[20]算法去训练网络中的卷积核，训练完毕后卷积核提取到的特征为CNN自动提取的特征，结论部分会讨论CNN自动提取的特征。

具体训练参数如图1所示：四层卷积，第一层16个3×3的卷积核，其余三层均是8个3×3的卷积核，为加快学习速度，步长取2。两个2×2步长为2的池化层，四个规范层[21]防止过拟合加速训练。编译时设置优化函数为，学习率为0.000 4，训练时设置批尺寸为32，总批数为500次的充分训练，训练保存最优模型，提取最顶层输出组成卷积神经网络提取特征向量进行损伤识别，此特征向量简称CONV。

2.2 损伤诊断

本文采用三层全连接人工神经网络作为分类器，第一层为全连接层，起到数据变形作用，第二层的激活函数为ELU[22]，第三层的激活函数为Softmax[23]。图4和图1为对三种特征进行分类的模型结构图。分别取特征向量CONV、EWPT和EIMF，把三种特征下的42个工况下的数据分别输入分类器。

图4 分类器

2.3 试验数据

为便于读者验证，本文实验数据均来自IASC-ASCE SHM Benchmark[24]结构的数值模拟数据，模型如图5所示。模拟采用三种单元：梁单元(每层12个共48个)、柱单元(每层9个，共36个)、支撑单元(每层8个共32个)。笔者对IASC-ASCE SHM Benchmark的5类结构分别做了特征提取和损伤识别，发现类别1最能够反应问题，故本文采用类别1模型说明问题(详细信息见表1)，其中损伤模式见表2和图6。每种工况取16个测点(其中8个x向，8个y向)的加速度数据作为构造特征的原始数据。取采样频率为250 Hz，采样时间为3 200 s，得到7种损伤模式、6个噪声水平的42种工况的数据，把每种工况数据划分为16×4 000矩阵样本，每条共200个样本。本次模拟试验总共取6中不同水平噪声(0%、10%、20%、30%、40%、50%)数据进行训练，每个训练集共7种损伤模式(表2)。为下文记述简便，这里把含有10%噪声的数据训练的特征记为n10，其他类似为n20-n50。

表1 损伤工况

表2 损伤模式

图5 结构模型(m)

(a) 一层无刚度支架

(b) 一层无刚度支架 三层无刚度支架

一层无刚度支架

(d) 一层无刚度支架 三层无刚度支架

(e) 一层无刚度支架 三层无刚度支架 梁柱连接减弱

(f) 一层2/3刚度支架

2.4 结果分析

第一，卷积神经网络自动提取特征的有效性与优势性。如图7所示，在CONV-n10(通过含有10%噪声数据训练的卷积神经网络特征)测试过程中，CONV在10%噪声测试点处的分类平均准确率均稳定在0.8以上，而另外两种特征的识别准确率确很不稳定。

图7 n10的分类准确率

Fig.7 Three kinds of feature classification accuracy by 10% noise data training

第二，单一噪声数据训练的特征鲁棒性有一定局限。观察图7发现CONV-n10、EIMF-n10、EWPT-n10只针对含0%、20%噪声数据样本有很好的识别效果，对于含有40%、50%噪声数据的识别准确率较低，这一点在三种特征均有表现。图8也有体现。而在图9～图11中，由于采用高水平噪声数据训练，特征CONV的识别噪声范围扩大，但准确率降低。

图8 n20特征的分类准确率

Fig.8 Three kinds of feature classification accuracy by 20% noise data training

图9 n30特征的分类准确率

Fig.9 Three kinds of feature classification accuracy by 30% noise data training

图10 n40的分类准确率

Fig.10 Three kinds of feature classification accuracy by 40% noise data training

第三，混噪模式训练结果分析。为解决上述情况，本文提出混噪训练模式，通过给CNN提供不同噪声水平数据。采用含有0%和10%、0和20%、0%和30%、

图11 n50的分类准确率

Fig.11 Three kinds of feature classification accuracy by 50% noise data training

10%和20%、20%和30%、30%和40%噪声样本混合输入进各种特征提取器，对比结果(图12～图15)，发现CONV-n20&30(20%和30%噪声混合数据训练的卷积神经网络特征)不但能够更好的表达结构信息而且具有较广泛的噪声容错区间。具体表现如图13所示，无论是CONV还是EIMF、EWPT，平均识别准确率和稳定性均有明显改善。经多工况反复试验得出结论，单水平噪声样本训练时，使用含中间水平噪声训练的特征的噪声鲁棒性较为优异，混合噪声样本训练的特征比单水平噪声样本训练的特征效果好，在混合噪声样本训练的特征中，以中间水平噪声混合训练特征效果最为突出。在实测环节中，可根据实际情况取实测数据加噪声后，与原始数据进行拼接放入特征提取器，进行特征提取工作。

图12 n10和n20的分类准确率

Fig.12 Three kinds of feature classification accuracy by 10%& 20% noise data training

图13 n20和n30的分类准确率

Fig.13 Three kinds of feature classification accuracy by 20%& 30% noise data training

图14 n30和n40的分类准确率

Fig.14 Three kinds of feature classification accuracy by 30%& 40% noise data training

图15 CONV混合噪声模式分类准确率

Fig.15 Accuracy of CNN feature classification in mixed noise data training

第四，损伤识别过程中细观问题分析。通过对比分析CONV-n20&30在0%、20%、40%噪声水平下前20个样本的分类结果(图16、图17、图18)，再次证明CONV-n20&30在0%、20%、40%噪声下识别结果一直非常稳定所示。相比小波包频带能量特征EWPT与本征模态函数能量特征EIMF，CONV在模式4、5(见表2和图6)只是个别情况会发生混判，而EWPT与EIMF是对模式3、4、5均会发生混判，且EWPT与EIMF还出现了对模式1、6的混判。

(竖线为标签类，每簇中最高柱为预测类，框图为错误分类)

(竖线为标签类，每簇中最高柱为预测类，框图为错误分类)

(竖线为标签类，每簇中最高柱为预测类，框图为错误分类)

第五，中间层特征可视化分析。可视化中间层是通过定义一个损失函数，该损失函数将用于最大化某个指定滤波器的激活值。以该函数为优化目标优化后，则可以看到这个滤波器激活的究竟是什么。由于输入的是16个测点加速度数据，这里没有输出可视化后的图像，而是把可视化操作后的激活值输出并做FFT变换，分析CNN提取特征的物理意义。在ASCE SHM Benchmark数据只公布了结构前三阶频率，分别为9.41 Hz，11.79 Hz，16.53 Hz。而实验得出原始数据通过FFT变换的前四阶为9.475 Hz，25.43 Hz，38.49 Hz，48 Hz。

图19所示。笔者发现：

图19 原始数据幅-频曲线

卷积核自动提取的特征对频率有更好的解析能力。在通过卷积核的加速度数据能明显看出有更多阶的频率，说明卷积核能够更好的解析结构频率。

与单噪模式相比，混噪模式训练的特征图具有更多阶频率，如所示。证明在频率解析能力上，混噪模式能训练出可识别更多阶频率的特征。混噪模式下被卷积核激活数据的幅值-频率曲线图如图20和图21所示。单噪模式下被卷积核激活数据的幅值-频率曲线图如图22所示。单噪模式下虽然卷积也识别出了一些其他频段的特征但没有特别明显，而且无论从提取的频段数量，还是提取特征精准程度上混噪模式的能力都较之更有效。篇幅有限具体提取的频率对比见表3。

图20 混噪模式被激活数据的幅-频图

Fig.20 Amplitude frequency curve of mixed noise mode training data

第六，CNN识别效率。其一，对比CNN、小波和HHT，以同等噪声水平的所有损伤工况数据集进行识别，耗时见表4，CNN只是在训练网络阶段耗时较长，测试阶段相差几秒。其二，相比于传统的前馈神经网络(Feedforward Neural Networks)使用相同大小的中间层，CNN通过采用局部感受野和权值共享减少了大量权值，对于深层神经网络，权值更是减少了几个数量级。其三，GPU加速[25]。CNN具有良好的性质以及相对高效的架构，应用于大规模图像数据时还是很耗资源。但是，现在的显卡(GPU)配合高度优化的二维卷积，已经能够训练大型CNN模型。本文使用的是GEFORCE GTX 950M显卡，训练一个模型耗时25 min，识别一个工况数据只需1.48 s(七个工况，10.4/7=1.48 s)。

图21 混噪模式被激活数据的幅-频图

Fig.21 Amplitude frequency curve of mixed noise mode training data

表3 频率提取对比

图22 单噪模式被激活数据的幅-频图

Fig.22 Amplitude frequency curve of single noise mode training data

表4 项目计算时间表

3 结 论

本文以IASC-ASCE SHM Benchmark结构的数值模拟数据为研究对象，对其16个测点的加速度信号进行自动提取特征并进行分类，并分析了三种特征在不同噪声情况下的识别准确率，证明了卷积神经网络直接通过加速度数据进行分类的有效性和分类稳定性。提取特征过程由网络自动完成，原理简单，识别效果好。测试速度快，网络参数训练完毕后，测试一个工况耗时仅1.48 s，为实时判断结构健康状态提供一种选择。对不同结构数据针对性好，由于网络参数是根据特定结构数据训练的，因此能学习到更多有用的信息进行分类。

提出了混合噪声训练模式，加强了特征的鲁棒性。单水平噪声样本训练时，使用含中间水平噪声训练的特征的噪声鲁棒性较其他要好，混合噪声样本训练的特征普遍比单水平噪声样本训练的特征要好，在混合噪声样本训练的特征中，以中间水平噪声混合训练特征效果最佳。经多工况反复试验，在对含有50%噪声样本进行识别时，卷积特征依然能够达到很好的识别效果，准确率均在85%以上。

经过可视化证明卷积自动提取特征有一定的物理意义，同时发现了混噪模式训练效果更好的原因。由于该方法目前处于试验阶段，仅用简单网络结构和有限计算资源，但仍取得良好效果，方法前景可见一斑。