基于多任务学习的结构损伤识别

虞建,张纯*,李睿,江汇强

(1.南昌大学工程建设学院,江西 南昌 330031;2.山东大学土建与水利学院,山东 济南 250061)

结构健康监测对于保障土木工程结构的安全至关重要，而结构损伤识别是结构健康监测技术的核心内容。近几十年来，基于振动信号的损伤识别技术在土木工程结构上得以广泛应用[1]。通过对结构振动信号的分析处理，判断损伤发生位置及损伤程度大小，及时有效地评估结构的安全性和可靠性，可以预防因结构性能突变造成的人员伤亡和巨额经济损失。

为确定土木工程结构的损伤位置及损伤程度，传统基于振动的结构损伤识别方法多是利用结构动力参数(频率、振型等)或时间序列特征的变化来诊断结构损伤[2]。在引入机器学习算法后，结构损伤识别方法得到进一步发展，各种分类器(如人工神经网络、支持向量机等)在训练后，能根据模态参数、信号时频域特征等来获取更好的损伤评估结果[3]；但传统机器学习方法仍然依赖于人工设定与结构损伤敏感的参数，确定合适的参数类别和数目较为困难。与传统机器学习方法不同，深度学习方法可以通过大量样本的训练自动提取信号中的损伤特征，找到从振动信号到损伤类别(损伤程度)的直接映射，而无须人为干预。此外，传统机器学习模型的非线性拟合能力较差，面对复杂的信号样本时很难全面地提取特征。而深度学习凭借出色的高维度数据处理能力，随着数据规模的增加其性能也会不断增长，其应用范围更为广泛，现已成为结构损伤识别方法的研究热点[4]。在确定结构损伤位置的研究中，以一维卷积神经网络为基本框架，自动获取钢桁架和圆柱滚子轴承保持架加速度信号特征并实现损伤位置识别[5-6]。在结构损伤程度的研究中，使用卷积神经网络分别识别了导管架式海洋平台和滚动轴承的损伤程度[7-8]。研究表明，相比于检测结构的损伤位置，获取结构的损伤程度信息更为困难。单一的损伤位置或损伤程度诊断网络虽能实现各自的诊断功能，但定位和程度诊断2个相关任务之间的关联信息没有得到充分利用。若能充分利用不同子任务之间的关联性，将有望进一步提升损伤定位和程度识别的精度。

多任务学习旨在利用不同子问题之间的关联性来提升整体模型的性能。基于深度学习的多任务学习方法不仅能通过参数共享机制获取子任务间的关联信息，还可以进一步在各子任务中自动挖掘特定任务对应的数据深层特征。研究表明，联合学习多个任务比单独学习一个任务更容易取得优质的训练效果，这一结论已在图像分类和医学成像等领域得到证实[9-11]。利用多任务学习的优势，本文提出一种基于多任务联合学习模型的结构损伤识别方法，将易于实现的损伤定位任务作为辅助任务，利用主、辅任务的相关性，促进损伤程度诊断主任务精度的提升，并反哺损伤定位任务。与单任务学习模型相比，多任务模型的损伤程度诊断精度和损伤定位准确率均有提升，且还表现出较好的泛化能力。

1 基本原理和方法

结构的损伤识别[2]可以分成判断结构是否发生损伤、确定损伤的发生位置、诊断损伤的程度大小和结构寿命预测4个难度逐级增大的子任务。从模式识别的角度来看，损伤定位类似于粗粒度分级，而程度诊断更倾向于细粒度分级；因此，相比于程度诊断任务，分类任务更容易实现，也更容易获得较高的识别精度。若构建以损伤程度诊断为主、损伤定位为辅的多任务学习模型，则能够充分利用高精度定位的特点提高损伤程度的识别能力。

1.1 单任务学习模型

结构损伤定位和程度诊断对应的2个单任务学习模型(single-task learning model，STL)在本文中均以一维空洞卷积神经网络[12]为基本框架。如图1所示，定位与评估2个深度网络模型均由6个空洞卷积层和1个池化层组成，实现振动信号不同尺度特征的逐层提取；随后根据任务的不同，定位网络由一个全连接层及sigmoid激活函数组成损伤位置分类器，将上层特征输出成损伤位置向量，而评估网络则利用一个全连接层直接将特征映射成损伤程度向量。如图2所示，相比于普通卷积过程，空洞卷积能够成倍扩大感受野，降低计算量。

图1 单任务模型Fig.1 STL model

图2 不同膨胀系数下的一维空洞卷积感受野示意图Fig.2 One-dimensional dilated convolution under different dilated rate diagram

损伤定位任务用于确定结构损伤发生的局部位置，采用交叉熵函数作为损失函数，并以模型正确定位样本数和总样本数之比(准确率，Acc)来表征模型分类效果的好坏。损伤程度诊断任务是在确定损伤位置的基础上进一步完成程度估计，采用均方误差作为损失函数，并选取决定系数R2表征模型程度诊断的优劣。

(1)

具有粗粒度分级性质的定位任务相对较容易实现，但对于小损伤与无损伤工况，信号和特征差异都较小，STL模型易混淆2种工况而引起定位误判；具有细粒度分级性质的程度诊断任务实现难度较大，在缺乏损伤位置信息辅助约束的情况下，损伤程度的诊断难以达到满意的效果。

1.2 多任务学习模型

为同时完成损伤定位和程度诊断工作，本文构造了如图3所示的多任务学习模型(multi-task learning model，MTL)。在深度神经网络模型中，网络前端采用参数硬共享机制[13]，设置了由4个卷积层组成的网络共享层，从结构原始振动信号中提取2个分支任务的浅层共享特征。其中前2个卷积层采用大尺寸卷积核以较大的感受野获取更多的时域信息，后2个卷积层均采用3×1的小卷积核；网络后端进行任务分支，损伤定位任务与程度诊断任务在结构属于并行关系，两者同时进行。相比于具备粗粒度分级性质的损伤定位任务，程度诊断执行的细粒度分级任务更难实现；此外，多任务模型利用定位信息辅助程度诊断任务，令其达到更好的诊断效果。故将程度诊断视作主任务，损伤定位视作辅任务。在进行损伤程度诊断时综合两分支任务的高层信息，利用矩阵拼接函数将损伤定位信息特征矩阵与损伤程度信息特征矩阵连接成综合矩阵Z，再利用深度神经网络全连接层的非线性映射能力进行融合，最终通过全连接层Dense5输出损伤程度向量，全连接层Dense2输出损伤位置向量。具体的网络模型结构参数如表1所示。

图3 多任务模型Fig.3 MTL model

表1 多任务模型参数Tab.1 MTL model parameters

MTL模型利用不同任务的共享表达部分使得任务之间变得相关联。原本独立的程度诊断任务共享一部分定位特征参数，提取的信号信息中带有位置和程度双重特征，进而提升损伤程度的诊断精度；同时损伤程度的估计结果也会反馈到损伤定位任务中，使其定位更加准确。相比于STL模型单一的特征提取能力，MTL模型获取到的特征更为丰富。另一方面，共享表达使得MTL模型的权重数量少于2个STL模型权重数量之和，提升了模型的计算效率。训练方式采用联合训练，即使用一个优化器对整个网络进行训练。整体模型的损失函数为2个子任务损失函数的加权和：

J=γJ1+J2

(2)

其中γ为权重参数，用于平衡不同子任务损失函数在总损失函数中的贡献。根据J1和J2损失值的比例差异，通过权重参数γ调节各子任务对多任务模型的贡献程度，在各子任务损失权重相近时，训练结果对γ取值并不敏感，因此本文γ取1 500。

2 数值算例分析

以如图4所示的5层框架结构模型为研究对象，每层质量均为5 kg，无损状态下各层间刚度均为50 kN·m-1，模态阻尼比为0.002。在结构顶部输入平稳高斯白噪声作为激励，选择集中质量m1在不同损伤工况下的加速度响应作为测量信号，采样频率为250 Hz，采样时长为4 s。结构损伤工况通过设置不同的层间刚度折减来模拟。结合框架结构特点和结构健康检测经验，若待检测对象损伤程度过大，具有清晰的外观表现，则根据人为感官即可判定结构的健康状态。因此，本文更聚焦于表面特征不明显的小损伤工况，将所有损伤程度设定在30%以内。

在构建深度神经网络模型时，首先随机生成由0和1组成的损伤位置向量a，其中元素ai=1表示第i层有损伤，为0则表示没有损伤；对应于损伤位置向量指示的有损伤单元，进一步生成(0,0.3]范围的随机数，用于表示相应单元的损伤程度，进而得到框架结构的损伤程度向量b。在准备样本时，共生成6 000组位置向量a和程度向量b分别作为定位及程度估计任务的标签，对应于各损伤工况计算得到的时间序列则作为网络输入。训练集与测试集之比设为9:1，迭代次数设为100次，综合损失函数和模型收敛速度两方面指标，将学习率设为0.001。开发环境为Anaconda3.0平台和Keras深度学习框架，基于Python语言训练模型。

图4 5层框架结构模型及简化结构示意Fig.4 Five-story frame structure model and simplified structure diagram

2.1 不同深度神经网络模型的损伤识别性能分析

对于5层框架结构的损伤识别问题，分别训练得到单任务损伤定位、单任务损伤程度诊断、多任务损伤综合诊断3种深度神经网络模型。根据图5各模型损失函数曲线可知，对于程度诊断任务，STL和MTL模型均能快速收敛，迭代完成后MTL模型的损失值低于STL模型；对于损伤定位任务，STL模型在训练集上收敛效果很好，但验证集损失函数在第20次迭代计算之后不降反升，呈现出典型的过拟合现象；而MTL模型损失函数持续下降直至收敛。这一现象与MTL模型通过网络共享层提取到的信号特征密切相关。通过样本学习，MTL模型共享层提取的特征包括损伤位置和程度两方面，当部分与程度诊断相关的特征对损伤定位没有帮助时，这些特征将被视为噪声；而使用含噪信号训练能有效防止模型过拟合。表2所示性能评价指标表明，在验证集上MTL模型的程度评估R2值较STL模型提升了3.0%，定位准确率提升了6.9%。在充分挖掘损伤程度和损伤位置之间的隐藏关联信息后，MTL模型可以达到更好的损伤诊断效果。

iteration number(a) 损伤程度诊断

表2 单任务与多任务性能对比Tab.2 Performance comparison between STL and MTL

随机选取单损和多损各一种损伤工况具体分析STL与MTL模型的结构损伤识别能力。由如图6所示结果可知，对于单一损伤工况(第1个单元损伤28%)，STL模型预测无损伤单元(位置5)处存在57%的损伤概率，会误判此处存在损伤；而MTL模型给出位置5处的损伤概率为1.4%，损伤程度几乎为零，定位准确，程度估计偏差很小。在多损伤工况中(第一、三、四、五单元分别损伤15%，19%，6%，14%)，STL模型在无损单元(位置2)处可能出现定位误判，MTL模型不仅定位准确，而且各损伤单元损伤程度的估计精度要普遍优于STL模型。可见，在MTL模型中，易于实现的定位任务影响并提高了损伤程度诊断的精度，同时损伤程度的估计结果也反馈到定位问题中，有效抑制了误判现象。

location(a) 单损伤损伤程度预测

2.2 不同深度神经网络模型的泛化能力

深度神经网络模型的泛化能力指模型对新样本数据的适应能力，即使用某一损伤工况数据集训练的网络对其他损伤工况的数据依然具备一定的预测能力。为分析STL模型和MTL模型的泛化性能，在训练深度神经网络模型时仅使用从两处损伤工况中抽样获取的样本；训练得到的模型则直接应用于其他类型损伤工况(如单损或3处损伤等)的检测与识别。利用5层框架模型随机生成2 000组包含两处损伤信息的数据样本，样本总数远少于2.1节模型训练样本数(6 000组)，分别训练得到单任务损伤定位、单任务损伤程度诊断、多任务损伤综合诊断3种模型，各模型验证集损失函数曲线如图7所示。

iteration number(a) 损伤程度诊断

随机选取单损和多损各一种损伤工况作为预测对象，由图8所示预测结果可知，STL模型和MTL模型对未参与训练的单损和多损工况均有一定的识别能力。对于具有粗粒度分级性质的损伤定位任务，两模型均能预测出损伤位置，但MTL模型的定位准确率要高于STL模型；而对于程度诊断任务，以有损单元(位置3)处的损伤程度识别为例，在选择的单损和多损工况中，STL模型预测值的相对误差分别为4.7%和29.4%，而MTL模型预测值的相对误差则减小到0.36%和0.52%，体现出较STL模型更好的泛化能力。

location(a) 单损伤损伤程度预测

3 实验研究

为进一步证实MTL模型在损伤识别研究中所体现的优异性，本文对美国洛斯阿拉莫斯国家实验室的3层框架结构振动台实验数据[14]进行分析。实验装置是如图9所示的铝制3层框架结构。基底设置滑行轨道，约束结构只能沿x方向运动，在各层铝板侧边中点设置传感器，共5个通道：其中1个通道用于记录激励信号，另外4个通道用于记录结构各层及其基底的加速度响应。电磁激振器使用20～150 Hz的限带随机激励在结构基底侧边中点处进行激励，采样频率为320 Hz，每组数据采样时间为25.6 s。现取结构各层信号构造1 050组样本，其中损伤位置信息由层号表示，总共3层，每层通过折减柱的刚度来构造损伤程度，折减率分别为0，0.218 8和0.437 5。训练集与测试集之比设为9:1，迭代次数设为100，学习率设为0.001。

图9 三层框架结构与激励装置图[15]Fig.9 Three-story frame structure and incentive installation diagram

MTL模型训练时，测试集上程度诊断任务和定位任务的损失函数曲线分别在第10次和第21次迭代计算后完全收敛，收敛值分别为7.73×10-5和1.12×10-5，且损伤定位准确率接近100%。同时训练STL模型作对比实验。选取第3层损伤程度为0.218 8的数据作为预测对象，两模型的损伤识别结果如图10所示，STL模型损伤程度预测值与真实标签相比存在一定误差，而MTL模型对3层框架模型的损伤位置及损伤程度预测值与真实标签几乎一致。

location(a) 损伤程度诊断

4 结论

本文提出一种基于多任务联合学习模型的结构损伤识别方法，利用不同分支任务之间的信号特征共享与相互反馈，有效提高了结构损伤定位和程度诊断的精度。框架结构的数值模拟和实验研究表明，与STL模型相比，MTL模型将损伤程度诊断精度和损伤定位准确率分别提升了3.0%和6.9%。另外，MTL模型具备良好的泛化性能，利用两损伤工况数据训练后的模型，对未参与训练的单损和多损工况均有较好的识别能力。