基于传递式领域自适应的异构样本增强方法

翟利志,任一夫,白 洁,高学攀,贾庆超,刘 强

(1.中国电子科技集团公司第五十四研究所,河北 石家庄 050081;2.河北省智能化信息感知与处理重点实验室,河北 石家庄 050081;3.陆装驻石家庄地区第一军代室,河北 石家庄 050081)

0 引 言

大规模类别均衡的训练故障样本,是实现数据驱动故障诊断可靠建模的先决条件[1-6]。然而,受限于复杂的流程以及不稳定的监测环境,完备的样本数据难以保证。这导致小样本普遍存在,成为数据驱动建模发展的“卡脖子”问题[7-8]。因此,如何增强小样本的数量和类型,获得诊断精度高、泛化能力强的故障诊断模型,成为数据驱动故障诊断建模的重要课题。

近年来,样本增强研究被业界和学术界广泛关注。样本增强方法大致可分为三类:采样方法、深度网络方法以及域适应方法。具体而言,对于采样方法[9-10],过采样策略通过直接扩充小样本的数量实现样本增强。然而,此类方法并没有在小样本中补充新的样本知识,这会严重影响建模的泛化性。相反,深度网络方法[11-13]在解决建模泛化性这一问题上取得了令人瞩目的成果。具体而言,在文献[11-12]中,迭代机制和对抗机制被设计,并用来增强建模的泛化性。然而,这些深度网络方法的有效表现,是建立在充足的训练样本,或是预先得到一个拥有庞大网络结构的预训练模型的基础之上。众所周知,受限于故障样本的获取难度,这些要求在实际领域几乎不能满足。因此,上述方法在实际样本增强应用中难以普及。

随着迁移学习受到更多关注,域适应方法为样本增强提供了新思路。具体而言,域适应方法[14-17]通过降低源域和目标域之间的分布差异,从而允许其他域中的样本知识增强小样本。然而,此类方法在实际小样本应用中依旧受限,这是因为:(1)区别于其他领域,故障样本的获取和标注成本更高,因此目标域中的小样本问题更加严峻;(2)由于不明确的故障机理,难以根据专家经验选取与目标域工况相似的源域;(3)由于工况差异较大,缺乏有效的技术来探索异构域中的样本,从而导致“负迁移”现象严重[14],建模准确性大打折扣[18-19]。受此启发,在文献[20]中,提出一个用于工业故障诊断的通用迁移框架,通过故障相似性对源域故障样本进行选择性迁移,在实现目标域样本增强的同时,缓解了“负迁移”。在文献[21]中,多源迁移学习网络被提出,通过迁移多源域的故障样本实现目标域不可见故障的知识增强,成功解决了机器不可见故障的智能诊断,进一步拓展了迁移学习方法在工业故障诊断领域的应用范围。

基于上述讨论和分析,该文提出了一种基于传递式领域自适应的异构样本增强方法。首先,借助公共特征,在私有特征维度探索异构域样本。需要注意的是,在多源域传递式探索过程中,域内部的有用信息也能够被用来辅助探索异构域样本,因此文中方法在样本探索的同时,突破了源域选择困难的局限性。此外,从目标域角度来看,源域样本的介入,实质上增强了目标域样本的数量和种类,即样本增强。这一过程,由于只将源域样本迁移到目标域并用于目标域建模,不会影响目标域的工况建模,这意味着目标域故障信息被最大程度保留,因此目标域的故障诊断建模精度被保证;此外,由于源域故障样本的引入,目标域故障样本的故障多样性得到增强,所以目标域的建模泛化性得到提高。该文的主要创新点如下:

(1)针对异构域分布差异较大的问题,通过设计传递式探索策略以获得丰富种类的样本知识,从而提高了小样本条件下建模的泛化性。

(2)针对异构域分布匹配困难的问题,通过联合匹配源域和目标域的边缘分布以及条件分布,实现异构域的可靠匹配,从而提高了小样本条件下建模的准确性。

1 异构样本传递式探索

在本节,提出一种异构样本传递式探索策略,通过学习异构域样本之间的共享映射,从而使异构域样本能够被用来增强小样本,因此提高建模的泛化性。对于异构域样本的探索,该文设计了基于最相关域的传递式策略。具体而言,首先在多个源域中选择与目标域最相关的源域,然后在公共特征的辅助下,设计支持域样本,从而获得这两个域的共享空间表示。同理地,在剩余的多个源域中,继续探索与当前已选择源域最相关的源域,并学习它们之间的共享空间表示。最后,异构域样本被传递式地探索,并用来增强小样本的数量和种类[22-23]。

1.1 目标域-源域最相关样本搜寻

(1)

(2)

然后,支持域样本被设计用来学习目标域与源域的共享表示。支持域样本可以看作匹配目标域与源域的桥梁。支持域通过公共特征,可支持源域样本和目标域样本的连接,并能传递源域和目标域的维度、分布信息,便于更好地匹配源域和目标域[26]。特征映射φs和φt用来连接公共特征和私有特征,优化目标表示如下:

(3)

(4)

(5)

(6)

其中,ψT,S1表示目标域T和源域S1映射到共享空间的映射矩阵。‖•‖H表示再生希尔伯特空间。

1.2 源域-源域最相关样本传递式搜寻

(7)

(8)

(9)

(10)

(11)

同理,基于支持样本可得到传递样本,因此传递域表示如下:

(12)

由此,从T到SN的遥远域传递式域适应优化如下:

(13)

通过ψT,SN,遥远域SN被探索并用于增强目标域小样本的种类。

2 异构域样本分布联合匹配

在衡量域之间的分布差异时,边缘分布和条件分布有着不同的影响权重。受此启发,为了获得更可靠的分布匹配性能,提出了一种分布联合匹配机制,该机制关注异构数据的边缘分布和条件分布,并针对不同的数据集自适应调整两个分布的权重。因此,所设计的分布联合匹配机制在不同工况下会具有更强的适应性。将分布差异嵌入到最大均值差异模型,表示如下:

M(xSd,xTd)=

(14)

(15)

其中,p(λi)表示λi的先验概率,z表示其他工况中样本集的数量。p(DM)等价于系数,可以通过核函数求得。

3 实验验证

在本节,验证了传递式探索策略以及工业小样本增强的有效性。数据集来自世界公认的田纳西-伊斯曼仿真工业流程数据集,该工业流程属于分类建模[27]。实验中使用的故障数据包括No.1,No.8,No.13,No.14和No.21,更多故障数据细节见文献[28]。同时,参与训练的源域样本和目标域样本分别为500个和30个,测试样本为24个。为了避免随机性,所有实验结果都是取10次实验结果的平均值作为最终结果。

实验中,利用Accuracy,Recall和Precision评估文中方法的故障诊断表现。

(16)

其中,TP,TN,FP和FN分别表示真阳性、真阴性、假阳性和假阴性。

实验设置:为了评估遥远域传递式探索的表现,将文中方法与各个领域具有代表性的域适应方法作对比:单源域适应、多源域适应以及遥远域适应。为了避免不同数量的训练样本对方法评估产生影响,保证上述方法的训练样本数量是一致的。另外,对于单源域适应,选择表现最好的域适应结果作为最终结果。对于多源域适应,采用了对不同数量的源域建模的策略。对于遥远域适应,选择不同的源域作为初始域来探索目标域[29]。

表1 对比方法在不同数据集下的故障诊断表现

从表1可以看出,在不同数据集下,文中方法与上述方法相比有很好的表现,特别是当源域和目标域有显著差异时。具体而言,从图1(a)可以看出,数据No.1与数据No.13,No.14存在显著差异,这导致上述提到的方法在这两组数据集中有较差的域适应表现(No.1与No.13以及No.1与No.14)。相比之下,所提方法在这两组数据集中的平均精度为78.65%,与文献[18-19]相比分别提高了23.8%和14.0%。这归功于传递式探索的策略,其利用了中间域的有用信息来辅助对远域样本的探索。值得注意的是,从图1(b)可以看出,使用文中方法探索遥远域后,所有源域与目标域之间的相关性都有所提高,特别是对于差异较大的域,这进一步验证了文中方法的有效性。

(a)原始域

(b)使用文中方法探索后的域

4 结束语

通过提出基于传递式领域自适应的异构样本增强方法,实现了异构场景下的小样本增强。该网络允许工况差异较大的异构源域样本,借助中间领域的样本知识,用于当前工况中目标域小样本的增强。这也意味着,该方法拓展了领域自适应方法在小样本增强领域的应用范围。在田纳西-伊斯曼仿真工业流程开展了对比实验来验证该方法的有效性。实验结果表明,与最先进的方法相比,该方法在异构领域自适应以及小样本增强的实验中均取得了最优表现。该方法能够有效地实现异构域样本迁移增强。