APP下载

基于相似度排名的天气雷达故障案例检索

2021-05-07周钦强李建勇王明辉陈冰怀

广东气象 2021年2期
关键词:特征向量类别检索

周钦强,李建勇,王明辉,陈冰怀

(广东省气象探测数据中心,广东广州 510080)

CINRAD/SA新一代天气雷达网业务运行十多年以来,各级保障部门和雷达站积累了大量故障维修经验与案例,黄裔诚等[1-2]基于故障树组织了全省 CINRAD_SA 雷达故障案例;郭泽勇[3]、石城等[4]设计开发了新一代天气雷达故障处理和故障标准化平台。此外,雷达站技术保障人员对每次发生的雷达故障均给予了充分的分析总结[5-6],基本解决了故障维修经验或案例难以传承的现状,对于天气雷达故障案例或维修经验共享,同步提升天气雷达保障技术水平发挥了积极作用。但基于这些案例的二次开发应用尚属空白,随着新一代天气雷达组网运行日趋稳定,其出现的故障重复率较高,常见经典故障的诊断分析与处理方法,对于目前大部分新一代天气雷达故障都具有较好的维修指导意义,可为技术保障人员提供第一手的故障维修参考解决方案。

本研究在以往故障案例研究成果基础上,开发基于相似度排名的故障案例推理系统,这不是严格意义上的故障诊断系统或专家系统[7-9],而是通过学习天气雷达历史案例,对新输入的故障现象或描述,经过案例知识表示、故障特征提取、相似度计算检索等人工智能技术处理后,从历史故障案例中自动匹配出相似故障案例,并以相似度排序给出参考故障解决方案。

1 工作原理

系统将人工智能领域的机器学习技术和天气雷达电子信息技术两个学科紧密结合应用,基于新一代天气雷达历史故障案例,致力于指导天气雷达故障快速排查维修,通过学习成熟的历史天气雷达故障案例,获取新故障信息并基于历史案例相似度进行智能检索对比,提出与新故障的参考对照解决方案,其工作原理如图1所示。

1.1 案例表示

天气雷达历史案例库中的每个案例均包括故障的一般描述,即情景与解决方法。系统采用典型的空间向量模型[10-11],将新一代天气雷达每个历史故障案例通过中文分词、词频统计等进行知识表示处理,使每一个故障案例成为可机器识别的知识表示形式-空间向量,以便通过机器学习掌握所有天气雷达历史案例。

1.2 案例学习

经过机器识别处理的天气雷达案例不仅包含了大量代表每个案例的特征词频信息,也包含了大量中性、无实意等词频信息,因此通过特征提取算法提取最能代表每个案例的词频信息,使每个故障案例的空间向量代表性最优,基于天气雷达案例库最优空间向量进行学习训练,以掌握天气雷达各类故障案例的典型特征,从而生成天气雷达故障诊断推理模型。

图1 系统工作原理示意图

1.3 故障检索

历史相似案例检索或提取过程,也就是从历史案例库中找到一个或多个与当前故障现象最相似的案例。当接受了一个新故障的检索请求后,系统利用朴素贝叶斯(Naïve Bayes)算法从案例库中找出与当前故障相近似的排名案例组,并从中选择一个最佳故障案例解决方案。通过3个子过程实现:一是特征辩识,就是对新故障进行分析,提取有关特征;二是初步匹配,指从案例库中找到与当前故障相关的候选案例;三是最佳选定,就是从初步匹配过程中获得的案例中选取一个或几个与当前故障最相近的案例。

综上所述,经过对历史案例库的学习训练后,当输入新的天气雷达故障现象描述时,系统提取故障关键特征属性,对每个类别的故障案例进行检索,基于Naïve Bayes算法计算其属于每类案例的概率,并按照归属概率进行排名匹配,技术人员可选择概率排名靠前的历史故障案例作参考来排查故障。

2 关键技术

2.1 故障案例向量化

天气雷达故障案例的信息表示属于自然语言处理范畴,是计算机科学领域与人工智能领域中的一个重要方向,如何能让计算机正确的理解和使用人类自然语言,继而从大量的天气雷达案例中提取出有效的特征信息,是提高故障维修成功率的关键前提。当天气雷达发生故障时,维护维修人员或雷达站值班员输入故障现象详细信息描述,基于向量空间模型利用中文分词法[12]将雷达故障信息进行分词处理,并进行属性抽取与属性赋值。假设词与词相互独立,以向量表示文本,利用向量之间的几何度量(正弦、余弦)计算文本间的相似度,简化文本中关键词之间的复杂关系,使得模型具备可计算性。

(1)属性提取。

通过Apache Lucence中文分词器IK Analyzer将输入的故障现象文字描述切分成为单个字或词,并对切分出来的无实意字符进行预处理,最终得到代表故障现象的词频信息[12]。如图2所示。每一个经过上述处理后的词语基本上为最能代表该篇文本特征的属性,特征词在该类案例出现的次数越多,则越能代表该类案例的特征,即其类别权重值越大,反之,权重值越小。

图2 故障描述特征属性提取

(2)权重计算。

对故障案例文本进行中文分词后,其中包含大量冗余词汇或没有多少实际意义的字或词,需要对其进行剔除后挑取最能代表故障现象描述的关键词或字作为新案例特征向量。TF-IDF[13]算法是最常用的特征词加权算法,其核心思想是对每一个特征集的特征分配一个权值,即加权,然后设定阈值,利用阈值选取一定数目的特征作为最终的特征向量。这种阈值统计的方法具有计算代价小、效率高等优点,其计算公式为

特征项:

则特征向量:

其中,ti为故障描述c中提取的第i个特征项;wi为故障描述c中第i个特征项的权重值,i=0,1,…,n。

2.2 Naïve Bayes算法

Naïve Bayes算法[14]是文本分类领域中一种简单但性能优越的分类算法,为了简化计算,假定各案例特征变量是相互独立的,即“贝叶斯假设”,它假设天气雷达案例空间向量中特征项ti和tj之间两两独立,根据贝叶斯公式为

其中,C为既定天气雷达故障案例类别(C1,C2,…,Cj),X为新的天气雷达故障特征向量(X1,X2,…,Xn);则相似度计算就是将故障案例向量X归类到与其关联最紧密的类别C(C1,C2,…,Cj)中去。也就是说,求解向量X属于给定类别C的概率值(P1,P2,…,Pn),其中 Pj为 Xj属于Cj的概率,则 max(P1,P2,…,Pn)所对应的类别就是新故障案例向量X所属的类别,因此相似度计算被描述为求解方程(3)的最大值。

其中,P(Cj)为故障案例集中,新故障属于类别Cj的概率;P(X1,X2,…,Xn(Cj)为如果新故障属于类别Cj,则类别Cj中包含新故障向量X的概率;P(C1,C2,…,Cj)为给定的所有类别的联合概率。

显然,对于天气雷达既定的所有故障类别,分母 P(C1,C2,…,Cj)是一个常数,所以求解式(3)简化为:

又根据贝叶斯假设,新故障特征向量属性x1,x2,…,xn独立同分布,其联合概率分布等于各个属性特征概率分布的乘积,即

所以式(4)变为

即为所求解的天气雷达故障案例相似度计算函数。

尽管推导出了故障案例相似度计算函数,但是函数中的概率值 P(Cj)和 P(Xi(Cj)还是未知的,式(6)中的先验概率值分别估算如下:

其中,N(C=Cj)为天气雷达案例故障集中属于Cj类别的文本数量;N为天气雷达案例故障集总数量。

其中,N(Xi=xi,C=Cj)为类别 Cj中包含特征属性xi的故障案例数量;N(C=Cj)为类别Cj中的故障案例数量;M为故障案例集总数量。

2.3 案例检索

根据2.2节天气雷达故障案例相似度算法,可知天气雷达新故障的历史相似案例检索过程:

(1)故障案例集训练。

基于CINRAD/SA多普勒天气雷达故障案例集,经过特征提取,生成每类每个故障案例最能代表该案例的关键字,并表示成特征向量X(x1,x2,…,xn),计算 P(Cj)和 P(Xi(Cj)的先验概率值。

(2)案例相似度计算。

新的故障现象表述经过特征提取,提取出最能代表该故障现象的关键字,并表示成向量形式X(x1,x2,…,xn),根据式(6)计算天气雷达历史故障案例相似度函数值,并依大小值排序。

3 系统测试

3.1 学习训练

输入新一代天气雷达历史故障案例集,并保存生成的雷达故障推理模型。以CINRAD/SA天气雷达结构单元为架构,建立起来的包括发射机UD3、接收机 UD4、监控单元 UD5、天馈系统UD2和附属设备UD0等近20年来全省成功修复的历史故障案例集,作为系统输入,进行学习训练,使系统模型具有解决新故障的推理诊断能力,如图3所示。

图3 系统学习与测试程序界面

3.2 最优测试

在天气雷达历史案例集学习训练时,对案例集中的每一个故障案例向量化过程中,为有效排除权重低的特征项,采取有效降低案例特征向量维度来提高系统学习效率。降维系数过高,特征向量维度低,系统学习效率高,但因丢弃了权重高的特征项可能导致诊断结果正确率下降;反之降维系数低,特征向量维度高,不仅系统学习效率低,因特征向量包含了大量权重较低的特征项,诊断结果正确率也不一定提高,因此采取不同的降维系数组合,对系统进行反复训练测试,以获取学习效率和输出正确率最优的推理诊断模型。图4给出的4种不同颜色案例相似度准确率曲线分布。

图4 降维系数组合对案例相似度准确率的影响

(1)降维阈值的选取对诊断准确率具有重大影响。阈值不同时分类准确率变化起伏较大。因此,为了得到最佳性能的故障维修参考模型,必须选取不同的降维阈值反复学习测试。

(2)尽管系统案例学习的平均准确度达到78.0%,但是对于每一个确定降维阈值的准确率而言,其准确率变化区间较大。也就是说,对应于图3中每一种颜色的曲线,天气雷达各类别测试准确率曲线并不平滑,如何使各类别案例准确率趋于一致也是今后研究的重要问题。

3.3 相似案例检索

(1)导入最优相似度的故障推理模型,输入新故障现象描述文本。

(2)系统自动对新故障描述进行中文分词、特征提取等预处理,生成文档空间向量D(d1,d2,…,dn)。

(3)对D进行案例相似度检索,输出诊断参考解决方案,基于定位部件的历史参考案例,成功解决故障后,将该次案例更新到案例集中。

基于雷达保障技术人员、雷达生产厂家近10年的天气雷达维护维修历史案例集,开发了CINRAD/SA天气雷达故障案例推理系统。本研究详细阐述了故障案例表示、故障特征提取、相似度计算等关键技术,并分析了系统学习训练、最优测试与案例检索过程。经阳江、湛江、韶关、广州等天气雷达站试用,在故障发生时为技术保障人员提供第一手的故障排除参考解决方案,有效提高天气雷达保障维护效率,对于缩短雷达故障排查时间,帮助准确定位故障部件,降低天气雷达在线故障率,尤其对于重大天气过程中雷达故障时快速恢复运行具有重要意义。但也存在一定的技术限制,如天气雷达故障案例不够丰富,特征向量维度与相似故障案例正确率的最优关系等还需要深入研究,将是今后研究解决的主要技术问题,以为全省新一代天气雷达高效智慧保障提供更有效的手段,助力提高故障维修效率。

猜你喜欢

特征向量类别检索
二年制职教本科线性代数课程的几何化教学设计——以特征值和特征向量为例
克罗内克积的特征向量
壮字喃字同形字的三种类别及简要分析
一类特殊矩阵特征向量的求法
EXCEL表格计算判断矩阵近似特征向量在AHP法检验上的应用
专利检索中“语义”的表现
服务类别
多类别复合资源的空间匹配
中医类别全科医师培养模式的探讨
国际标准检索