智能信息系统业务事件驱动机理分析与运维模型优化研究

2023-10-20张向聪王冰洁陆思羽

粘接 2023年10期

张向聪,张潺,杨莹,王冰洁,王磊,陆思羽

(国网河南省电力公司信息通信分公司,河南郑州 450053 )

随着供电企业信息化建设的不断深入,供电企业在运的信息系统数量逐步增多,形成了信息系统软、硬件种类、品牌、版本多的运行现状,供电企业保障信息系统稳定运行的运维压力持续增大[1-2]。因此,探索信息系统运维日志标准化解析和多系统故障定位对提升信息系统运维效率具有积极的意义。

为解决多个电力信息系统运维日志关联解析弱,信息系统故障分析准确率低的问题,提出了一种基于业务事件驱动的电力信息系统日志标准化解析方法。实现信息系统故障分析、预警,提升信息系统健康运行水平及运维管理工作的质量和效率。

1 电力信息系统日志运维分析流程

文中所述基于业务事件驱动的电力信息系统日志运维分析流程如图1所示。

图1 电力信息系统日志运维分析流程

1.1 信息系统日志数据聚类

首先,采集信息系统的指标、文本2类日志文件数据;其次,判断信息系统的日志文件是否存在缺失和错误的情况,对有错误的信息系统日志数据进行修复;最后,对信息系统日志数据进行汇聚,获取信息系统日志的特征。

1.2 信息系统业务事件驱动机理分析

根据供电企业的营销、设备、调度、财务等条线对业务事件驱动机理进行梳理,获取跨业务条线的逻辑信息。在此基础上,建立业务关联特征架构,实现供电企业的业务与信息系统日志映射关联。

1.3 信息系统日志数据解析与异常告警

首先,基于业务关联特征架构进行信息系统日志标准化解析,实现指标、文本2类日志文件的统一管理。其次,通过关键词匹配进行分析,根据日志判断信息系统是否存在问题。最后,对存在故障的信息系统进行预警。

2 电力信息系统日志运维分析模型

2.1 信息系统日志数据聚类

2.1.1日志数据采集

电力信息系统日志数据主要包括文本和指标2类数据[10]。其中,文本日志是指半结构化文本数据,包括Tracing日志和程序日志等,且不同的信息系统中日志格式差异较大。指标日志是指结构化的时序数据类型日志,通常包括指标采集时间、使用人员、指标值等信息[11-12]。电力信息系统日志采集硬件架构如图2所示。

图2 电力信息系统日志采集硬件架构

在日志数据采集过程中,通过应用程序接口直接采集指标类电力信息系统日志数据,通过词频与逆文本频率指数(TF-IDF)将半结构化文本数据转化为结构化文本数据[13-14]。

因此,采用TF-IDF算法提取电力信息系统文本指标。电力信息系统文本指标提取值(dW)为:

(1)

式中:cs为电力系统文本指标词语在数据采集中出现的次数;call为电力系统文本指标总的词语数量;es为每一项文本指标词语在数据采集中出现的次数;eall为每一项文本指标词语的总数量。

2.1.2异常数据修复

为避免异常数据对电力信息系统运维带来的影响,需对异常数据进行监测和修复。

电力信息系统采集日志异常数据修复(b)为:

b=wFa+g

(2)

式中:wF为电力信息系统采集数据的特征权重向量;a为输入的电力信息系统采集日志数据向量;g为电力信息系统采集日志偏置。

2.1.3日志数据汇聚

日志数据汇聚的目的是为了将电力信息系统的文本和指标2类数据有效的集成在分析模型中,在进行电力信息系统日志数据异常修复后,将文本和指标2类数据放置在专用数据集中,并为后续的信息系统业务数据机理分析提供基础数据。

2.2 信息系统业务事件驱动机理分析

业务事件驱动算法分成业务事件收集、业务事件发送和业务事件处理3部分。其中,事件收集用于负责收集电力业务的营销、设备、调度、财务、安检等所有的业务事件;业务事件发送将收集的电力业务事件发送到对应的事件处理单元中;业务事件处理负责具体的电力业务事件处理。业务事件处理流程如图3所示。

图3 业务事件处理流程

由图3可见,消息处理用于处理电力业务事件中的元素组,假设针对电力业务x,有m个电力业务组成电力业务集合Lm。x从电力业务集合Lm中获取单元,并输出新的电力业务流Hm,则业务事件处理流程的消息处理Oa为:

f(Lm,w,λ)→(Hm,w,λ)

(3)

式中:f为业务事件处理过程函数;w为业务事件处理的间隔;λ为消息处理的状态;

图3中,原始业务事件数据为d1,经过消息处理后获得处理本业务逻辑信息的结果数据d2,然后,再进行跨业务消息处理,获得跨业务条线的电力业务事件数据逻辑信息d3。

然后,依据跨业务条线的电力业务事件数据逻辑信息建立关联特征架构,实现供电企业的业务与信息系统日志映射关联。

2.3 信息系统日志数据解析与异常告警

日志数据标准化解析的目的是根据业务关联特征架构将文本和指标两类数据映射到统一的空间中,以便对所有类型的数据进行统一的管理。

哈希映射算法具有查找速度快的特点,因此,采用哈希映射算法进行日志数据标准化解析。

电力信息系统哈希映射后的值UH为:

UH=δ(u)

(4)

式中:u为原始的电力信息系统日志数据;δ为哈希映射函数。

然后将映射后的电力信息系统日志数据进行关键词匹配分析,从而判断电力信息系统是否存在故障或缺陷。

确定有穷自动机(DFA)算法是一种关键词匹配算法,DFA算法可以将电力信息系统日志从输入集匹配到输出确定集。DFA算法具有关键词匹配准确的特点[17],因此,采用DFA算法进行电力信息系统日志关键词匹配。

电力信息系统日志关键词匹配zP为:

zP={q∈γ,q∩z≠0}

(5)

式中:q为电力信息系统日志关键词闭包;γ为对于q所有的关键词匹配活动状态;z为电力信息系统日志匹配中所有可能的其它状态。

通过电力信息系统中DFA关键词匹配,判断信息系统是否存在问题。最后,对存在故障的信息系统进行预警。

3 算例分析

3.1 场景与参数设定

为验证基于业务事件驱动的电力信息系统运维方法的可行性和有效性,在某省电力公司信息通信分公司的机房进行了仿真应用。用于文中方法的有12台服务器,服务器均为16核心的Intel至强处理器,服务器内存为64 GB,硬盘为50T,其中4台用于应用及管理层的日志采集;2台用于部署文中所提算法;3台用于Kafka应用;3台用于clickhouse应用。

服务器的操作系统为Windows Server 2019,算法采用phyton设计,通过应用程序接口实现了与电力信息系统日志的采集。与所提方法进行对照实验的是改进k-means电力信息系统运维方法[18]。该方法在电力信息系统运维中广泛采用,具有行业代表性,因此选择改进k-means方法与所提方法进行对比。

3.2 算例运行分析

3.2.1电力信息系统运维性能分析

电力信息系统运维性能分析是衡量运维日志分析速度的核心指标。其计算原则为:从输入电力信息系统运维数据开始,到生成电力信息系统运维统计结果数据为止的时间段。时间越短,则说明电力信息系统运维性能越好。

在某省电力公司信息通信公司机房输入用电信息采集、营销业务、生产管理2.0系统、人力资源系统、财务系统中各6个地市公司1个月的日志数据,分别采用文中所提基于业务事件驱动的电力信息系统运维方法与改进k-means电力信息系统运维方法比较耗时,电力信息系统运维性能分析如表1所示。

表1 电力信息系统运维性能分析表

由表1可见,所提基于业务事件驱动的电力信息系统运维方法的平均耗时为15.7 s,而改进k-means在聚类时耗时较长,因此平均耗时为42.2 s,由此可见,所提方法的电力信息系统运维性能较改进k-means方法更优。

3.2.2电力信息系统日志映射分析

选择140 d的用电信息采集、营销业务、生产管理2.0系统、人力资源系统、财务系统数据,分别按天统计日志数量与映射准确率,电力信息系统运维日志分析表如图4所示。

图4 电力信息系统运维日志分析图

由图4可见,电力信息系统运维日志数量在12～16千条波动,映射的准确率在99.5%～100%波动。

3.2.3电力信息系统运维分析准确率分析

在某省电力公司信息通信公司机房输入用电信息采集、营销业务、生产管理2.0系统、人力资源系统、财务系统中各6个地市公司1万条信息系统日志数据,采用文中所提基于业务事件驱动的电力信息系统运维方法与改进k-means电力信息系统运维方法比较电力信息系统运维分析准确率,电力信息系统运维分析准确率分析如表2所示。