基于并行计算的系统运行日志采集方法研究

张才俊，于喻，吴杏平，唐文升，孙德艳

（1.国家电网有限公司客户服务中心，天津 300300；2.北京中电普华信息技术有限公司，北京 100085；3.国家电网有限公司，北京 100031）

并行计算也称平行计算，是相对于串行计算制度而存在的。该项应用技术能够在同一时间内执行多个指令算法，其目的在于提高数据参量的实际计算速度，在扩大问题求解规模的同时，解决各类复杂的计算问题。所谓并行可解释为“空间上的并行”、“时间上的并行”两部分，前者是指利用多个处理器设备进行并发式的执行计算，而后者则是指一系列连贯的流水化数据计算任务[1]。在独立的应用系统环境中，并行计算技术可以以某种方式，将多台计算机设备组成一个完整的集群组织，且随着该项技术手段的应用，集群内完成处理的数据参量可直接反馈回用户主机内部。

系统日志能够准确记录系统在运行过程中所发生的各项软硬件执行问题，同时还能对系统中可能发生的事件进行监视[2]。一般情况下，用户主机可根据错误发生原因，寻找攻击文件在攻击过程中留下的信息痕迹。传统分布式采集策略为获取大量的系统运行日志，需要在软件技术手段的支持下，对日志信息所属格式进行定义，再针对网关产品的局限性问题展开深入研究。然而此方法并不能完全满足日志服务的可扩展性需求，易导致系统运行环境稳定性水平的下降。为解决此问题，引入并行计算技术，设计一种新型系统运行日志采集方法，通过选定性能指标的方式，确定线程任务的并行量数值，再联合异构体的可移植性能力，计算日志数据的实际采集量水平。

1 通用并行计算技术

通用并行计算技术研究由性能指标选定、线程任务并行量确定、异构体可移植性分析3 个步骤组成，具体研究过程如下。

1.1 性能指标选定

性能指标能够描述系统运行日志在单位时间内的传输数值量水平。一般情况下，该项物理量能够决定系统在未来一段时间内的实际工作能力，且由于并行计算原理在数值方面的真实约束性，最终所选定的性能指标基本能够完全满足系统日志的实际运行需求[3-4]。设代表系统运行日志在单位时间内的通行输入量均值，χ0代表指标参量的下限采集权限，χ1代表指标参量的上限采集权限，β代表基于并行计算原理的日志数据传输判处条件，联立上述物理量，可将系统运行日志的性能指标选定结果表示为：

式中，Rmin代表系统运行日志的最小特征值，Rmax代表系统运行日志的最大特征值，e1、e2分别代表两个不同的日志数据并行处理参量。

1.2 线程任务并行量确定

在完成性能指标选定后，并行计算的线程任务并没有完全结束，而是有一部分任务以单线程的形式在系统CPU 运行核心上继续传输，当线程消耗量达到理想数值标准后，才能收获最终的并行量计算数值[5]。常规的CPU 运行核心元件中至少包含4个处理器设备，且随着线程任务并行量数值的增加，待采集的系统运行日志量也会逐渐增大，但二者之间的数值配比关系始终满足日志数据加速比定律[6-7]。设α0代表线程任务的最小单向传输系数，α1代表线程任务的最大单向传输系数，在上述物理量的支持下，联立式（1），可将线程任务的并行量计算结果表示为：

其中，λ代表与系统运行日志数据相关的单线程传输系数，W代表日志数据特征值，w代表参量W的补充说明条件，Y代表日志数据采集权限值，y代表参量Y的补充说明条件，代表单位时间内的日志数据并行处理系数。

1.3 异构体可移植性分析

异构体的存在不仅方便了并行计算技术的应用，也为系统运行日志数据采集提供了大量的可参考节点。由于线程任务并行量在单位时间内始终保持不断增加的数值变化趋势，因此日志数据异构体必须具备较强的可移植性能力。根据已选定的性能指标，对线程任务并行量进行精准计算，再通过判定系统运行日志采集量的方式，实现对异构体可移植性能力的判别与感知[8-9]。假设代表单位时间内系统运行日志数据异构体的最小采集规模系数，代表单位时间内系统运行日志数据异构体的最大采集规模系数，σ代表幂次项并行处理指标，在上述物理量的支持下，联立式（2），可将并行数据的异构体可移植性能力定义为：

式中，φ代表日志数据的线程任务定义系数，D代表单位时间内的系统日志采集运行指标，f代表信息参量的并行计算权限值，代表日志量运行采集均值。

2 系统运行日志采集方法

2.1 日志采集框架

日志采集框架能够在并行计算原理的作用下，提取系统内处于运行传输状态的日志文件，并借助相关传输信道，将这些信息参量反馈至相关客户端主机之中。在系统运行环境中，日志文件始终具有多种源类型存储形式，其中一部分源类型文件能够对日志数据起到传输支配的作用，也有一部分源类型文件则能够帮助系统准确掌握日志数据连接与存储方式[10-11]。随着日志采集指令的实施，并行数据源只能以创建流的形式在系统环境中传输，且随着采集任务的形成，最终采集到的日志数据信息始终具备较强的传输感知能力，直至形成独立的信息采集流文件后，系统才会在既定时间内达到理想化的数据并行计算水平标准[12]。日志采集框架结构如图1所示。

图1 日志采集框架结构图

2.2 AQM分类器

AQM 分类器负责采集系统环境中的各项运行日志数据，并可在并行计算原理的作用下，对这些数据信息进行精准区分，从而避免源类型数据对日志文件造成的干扰影响[13]。AQM 分类主机直接作用于日志采集源，可借助采集通道，对这些传输信息进行标记处理，再将其反馈至存储数据库、并行数据样本等多个物理信息空间中。由于并行计算原理的存在，AQM 分类主机能够准确掌握日志数据源的实际传输需求，并可在不违背系统运行需求的情况下，对日志数据文件进行目的性整合处理，从而实现对信息数据参量的按需采集与调取利用[14]。AQM 分类器结构如图2 所示。

图2 AQM分类器结构示意图

2.3 采集量计算

采集量计算是系统运行日志采集方法设计的末尾处理环节，可在已知并行计算需求的前提下，将日志数据整合成多个完全独立的存储形式，并将这些物理信息量分别反馈至相关的设备应用结构体之中。在不考虑其他干扰条件的情况下，日志采集量计算结果只受数据并行指标表现量的直接影响[15-16]。一般情况下，数据并行指标表现量由最大值、最小值两部分组成。其中，数据并行指标表现量最大值为ψmax、数据并行指标表现量最小值为ψmin，两者的物理差值水平越大，最终计算所得的采集量数值也就越大，反之则越小。在上述物理量的支持下，联立式（3），可将日志采集量计算结果表示为：

其中，代表日志信息量反馈系数，代表既定数据采集指标，b1、b2分别代表两个不同的系统运行标准项系数。至此，实现各项系统应用指标的计算与处理，在并行计算原理的支持下，完成系统运行日志采集方法的设计[17]。

3 对比实验分析

为验证基于并行计算系统运行日志采集方法的实际采集性能，进行仿真对比实验验证。日志文件采集环境如图3 所示。

在图3 所示的采集环境中，将文中方法与传统方法的运行主机分别与采集主机设备的接口相连。

图3 日志文件采集环境

QTR 与WEP 指标的数值越大，说明采集方法的采集性能越强，对于系统运行日志的采集能力越强，能够保证系统的稳定运行。QTR 指标数值对比结果如表1 所示。

从表1 的实验结果中可以看出，在实验时间不断增加的情况下，文中方法与传统方法的QTR 指标数值均呈现出持续上升的趋势。但是，文中方法的QTR 指标数值始终高于传统方法，其最高达到85.6%，传统方法的QTR 指标数值最高仅为36.5%。

表1 QTR指标数值对比结果

文中方法与传统方法的WEP 指标数值对比结果如表2 所示。

表2 WEP指标数值对比结果

从表2 中可以明显看出，文中方法的WEP 指标数值从实验开始初期不断增加，从35 min 开始稳定在74.5%，而传统方法的WEP 指标数值从实验开始至结束一直呈现出不断下降的趋势，最终结果下降到39.8%。

通过表1 与表2 的对比验证，相较于传统方法，文中方法的QTR 与WEP 指标数值显著增加，说明文中方法的采集性能更优。

综上可知，应用基于并行计算系统运行日志采集方法后，QTR 指标、WEP 指标均出现了一定程度的数值上升变化趋势，能够较好满足运行系统对于日志服务可扩展性的实际应用需求。

4 结束语

在并行计算原理的支持下，新型系统运行日志采集方法可通过选定性能指标的方式，确定异构体数据的可移植性能力，再联合日志采集框架与AQM分类器，实现对日志文件采集量的精准计算。从实用性角度来看，QTR 指标数值与WEP 指标数值的提升，能够较好满足日志服务的可扩展性需求，进而对系统运行环境进行维系与完善。