大数据环境下信息系统不良数据检测工作分析

2015-08-03于孟喜

新媒体研究 2015年11期

于孟喜，谢鹤

山西晋缘网络技术有限公司，山西太原 030000

信息环境之下，企业对于信息系统的依赖性逐步加强，并且这种依赖性，会随着企业规模的扩大而呈现出显著的上升趋势。在电力系统中，随着电力自动化技术的逐步成熟，信息系统中的数据，无论从格式还是从容量方面，都在近年呈现出显著膨胀，随着变化的，还包括电力信息系统的运行模式。与此同时，人们对于电能的质量和供配可靠性也提出了更高的要求，这对于中心调度而言，必然从客观上需要更为可靠和精准的数据参与决策。因此如何切实提升整个信息系统环境之下的数据质量，就成为当前人们共同关注的重点。

1 不良数据研究现状分析

在电力信息系统中，所涉及到的数据来自于多个方面，除了相对比较常规的办公数据以外，还包括营销和输配状态两个重要的数据来源。在这样的环境之下，有效提升各类数据准确水平，对于稳定电力供给有着毋庸置疑的积极价值。

在电力信息系统中，对于供配网络各个方面的实时测量结果，会因为测量系统本身安排的不合理以及冗余度不足，或者通信网本身可靠性不够等因素，而在系统环境中呈现出某些数据无法进行有效的辨识，从而形成不良数据。对于这一类的数据，必须展开检查和清理，否则会影响调度系统决策失误，无法形成有效的决策支持信息。同样的问题会出现在任何一个相对大型的信息系统环境中，包括电力销售数据环境等，而当前以二次系统以及电力通信系统所组成的信息反馈体系，则成为不良数据辨识工作的重点领域。不良数据检测与辨识是电力系统状态估计的重要功能之一，其功能是在获得状态估计值的基础上，依靠系统本身的冗余信息，通过数据挖掘和识别等自动化技术，发现采样数据中偶然出现的不良数据进行剔除，借以实现对于状态估计的可靠性提升。

不良数据的检测与识别，对于状态估计结果的正确性有着至关重要的作用，也因此一直都得到相关领域的关注。近年来数据挖据技术成为该领域中广泛研究的重点，并且在不良数据的检测和识别过程中表现良好。其能够有效面对海量数据，并且从不完全和模糊、随机的实际应用数据中分理处正确和可理解的信息，并且在一定程度上对于保护数据的及时性和有效性有着积极价值。当前国内外在基于数据挖据技术的基础上，已经提出了多种不良数据检测与辨识的方法。其中首先包括相对传统的，以目标函数极值检测法、加权残差检测法、标准化残差检测法以及测量量突变检测法作为突出代表。同时随着相关技术的发展，更多新的理论和对于不良数据的检测方法开始得到应用，其中包括模糊数学法、神经网络法、聚类分析法、间隙统计法等，且大部分都以数据挖掘作为重要的技术基础之一。

2 电力环境中不良数据检测工作分析

在电力信息系统环境中，对于不良数据的检测呈现出其独有特征。通常而言，可以将电力系统量测数据看作为有效的量测数据和量测噪声的线性组合，并且通常以白噪声作为突出表现。通过一定的技术手段，能够对白噪声产生的不良影响进行消除，但是如果在量测数据中包含有不良数据，则通常会通过如下两类方法展开辨识和剔除，其差异在于状态估计与不良数据辨识展开的先后顺序。

如果先展开状态估计，而后进行检测和辨识，则在检测之前可以通过状态估计获取到量测量残差，对其进行加权和标准化处理之后，设定阈值，进一步展开假设检验，确定是否存在残差，并且进一步利用残差搜索展开对于不良数据的辨识工作。此种工作方式在辨识的有效性方面表现良好，但是问题在于计算量会相对较大，随着电力环境中更多数据的涌入，整体工作效率会略有下降。除此以外，残差淹没也是会降低此种检测灵敏度的一个重要问题。另一种方法，即首先对量测数据展开预测而后展开状态估计。预测之后先偶去量测残差，而后依据量测残差之间的相关关系展开检测，并且对不良数据进行辨识。此种方法在动态系统中可能会出现检测困难，并且对量测过程中产生的冗余信息无法展开有效利用。

两种面向电力信息系统展开不良数据检测的技术，各有优劣，在实际工作环境中也均呈现出不同的适用特征。其中前者，即先展开状态估计而后进行不良检测的工作方式相对而言比较成熟，而后者则起步较晚尚待进一步的成熟。

从常规工作展开的层面看，想要落实针对不良数据的检测工作，首先需要选取一定长度的窗口样本作为量测数据的范本，并且针对其展开该时间段内的量测数据方差的计算，如果方差没有超过规范阈值，则可视为不存在不良数据。在方差超过规定阈值的情况下，需要进一步将超标数据置入可疑数据集中，并计算可疑量测量与其它量测量之间的相关系数，随后确定该系数是否超过预定阈值，如果超过，则认定该量测量最近一个数据为不良数据，并且加以处理并展开进一步的检测，如果未超过阈值则认为不存在不良数据。