输变电设备现场状态监测数据搜索引擎优化研究

赵春荣

摘要：常规输变电设备现场状态监测数据搜索引擎运行时间较长。本文采用综合数据网构造扁平化搜索引擎体系结构，进行层次优化，采用IEC61850标准接口实现不同层次的数据通信。以MapReduce方式查询执行，引擎内部设置映射阶段，采用远程访问的方式获取数据，建立哈希环存储不同的数据，Hadoop采用树状结构分布实现网络拓扑。

关键词：输变电设备;现场状态监测;数据搜索;搜索引擎优化

0.引言

当前虽然有大量输变电设备现场状态监测数据搜索引擎的研究，但由于搜索到的信息类型复杂，选择的信息模型基准不同，使得难以对匹配对象时会存在较大的差异，而且目前的搜索引擎都是在线搜索引擎，必须要利用输变电设备内部的系统来分析软件才能实现开发接口互相关联。本文对现有输变电设备现场状态监测数据搜索引擎进行优化研究，通过综合变压器、覆冰状态、雷电状态和电能质量等信息分析，利用驱动开发方法对输变电设备信息进行收集、转换和发布，建立扩展模型，实现现行标准化，增强搜索引擎的扩展性和开放性。

1.搜索引擎架构优化

当前的输变电状态监测系统所采用的网络结构大多是串行网络，结构比较复杂。当通讯链路中的任何一个环节出现问题，都会导致整个监控网络的失效，降低数据传输的可靠性。一些监测数据由于传输难度不同，需要多次转发，通过多次转发到主站，影响了实时传输。监测装置与主站之间存在多个通信协议，各种私有的协议不断出现，主站的接口也越来越复杂。监测供应商间的数据孤岛，不能快速查找相关数据。为了解决搜索引擎结构复杂、实时性差、可靠性低、通信规则不一致等问题，本文在传统搜索引擎的基础上进行优化，构造了一个扁平化的搜索引擎。

文中设计的搜索引擎体系结构分层优化采用IEC61850标准接口来实现不同级别的数据通信。本论文所设计的搜索引擎采用的通讯方式是“一发双收”。通讯信息可同时发送到省主站和网络主站。各网络终端集成处理单元可直接与主站通信。使网络主站点的数据传输节点大大减少，节点之间可以直接进行数据通信，省去节点间的数据转换，实现搜索引擎的在线搜索。

通过IEC61850协议，将变电站各监测设备的数据集中到处理单元，使系统中各监控设备的数据同时传送给各主站的监控信息，使用户能够实现各变电站监控信息的实时传输。

使用扁平化搜索引擎，在搜索数据时有效降低传输级别，极大地提高了实时搜索性能。上载数据的所有通道成为彼此的备份通道。在数据传输期间某个信道发生问题时，还可以使用其他信道。用来确保可靠的数据传输。综合处理单元在系统内收集监测数据。，网级主站和省级主站的描述具备一致性，数据融合效果好，分析能力高。

2.搜索引擎存储优化

2.1数据分配最优化

当输变电设备现场状态监测数据的关联数据搜索时，查询方式为MapReduce，通过分析数据与数据之间的相关性，实现Hadoop布局方案。设置映射阶段，在所有节点上对获得的数据进行重新分组、排序，并通过远程访问的方式提取数据。为了防止大量与操作无关的数据在网络传输中被复制甚至上传，将所有数据按照数据属性放置在同一个节点上，通过映射实現连接，减少了不必要的数据通信，提高了整体的执行效率。

在数据的第一份副本中确定采集设备的ID，并根据获取的采集设备的ID进行HashMap;在第二个副本中可以得到采集时间，根据确定的采集时间实现HashMap。在第三个副本中获得数据的定制关系，并实现HashMap。对上述三份的映射结构进行了综合分析，以满足不同的检索需求和数据查询需求。相关系数在监测数据中的应用是研究的重要内容。为更好地保证用户的相关性，需要根据上层应用进行分配。

文中的优化算法是一种多拷贝一致性哈希数据存储算法，它利用数据相关性将所有数据存储在一起。对查询数据进行分析时，将所有主要的搜索和查询任务放在映射端，统一执行，从而降低映射到通信过程的网络负载，确保引擎能够在较短时间内进行查询和分析。

输变电设备不同类型的现场监测数据具有不同的数据类型和格式，但全部数据均具有时空特性。每一传感器的采样数据对应一个匹配的采样时间和地点，利用上述的关键字实现采集。对Hadoop进行优化，存储3份数据，从监测设备位置、数据采集时间、自定义相关性等方面对优化效果进行判断。

在使用优化算法时，需要建立哈希环。

详细流程说明如下：

（1）确定监测数据间的相关系数，使用冗余副本预先定义监测数据，设置冗余拷贝数为3;

（2）分析每个集群中的哈希值，得到的哈希点配置在不同的哈希环区间内;

（3）对监测数据的时空属性和相关系数进行计算，获得准确的散列值，分析副本1的数据来源，确定监测ID，计算得出哈希值1，以映射方法在哈希环上复制;分析副本2的时间属性，计算得到哈希值2，将时间戳映射到哈希环上;分析副本3的相关系数，得到相应的哈希值3，映射方式为依次映射;

（4）通过数据散列值和数据节点散列值，决定数据存储在哪里，并以顺时针方式实现映射;

（5）如果存储数据的节点发生了异常现象，则该节点跳过并保存到下一个节点。

2.2拓扑优化

数据读取内容主要是名字节点，分析数据节点与客户机之间的距离，确保从最近的节点读入数据内容，提高读取时间。在搜索引擎节点中，Hadoop以树状结构分布，每棵子树的根节点连接计算机上的交换节点，两个节点之间的距离就像一个节点到另一个节点所经历的跳数。Hadoop所有的缺省配置节点都被统一到一个框架中，通过分析真实集群的配置效果，拓扑结构将节点网络传递给Hadoop，确保数据以合理的方式进行读取和写入。

3.结束语

本文研究了一种输变电设备现场状态监测引擎，采用开放标准，优化了其结构和存储方式，并利用平面结构优化了设备。利用 Hadoop数据，采用 IEC 61850标准进行数据分配，实现了数据共享，减少了监控设备的监控难度，使引擎内的所有数据都能转发。

参考文献

[1] 杨虹，张来福，姜敏，等.输变电设备在线监测及诊断技术的研究[J].现代电子技术，2017，40（9）：163-165.

[2] 廖瑞金，王有元，刘航，等.输变电设备状态评估方法的研究现状[J].高电压技术，2018，44（11）：3454-3464.