大数据背景下供电企业数据资产管理研究

陆斌 崔金栋 高志豪

（1.杭州电力设备制造有限公司余杭群力成套电气制造分公司；2.东北电力大学经济管理学院）

大数据时代的来临要求各类企业重视数据资源建设管理，根据目前的实际情况，国家颁布了《关于促进大数据发展的行动纲要》，明确指出大数据背景下政企数据资产管理的重要性[1]。加强信息化建设，对数据进行充分的管理，达到充分挖掘和充分利用的目标是各企业的转型方向。作为国家重要的支柱型企业，供电企业的数据资产管理的地位越来越重要，数据资产的价值在供电企业中的比重也越来越大。但是，目前大数据背景下的供电企业数据分散且不易获取，各级供电企业之间数据存在壁垒，在“数据难获取、数据难共享、数据难挖掘”的背景下，供电企业数据资产难以发挥企业内部大数据特征下的数据价值，造成巨大的数据浪费，不利于供电企业的良好发展[2]。国内外各专家学者团队对于数据资产管理理论的研究略显不足，大数据背景下的数据资产管理研究也处在初级阶段，缺乏相关数据资产管理机制研究[3，4]。因此，结合大数据背景下的供电企业数据资产特征，研究新的数据获取和数据资产管理机制就显得至关重要。

■ 供电企业数据资产管理中的必要性

供电企业的数据来源于各业务层，例如电网规划、电网检修、各类工程项目等都会存在大量的数据，这些数据存在形式多样，常以设计图纸、各类方案以及各种数据统计表的形式存在[5]。目前这类数据在完成第一次使用后就会被存档，但很难进行二次利用，大量的存档数据占据了很大的资源，但无法合理有效的利用，数据资产得到极大的浪费。因此，当前的数据资产管理模式已经难以跟上时代的步伐，特别是在大数据的背景下，无法实现数据的合理利用就会给供电企业带来不可估量的经济损失[6]。如何提升数据资产的利用需要两方面的考量，一方面要强调技术理念创新，另一方面要加强管理理念的创新。技术和管理方面的提升才能实现数据资产多方位、多级别、多部门的共享。最终构建供电企业各数据资产用户的数据共享平台，实行分权限的电力数据资产利用，将用户与供电企业数据相连，发挥数据的最大效用，才能发挥出供电公司数据资产对用户、电网、发电、供应商和政府社会服务的有效性。因此，构建合理的供电企业数据资产管理机制，在技术方面和管理机制方面进行革新，才能发挥供电企业数据资产的共享作用，同时也为其他行业以及更多的主体提供借鉴。

■ 大数据背景下供电企业数据资产现状分析

大数据背景下，供电企业数据存储量剧增，已经为PB 量级，并依然处在长期上升阶段，供电企业中的数据管理部门短时间内无法适应大数据量下的企业数据管理，各部门应对大数据量的数据资产经验明显不足[7，8]，问题主要有三方面：一是数据质量不高，主要原因是数据采集和提取技术较为落后，无法准确提取可再利用的有价值的信息；二是数据之间存在壁垒，各部门之间的数据接口不一致，导致无法顺利的数据共享；三是没有数据使用的明确场景，即数据资产的利用价值得不到肯定，很多数据资产价值挖掘的系统不够完善，无法得到认可。

以上三个问题的存在导致供电企业数据资产的管理能力迟迟无法得到提升，深层次的原因有三点：一是供电企业与互联网、电子商务公司相比缺乏数据敏感度，供电企业作为传统的产业很难短时间内改变其信息化管理进程；二是供电企业的主业是保证电力供应的稳定性，往往在内部忽略数据资产的价值，不能将数据和主业相结合；三是供电企业的部门较多，难以形成统一的数据使用场景，各部门数据结构也存在差异，无法形成数据合力，数据资产的潜在价值得不到利用。

图1 Hadoop平台子项目及其功能

图2 供电企业数据资产管理机制

■ 大数据技术在供电企业数据资产中的应用

（一）供电企业数据的前期采集

Hadoop 是对海量数据分布式处理的软件框架，目前已经成为大数据分析的主流平台。借助Hadoop 平台中的HDFS 进行供电企业数据的信息存储，同时，利用Hadoop 框架中的核心设计MapReduce 进行数据处理，为供电企业数据资产数据的获取和处理提供技术支持。Hadoop 子项目包括HDFS、MapReduce、Hbase、ZooKeeper、Hive 等，具体的功能结构如图1 所示。供电企业数据资产信息数据的处理用到了HDFS 组件和MapReduce组件，具体的内容如下：

1.HDFS 组件数据存储

HDFS 系统用来存储供电企业数据信息，即将获取的供电企业数据进行存储。HDFS 组件包括一个NameNode 和多个DataNode，其中，NameNode 主要工作是进行数据存储位置的定位，同时，将存入的供电企业数据资产信息进行命名处理，将这些存入的信息进行分配，分配到各个DataNode 节点中。DataNode 在接到NameNode 的分配内容后，进行响应，执行NameNode 下达的数据存取命令，对数据信息进行实时性的存储或者提取操作，总结起来，NameNode 与DataNode 二者工作机制遵循心跳机制原则，保证信息交互的联动性。此外，HDFS 录入供电企业数据不只是单一路径，为了保证数据的安全性，HDFS 数据录入采用多路径备份，对数据信息实行分块保存，组成每块为64M 的数据存储集群，这就大大提升了数据存储的可靠性和安全性，同时也利于提升数据的存取效率，提升MapReduce 的数据预处理能力，为后期供电企业数据资产的共享机制做铺垫。

2.MapReduce 组件数据处理

HDFS 组件供电企业数据存储保证了数据的存取效率，使得信息的可得性、安全性与完整性得到大大的提升，为MapReduce的数据处理打下了良好的基础。MapReduce 可以将数据进行特征归纳并得到处理结果。在HDFS 系统的供电企业数据就可以依据MapReduce 的这种特点，进行信息处理。MapReduce 把这个数据信息Job 将要处理的大数据分成若干个数据模块，数据模块与计算任务（Task）相对应，并通过调整计算节点自动对相应的数据模块进行处理。MapReduce 中的组件TaskTracker 将数据处理进行任务分工和细致化，通过同时调动多个Map 任务，来实现供电企业数据的有序化，即通过多个Map 任务使HDFS 系统中较为混乱和无序的供电企业数据变得有序，分割数据信息，生成多个<类别i，信息j>键值对，这些键值对代表数据类别和数据内容信息之间的对应映射关系。在Map 组件数据分割与序化任务结束后，需要通过Merge 组件将上述步骤中被分割的键值对<类别i，信息j>进行合并，以各类别为基础进行合并，最终将同一类别的信息键值对列表进行合并，合并成统一的大的键值对列表。在此过程中，Map 组件的输出结果作为Reduce 组件的输入值，然后Reduce 组件进一步对键值对列表深度处理，形成最终的数据信息并进行输出。该过程以NameNode 节点与DataNode 节点的心跳机制为基础，进行的联动处理，整个预处理过程遵循HDFS 中的NameNode 节点与DataNode 节点的实时动态交互原则，最终完成供电公司数据处理过程。

以上两个步骤利用Hadoop 平台完成了供电企业数据的前期采集，采用大数据技术进行了数据的初步预处理，方便后续供电企业数据资产的相关处理和管理，为大数据背景下供电企业数据资产管理提供了技术帮助。

（二）供电企业数据资产管理机制构建

供电企业数据资产管理机制主要分为四大部分，分别是数据统计、数据分析、数据应用和数据价值评估，这四个主要数据处理过程是供电企业数据资产管理机制的主要框架。数据统计阶段是供电企业数据资产管理的基础环节，笔者在前面介绍了大数据技术在数据统计和采集方面的应用，数据统计阶段将内外部数据进行获取，并最终存储到供电公司数据仓库中。数据分析阶段主要通过离线分析和实时分析进行供电企业数据资产的深度挖掘。数据应用阶段主要注重效率应用、质量应用和价值应用。数据价值评估阶段则实现对供电企业数据资产的合理评估。具体的供电企业数据资产管理机制如图2 所示。在进行数据资产管理时遵循“四多”管理原则，即“多目标联动，数据处理高效化”“多部门协同，数据共享快捷化”“多格式融合，统计结果有序化”“多渠道采集，获取方式多样化”，保证供电企业在大数据背景下合理有效的对数据资产进行管理。

■ 供电企业数据资产管理的对策建议

（一）提升大数据采集技术的应用

基于Hadoop 平台的数据前期处理和采集可以有效的提升供电企业数据采集的能力，筛选有效信息，从数据的源头开始进行数据管理，清洗各数据，并且让供电企业的数据形成统一的接口，规范数据结构及数据格式，形成数据采集的规范，解决数据采集过程中存在的问题，提升数据采集质量的效率。

（二）加强内部数据的系统化水平

数据资产得不到有效利用的重要原因之一是供电企业内部无法形成统一的数据利用平台，各个部门的数据只在内部处理和使用，无法有效共享。部门之间的交叉数据利用效率极低，因此应该加强供电企业内部数据的平台搭建，对各部门的权限进行合理界定，形成数据资产平台，各部门根据角色权限进行数据的获取和发布，有效的提升数据利用水平，完善供电企业数据资产的共享机制。

（三）探索供电企业数据管理新模式

提升大数据背景下供电企业的数据资产的利用效率离不开管理模式的优化，要针对大数据时代的要求进行管理模式的革新。首先要对供电企业的各项业务进行重新梳理，进行顶层业务逻辑图的设计，明确各流程的数据流转方式和方向，从业务流程角度明确数据的流向，避免后期数据的冗余；其次，要明确供电企业数据资产管理的总目标，提升员工对数据的重视程度，从数据使用标准、数据安全规范、数据业务流程等多个方面对员工进行培训；再次数据标准、数据视图、业务框架、绩效评价体系以及人才保障机制等多个方面。再次，对供电企业的各项电力设备信息进行统计，收集物联网中的设备数据信息，补充到数据资产平台中，形成统一的数据资产管理新模式。最后，要在技术发展和社会发展的过程中保持制度的灵活性，及时改进和处理供电企业数据资产的管理机制，使供电企业数据资产能够保持活力，在各个时期为供电企业的发展发挥最大程度的数据支撑价值，实现数据资产效用的最大化。