面向大数据时代实现综合能源服务的展望

程晓磊，吕海霞，李晔，南家楠

（内蒙古电力经济技术研究院，内蒙古呼和浩特，010090）

0 引言

随着科技水平在不断提高，大数据技术也随之提高。综合能源服务的出现是未来能源服务的动态发展方向。这是一种适应当前趋势的能源服务。在大数据的支持下，它可以提取更多有用的数据资源。它可以深入分析用户需求，并掌握一些基本的用户需求。在企业营销中，它也可以发挥重要作用。综合能源服务是一种新形式的能源服务，它集成了不同类型的能源服务，超越了传统能源服务的范围，可以满足各种用户需求。由于当前与能源有关的互联网技术快速发展的趋势，综合能源服务的计算机化程度相对较弱。因此，有必要使用新兴的“移动大云”互联网技术，来更深入地研究用户的能源消耗数据资源，掌握企业能源数据，探索基本用户需求，通过“大云物移”技术实现能源数据服务的综合管理，不断提高能源效率，满足用户对综合能源服务不断增长的需求。

1 大数据技术理论和综合能源服务

1.1 大数据的特性

大数据是指巨大、高增长率和多样化的信息资源，需要新的处理模型才能具有更大的决策能力、洞察力和发现能力，以及流程优化能力。大数据不仅与掌握这些海量数据有关，而且与整合和使用这些数据的可能性有关。表1显示了大数据的主要类型。

表1 大数据的分类

用户在网上进行有效的操作行为及时间都被系统纪录下来移动设备数据(MObile Device Data)网络点击流数据(Click Stream Data)服务机构可以通过用户所使用的移动电话的移动电子设备，获得设备和人员的位置、移动、用户行为等信息

大数据具有自己独特的“4V”功能：大小，种类，价值，速度。（1）大是指大量数据。当前数据量级别为PB，此单位很快将被更大的单位所取代，其中很大一部分是非结构化数据。（2）多样性是指各种各样的数据，从查看的标题，照片，购买历史到网络日志等，均属于大数据范围。（3）值是指值的密度，以视频为例，监控中没有太多有价值的数据。（4）速度是指处理的速度，而数据处理过程需要一个更快的过程，即从一次输入数据到一次处理。

顾名思义，大数据本身包含大量数据。从TB级到PB级。数据的类型也各不相同，大型数据集的数据收集速度也很高，这是其与传统数据处理算法不同的主要特征。物联网，云计算，移动互联网，车辆互联网和其他各种终端可以提供稳定的数据流。随着Internet的飞速发展，十年来生成的人类数据量远远超过了上个世纪的数据量，并且出现了大数据提案。大数据的特征可以概括为4种（即体积，种类，值，速度）。随着用户数量的增长，大量数据变得不可避免。变化是指各种各样的用户数据，即数据的多样性，而值是指值的密度，而数据的总量则成反比。速度表示处理速度快。历史上，数据源是单一的，没有考虑多样性，但是随着大数据时代的到来，已经发现数据源和类型很多。例如，世界上的所有内容实际上都可以转化为数据。数据收集是大数据处理过程中最基本的步骤，客户数据可以发送到电子商务平台数据库，用户可以进行初始数据查询。当前，常用的数据收集方法是传感器数据收集和射频识别（RFID）。此过程中最关键的部分是，可能会有大量用户同时浏览您的网站。

数据处理和集成包括处理收集的数据并对其进行集成以存储数据集，终端本身已经具有数据存储库，但是无法彻底解析数据。接收到的信息经过预处理，然后发送到另一个更集中的大规模分布数据库分析。数据处理过程的一个特征是大量的导入数据，有时达到100 MB/s，有时甚至达到100MB/s。数据分析是处理大数据集的重要组成部分。在对数据进行处理和集成之后，获得了数据分析所需的初始数据，其中使用传感器技术或云计算技术对输入数据进行深入分析。数据挖掘使用各种算法在数据分析之后计算数据，以获得所需的效果并执行下一阶段的分析。随着Internet的发展，数据量逐渐增加，通常的处理，下载和传输文本的方法无法获得预期的数据分析结果。电子商务服务平台使用数据可视化技术来改善网站背景的性能。常见的可视化技术如下：基于集合的可视化技术，基于图标的可视化技术和基于图像的可视化技术。

1.2 大数据分析方法

探索数据的潜在价值是大数据分析的主要重点。为了从大量数据中提取有用的信息，必须充分利用数据，本文总结了数据分析的五种主要方法。（1）数据重用。过去，用户数据（例如搜索词）在使用并保存在数据库中之后就再也没有使用过。（2）重新组织数据。在大数据时代，数据的整体价值高于其部分价值的总和。多个数据集的重组使得总值大于两个值之和。最明显的例子是将吸烟者与引起癌症的人联系起来，您会发现吸烟很容易导致癌症。（3）数据扩展。基本数据通常包含一些基本信息，并且可以通过扩展该信息来发现更多有价值的信息。例如，来自商店监视系统监视的信息可用于识别盗窃，跟踪流量并分析营销活动的有效性。（4）利用废气数据。有时，错误的数据也可以用作有价值的信息，例如搜索引擎的拼写检查功能。（5）打开数据。当前，许多先进国家和其他国家的企业正在透露他们收集的一些用户数据。科学家和工程师可以使用此开放数据进行研究。

1.3 HADOOP云计算平台

开源云计算技术将Hadoop视为拥有最多开发人员和用户的云计算平台。它使用可靠的HDFS共享内存，MapReduce数据处理引擎和Hive数据仓库工具为用户提供了低成本，有效的处理大数据的方法。它使人们在处理大型和不规则的非结构化数据时不再无能为力。Apache Lucene的创始人Doug Cutting创建了Hadoop。最初，Hadoop源自开源Apache Nutch Web搜索引擎。但是，随着Internet上网站数量的增加，普通体系结构无法解决寻找庞大网站（1亿个）的问题。正是在这个时候，提出了云计算技术，这激发了科学家们还为Nutch开发了类似的NDFS和MapReduce存储系统。在发现系统不仅仅是可搜索的之后，开发人员从Nutch移走了NDFS和MapReduce并正式创建了Hadoop子项目。由于其快速增长，Hadoop现在已成为企业的主要实现系统。在业界，Hadoop现在被认为是用于存储和分析大数据的通用平台。Hadoop是支持MapReduce分布式应用程序的云计算平台。分布式计算是一个广泛而可变的领域，但是Hadoop由于其可用性，容错性，可伸缩性和简单性而在近年来发展迅速。Hadoop的最新版本已与Yarn框架集成在一起。Yarn用作MapReduce来解决JobTracker在原始一代中的单点故障问题，它实际上是一种分布式应用程序结构。

1.4 Mahout

Apache Mahout是由Apache Software Foundation开发的开源用户机器学习项目，该项目实现了许多健壮且可扩展的机器学习算法。Mahout实现了各种机器学习算法，包括分类，分组，推荐等。此外，Hadoop Mahout可以轻松地将算法扩展到云。

（1）Mahout推荐算法介绍

单机算法实现：单机算法主要由cf.taste项目实现，常规的UserCF和ItemCF可以在单机环境中很好地工作，并且可以配置许多其他参数。但是它的计算能力非常有限。

（2）算法评判标准

Mahout提供两个指标来推荐评级，准确性和可记忆性。搜索引擎经常使用这种测量方法。

图1 Mahout算法精确度评判标准

表2

A代表检索到的相关数据，B代表尚未检索的相关数据，C代表不相关的检索数据，D代表尚未检索的不相关数据。下载的数据越多，准确性系数就越高。在所有获得的结果中，数据越重要越好，召回率越高越好。当数据相对较大时，很难希望两个指标可以同时得到改善，并且变量需要不断变化。

1.5 大数据的处理流程

大数据的特征决定了与传统数据处理的三个差异：基于完整的数据库分析，高效和挖掘的重要性。当然，有许多处理大数据的特定方法。我已经搜索了许多资源，并编制了处理大数据的一般相关过程。一般处理流程分为四个阶段，即收集，处理，计算和数据处理。

（1）数据采集。大型数据收集是指收集有关许多终端的数据并将其离线存储。例如，电子商务公司将收集的数据存储在链接数据库中，但是对于无组织的数据，您可以使用RedSQL和MongoDB等NoSQL数据库。在大数据采集过程中，经常会有大量的并行访问，例如国内的12306和淘宝，它们的访问高峰可以达到数百万，因此对采集背景的数据处理能力有一定的要求。做好压力平衡和数据库拆分之间的工作，需要长期的实践和经验。

（2）数据预处理。在许多情况下，从首页发送的数据是无组织的文本数据，并且需要对此类数据进行处理以形成结构化的说明，以便进行后续计算。此外，由于无效数据的可用性，还需要一些ETL方法。导入时，如果公司对实时性能有一定要求，则可以使用Storm Twitter进行流计算。数据处理过程的主要挑战是大量数据需要较高的数据导入速度。

（3）统计分析。该组件通常使用分布式数据库来提高性能，或者使用分布式计算机群集来进行分析和汇总。本部分的主要挑战是大量数据将对I/O性能提出更高的要求。

（4）数据挖掘。目前，Kmean的典型挖掘算法，SVM的统计学习算法和NaiveBayes的分类算法是典型的。Mahout框架是一个实现各种机器学习算法的开源框架。由于挖掘本身的算法非常复杂，因此在计算大量数据时，计算机的性能需要达到更高的水平。

1.6 能源革命的潜力

在分析综合能源服务的工作之前，我们首先需要对当前状况及其未来发展潜力有一个简单的了解。以下是简要的情况和潜力的介绍，得益于集成的能源服务，可以尽可能合理地分配公司的资源。同时，它也可以替代电力。这样可以减少公司的用电量。对相关煤炭的需求也将减少。如果减少煤炭的使用，相应的环境污染问题将得到有效缓解。还可以提供节能服务，可以对节能进行适当的监控。通过监控，您可以获得有关行业节能的重要信息，可以了解当前节能市场的规模。还可以执行维护工作，并减少相关电气工作的压力。因此，在未来综合能源服务的发展中，向节能发展势在必行。将来，它也将不得不依靠相关的大数据技术。同时，这种发展模式也符合国家发展要求。

1.7 综合能源服务工作现状及市场潜力

近年来，国家电网湖南省电力有限公司（以下简称公司）以市场开发为主体，充分利用品牌，技术和用户资源等方面的优势，加快了体制机制，人才队伍和平台的建设，合作并促进了综合能源服务公司。与市场完全融合。根据公司三年的端到端能源服务路线图，其核心综合能源服务业务涵盖工业园区，医院，机场，太阳能农场等，涉及100多家主要的能源密集型公司。各个区域的市场潜力分析如下：

（1）交流电。根据《湖南省电力替代计划》，湖南省2016-2020年的总用电量估计约为550万吨标准煤。

（2）节能服务。根据省节能监测中心，行业协会和行业联盟的相关数据，预计2018-2020年节能服务业务市场规模约为750亿元。

（3）电源运行维护。据统计，湖南省特种变压器用户数约为12万户，预计2018-2020年能源运维业务市场规模约为180亿元。

（4）分布式光伏发电。根据“湖南省的五年太阳能发展规划中，预计到2020年已安装的分布式光伏发电容量将达到200万千瓦。根据6元/瓦的市场表现估算，2018-2020年分布式光伏发电的业务规模将在78亿元左右。

（5）天然气的分布式冷却，加热和三联产。根据“湖南省的五年能源发展计划于2017年10月装机。达到79.4万千瓦。到2020年，全省分布式天然气总装机容量将达到120万千瓦，估计为每千瓦5000元。从2018年到2020年，商业市场规模约为20.3亿元人民币。

（6）生物质能和热能的分布式能源生产。根据“13。湖南省的五年“生物质能发展计划”，预计到2020年将达到80万千瓦。根据每千瓦800万元的估算，2018-2020年生物质发电和供热业务市场规模约为44.6亿元。

（7）根据电力提供冷热。根据新增加的1.74亿平方米建筑面积估算，2018-2020年基于电力的冷热供应业务市场规模约为313.2亿元。

（8）能耗监测与分析。根据节能市场潜力和分布式能源市场潜力估算，基于能耗监测与分析，2018-2020年商业市场规模约为15亿元。

（9）储能服务。通过对风能和太阳能光伏的日均产量进行分析，预计2018-2020年储能业务市场规模约为27.4亿元。

2 基于大数据的综合能源智慧服务平台建设

2.1 基于大数据的综合能源智慧服务平台建设

通过营销大数据中心的建设和应用，可以积极推进能源综合服务业务，显着提高公司盈利能力，加大集约化程度，加强规范化管理；使政府能够吸引投资，调整产业结构，对需求方作出响应并有序地实现用电。通过节能服务，能耗分析等，为公园和主要能源客户提供政府支持的数据支持；促进整个业务链的纵向联系和不同系统的横向整合；进一步优化和提高综合能源业务项目的最高水平，并通过该计划实现全面的管理范围；通过集成的能源业务促进数据集成，例如运输检查，市场营销和运输。通过对能源数据价值的深入分析，它有力地支持了公司在构建大数据方面的战略决策，并推动了精益公司的管理和创新增长。

2.1.1 综合能源大数据应用

综合能源大数据应用主要包括：能耗分析，用户标签，潜在用户列表，用户潜力分析，用户层次管理，比较分析，评估分析，比例分析，节能分析，负载功率预测，电力状态评估，诊断故障，设备统计，能源组成分析，可再生能源渗透率分析，经济功率分析，功率损耗分析和能源质量分析。

（1）能耗分析是根据不同的活动类型提取用户数据和大型数据中心的用电量数据，并显示用户的能耗，用电量和电表参数，费用，负荷曲线和变电站位置，线路负载等。

（2）用户标签用于搜索和分析大量数据，以创建各种用户标签，管理用户标签并获取诸如动态标签，静态标签，链接标签和公司标签之类的信息。

（3）潜在用户列表是根据用户标签对用户进行分类，并根据每个标签的重要性建立一个列表；用户潜力分析是基于地区，行业，用户性质，用电量类型，用电量，能耗设备等进行的。信息，进行深入的数据挖掘，评估用户设计潜力并将分析结果直接提供给用户。

（4）基准分析涉及市场上运营的综合能源项目的基准和统计，包括：基准电力替代潜力，基准节能，基准项目的行业分布，基准营销活动和基准营业收入，基准市场份额，基准在线费率和客户满意度基准测试。

（5）评价分析是对综合能源项目运行效益的综合评价和分析，主要包括：项目收益评价，社会效益评价，节能比评价，设备利用率和综合能效。

（6）比例分析是对综合能源项目绩效的综合统计和分析。

（7）节能分析是根据国家或行业标准对主要能源用户的节能收益率进行的分析。

（8）电力负荷预测是根据历史负荷数据，生产计划，经济指标，环境气候等相关数据作出的多维输出量，负荷预测，发电设备，电气设备的发电量和用电量，能源用户和地区。使用各种数学模型来优化和选择预测结果。中长期预测主要是人工干预，而短期和超短期预测主要是自动系统优化。

（9）电力健康评估旨在基于故障触发统计数据分析设备和系统可靠性指标，分析超负荷上限统计数据所导致的硬件和系统安全隐患，诊断和定位频繁发生故障的安全和设备威胁并提供帮助在决定设备的更换和现代化，大修，大修和其他工作计划时。

（10）故障诊断包括对故障的数量和时间进行统计分析，诊断设备和系统的可靠性，跟踪故障原因的类型，设备的制造商，分析影响频繁发生故障的主要因素以及分析设备类型，制造商与故障之间的关系。

2.1.2 综合能源大数据中心技术架构

基于公司一个全面，统一的数据中心，根据数据仓库模型和主数据标准实施能源大数据的集成应用程序，使用ETL工具清理和转换数据，并为公司提供能源数据资源的完整集成服务。

（1）统一的分析服务层。提供外部数据接口，数据挖掘和自助服务分析服务集成的能源服务平台可以通过统一的分析服务层获取业务数据。

（2）日期集市。为了满足特定部门或用户的需求，可以以多维方式存储它们，包括定义维度，要计算的指标，维度级别等，以生成用于决策分析的数据立方体。数据仓库在统一分析服务层中提供基本数据支持。

（3）轻微聚集的层。符合SG-CIM3.0标准，针对特定领域设计集成区域模型，并根据主题领域存储详细数据，以实现结构化数据和多维摘要的统一存储。

（4）详细的数据层。标准和数据模型的统一。该层模型是由“国家网格模型”顶部设置小组统一设计的，根据模型，设计团队可以完成数据清理和转换。

2.2 综合能源智慧服务的平台建设

综合能源服务平台的建设是现在发展的趋势之一。如何在大数据的支持下构建全面的智能能源服务平台，是当前亟待解决的问题。下面是对平台结构的简单分析。

（1）营销数据中心

综合能源服务平台的建设，它必须与大数据营销和心脏建设密不可分。通过营销数据，内心可以不断促进公司能源活动的优化。它还可以提高公司的盈利能力，集约化程度将比以前更好。在这个过程中，企业的规范化管理将越来越强大。它可以为政府服务，并引进外国投资或促进政府工作的投资。它还可以对国家目前的产业结构做出适当的改变。它可以为能源企业的能源发展提供适当的指导方针和帮助。可以广泛发展节能服务。还可以将来自运营检查，市场营销的数据以及其他公司数据与集成的能源服务集成在一起。在更深层次上探索能源数据的价值。这对于构建公司的大数据非常有利。它还可以在某种程度上改善公司的管理。

（2）综合能源大数据应用

综合能源大数据可以应用在很多方面。其中包括能耗分析，用户分析，评估分析等。通过采取行动，不仅可以发现企业中的问题和不足，还可以分析研究存在的问题和不足并提出解决方案。在分析能耗时，有几种因素是基于不同类型的活动。然后，通过大数据集，心脏提取每个用户的文件。同时，您还可以使用图表显示用户的能耗。它可以分析电线负载曲线和线路状况。对于用户分析，您需要使用大量数据进行探索和分析。基于此，分类并创建各种用户标签。然后管理这些用户标签。在管理期间，您可以使用动态，静态和其他标签链接方法。为了进行评估和分析，有必要收集有关运营项目的一些综合收益的数据。然后进行全面的效益分析。在此过程中，评估项目的收益和社会收益至关重要。同时，将估算能量利用率或总利用率。

（3）综合能源大数据中心的技术架构

可以针对公司业务的情况，建立业务统一的数据开发心。然后利用数据的开发，心进行综合能源数据的应用。在实施，需要应用到数据仓库模烈，还有一些数据的标准。可以适当利用ETL工具来对数据进行清洗或者是转化。这样才能够为公司在顺利运行，提供更加完备的综合能源数据服务。其综合能源大数据，心技术的架构几要是包括以下这些部分。

①分析服务层。另外，服务层应统一。如果不是用于统一的分析服务层，则在数据分析中获得的效率将不高。同时，它应该能够提供以下服务。例如，有提供外部数据的接口服务以及数据挖掘服务。同时，您也可以将收集的数据用于自助服务。最终，集成服务平台可以通过分析服务层获取运行其正常业务所需的信息和数据。

②数据集市。这部分是相对独特的。外观的目的是满足特定部门或用户的不同需求。我几乎想以多维方式存储信息和数据。在存储期间，有必要为其定义，计算指标和尺寸生成数据。生成的数据应能够支持对公司决策的分析。此外，数据库是综合能源服务平台的核心，它还可以为分析服务层提供数据处理。

③轻度汇总层。在分层设计的情况下，应根据特定标准进行。在规划期间，必须为子区域集成模型设计。它可以根据区域存储数据。它还可以允许将数据存储在特定的结构中。同时，它具有不同的功能，即可以执行多维聚合，它也是柔和的聚集层的特性之一。

④明细数据层。在此设计级别，应使用统一的数据标准。另外，在设计过程中必须注意模型。此级别的模型通常由State Grid的顶级设计团队设计。然后，在下一个工作中，适当的人员应根据设计的模型清理或转换项目团队已完成的某些数据。由于有了这一级别，与数据清理和转换有关的工作将更加容易。

⑤源历史区。在数据存储的情况下，有必要根据不同的业务类别以模块化方式存储数据。同时，当需要应用数据时，可以提取信息并要求信息的来源。通常，所有现有数据都有来源。这些主要是作为企业正常营销或生产活动的一部分收集的数据。这些信息和数据几乎总是在日常生活中产生的。使用时，您只需要检索此数据。

（4）综合能源智慧服务的作用

随着新时代的到来，企业的内部和外部信息网络可以通过使用此集成的能源服务平台进行大数据营销而彼此交互。让企业的综合能源服务项目能够执行整个管理和监督过程。在数据收集期间，数据被可视化。它还具有在线监视功能。借助一些移动数据收集方法，为企业决策提供了一些数据支持。在决策过程中，可以减少决策错误。如果您在工业园区或耗能企业中使用此技术，则可以科学地管理公司的资产。而且，这对政府的工作非常有帮助。为政府提供数据支持以引入投资和产业结构。它还可以为平台用户提供全新的服务体验。让公司的利润增长。该技术是互联网技术和智能能源的结合。它可以带来一种新的能源发展模式。它可以促进中国能源服务业的复兴。他对我国的一些传统专业和企业产生了很大的影响。特别是，它对达里的一些传统能源公司产生了巨大影响。将来，这可能会导致新的业务发展形式。将来，它将转变为一场全国性的能源革命。它将为社会发展带来新的活力。它还可以为用户带来更经济，高效和节能的能源服务。

3 结语

大数据技术仍在发展和更新中，它向智能能源服务集成平台引入了新的发展动力，尽管在平台构建过程中仍然会存在一些问题和不足。相信它将在未来与大数据技术成功集成。市场营销数据还将在集成的能源服务平台上越来越多地使用。通过在集成能源服务中使用大数据营销，改善了内部和外部信息网络之间的交互，管理集成能源服务项目的整个过程，实现了数据可视化，在线监控和预警，并做出了有效的响应。诸如提高业务管理效率的措施；通过能效分析，数据挖掘和工业园区及用能企业“数据资产”的智能监控，政府吸引了投资，产业结构调整，需求侧响应和用电有序执行等。为决策提供数据支持，通过新方法和新模式为用户提供全新的服务体验，例如储能，代理商维护和能效监控。通过提高能源效率，转变节能，替代电力和开发新能源来创造稳定的收入，扩大公司的利润来源。该应用程序可以实现“互联网+智能能源”技术的深度集成，带来新的能源服务模式，新的商业生态形式，并有力地支持综合能源服务企业的转型。它为所有传统的大型能源公司提供了新的小型和微型能源公司，许多设备供应商都具有更大的影响力，并成为国家能源革命中的重要市场力量，为各地的客户提供经济，高效，清洁，可靠，方便，个性化和智能化的交互式能源服务社会。