大数据时代智能水电站建设思路

戴 驱，刀亚娟，吴 威

（华能澜沧江水电股份有限公司，云南 昆明650214）

近些年来，信息技术飞速发展，随着互联网、物联网、云计算和大数据等信息技术的快速发展和演进，触发了新的工业革命，国内外各行业均以此为契机展开了以新兴信息技术为基础的管理创新和变革，在企业管理中开展了物联网、云计算和大数据等技术的综合开发和应用，以达到优化生产要素、更新业务体系和重构管理模式的目的，力图打造智慧化企业，驱动企业向现代化新型管理模式的转变，以求得抢占先机，在激烈的市场竞争中立于不败之地。能源作为社会经济发展的基础动力，是保障国家和社会健康持续发展的关键动能，深入思考水电企业在能源互联网时代的新技术、新模式、新业态，并开启以能源革命与信息化变革为核心的智慧企业建设是时代所向和大势所趋。

为响应国家互联网+发展战略，华能集团公司率先在电力领域提出建设工业互联网的方案并已开展先行先试，越来越重视数据资产成为一种行业共识，力图以此为契机促成新一轮技术变革，使传统电力工业焕发新的生机，主动迎接和应对物联网、大数据、人工智能为代表的先进生产力带来的新机遇和新挑战。

1 传统水电站数据运用现状

目前在运的水电站基本是采用分层分布式系统布局，依靠计算机监控系统来集中采集和存储数据并进行运算处理，在下一层部署有调速器、励磁、保护、辅机、油水气等众多小系统负责测量或计算各自的测点数据并向监控系统传送，由于系统众多，不同系统间往往存在数据壁垒，同一个数据若是不同系统均有用到往往需要各自分别采集，如此便带来了数据一致性可能存在偏差的问题，另外由于目前的行业设备制造技术现状和相关规程规范制约，水电站各系统的数据采集大部分仍然通过模拟量传送，其传输效率、共享程度等均较低，远不能满足数据互联互通及快速实时共享的需求。目前水电站监控系统的主要功能仍集中在实时控制层面，即依靠实时数据进行相关逻辑运算后完成对应的控制调节等任务，对历史数据仅做存储，深度挖掘分析和相关关联运算很少，造成了海量数据在硬盘里沉睡，未对电站设备管理、经济运行等产生任何促进作用，未体现出数据资产应有的价值。

2 大数据技术带来的启发

从近些年阿里、腾讯、华为等高科技企业的发展中得知，通过搭建统一的云平台，对企业发展过程中形成的历史数据进行统一的资产管理，通过不断细分维度，以及越来越成熟的结构化模型来约束数据，对各类数据相关性进行不断的搭配计算分析，就像化学家对不同的化学分子结构的物质进行搭配试验一样，经过日积月累的尝试，可逐渐找出新的规律，创造新的数据，应用及推动企业向前发展。

从大家熟悉的移动互联网来看，大数据技术已经可以尽可能准确地判断用户行为习惯与偏好，从而对下一步动作进行预判甚至是引导用户前进，由此联想到电站设备本身，若是历史数据足够多且真实，分析模型足够精确，系统通过一些必要的运算应能对设备当前状态进行准确判断，对下一步趋势进行预判并自我进行修正。例如：调速器系统若是知道不同水头下、各种负荷下跳机时水压上升和转速上升这几个量的对应关系，通过较优的模型可计算出在不同的前提条件下跳机时的导叶分段关闭参数，使水压、转速的上升都保持在一个较为均衡的范围，而不是任何情况下都用同一个参数，仅仅是保证了一个底线。又比如：排水系统在对大量历史数据进行比对分析后，应能提出优化水泵启停时间及顺序的建议，根据水量变化速度随时调整水泵启停安排，并将启停结果告知监控系统，不用等着运行人员发现异常来人为干预解决。

3 水电站数据处理平台技术方案

结合当前主流的大数据平台技术和产品的发展现状，推荐建立分层次、统一、融合的大数据处理环境架构，整个架构支持线性扩展，具体架构大致如图1所示。

图1 典型大数据平台技术架构

3.1 数据源

数据来源主要包括各级部门业务数据、第三方数据、互联网数据等各类数据，数据形式涉及结构化、半结构化和非结构化数据。

3.2 数据采集层

数据采集层采用H3 C DataEngine DI数据集成工具，基于分布式技术架构，融合Sqoop、Flume等ETL工具，实现各级部门业务数据、第三方数据、互联网数据以及其他相关数据的采集，并将采集的数据装载至大数据平台。支持对实时数据、增量数据和全量数据加载的方式进行数据采集与解析。

3.3 数据存储计算层

数据存储主要完成多源数据的融合存储，数据存储主要基于分布式文件系统（HDFS）和列式数据库（HBase等），辅以内存数据库来实现流式计算的输出存储，通过关系数据库实现元数据、用户、权限配置等数据的存储管理。数据计算主要包含离线计算服务、实时计算服务、面向海量结构化数据处理的分布式数据库服务等。

3.4 数据服务层

数据服务层主要提供大数据平台的数据资源服务和数据计算服务。通过数据服务标准化开放访问，实现应用和数据分离。服务层整体采用微服务架构，数据资源和数据计算应封装成SOA、RESTful架构对外提供服务，实现常见的RMI、JMS、HTTP、Hessian、thrift等协议，基于标准化接口，实现对数据访问、数据计算方法的API封装，以便于上层应用进行增值开发利用，体现数据价值，并应支持机器学习算法分析功能。

数据服务层聚焦大数据应用开发及数据分析挖掘的平台及服务，整个系统基于底层分布式批处理框架、分布式流数据实时框架以及机器学习算法库等相关基础设施，应提供各类应用开发套件，满足各类开发需求。

数据服务层包含数据开发服务、数据算法服务与数据可视化服务。

3.5 数据治理

数据治理贯穿大数据处理过程的各个阶段，通过基于元数据采集、查询和分析，建立数据的稽核策略，完成对数据的溯源、数据地图、数据血缘分析等功能，实现对数据生命周期的全流程管控。

3.6 数据安全

数据安全同样贯穿大数据处理过程各个阶段，此章节的数据安全主要考虑大数据处理环境中的各类安全，聚焦于平台安全及数据自身安全。

3.7 平台管理

平台管理主要指大数据平台的整体性管理，包括用户权限、管理流程、服务部署、平台安全、数据提供等业务的统一调度。

数据存储计算层是大数据处理环境的核心，它存储由数据采集层采集回来的各类数据，并对上层应用提供数据计算分析的能力。

此方案大数据的建设中，需要处理海量的结构化数据，同时还需要处理非结构化数据，其中结构化数据为主要部分。为了满足当前及未来数据存储处理能力的需求，我们采用先进的“Hadoop+MPP”混合架构构建整个存储计算层。MPP平台主要用于处理海量高价值密度的结构化数据，Hadoop平台主要用于处理其他非结构化数据及低价值密度的结构化数据。

4 大数据方案的核心技术及难点

在大数据硬件平台搭建起来后，需要投入大量的人力、精力和时间进行数据模型的创建和计算，不断修正有关特征参数，力争使各个模型都尽量与设备现状相适应，推荐采用目前各大云平台已开发的行业建模引擎来提升工作效率，一般建模引擎均是一个以数据仓库建设、数据检索、数据分析、数据治理、数据展示为核心的数据分析全流程的应用系统，操作者借助该系统，从数据接入、建立数据仓库，到数据关联、分析、挖掘，再到可视化展现，实现完整的数据分析流程。

由于水电站设备类型众多，数据类型和数量均以海量计，要在如此多的数据中找到不同数据的关联规律并应用于生产运行及日常管理，必将是一个长期而艰巨的任务，且数据间的规律是无止境的，总能找到新的类型数据间存在规律并加以应用，可见，只有通过不断发现规律、总结经验并转化为可应用的成果，水电站智能化才能越来越进步和成熟。

5 结语

目前，国内各大水电公司均在推进智能电站工作，但基本都处于方案设计或硬件平台搭建等阶段，真正开发出了较多较好的数据模型并用于指导生产运行的还没有，因此，大力推进水电站相关数据建模及不同数据间关联规律的总结提炼，是建设智能水电站的突破点，是信息技术在电力行业应用的重要一环，也是必然趋势，可有效提升系统智能化水平及自诊断自分析功能，提升设备运行效率及可靠性，为建设安全、稳定、智能、高效的水电厂智能系统打下基础。