基于大数据的分布式光伏智能监控关键技术研究

2024-01-10李姗姗孙晓玲张艳霞

科学技术创新 2024年2期

李姗姗*，孙晓玲，张艳霞

（1.防灾科技学院信息工程学院，河北廊坊；2.防灾科技学院智能应急信息处理研究所，河北廊坊）

概述

随着光伏发电规模的不断扩大，监控系统在这一领域的地位日益重要。传统的分布式光伏监控系统通常采用C/S 开发模式构建，通常被称为SCADA（Supervisory Control and Data Acquisition）系统。在这种模式下，需要在每个客户端设备上部署客户端应用程序。然而，分布式光伏发电系统遍布各种地理环境，包括遥远偏僻地区和极端恶劣气候条件下。因此，采用这种系统需要高昂的经济和运营成本，这不仅限制了系统的覆盖范围，还增加了系统的维护和管理难度。

随着互联网技术的快速发展，将传统监控系统与Web 技术融合，并引入大数据和人工智能分析，已成为近年来的热点研究开发领域。这种基于Web 的分布式监控系统被称为Web SCADA 系统。采用B/S 开发模式，无需在客户端设备上进行安装部署，并且具有跨平台兼容性，使得用户可以通过Web 浏览器远程监控设备的运行状态。文献[1]将Web SCADA 系统与物联网设备集成，传感器和设备的数据通过互联网传输到Web SCADA 系统，实现实时监控。文献[2-5]利用云计算和大数据分析技术，以实现更高效、可扩展的数据存储和处理。然而，他们采用的Web 技术比较老旧，大部分都是基于一体化的Web 技术，这样带来的弊端是，运行可靠性和稳定性都存在一定的问题。

我们采用前后端分离技术设计实现了一个前后端分离的Web SCADA 系统，前端采用vue+ElementUI 的框架，该框架基于MVVM (Model-View-View－Model)的理念，实现了双向数据绑定，减少了开发工作量；后端采用SpringBoot 框架，为数据接入和前后数据处理提供了基于数据驱动的模式，降低了开发难度。同时，引入大数据存储和处理分析技术，能够实时监测每台光伏逆变器的运行参数以及整个光伏发电系统的性能参数，并进行智能数据挖掘、深度分析和预测。

1 数据采集平台框架

数据采集框架如图1 所示。元数据管理模块提供平台运行的需要用到的基础配置数据，包括规约库的管理、基础表管理、告警引擎和链路方式；工程实施模块根据工程的需求，按照元数据管理模块提供的配置数据进行建立通道、配置点表、告警配置和历史存储配置等操作；程序启动模块按照工程实施的接口进行加载参数，按照配置的通道配置的规约动态加载规约库进行数据采集，主要的过程为启动通道、加载点表、加载告警引擎和加载历史存储引擎；实时监视模块根据规约采集的数据进行实时库存储，实时库提供接口为实时监视工具提供数据服务，数据转发根据配置为其他应用提供规约转发服务；历史数据管理模块从实时库中按照配置周期遍历数据存到历史数据库中，供历史查询工具查询和实现断点续传功能。

图1 数据采集平台框架

2 数据存储策略和结构

为了支持光伏监控系统的事务型数据处理，我们采用成熟的数据仓库ClickHouse 来存储关键数据。这包括光伏电站的设备状态、运行日志、异常报告等关键信息。ClickHouse 是一个开源的分布式列式数据库管理系统，其数据存储和查询引擎都是专门为高性能而设计的，能够处理TB 级别的数据，并在毫秒级别内提供查询结果。基于Clickhouse 的分布式存储架构如图2 所示。

图2 基于Clickhouse 的分布式存储架构

由于Mysql 一张表的记录超过一千万条会带来性能下降的问题，因此，如果采用一张表存储历史数据是不可行。得益于Clickhouse 的分布式存储机制，一张表可以容纳上百亿条记录还可以保证高性能使用，本文提出采用一张表存储历史数据，该存储方案有如下的优点：（1）高并发。采用netty 高并发技术处理高并发连接场景，可轻松处理数百万的客户端请求。支持docker 部署，可高效部署到容器节点中。（2）分布式。分布式数据库的数据可以分散在不同的节点上，保证数据的高可靠性。同时可以支持大规模数据集及水平扩展。（3）支持复杂查询。支持多种复杂查询，包括聚合、排序、过滤和窗口函数等。（4）实时数据处理。支持实时数据处理，采用列式存储数据，为接收实时数据流并将其存储在数据库中进行分析提供了更加快速的方式，提高了数据利用的效率。（5）易于集成。提供的API 接口有JAVA 和C++语言的，可以方便地集成到各种应用程序中，包括数据仓库、数据湖、数据分析工具等，丰富了开发场景。

为了加速系统对复杂或计算代价昂贵的查询结果的访问，我们引入Redis 高速缓存系统。通过定义明确的缓存策略，确定哪些数据需要被缓存，以及设置合适的缓存失效时间和更新策略，系统可以实现快速的数据访问。此外，数据预热和分布式缓存将用于降低查询延迟和支持高并发读取请求。对于采集光伏设备实时数据，采用key-value 方式存储，存储方案如图3 所示。

图3 key-value 方式存储

根据Redis 的规则，一个集群只能有16384 个槽，编号0-16383（0-2^14-1）。这些槽会分配给集群中的所有主节点，分配策略按照平均分配的方式。光伏设备采集点的唯一id 采用int 类型表示，当需要在Redis集群中存储成一个key-value 时，redis 先对id 使用crc16 算法算出一个结果，然后把结果对16384 求余数，这样每个id 都会对应一个编号在0-16383 之间的哈希槽，也就是映射到某个节点上。

3 Web 组态构架

Web 组态构架前端使用vue、element、canvas、svg、websocket、mqtt、echart 等开源生态组件，基于node、webpack4 环境编译构建。Vue.js 具有双向数据绑定、组件化开发和易于学习的特点。Element UI 作为UI组件库，以提供现成的UI 元素，如表格、表单、对话框等，以便用户可以轻松地与系统交互。此外，本文利用HTML5 的Canvas 和SVG 技术来实现图形化控制回路的设计，允许用户以拖放元素的方式构建和配置电路。集成了ECharts 图表库，以创建交互式图表和可视化元素，帮助用户更好地理解光伏发电数据。实施单点登录和简化认证机制，以提高系统的安全性和用户体验。后端采用springcloud、shiro、jwt、websocket、mysql生态架构体系。第三方业务系统按组态提供的标准接口规范进行对接，提供单点登录及简化认证两种方式。

本文设计实现了一个交互式图形界面，允许用户创建和配置电路。通过Canvas 和SVG 技术，用户可以从元素库中选择设备和组件，然后将它们拖放到页面上。实时编辑功能允许用户添加、删除和连接元素，以便他们可以实时调整电路的配置。这种图形化控制回路设计使用户能够以直观的方式管理光伏发电设备。

界面分为四个区域：（1）工具栏区域：在画面顶部，支持新建、导入（多种格式）、导出（多种格式）、添加构件（构件、相机、灯光）、保存、发布、删除、清空历史、复制、移动等功能；（2）图元组件：在画面左边区域，包括光伏、电力系统常用的图元；（3）画图区域：在画面中间区域，通过托拉拽的方式根据图元组件进行构图，实现监控画面的编辑构建功能；（4）画布属性区域：在画面的右边区域，支持编辑画布的属性、通信接口属性配置、图元和点点、设置图元动画等功能。

4 大数据智能分析模型

采集到的数据首先进入采集和清洗系统，以从光伏监控设备实时获取准确的数据，并在预处理阶段处理缺失值和异常数据。采用Hadoop HDFS 分布式数据存储，并使用适当的数据分区和索引策略，以提高数据检索性能。利用机器学习、深度学习和统计分析技术，构建一个多功能的模型库，内含各种数据智能分析模型，覆盖了故障预测、组件衰减、逆变器转换效率等关键领域。

智能分析流程包括：（1）数据收集和预处理，获取光伏系统实时数据，包括电流、电压、温度、辐照度等，进行异常值处理和数据归一化。（2）特征工程，提取与故障、衰减和逆变器效率相关的特征。（3）模型选择，构建和定制不同需求的模型，考虑精度与简单性。（4）模型训练和调整，使用历史数据进行训练和性能评估。（5）故障预测，建立模糊规则检测不同故障类型。（6）组件衰减检测，使用模糊神经网络追踪性能衰减趋势。（7）逆变器效率提高，根据数据预测最佳参数，实时调整逆变器。（8）实时监测和报警，集成模型进行问题检测和警报通知。（9）数据可视化和报告，提供仪表板和自动生成报告，支持决策制定。