基于OpenTSDB数据库的测风塔管理系统开发研究

文 | 包文峰，郭慧斌，张志俊，臧艳艳

现阶段，在风能资源的开发和利用中，测风塔处于十分重要的地位，通过测风塔获得风能资源数据是前期风能资源选址的重要途径。但是，随着风电场测风数据量增多，测风塔基本地理信息，不同高度通道的风向、风速、风频、气温、气压等基础数据的管理都遇到了重大挑战，存在因测风塔厂家数据格式多样性、通信信号中断、设备损坏以及人工处理分析效率低下引起的数据缺失、管理困难、质量偏差等问题。

目前全国已设立了数以万计的风电场测风塔，但通过测风塔实测值计算出的产能与运行值偏差较大，造成极大资源浪费。测风数据缺失或异常会为后期数据质量筛选、数据修正、数据插补、长期订正等过程引入很大的不确定性，通常1%风速的不确定性会带来超过3%发电量的上下浮动，而对于某些对投资效益进行严控的大型风电企业，资本金回报收益率通常在8%至10%。那么，由于测风数据造成的3%发电量不确定度可能就决定了风电场能否盈利。在市场的竞争中，风能资源选择的优劣程度直接影响着业主的投资效益。所以，测风塔数据对整机企业和业主都具备重要的意义。

针对测风塔数据管理的问题，本文详细介绍了基于微服务架构开发的测风塔管理系统。该系统可以实现测风塔高效管理，具备数据自动采集、处理及分析功能，并能获得高质量的分析报告。

测风塔管理系统方案设计与实现

一、分布式时序数据存储方案

测风塔管理系统要求对数据进行秒级处理、不间断存储分析和处理，数据库只有具备上述基本功能特性才能满足使用要求。时序型数据库OpenTSDB是通过HBase存储所有的时序以构建一个分布式、可伸缩的时间序列数据库。它支持秒级数据采集、永久存储，可以做容量规划，可以从大规模的集群（包括集群中的网络设备、操作系统、应用程序）中获取相应的metrics并进行存储、索引以及服务，从而使这些数据更容易让人理解，如网格化、图形化等。

基于以上特性，本系统采用OpenTSDB作为业务数据存储方案，系统架构如图1所示。采集层通过邮箱对测风塔数据进行采集；数据存储/处理/分析层通过Spark Streaming、Impala、Spark等将复杂算法最终推送到文件系统、数据库，实现数据的存储、处理和分析功能；服务层通过多维分析将结果在展示层进行数据可视化。

根据现场实际情况，测风塔一般需要采集1～2年的数据方可为工程实际场景提供分析结论。测风塔数据按不同种类分为风速、风向、气温、气压、空气密度等，这些数据种类分别通过不同的数据通道进行记录，风速、温度和湿度、气压每个通道又细分为均值、最大值、最小值、标准差四个基础统计指标，风向每个通道分为均值和标准差统计指标。假设某一测风塔有风速、风向、温度和湿度、大气压四类传感器，三个高度层。通常情况下，一个测风塔设立1个温度和湿度传感器，1个大气压传感器，每层各1个风速、风向传感器。测风塔每10分钟存储一次采样数据点，一天共存储144次。计算可知，每个测风塔每年将产 生 144×（3×4+3×2+1×4+1×4）×365=136万个数据点。以历史与现存测风塔作为管理对象，假定总测风塔数为500台，则需要管理的总数据点量将近6.8亿。随着对测风数据采集精度、频次的提高，此数据量将继续呈爆炸式增长，例如将测风数据的采集频次提高至工业SCADA级，或者将测风数据用于工业控制策略辅助，则每年产生的数据点量将达到0.4万亿，即每秒写入量将达到1.29万。面对如此庞大的数据量，传统的数据存储及分析工具无法提供有效的秒级读写支撑，而采用OpenTSDB时序数据库的系统，可以支持秒级存储，并且具有可扩展、高吞吐量、容错的特点，所以从根本上规避了该问题。

二、自动化业务流程实现

测风塔数据一般需要经过数据产生、收集、处理等几个阶段后方可为数据分析提供支撑，传统模式下的业务流程如图2 所示，数据收集和处理均采用人工方式，随着测风塔数量的增加，不仅处理效率低下，而且增加人力成本。

图1 系统整体架构

图2 传统模式下的测风业务流程

图3 测风塔管理系统业务流程

图4 传统模式与测风塔管理平台对比

测风塔管理系统业务流程见图3，测风塔管理系统自动定时（用户可自由选择定时周期）接收测风塔数据邮件，自动统计邮件缺失情况，自动解析测风数据，自动统计数据完整性，根据预定义数据评估策略自动识别异常数据，当数据缺失或异常率超过预定义基准线时自动向用户报警提示，并对原始数据进行自动化数据标记及数据插补前完整性与相关性测算，提高数据准确度，并减小插补造成的失真；自动完成对原始数据的多维度预处理及预统计，大幅度缩短统计分析的时间周期。

图5 测风塔邮箱绑定

传统方式的弊端主要表现为，一方面，测风塔原始数据及中间过程数据均散落在处理人员的单机中，最终转入服务器的只有处理后的结果，中间过程数据大多未能进行有效留存；另一方面，测风塔数据的单机处理及分析模式并不利于团队协同作业。由两种业务流程的对比（图4）可知，系统化的方案从数据源头上以系统本身作为接收方，用户团队成员均在同一平台上进行数据处理及分析，为中间过程数据留存及协同一体化工作流程提供了天然的基础，实现了测风塔数据的精细化管理。

测风塔管理系统的应用实践

一、数据采集功能

测风塔管理系统支持多种邮箱和通道配置及附件上传功能。在平台中，测风塔管理功能与全国地图页面测风塔库相互联动，统一调配；快捷便利实现项目的增、删、改、查等功能；可满足使用者对精细管理的要求。

如图5所示，系统可以录入新建测风塔基本信息，包括测风塔编号、名称、标识、所属项目、经纬度等。系统支持csv文件和手动添加两种通道上传方式。系统能够自动解析csv文件，提供文件存储功能，管理者可将测风塔文件、安装报告、验收报告和标准报告等上传至系统存储，避免文件的乱放乱传。

二、数据处理功能

测风塔管理系统支持将txt、csv等格式文件统一转入时序数据库进行解析存储。平台严格遵循《风电场风能资源测量方法》（GB/T18709―2002）等有关规范、标准及规定，保证了数据处理结果的可靠性。用户通过选择项目、测风塔编号及不同高度通道等，可以查看该测风塔原始数据。在原始数据图上，通过操作鼠标可查看任意时间点的风速以及缩放数据事件范围，如图6所示。通过点击不同功能按钮，可以进行原始数据查看、磁偏角修正、数据筛选、塔影修正、剪切推算和代表年订正功能操作。此外，还能提供管理者对修正后数据的查看功能。例如：界面完整性功能按钮以弹框形式展示完整性内容（图7），通过数据自定义及处理，界面展现该列数据完整性状态细节，并支持管理者对该条数据信息的下载。

图6 原始数据查看

图7 数据处理功能完整性展示

三、数据分析功能

测风塔管理系统基于风能资源处理规范，在数据分析模块中根据管理者需求，对测风塔采集到的数据进行定制化分析、计算，并予以直观显示，包含风速、风向、空气密度、风功率密度、风切变、湍流等风能资源指标。管理者对多项目同步管理时，通过选择项目、测风塔编号，设定时间范围，可以查看风速、风向、空气密度、风功率密度、风切变、湍流等风能资源指标。例如：风速曲线分析模块，支持管理者对选定时间范围内风速曲线、日变化、月变化、年变化和韦布尔分布的查看，如图8所示；风向曲线分析模块，支持管理者对风向曲线、风向玫瑰图、月变化和年变化的查看，如图9所示。

结论及展望

科学高效的测风塔管理系统在风能资源开发利用中有着重要的意义。根据目前测风塔管理系统对已有数千台测风塔的实际管理能力可以看出，采用时序型数据库OpenTSDB数据存储方案的测风塔管理系统表现出了强大的管理能力，实现了自动化业务流程，完成了数据自动采集、筛选、分析、存储和提醒，提高了管理效率，为数据的安全提供了保障。

图8 风速曲线分析

图9 风向曲线分析

但是，该系统目前主要应用在前期风能资源选址中，缺乏与其他平台的联动。下一步的研究工作可以围绕将该系统扩展至整个风能资源前、中、后三个周期的整体平台开展。例如，将分散式管理平台和项目管理平台等与该系统进行集成，搭建风能资源一站式整体解决方案；在平台架构的基础上开发新的功能，例如增加平准化度电成本（LCOE）、气象信息等。