基于时序数据库的智慧用电应用研究
2021-11-28王风硕曾丽
王风硕 曾丽
摘要:随着物联网、车联网、泛在电力物联网的迅猛发展,海量的传感数据需要被记录下来并用于大数据分析,所以对这类和时间序列强相关数据的存储和检索也提出了更高的要求,尤其在智能驾驶、运输、消防、电力等特殊业务更为突出。在这种背景下,时序数据库逐步发展并得到了广泛的应用。相对于传统关系型数据库它的存储空间减半,查询速度极大提高,是解决海量数据处理的一项重要技术。该文分析了时序数据的存储与数据查询原理,并对时序数据库InfluxDB在智慧用电领域的应用进行了研究。
关键词:时序数据库;influxDB;智慧用电;安全治理
中图分类号:TP391 文献标识码:A
文章编号:1009-3044(2021)30-0048-03
开放科学(资源服务)标识码(OSID):
随着信息技术的快速发展和5G技术的推广,大数据的价值已经开始体现在各行各业, 越来越多的传统企业已经开始关注到行业的大数据,已经在很大程度上决定着自己企業的未来发展及方向。但是像基于泛在电力物联网的智慧用电这一领域,通过传感设备采集到电压、电流、导线温度等数据都是有时间序列的特点,目前对于这类海量时序数据的存储和查询一般都是采用传统关系型数据库进行处理。由于关系型数据库自身的特点,无法进行高效的数据存储和海量数据的快速查询。时序数据库管理系统通过使用LSM-Tree等特殊的存储方式,使得可以高效存储和快速处理海量时序数据,成为解决海量时序数据处理的一项重要技术[1]。该技术极大提高了时间相关数据的处理能力,时间序列数据库优越的查询性能远超过关系型数据库,开源的influxDB以其卓越的性能和稳定性成为智慧用电业务的最佳数据库选型。
1时序数据库
1.1时序数据
时序数据(Time Series Data)就是一串串按照时间维度进行索引的数据,这些数据用于描述被测主体对象在一个时间范围之内具体时间点上的某一个测量值。时序数据在IT基础设施和监控系统,以及物联网系统中使用比较普遍。时序数据可以在时间空间上将一个个独立的观测值连成一条线,能够反映软硬件系统的状态变化趋势,从而为我们研究和预测提供数据基础,除此之外,时序数据还具有以下特点:
①随时间推进,同一个维度的数据重复取值,指标会平滑变化。
②万计的终端设备会在较短时间内持续产生海量的数据,这些数据需要高并发实时写入数据库。
③一般业务场景还需要根据数据按不同维度对统计指标进行分析。
④需要高频查询最近的数据,使得这类数据存在显著的冷热特征。
1.2 时序数据的数学模型
如下表1的时序数据,记录了智慧用电一段时间内某些设备的告警数据,成功告警会触发记录一个观测值。以该数据为例,介绍下时序数据的数学模型。
Metric:用于度量的数据集,类似于MYSQL中table,如表1中的device_alarm。
Point:一个数据观测点,类似于MYSQL中row,如表1中的数据记录。
Timestamp:时间戳,表示该数据的采集时间点,如表1中timestamp。
Tag:维度列,代表数据的归属或属性,表明是哪个设备产生那种类型的告警,一般不随着时间变化,如表1中的设备码code和告警类型type。
Field:指标列,代表数据的测量值,随时间平滑波动。
1.3数据库比较
MySQL等关系型数据库在海量时序大数据场景下有以下的问题,对于时序数据没显著变化压缩效果,而且需占用大量资源导致存储成本过高。单机吞吐量有限,很难满足海量的数据实时写入。没有存储策略,随时数据规模的递增,需要人工进行分库分表。这类适用OLTP系统的数据库,针对海量的时序数据,查询性能衰减严重。时间序列数据库与其他传统的关系数据库相比而言,其中最大区别在于时序数据库是以具体时间为索引来记录数据库。如图1所示为智慧用电平台中时序数据库传感数据的显示形式,其索引为time,后面的列记录了传感设备在当前时间下的不同属性值,而且随着时间推进,这些记录会周期性地递增。随着用户及设备增加,并发写入会线性增加,但是由于定期采样,写入量是可以保持平稳,但是不会有更新及删除操作。这些特性使得时序数据库采集数据非常平稳,数据记录时效性很强,随着时间增加查询性能也不会降低。和关系型数据库相比较,时序性数据库更多的场景的是写入操作,所以时间序列数据库一般采用了LSM-Tree存储方式来代替传统的B -Tree,以提升了写入性能。
2 时序数据库在智慧用电中的应用
智慧用电突破传统互联网技术的用电安全平台的“在线”的局限,利用互联网和大数据的同时,实现了人与人、人与物以及物与物之间实时信息交换和泛在联系。这种“线上”和“线下”的融合也体现了泛在电力物联网“无所不在”的本质特征,而这种特征也是适应电气安全需要实时监控的动态特征。智慧用电基于移动互联网技术、大数据技术、云计算技术等,通过物联网传感终端,将办公楼宇、医院、学校、酒店、商城等人员密集场所的电气参数数据,实时通过无线通信模块传输至云服务器,为用户和管理人员提供不间断的数据、实时统计分析和安全监管。而且平台根据数据模型也可以发现各种安全隐患及时进行预警,并实时推送给用户和责任人员,以便及时检查和排除隐患。另智慧用电还支持漏电、过流、短路、过载、过压、欠压等多重用电保护,以及漏报自检,功率限定,电量计算,在智慧用电平台之上,各个子系统平台之间的数据流通过封装的API在EMQ,Redis,influxDB和MYSQL中间件之间可以实现即时有效传递。
2.1智慧用电架构
智慧用电平台通过物联网智能断路器终端,集成电气、火灾等监控传感器和基于NB-IOT和MQTT协议的通信模块。并搭载物联网大数据分析服务云平台,为电气安全监管和能源数据管理提供了综合解决方案。“智能终端”高度集成电气、火灾监控产品功能,能够实时精准监测用电末端的各项电气参数及过程,通过业务分析平台实时统计分析大数据信息,及时反馈、提示隐患,帮助终端用户实现有效的电能管理, 通過安全治理平台实现从用电隐患发现到治理的闭环式服务,及时消除电气安全隐患。仅需要在用户的配电柜或末端的配电箱上安装智能终端,就能够实时、精准进行线路的各项电气参数数据的采集,并通过无线通信模块把数据通过MQTT协议上传到分布式部署的inluxDB时序数据库中。再应用使能平台对接收到的时序数据进行分析,通过微信、短信、App消息等方式及时将预警信息及时发送给用户、责任人员、管理人员等,以便及时排查和消除安全隐患。基本架构如图2所示:
2.2智慧用电业务分析
平台利用多维参数来智能识别安全隐患,利用差异化的供电回路的特性,实现了个性化安全隐患自适应识别算法。该算法通过横向分析和纵向分析,建立了一套对电气特征数据进行全方位度量的指标体系,横向指标用于刻画多个传感器参数(电流、电压、线温等)之间的平衡度,摒弃传统单一阈值判断方式,通过多维度参数识别安全隐患。纵向指标用于刻画供电回路对历史常态的偏离度及分布,从而对不同供电回路实现个性化、自适应的隐患特征识别。并依据消防、电力行业规则建立大数据分析模型,结合大数据分析技术对安全隐患进行深入分析,分析不同类型隐患的特点,进行精准识别确认、预警和防范。
2.3智慧用电安全治理
业务分析平台对电气火灾安全隐患进行了精准定位和准确排查后,可以将结果和风险评估报告推送给终端用户,提醒并有效指导终端用户进行安全隐患的处理,达到了防患未然的效果。平台通过对海量线上终端设备的电气数据记录,积累形成安全用电行业大数据,并通过对大数据的分析,可以有效准确评估和预测用电量、用电安全等趋势,为政府职能部门提供专业的用电调度、电气火灾分布、安全隐患分析、治理服务等大数据支撑。用户在智慧用电的客户端可以对自己的接入终端的电流、电流和温度的实时检测,及设备运行状态的趋势数据,查看平台推送的预警及专家建议。管理人员可以在职能端查看所监控设备的剩余电流、导线温度和电流等数据变化,如果发现电气线路动态运行中出现的安全隐患,可以及时进行响应及处置。智慧用电平台也可根据预设开启报警,在智能化(自识别、自学习)模式下对电气线路运行状态进行预判分析,并在数据分析基础上向所用户进行预警信息的及时发送,让用电安全更加智能化。
3结束语
在工业互联网与信息化快速发展的大背景下,各行各业都部署了大量的设备传感器和监控系统,二者一起提供了按照时间顺序形成的实时数据,这些海量实时数据能够反映设备的状态和特征值的变化过程,可以满足多样化的业务分析需求。本文就是在该背景下,根据智慧用电中的海量数据需求,分析了时序数据库与传统的关系型数据库的区别,并确定了时序数据库在智慧用电平台中作为数据存储平台的优势,并以时序数据库 InfluxDB 作为时序数据存储的基础,在此基础上构建了智慧用电平台及合个子平台,实现了智慧用电过程时序数据的存储、实时数据监测等基本功能。该平台现已经投入实际运用,运行效果良好,为安全监管和能源数据管理提供保障,同时也为政府职能部门决策提供行业大数据支撑。
参考文献:
[1] 徐化岩,初彦龙.基于influxDB的工业时序数据库引擎设计[J].计算机应用与软件,2019,36(9):33-36,40.
[2]赵栋,刘宏.智慧用电监控系统在电气火灾中的应用[J].消防科学与技术,2018(12).
[3] 谢小军,柳星,马亮,等.基于大数据的智慧用电系统设计[J].电工技术,2019(24):118-119,125.
[4] 高波,李飞,唐如意,等.泛在电力物联网配用电侧智慧感知设备设计[J].河北电力技术,2019,38(6):11-13,30.
【通联编辑:梁书】