实时数据库的架构与应用研究

2021-06-29吴思谢汶姝贾丽

科学与信息化 2021年16期

吴思谢汶姝贾丽

中国运载火箭技术研究院北京 100076

1 实时数据库的发展现状

数据库技术起源于20世纪60年代，随着计算机技术的发展，数据库技术开始迅速发展起来，作为计算机信息的核心技术在最近几年发展也是非常迅速的，目前数据库技术已经和计算机技术紧密地结合起来，相互发展、相辅相成，逐渐成为目前社会上应用最广的两大技术。目前我国的各行各业都开始利用数据库技术，这样也使得更多的人认识数据库技术，同时对数据库技术的研发投入也不断增加，这也使得数据库技术正在不断完善，应用的领域也不断扩大。传统的数据库主要以关系型数据库为代表，国外的有ORACLE、MYSQL；国内的有达梦，Kingbase等。

而随着用户业务需求不断更新，数据库也在不断根据时代变化而发展。时序数据库也就应运而生。其中，国外代表有InfluxDB，OpenTSDB等。时序数据库全称为时间序列数据库。时间序列数据库主要用于处理带时间标签（按照时间的顺序变化，即时间序列化）的数据，带时间标签的数据也称为时间序列数据[1]。

时间序列数据主要由电力行业、化工行业等各类型实时监测、检查与分析设备所采集、产生的数据，这些工业数据的典型特点是：产生频率快（每一个监测点一秒钟内可产生多条数据）、严重依赖于采集时间（每一条数据均要求对应唯一的时间）、测点多信息量大（常规的实时监测系统均有成千上万的监测点，监测点每秒钟都产生数据，每天产生几十GB的数据量）。

2 实时数据库的应用场景

实时数据库是工业领域信息化的核心基础软件，在工业企业实现数字化及智能化转变过程中发挥着重要作用，可广泛应用于能源电力、钢铁、石油、石化、航空航天、设备制造、交通、环保等重要行业和领域，主要集中于设备管理服务、生产过程管控与企业运营管理三大类场景。

基于实时数据库的“模型+深度数据分析”在设备运维、资产管理、能耗管理、质量管控、工艺调优等场景可获得大量应用，可取得较为显著的经济效益。

基于实时数据库的“连接+数据可视化”在生产监控、物料管理、排产调度分析领域应用最为广泛，并可进一步深化探索。

基于实时数据库的“软件上云+简单数据分析”在客户关系管理、供应链管理和企业计划资源管理领域获得应用，能有效降低中小企业软件使用成本。

3 数据库的架构与组成关系

自主可控数据库需采用先进的技术和架构，可安全、稳定地实现与现场各监测仪器数据的接口，并能对采集的数据进行高效的数据压缩和长期的历史存储，同时提供方便易用的客户端应用和通用的对外数据访问接口（如API/ODBC/JDBC/OPC/WebAPI等），使企业的管理和决策人员能及时、全面地了解当前的现场情况，也可方便地回顾历史，及时发现现场所存在的问题，提高决策准确度，增强企业的核心竞争力。

实时数据系统，核心部分便是为客户提供的实时/历史数据服务。系统包含采集数据流接入、数据分析过滤、数据压缩整理、实时数据服务、历史数据归档、数据检索、权限检查、报警点计算、计算点计算、SQL引擎支持等多个复杂的交叉步骤。

图1 系统架构图

数据处理流程大致包含：数据流分析、数据过滤、实时数据更新、视图展示、数据压缩、历史数据表、数据归档等部分。

数据流分析：是指对现场设备数据、二次加工运算数据、其他软件程序等发送到来要求写入的数据包进行数据分解。其中包含数据解包、数据解密、规范性检查等步序。

数据过滤：经由数据解析后产生的数据写入请求，将进行错误数据丢弃、合理数据过滤检查，从而完成数据请求分类，识别出实时数据与历史数据分支。

实时数据处理：对实时数据进行分析检查，完成实时数据视图更新。

视图展示：提供实时数据展示视图。

数据压缩：当过滤反馈为历史数据写入请求时，数据库将进行数据包压缩处理动作，并更新历史数据表。

历史数据表：提供历史数据视图。

数据归档：将更新的历史数据进行归档，写入磁盘操作。

图2 数据流图

为完成数据库系统可视化多元化的业务呈现，数据库系统都配套带有各类管理工具和应用工具。一般而言，会提供控制台管理工具、组态绘制工具、组态展示程序、数据接口等。

4 基于海量数据采集的驱动类型知识系统构建

丰富、高效、稳定的I/O驱动是数据库实现自身价值的一个重要保障。实时数据库系统，需要适配现场的各种接口，并经过采集程序的核心处理，完成数据的采集接入、实时处理、报警、计算以及其他应用，实时数据被不断存入磁盘历史存储，形成可追溯的历史信息，同时通过向应用层提供各种适配接口，支持各种开发语言和各种应用需求的访问。

在工业现场场景中，由于各工业设备/设施厂家不同，提供的对外数据服务接口方式多种多样。从物理的对外数据接口标准就包括RS232/422/485、AO/DO等，工业标准接口协议包括PLC、MODBUS、IEC101/102/104等，其他各厂家定义的协议模型各式各样，据不完全统计，市面上可见的数据通信协议组合上千种。数据采集驱动是需要不断完善、丰富的一个资源库。但是数据采集的编写方式由于业内没有统一的标准，导致开发者每次均需要独立从头开始完成其驱动开发，费时费力。

为保障数据采集的资源库可不断地通过一个标准模式进行丰富，解决设备数据接口适配，所以构建一套遵循标准结构的数据采集插件系统尤为重要。通过调研国内工控领域主流的系统、设备，了解其接口协议规范，确定数据库需要开发的接口模块的优先次序；通过调研数据库的系统集成商，了解其主流开发平台、工具、基本需求，确立数据库的开放接口规范。由于其数据处理过程是标准模块，插件系统的建立可减少大量的重复开发活动，提升数据收集处理的能力，同时极大地提高数据接口的稳定性和可靠性。