丽水市水情数据中心建设方案探讨

叶方红，吴 刚，孙英军，余莉萍

（1.浙江省丽水市水文站，浙江 丽水 323000；

2.浙江省水文局，浙江 杭州 310009）

1 问题的提出

水情信息的采集与管理是防洪减灾工作中最重要的基础性工作。至2018年，丽水市已建成水雨情遥测设备853套，水情信息采集站点站网密度1套/20 km2。同时为了能及时掌握全市的实时水雨情信息，实时水情信息的采集频率从过去的1 h缩短到了5 min，采集要素从单一的雨量、水位扩展了流量、蒸发、墒情等。近几年水情数据的数量正以逐年几倍甚至十几倍地增加，数据的时效性、准确性需求愈来愈高，对如此大量的水情信息如何进行及时、快速地甄别、预处理、流转及存储成了一大难题。

水情数据的迅猛增加、应用系统的不断增多，使得各个应用系统之间实时数据以及水文特征数据的不一致问题时有发生，应用之间数据的一致性以及数据维护的便捷性成了一大难题，多个系统直接从遥测数据库读取数据影响数据库的安全性和稳定性。采用传统方式很难去解决这一问题，为保证水雨情系统正常运行，以及各应用系统之间数据的一致，有必要建立一个上层系统，对实时和特征数据进行统一管理维护，并将实时数据分发给各个应用系统，从而保证各个应用系统数据的一致。

2 需求分析

水文与防汛减灾工作的工作性质决定了水情数据的实时性、准确性、全面性是第一需求，实时性要求数据从采集到处理到最后应用端，中间流转时滞不能大于30 s。准确性不仅指流转中数据不能被随意篡改，更深一层次需求是要能拦截、预警那些可能由于设备或其他原因产生的可疑/错误数据，如洒水车经过导致的雨量、设备故障引起的错误数据、因水位过低而无法监测到的水位等。全面性则是水情数据中心需全覆盖本地区需要的水情数据，而不仅仅是本地区管辖站点、还包括周边县市区部分站点，不仅仅本部门水情数据，也应包含气象等其他部门的水情数据，互通有无。

水情数据的实时性要求决定了水情数据中心应该是一个无人值守型管理系统，在实现数据处理、流转的同时，通过声音、图文、短信等多种手段提醒、引导管理人员对系统进行管理和维护。

水情数据中心还需要解决目前实际工作中存在的一些问题，如数据的一致性问题，数据库编码/格式问题等，水情/防汛应用系统的日益繁多，系统采用的水情数据库规范不同，导致测站编码、数据库结构等完全不同，数据中心能必须完全支持这些历史应用系统；各系统自建水情数据，数据更新不及时，不同系统间分析成果时有出现“打架”情形；为保障测站水情监测而实施的备用遥测设备无法主设备实时提供备用功能，更多地被当成了测站使用，或需要人工进行替换使用，这已大大不兼容于目前水情遥测工作。

水情数据是宝贵的数据资源，安全性也是一个重要内容，不仅涉及数据安全、还包括使用安全，提供数据服务的权限不仅控制到人，还包括数据内容和测站。数据服务的管理力度应能控制到“哪些人”“哪些站”“哪些要素”。

最后，数据中心须有一定的数据存储能力，应能存储、管理所有历史和未来10 a内遥测水情数据资料并顺畅运行，未来考虑接入水文历史整编资料、地形、流域等水情相关空间数据信息。

3 系统建设

3.1 方案设计

实现水情数据的有效管理与应用，在丽水市水情中心建立一个大容量、高效率的数据存储与交换平台，集中管理大量的水情实时数据及特征数据，并可对修改的数据及时反映到各个应用库中，保证各个应用系统数据的一致性。系统通过数据中心整合汇集多个数据源，及时分发指定数据到各个应用分中心，并提供强大的数据流程监控和数据质控、融合等功能，同时提供常用的数据恢复及备份功能。

3.2 建设内容

建设的系统包括水情数据汇集与分发子系统和水情数据管理子系统建设。数据汇集与分发子系统包括数据录入/汇集、整理、质控、分发数据流式处理能力；水情数据管理子系统包括数据流程监控模块、数据质量控制模块、实时数据修改模块、数据分发节点管理模块、站点特征信息管理模块以及用户管理模块等。

3.2.1 数据汇集与分发

（1）数据录入：针对目前水文系统测站在用的数据传输软件（如语润、ME）或其他标准研发对应数据接口，实时从遥测设备通信通道中将数据直接采集进入水情数据中心库；同时，提供对各类其他水情数据的汇集能力，汇集省水情平台、周边兄弟县市以及本市气象等兄弟单位之间的水情相关数据，以保证水情数据中心数据的全面性。

数据录入通过主动请求、被动接收、实时轮询多种手段以保证数据获取的实时性和可靠性。数据录入的实现既有在数据库层面的直接链路模式，也有在TCP/IP协议上的交换模式，可透明运营在当前的水文专网、内网或公网等多重混合网络环境。数据录入可灵活配置，以实现对采集站点、采集要素、采集时长等多种要素的精准采集。

（2）数据分发与服务：数据分发机制的建立包括数据中心数据表触发机制的建立、日志数据传输流程的建立以及应用库数据解析机制的建立3大部分。其中数据中心数据表触发机制的建立是指在各张水雨情数据表中建立了触发机制，把各表的修改日志进行格式化保存，为数据中心与各应用数据库数据的一致性提供基础；日志数据传输流程的建立是指通过作业机制把数据中心的修改日志实时传输到各个应用数据库中；应用库数据解析机制是指把从数据中心传输过来的日志解析成对应的实时水雨情数据，并写入标准数据库表中。数据的服务还包括以RestfulAPI接口等形式，直接为各应用程序提供网络数据服务能力。系统数据汇集与分发主要流程见图1。

图1 系统数据汇集与分发主要流程图

3.2.2 水情数据中心管理子系统

水情数据中心并非一简单的采集、分发数据交换站，不仅需要对采集得到的原始水情设备数据进行专业的分析计算，演化成水情信息数据（如面雨量的算、库容的计算，以及从流速、水位等数据中演算流量等等），还需要对水情信息数据进行传输状态监控、数据质量检查、数据清洗、数据融合、数据比对、异常状态示警等多种管理功能，以实现数据中心数据的权威性和准确性，为预报系统、防汛服务系统等提供准确、及时、精炼的水情数据。水情数据中心也是水文/水情测站、遥测设备等的信息管理维护平台。

水情数据中心管理子系统采用B/S结构设计与开发。主要包括数据流转监控、数据采集管理、数据分发管理、基础数据管理、实时数据管理、设备设施管理、数据质控管理、短信示警管理、数据日志管理、用户权限管理和数据库备份与安全等12大功能模块（见图2）。

图2 水雨情数据中心管理功能模块图

数据流转监控：实现对数据中心各数据结点及数据传输过程状态的实时监控，包括对数据中心数据的监控、数据传输过程的监控以及各应用库数据状态的监控3部分。具体包括对数据中心水雨情数据入库数据量的统计，应报记录数的统计、错误数据的报警、数据传输通畅情况的监控以及各个分发应用库到站情况的统计与报警等。

数据采集和分发管理是数据中心的来源和应用端，它规定数据中心从哪儿采数据（节点）、如何采（网络服务、数据库表）、采什么（指定站点、水情要素）等，分发管理则回答数据给谁（节点）、给什么（水情要素）、给多少（指定站点），数据频度（数据间隔）等问题。同时提供对节点间数据的一致性维护工作。水情数据从采集 — 中心 — 分发全程实时触发执行，采用流计算模式进行数据演算，高效、准确。

基础数据和实时数据修改模块实现对数据中心管辖下数据的内容准确性保证，以良好的人机界面提供直观的操作界面，并保障在各节点间数据的实时同步。

设备管理解决当前普遍存在的一站多设备冗余问题，以无人值守的形式完成多套设备数据依据规则为一个站点进行数据自动保障的能力，真正实现一个测站一套水情数据，一个测站多套设备冗余保障的设计。设备管理同时提供对遥测设备自身工作状态（电压、温度等）的监控与提醒。

数据采集传输过程中不可避免存在错误或异常等现象，数据质控则是在保证数据时效性前提下，根据一系列数据质控规则，对实时数据进行数据质量检查，根据预先设定的规则对数据标识正常、可疑与错误等多种标签，并分别予以通过、剔除和待人工核实等后续操作，实现对数据质量的实时掌控。

数据中心管理系统在应用软件界面提供各类示警的基础上，可以通过短信平台，为设备维护人员、水情管理人员和防汛工作人员分别发送设备异常提醒、数据可疑待查以及汛情简要统计等多种示警能力，极大地保证水情数据中心数据维保的可靠性。

针对数据中心自身保留的海量数据，数据比对分析从数据自身、主备设备、临近空间预计时间统计等多种形式对保存在数据中心中的数据进行相关逻辑性分析，提供对数据异常的检测手段。

数据日志管理提供对数据中心所有更改操作的追溯能力，用户管理、权限管理、备份管理等则提供数据中心安全可靠运行的技术保障。

4 结 语

建设丽水市水情数据中心主要解决当前水情数据信息管理分散、基础数据存储零乱、标准化差、应用服务适用性单一、难以共享等问题；整合现有数据库和系统资源，深入开发新的数据库；建立和健全标准规范体系和安全体系，建立一个集中管理、安全规范、充分共享、全面服务的水情数据中心。建立水情数据中心是水文建设中一项重要工程，也是今后水文发展的核心工程，只有积极规划，加紧建设，才能使水文信息化建设上一个新的台阶。