基于数据底座的生产运营协同调度统计分析系统架构设计

柳美 李夏光 高伟

（国能网信科技（北京）有限公司 北京市 100001）

1 背景

煤电化路港航一条龙、产运销纵向一体化是国家能源集团特有的运营模式，上下游产业高度关联，通过一体化运营链条紧密衔接，实现煤炭从煤矿到港口、到电厂、到煤化工厂的产业链供应，在运营效率、成本等方面具有独特的竞争优势。国家能源集团以总调度室为核心，与“产运销储用”产业链各环节子分公司、三级单位的专业调度一起构成完整的集团调度管理体系，涵盖煤炭需求及销售、煤炭生产及外购、煤炭运输及存储、供需运平衡、运营执行及监视、统计分析及运营绩效评估的价值链环节。其中生产运营协同调度统计分析系统主要实现集团生产运营协同调度统计分析报表出具、开展一体化等专题分析，为生产运营协同调度决策提供统计分析数据支持。

集团数据底座主要包括数据采集、数据湖、数据中台三部分。其中数据采集支持数据从源端系统经数据采集汇入集团数据湖；数据湖实现对经营管理数据、交易数据、指标数据、人工填报采集数据等各类数据的原始存储，通过数据加工处理、数据治理等过程，生成标准数据、主题数据、专题数据并存储，面向数据中台提供唯一数据访问接口，实现统一数据访问；数据中台包括数据共享平台、数据治理平台、数据工具集、监控平台等。

2 实现思路

（1）数据方面，基于数据底座实现数据采集，满足生产运营协同调度统计分析系统的数据采集需求；将生产运营协同调度统计分析系统的数据按需存入数据底座，通过数据服务共享给其他系统，实现数据共享。

（2）技术方面，基于填报工具实现数据填报、基于展现工具实现报表展现、基于建模工具搭建数据模型、分析模型，基于数据可视化分析工具实现数据可视化分析、基于定制开发实现移动端应用并集成到统一的移动平台，采用统一的4A身份认证、主数据平台、短信平台、邮件平台、移动平台。

（3）安全方面，遵循集团统一的安全规范制度要求。

（4）利旧方面，将旧系统的历史数据迁移到新系统、旧系统的报表模板继续沿用并根据业务需求调整或增加。

3 架构设计

从业务架构、应用架构、数据架构、技术架构、集成架构、安全框架六个方面来设计和研究生产运营协同调度统计分析系统的架构。

3.1 业务架构设计

生产运营协同调度统计分析系统业务覆盖煤炭、电力、铁路、港口、航运、化工等领域，涉及集团主要业务板块的生产、设备、安健环统计分析，以及集团层面计划、财务、市场与销售等业务统计，主要包括煤炭板块统计分析、电力板块统计分析、铁路板块统计分析、港口板块统计分析、航运板块统计分析、化工板块统计分析、销售板块统计分析。

3.2 应用架构设计

生产运营协同调度统计分析系统应用主要包括系统管理、基础数据管理、流程管理、统计报表、专题分析、自助分析。

其中，系统管理主要包括组织机构管理、账号与权限管理、角色与权限管理、日志管理。

基础数据管理主要包括报表模板配置、数据计算规则配置、统计分析指标管理、统计分析维度管理。

流程管理主要包括上报流程配置、填报进度监控、上报进度监控、考核指标监控。

统计报表主要包括数据填报管理、数据审核管理、调度报表管理、分析报告管理、历史报表、移动端报表。

专题分析主要包括生产运营综合指数分析、生产运营效益测算、一体化产运销储用均衡度分析、一体化煤炭调运效益测算分析、煤炭资源量分析、煤炭销售分析、电力电量分析、路港航运输分析、化工产销量分析、计划管理水平分析。

自助分析主要包括模板配置、图表组件库、样式设计、数据导出、数据打印。

3.3 数据架构设计

生产运营协同调度统计分析系统数据主要包括煤炭生产数据、煤炭销售数据、电力数据、铁路运输数据、港口运输数据、航运数据、化工数据。

其中，煤炭生产数据主要包括商品煤资源量信息、外购煤采购价格信息、总核定产能信息、掘进进尺信息、剥离量信息、原煤生产量信息、洗选日产率信息等。

煤炭销售数据主要包括商品煤销售量信息、商品煤销售合同签订量信息、商品煤销售价格信息、一体化调进量信息、商品煤销售合同兑现量信息、煤炭价格指数信息、货船比信息、批车量信息等。

电力数据主要包括发电量信息、装机容量信息、运行容量信息、备用容量信息、检修容量信息、临修容量信息、装机台数信息、发电市场占有率信息、投运机组台数信息、库存可用天数信息、利用小时信息、出力系数信息、燃煤日耗量信息、煤炭库容能力信息、机组开机率信息、机组负荷率信息、燃料库存信息、弃水率信息、弃风率信息、供热量信息、供电煤耗信息、发电厂用电率信息、污染排放量信息、电厂供煤量信息、电厂商品煤采购量信息、电厂商品煤采购价信息、平均风速信息、煤炭在途运量信息、水库蓄能值信息、入库流量信息等。

铁路运输数据主要包括铁路运输量信息、铁路运输交重量信息、装车量信息、铁路装车数信息、铁路回空量信息、铁路分流量信息、机车拥有量信息、存车数信息、保留车数信息、接空数信息、排空数信息、港口卸车列数信息、港口待卸车列数信息、线路清筛量信息、线路捣固量信息、道岔捣固量信息、钢轨打磨量信息、检修量信息、自备车全周时信息、备用车数信息、铁路待卸数信息、铁路到达数信息、铁路卸车数信息等。

港口运输数据主要包括进港量信息、港口卸车量信息、出港量信息、装船量信息、港口合理库存上限信息、港口合理库存下限信息、平均堆存周期信息、港口场存量信息、锚地船舶量信息、在港船舶量信息、船舶在港停时信息、船舶泊位停时信息、港口列车总数信息、待卸列车小列数量信息、预到列车小列数量信息、港口封航时长信息、垛位个数信息、泊位数信息、翻车机数量信息、港口堆存能力信息、场地可接卸数信息、在港船舶载重量信息等。

航运数据主要包括船舶运输量信息、中国沿海煤炭运价指数信息、船舶数量信息等。

化工数据主要包括化工品生产量信息、化工品销售量信息、化工煤进厂量信息、化工生产负荷率信息、化工煤日耗量信息、化工煤库存量信息、化工煤库容能力信息、化工库存警戒天数信息、化工库存警戒库存信息、化工煤炭采购量信息等。

3.4 技术架构设计

如图1所示，生产运营协同调度统计分析系统技术架构主要包括5层，基础设施层、技术支撑层、服务层、应用层及展示层。

图1

其中，基础设施层基于集团统一的云网底座，包括服务器、存储、网络、安全等。

技术支撑层基于集团统一的平台底座和数据底座，平台底座主要涉及4A统一身份认证服务、主数据服务、短信服务、邮件服务、移动应用服务等；数据底座主要包括数据接入、人工填报采集、实时数据采集、接口及文件采集、云边协同、数据资源池、数据计算处理、数据安全、统一数据访问、数据工具集、数据共享平台、数据治理平台、监控平台等，其中数据共享平台主要涉及数据共享服务，数据治理平台主要涉及指标服务等。

服务层主要包括填报数据服务、调度报表数据服务、移动端报表数据服务、统计分析指标服务、考核指标服务等。

应用层主要包括系统管理、基础数据管理、流程管理、统计报表、专题分析、自助分析。

展示层支持PC端应用和移动端应用。其中，移动端应用主要是调度日报表，包括煤炭资源日报、煤炭销售日报、铁路运输日报、港口航运日报、发电量日报、化工产销日报、领导入井日报等。

3.5 集成架构设计

生产运营协同调度统计分析系统集成架构主要包括三类集成，数据集成、工具集成以及系统集成。

其中，数据集成主要是生产运营协同调度统计分析系统与数据底座的集成、与数据治理平台的集成、与旧系统集成。从数据底座获取数据源头为数字矿山、电力生产提报系统、调运系统、CRM客户关系管理系统、财务报表系统等系统的煤炭生产数据、煤炭销售数据、电力数据、铁路运输数据、港口运输数据、航运数据、财务数据等。从数据治理平台获取标准指标和维度数据。从旧系统获取历史报表数据，该项集成是暂时性的，旧系统下线时集成接口也下线。

工具集成主要是生产运营协同调度统计分析系统与数据填报工具集成、数据建模工具集成、与报表展现工具集成、与数据可视化分析工具集成。通过数据填报工具实现生产运营协同调度从其他系统获取不到的数据进行手工填报，通过数据建模工具实现生产运营协同调度数据的计算汇总，通过报表展现工具展示生产运营协同调度统计分析报表，通过数据可视化分析工具实现专题分析图表展示、业务用户自助分析。

系统集成主要是生产运营协同调度统计分析系统与4A统一身份认证平台、主数据平台、短信平台、邮件平台、统一移动平台集成。

3.6 安全框架设计

生产运营协同调度统计分析系统的安全框架遵循集团统一的安全规范，采用多层架构，分为基础设施安全、技术支撑层安全、应用层安全、系统管理安全。

安全规范包括数据安全管理规范和系统安全运维规范。数据安全管理规范是对系统数据的创建、存储、使用、发布、归档、删除等方面的安全控制。系统安全运维规范是系统运行的物理安全、网络安全、系统安全、应用安全以及桌面安全等方面。以集团现有安全体系为基础，严格遵循国家的法律法规，按照国家主管部门的规定，使用经过国家批准的安全设备与技术。根据信息系统应用业务重要程度及其实际安全需求，实行分级、分类、分阶段实施保护，保障数据安全和系统安全正常运行，保障重要数据资源和重要信息系统的安全。物理安全、网络安全、系统安全等维护工作遵循集团整体安全设计。

基础设施安全主要确保服务器、存储、网络等安全，包括服务器虚拟机、存储设备、防火墙、网络、操作系统、容灾备份等。

技术支撑层安全主要包括统一身份认证、数据资源安全等。其中统一身份认证是集团总部/中心、各子分公司、基层单位的用户均通过集团统一身份认证系统进行身份认证，然后登录生产运营协同调度统计分析系统；统计分析系统服务器端存储用户身份信息，避免在业务处理中传递用户身份信息。数据资源安全主要是确保数据采集、数据传输、数据存储、数据处理、数据服务的安全；其中，数据采集主要包括隐私保护、分级分类、数据质量控制、规则校验；数据传输主要包括安全策略、完整性校验、断点续传；数据存储主要包括用户标识、数据访问控制、数据隔离、迁移安全、加密存储、存储安全审计；数据处理主要包括细粒度访问控制、数据加密、数据修改、数据销毁、回收站、数据脱敏；数据服务主要包括服务鉴权、服务日志、服务链路跟踪；此外，通过数据监控技术如数据溯源、操作审计、异常分析、监控预警等实现掌握数据资源安全状况。

应用层安全主要确保权限控制、配置信息、移动应用等安全，包括授权管理、密码加密、应用日志、监控报警、移动安全等。其中授权管理分为功能授权和数据授权；功能授权是控制用户能访问的功能，即用户能看见的功能菜单、按钮等，数据授权是控制用户访问某功能时能读取的数据范围。移动安全部分，系统移动端主要采用H5技术实现报表展现，采用集团统一移动平台作为移动端APP，用户可以在外网通过安全隧道访问生产运营协同调度统计分析移动端报表，统计分析系统与集团统一移动平台之间数据加密传输。

系统管理安全主要包括审计管理、代码管理等。其中，审计管理主要是基于存储安全审计和数据操作审计，将数据库服务器、各类数据操作的监视数据进行分析，对异常情况进行报警。代码管理主要包括：

（1）制定统一严格的代码编制规范，并使用工具定期进行代码规范性检查；

（2）建立代码走查制度，定期进行代码的自查、互查；

（3）对于关键性业务及业务接口，做好单元测试，并在测试计划和测试案例中作为单独安全项突出体现；

（4）引入自动化测试，对关键业务代码进行自动化测试；

（5）使用专业工具进行代码级扫描，从代码层面杜绝安全隐患；

（6）安全评测是保证系统安全的重要环节，在系统交付前，进行权威的第三方系统安全评测，杜绝安全漏洞。

4 系统实施

生产运营协同调度系统实施的主要内容包括业务梳理、数据接入及治理、系统集成、定制开发、系统配置实施、系统部署及初始化等。

其中，业务梳理主要包括生产运营协同调度统计分析的指标体系梳理、数据现状梳理、调度报表梳理、专题分析梳理、自助分析梳理。其中指标体系梳理，根据生产运营协同调度统计分析所涉及的各业务板块包括煤炭板块、电力板块、铁路板块、港口板块、航运板块、化工板块、销售板块，依据历史报表及分析报告等资料，分别梳理各业务板块的指标和维度，在梳理的过程中对指标和维度进行去重。其中数据现状梳理，将梳理的指标体系作为数据需求进行数据溯源，数据溯源结果分为数据底座已有数据、其他系统具备但未接入数据底座的数据、其他系统不具备的数据。对于其他系统具备但未接入数据底座的数据，需由数据底座从该系统接入所需数据；对于其他系统不具备的数据，需手工填报，进一步梳理填报表需求。调度报表梳理、专题分析梳理，除了梳理展现的数据和展现形式，还需梳理展现数据与接入数据及填报数据之间的计算逻辑关系。自助分析梳理，主要是梳理用户常用的数据模型。

数据接入及治理主要包括数据接入和数据治理。数据接入主要由数据湖将生产运营协同调度统计分析所需的其他系统的数据接入数据湖存储区原始库，并将原始库数据表信息在数据治理平台进行登记，作为数据湖数据资产梳理的依据。数据治理主要包括三项，一是在数据治理平台对生产运营协同调度统计分析所梳理的指标及维度进行查重、注册、赋码，对于在数据治理平台已存在的指标、维度不能重复注册；二是数据湖对存储区原始库数据表数据进行治理，例如组织机构的治理、主数据的治理等，由于其他系统的组织机构存在不是标准组织机构的情况，从其他系统接入数据的组织机构需要根据标准组织机构作映射和转换处理；三是数据湖根据需要将存储区原始库数据进行标准指标化，按照标准指标编码、维度等将原始库数据转换为多维数据形式存储，以满足数据需求方多维分析的需要。

系统集成依据集成架构设计，完成与数据底座的集成、与数据治理平台的集成、与旧系统的集成，实现将所需的其他系统数据、标准指标和维度数据、历史数据集成到生产运营协同调度统计分析系统；完成与填报工具、数据建模工具、报表展现工具、数据可视化分析工具的集成，实现生产运营协同调度统计分析系统的数据填报应用、数据建模、调度报表展现应用、分析报告应用、专题分析应用、自助分析等；完成与4A统一身份认证平台、主数据平台、短信平台、邮件平台、统一移动平台的集成。

定制开发主要涉及系统管理、基础数据管理、流程管理、统计报表、专题分析5个方面。其中，系统管理主要包括组织机构管理、账号与权限管理、角色与权限管理、日志管理的定制开发。基础数据管理主要包括统计分析指标管理、统计分析维度管理的定制开发。流程管理主要包括上报流程配置、填报进度监控、上报进度监控、考核指标监控的定制开发。统计报表主要包括数据填报管理、数据审核管理、调度报表管理、分析报告管理、历史报表、移动端报表的定制开发。专题分析主要包括生产运营综合指数分析、生产运营效益测算、一体化产运销储用均衡度分析、一体化煤炭调运效益测算分析、煤炭资源量分析、煤炭销售分析、电力电量分析、路港航运输分析、化工产销量分析、计划管理水平分析的定制开发。

系统配置实施主要有填报表模板实施、调度报表模板实施、数据计算规则实施、数据可视化建模实施，以及角色配置、权限配置。其中，填报表模板实施是依据填报表需求，用填报工具进行实施；调度报表模板实施是依据调度报表梳理结果，根据各报表展现数据和展现形式，用报表展示工具进行实施；数据计算规则实施是依据调度报表梳理结果、专题分析梳理结果，根据展现数据与接入数据及填报数据之间的计算逻辑关系，建立计算模型，用建模工具进行实施；数据可视化建模实施，一是依据专题分析梳理结果，用数据可视化分析工具进行实施；二是依据梳理的自助分析常用数据模型，用数据可视化分析工具进行数据模型的实施。

系统部署及初始化主要有生产系统部署、生产系统数据初始化、系统安全检测等。其中，系统安全检测包括生产服务器安全检测、数据库安全检测、代码安全检测等。