一种政务数据共享交换平台设计与实现方法研究

陈言樑，彭如强

广东省电信规划设计院有限公司，广东广州，510630

0 引言

近年来，各地政府高度重视政务数据共享交换能力建设，但仍存在政务数据治理及管理体系缺失、归集共享程度不够、开发利用程度不高、抵御数据风险能力薄弱等诸多问题。通过建设统一的政务数据共享交换平台，为各政务部门提供统一的信息跨部门应用能力，并建立信息资源交换共享长效管理机制，能够及时准确解决好政务信息资源共享、业务协同、业务快速响应问题，提高政务信息工作的时效和工作质量，有助于提高协同办公、政务服务、监督管理信息化能力，极大提升政务信息化整体水平，提高利企便民服务水平。

1 总体架构设计

政务数据共享交换平台整体架构如图1所示。

（1）基础资源：为政务数据共享交换平台、数据资源库等提供网络、存储、数据库、大数据平台计算、安全管控等云服务。

（2）数据资源库：依托政务数据共享交换平台实现政务数据共享交换与汇聚，政务数据共享交换平台全面支撑未来全省数据资源库建设。

（3）政务数据共享交换平台：包括数据交换管理、数据资源管理、数据服务管理、数据安全管理、统一数据门户。

（4）数据应用：政务数据共享交换平台作为政务数据资源的核心枢纽，为政府创新数据应用和数据开放提供核心数据能力支撑。

（5）保障体系：包括制度保障体系、标准规范体系、运行管理体系。

2 技术架构设计

以支撑政务数据共享交换平台功能开发为目标，构建分布式大数据处理应用技术架构，在融合微服务管理、容器化技术、分布式资源调度等应用层技术的基础上，充分考虑平台对“大数据、大并发、大吞吐”的处理需求，融合搜索引擎服务、缓存服务、消息队列服务以及多元化数据集成技术，确保平台的稳定高效运行。采用与底层平台零耦合设计[1-3]，多引擎适配，全面兼容适配国产大数据平台及数据库，能够与开源大数据平台、市场主流大数据平台、高性价比分布式数据库以及国产化数据库广泛兼容适配，整体技术架构如图2所示。

（1）基础层：采用主流容器编排及隔离技术，实现应用程序间及程序与宿主操作系统的相互隔离，互不影响，提升数据中台功能的运行稳定性、迁移便捷性、服务开放性、管控全面性，以及部署升级的便捷性，确保平台升级可持续化。

（2）引擎适配层：为了兼顾不同等级的数据体量及具体应用场景数据加工处理需要，平台适配多元化的存储计算引擎，实现资源利用的最大化，达到节本增效的目的。平台全面兼容适配国产大数据平台及数据库，适配开源大数据基础架构Hadoop体系、高性价比分布式数据库以及国产化数据库等。

（3）平台层：平台层为政务数据共享交换平台的核心能力层，基于ElasticSearch实现全文检索高效性；通过Redis/Mongo提供高效缓存服务，提升数据加载效率；通过Kafka构建实时消息通道，实现实时数据的接入。同时对底层大数据存储计算引擎提供的能力结合数据开发治理实施流程、经验进行封装，构建数据集成、离线计算、实时计算、数据标准、数据质量等全栈能力。

（4）服务层：构建应用服务数据服务统一管控层，提供多种服务鉴权方式，包括SSO鉴权、用户令牌发放、流量控制等，在高并发场景下，利用服务集群为调用者提供稳定可靠的服务入口，同时也将调用者业务端与服务端解耦合，最大程度地保证服务的高可用。

（5）展示层：前端展示框架基于v ue和ElementUi进行封装与扩展，对应用Web页面常见的布局、组件和交互进行统一定义和封装，形成丰富的UI组件库，快速支撑Web应用页面开发，保证UI代码的统一性和维护性。

3 平台功能设计

3.1 交换管理

3.1.1 基础信息配置

共享交换平台的基础配置模块至少应包含前置机注册、数据源注册两个功能，实现前置机交换节点的新增与维护、数据源信息的新增与维护。

3.1.2 数据交换管理

用于对平台内所有文件、库表类型的交换任务进行管理监控，提供对交换任务的运行状态监控、运行日志搜集和查看，以及对任务的执行耗时进行记录和统计。

3.1.3 数据采集填报

由数据管理配置人员接收填报采集需求，配置并发布填报采集表单，系统自动读取表单任务配置信息并推送表单采集任务至相应的委办局，委办局相应人员按照表单已设置的采集周期按期提交采集信息。填报的数据经数据填报审核人员审核通过后数据自动落库，从而实现表单数据采集任务闭环。系统应提供采集表单管理模块、采集表单填报模块以及采集表单审核三大核心模块。

3.1.4 共享交换统计

以共享交换平台运营数据为基础，提供图表化的政务数据共享交换成效的多维度分析和展示，核心功能应包括共享交换指数面板、数据资源建设成效分析、目录统计分析、共享数据量变化趋势分析、目录访问量、申请数量排名分析、共享分布分析及共享热词分析等。

3.1.5 任务监控与运维

该模块提供数据交换链路监控功能，支持对交换问题进行预警、定位、处理的一体化管理。它提供对交换任务问题预警功能，支持交换任务运行发生异常时，系统自动检测异常，并向相关接收人推送预警消息通知。它提供交换问题快速定位功能，支持通过预警信息快速定位对应交换任务，并支持查看运行日志等信息，辅助问题原因分析和处理。

3.1.6 源数据鲜活度检测

该模块提供对源端共享库进行元数据采集的功能，支持通过元数据来监控共享库数据实际更新频率，保证数据鲜活度。

3.1.7 交换权限管理

该模块提供对系统的使用权限进行维护和管理，包括：组织管理、人员管理、角色管理、功能管理四个部分，可对相关的部门组织、内部管理角色、功能目录、管理人员等进行配置。

3.2 数据资源管理

3.2.1 数据集成管理

数据集成管理是一个基于分布式集群部署的异构数据集成引擎，提供异构数据源之间全方位的集成服务平台，通过一站式的集成任务配置、管理和监控等功能，将分散异构数据集成上云，解决数据孤岛现象，完成数据汇聚。

3.2.2 数据目录管理

按照国家指南要求，提供围绕资源目录为对象的一系列管理流程办法，实现政务信息目录的电子化管控。它提供目录编制、审核发布、目录校验、目录标签、目录分类管理等功能，实现资源目录和目录信息项管理，满足目录全生命周期管理要求。

3.2.3 数据需求管理

为各级政务部门的数据需求和数据供给提供业务对接支持，在数据需求部门、政务数据共享交换平台和数源部门之间，建立数据资源的需求联络渠道，跟踪数据共享需求申请、审核、提供情况，并评估数源部门的共享效能，实现政务数据需求的全生命周期管理，可实现数据需求管理、数据需求分析、数据需求确认、数据供需查看、数据责任管理、共享责任清单管理、数据需求级联等功能。

3.2.4 数据标准管理

对标准体系进行综合管理，提供标准总览、标准管理、标准查询、标准化清洗及相关辅助功能。对数据资源库中原始数据按照既定的数据标准进行标准化清洗及处理，提升数据的规范性，形成初步的数据资产；可在线定义数据标准、审批标准，基于标准完成建模、定义标准化处理规则、配置标准化处理任务，完成原始数据的标准化处理。同时，需要通过智能识别手段、严谨审批机制，实现数据标准制定、发布和管理，提供向导模式和脚本模式等多种标准化任务配置方式，完成从贴源区到标准区的数据标准化处理，实现数据的一致性、规范性，为数据资产沉淀打下基础。

3.2.5 数据开发管理

支持离线和实时数据开发，面向数据开发和治理人员提供可视化离线数据开发IDE，实现离线数据开发、数据同步、任务调度、任务运维，以及实时流式数据采集、实时计算及任务的监控预警一体化作业。

3.2.6 数据质量管理

通过构建质量检核规则，基于质量规则进行检核作业，发现平台上存储的每一张表、每一个字段的质量问题，有效追溯到质量问题的源头。发现质量问题后，通过数据治理管理平台进行治理，不断改善和提升平台数据质量。在数据治理过程中，通过复检作业等机制，不断形成正反馈，从而有效积累数据质量治理知识，为平台后期数据规则提供质量支持和质量保障。

3.2.7 数据资产管理

该模块能够对平台的数据资产进行全面管控。通过向数据开发人员提供基于数据标准的在线可视化建模工具，解决数据模型创建不规范问题；构建资源目录多维度、多视角查阅数据资产；提供数据智搜、数据地图快速检索数据资产；运用资产重要性评估、资产冗余评估、资产增长评估对数据资产进行诊断，帮助数据管理员掌握数据资产全貌，合理分配存储和计算资源，让数据管理员对数据资产可见、可管、可评估，优化数据资产的管理，实现数据资产价值最大化。

3.2.8 数据标签管理

平台完成数据集成后，经过数据开发中心，完成数据清洗、转换、标准化后，根据应用场景进行必要的数据模型设计及数据加工。通过标签管理平台对标签进行定义、数据加工、标签管理等，以更好地支撑基于标签的应用。标签管理平台需要支持SQL、拖拽、圈选等多种标签加工模式实现价值标签资产的沉淀，能够基于标签体系在线发布API服务、基于标签进行查询与分析的自助式服务，实现价值数据萃取和便捷服务化。同时提供标签的全生命周期管理，提供标签工厂、标签空间、标签计量等功能。

3.3 数据服务管理

实现数据资产从数据供给向数据服务供给转变，面向政府提供服务管理、服务开发、服务监控、数据订阅等数据服务管理能力[4]。

3.3.1 数据API服务

实现数据API服务的统一管理，根据数据应用场景需求提供API快速生成能力和对外服务能力，以数据服务集市形式支撑数据应用需求，实现数据资产服务化支撑。

3.3.2 数据订阅服务

构建数据资产的浏览、申请、审批、推送的订阅闭环服务，提供数据资源超市、订阅空间、订阅管理、监控管理等功能，以满足各方数据订阅需求，构建完善的数据服务体系。

3.4 数据安全管理

基于数据分类分级、数据脱敏、安全审计等技术，为政务数据共享交换、数据开发与治理、数据服务提供全流程的数据安全保障能力[5]，确保数据安全、可信共享与流通。

3.4.1 数据分类分级

为数源方提供数据分类分级管理功能，包括分类分级信息管理、分类分级数据标识、数据分类分级搜索、分类分级数据共享统计、敏感数据共享监控、敏感数据共享预警等。

3.4.2 数据脱敏

用于对敏感数据的变形、转换和混淆，使得业务数据中的隐私数据能被安全、合理使用。数据脱敏主要面向数据管理人员，基于数据挖掘、脱敏算法等技术，提供敏感词识别规则配置、敏感数据扫描、脱敏算法配置等服务，实现敏感词精准发现、敏感词库可管可控、敏感数据安全可用。

3.4.3 数据安全审计

该模块提供日志监控、日志查询、日志导出等功能，为管理人员提供真正可信赖的事件追责依据和安全分析数据源，以确保数据运营安全。

3.5 统一数据门户

作为平台的统一登录访问入口，集成政务数据共享交换平台的所有功能，面向政府提供统一的政务数据共享交换业务办理一体化门户网站，包括门户首页、数据资源、数据服务、共享指数、应用中心、互动交流、系统集成等功能。

4 结语

以“业务数据化、数据业务化”为着力点，建设集数据采集、存储、治理、共享、管理和分析应用于一体的政务共享交换平台，并根据政府部门实际情况同步规划建设政务数据共享交换标准规范，实现一数一源、一源多用，实现数据无缝归集，挖掘数据价值，提升数据资源开发利用水平，为更好履行政府职能提供数据服务，为政务数据在重点领域创新应用提供高质量标准数据。同时，政务数据共享交换是一个长期过程，一个不断迭代和改进的过程。政务数据共享交换平台涉及的部门特别多，一次性全面开展共享交换平台建设投资较高、难度较大，项目风险较大。建议先搭建模块化的可灵活扩展的政务数据共享交换平台架构，实现基础的数据共享交换功能，并以较为迫切的某类数据共享交换为切入点进行数据共享建设，在取得较好应用效果后，再逐步推广至其他数据领域。