基于混合云技术的枢纽机场数据共享平台设计与实现

2022-09-09康永刘伟平汪福军

电子技术与软件工程 2022年11期

康永刘伟平汪福军

（东部机场集团有限公司江苏省南京市 211106）

1 引言

机场作为航班起降的空中港口，在现代交通运输中发挥着重要作用。根据机场的实际运行情况，总结其具备“三多”的特点，即连接节点多、业务源头多、交通方式多。以国内某枢纽机场为例，其拥有超过100 个航点，而运行的航线航路更多，涉及的航空公司也超过50 家，另外还有大量的驻场单位，包括海关、边检、公安、油料公司以及很多家货代公司和商户等，同时机场作为综合交通的汇总地，需要融合各种交通数据，如地铁、大巴、私家车、网约车等。由此可见，机场是一个集多种业务和数据于一身的复杂场景，然而由于各方信息化建设发展阶段不同，数据标准也无法统一，在各自领域内形成了大量的数据孤岛，有着数据标准不一致、数据格式不一致、数据质量不一致、各方数据协同困难等问题。

随着城市交通网络的逐步完善，机场作为城市的又一重大枢纽，成为空港经济发展的核心。多方数据的交汇融合是协同发展和治理水平提升的基础，而实际上，由于信息建设的水平不一导致数据交换的方式和能力无法统一，存在建设安全标准不一、工作量大等问题，急需统一架构设计和安全保障，建立数据交互的枢纽平台，实现多源机构数据的收集，并能够根据需求为各方提供数据服务。根据数据存储位置和物理空间，枢纽机场主要数据接入场景分为两种：一是物理位置在机场范围内的公司和部门，例如机场各级部门、基地航空公司、海关、公安和各驻场单位等，可采取专线接入等方式，可交换机场运行核心的机密数据；二是物理位置远离机场但仍需考虑数据交换的单位，例如通航机场、非基地航空公司、货代公司和监管单位等。因此数据交换平台需在基础架构层考虑至少两种网络环境下的安全数据交换和管理。

2 混合云技术

私有云技术是基于企业的基础网络资源，使用虚拟化技术将实体资源虚拟为若干的虚拟资源，企业用户在资源池中，根据企业本身业务需要，进行企业应用搭建。一方面，由于企业拥有基础设施使用和维护权，企业可以独立自主的控制应用的部署方式，并进行应用维护；另一方面由于企业网络是相对独立的，并不会与互联网区域进行数据共享交换，对企业应用的独立和数据的安全可以提供有效的保障。结合实际业务需求，私有云更适合机场在航班保障、安全防范等方面的需求，因此目前大部分枢纽机场均建设了企业级私有云平台。

公有云是指由第三方供应商在互联网环境通过虚拟化、云计算等原生技术，搭建共享资源池，用户可以通过购买服务的方式，以比较低廉的价格购买云资源，快速完成业务应用搭建。公有云最大的优势是无需用户进行基础环境维护，由第三方服务商进行基础环境维护，因此会节省用户大量维护的人力、物力资源。结合机场行业的实际情况，公有云环境在方案选型上，更适合搭建面向互联网端的远程数据服务应用，例如旅客服务、投诉咨询等应用。

私有云具有地域安全优势，但其服务区域具有一定的局限性，而公有云具有服务能力强，但其有数据保密和安全的担忧。因此某枢纽机场提出建立基于混合云技术的数据共享平台，充分发挥公有云和私有云各自的优势。

3 数据共享平台设计

3.1 混合云架构设计

考虑到外部单位受限于网络和系统建设水平不一，无法跨区域跨网络直接进行数据交互，为简化链路对接快速响应，某机场确定了混合云模式的技术架构。核心数据存储、加工部署在私有云，可实现资源的快速扩展同时保证数据的本地机密性；数据接入及管理平台部署在公有云，可实现灵活的跨地域接入和各类云服务快速使用。所有外部数据均通过互联网进行接入，通过多个区域实现数据的安全落地和使用。系统整体分为三大区域，在机场私有云平台上划分了数据中心区和数据交换区，公有云平台上建设数据交换中心，具体部署结构如图1所示。

图1：数据共享平台部署结构

私有云数据中心区部署于机场私有云内网环境，与其他网络环境交互通过严格的访问控制确保区域的安全性和独立性。私有云数据中心承担机场所有数据的清洗、分析、计算、监控任务，底层在私有云平台上建设数据库集群和数据仓库集群，集群容量可快速动态伸缩。集群之上搭建工作流调度系统，实现数据交换的任务流程编排、资源分配、任务管控。此外，私有云数据中心提供数据生命周期管理，针对历史数据进行历史数据迁移和按需清理，有效节省云平台成本和资源。通过每条数据的唯一ID 值，能够查询数据的源头以及传输路径，便于进行数据治理和分析。采用数据仓库，建立多种主题模型，满足不同类型数据的存储和管理，并借助数据中台实现数据的深加工并对外提供数据服务。

私有云数据交换区建立在机场私有云DMZ 区，通过严格的安全策略保证数据的进出安全。根据DMZ 区域管理规定，该区域内系统可与互联网上公有云数据交换中心进行数据采集和上传；但作为内网的缓冲区域，该区域无法直接访问至内部数据中心，只能由内部定期主动发起请求进行数据交换，从而确保内网系统数据与互联网环境的隔离。数据交换系统同时可实现各种作业管理、作业调度、作业监控等功能，是内、外部数据交互的桥梁和纽带。

公有云数据中心部署在外网云厂商环境，底层基于弹性云计算服务和开放存储服务建设，上层提供API 交换服务、MQ交换服务、WEB交换服务，并基于统一云服务引擎（ACE）对外提供服务。服务支持多源异构数据，提供数据统一协议格式转换，以适配外部单位各种业务场景需要。公有云数据中心作为数据服务响应方和提供方，在响应私有云数据中心和外部单位的主动数据访问请求时，配备了完整的安全访问机制。具体到安全策略上，系统提供身份认证、数据校验、权限配置、日志监控等功能，并实现数据访问源白名单管理；组件防护上，系统提供云主机防护、DDOS 攻击防护、安全态势感知等功能。

基于混合云架构的数据共享平台其总体功能架构如图2所示。

图2：数据共享平台总体功能架构

3.2 业务无关性设计

在信息技术领域高速发展的今天，不同的区域、不同的系统之间的数据共享与交换越来越重要，而不同的业务系统之间的协议是异构的，通过业务无关性设计，可以在多源数据共享交换的前提下，实现一种与业务无关的通信协议制定，使开发者可以专注于业务部分。业务无关性是指系统数据接入接出的使用过程中，用户无需额外考虑底层数据接口的物理实现、数据协议的兼容性、数据格式和数据标准的一致性，而是专注于数据应用层面的定义与配置。系统提供相关组件，自动实现用户数据逻辑层面转换成统一民航信息模型，物理层面转换成统一通用数据协议，底层适配各类数据存储和接口技术，实现数据存储和访问。相比传统数据交换方案，业务无关性设计是一种新型数据融合方案，不再需要针对特定数据对接业务场景单独开发，也不再需要每新增或变更一项业务，就针对输入输出数据协议或不同模型重新编写程序。

尽管当前通用消息协议解决了多源异构系统场景下数据集成问题，但仍然面临不同业务系统来源数据属性或者维度数据重复、标准冲突、粒度不同等业务口径不一致的情况。数据共享平台在设计上采用业务解耦架构，不同业务系统和业务事件数据，都将基于这些统一标准的数据底座上，拆分构建各自的业务事实表，实现了业务数据标准的解耦，加快了各类业务的数据汇聚。

数据共享平台在数据服务配置上充分考虑业务无关性设计，从数据底层库表、服务共享内容到下游对象映射，都做到面向管理员的自由可配置。数据接入和共享接口服务配置项包括服务名称、服务代码、服务描述、绑定数据表、字段配置列表（主键配置、数据类型、字段名等）。系统管理员根据各用户单位需求，初始化用户名、密码、用户单位、数据服务项、IP 地址端口号等根据实际需求进行配置实施，从而达到“即插即用”的目标。

3.3 系统安全设计

基于混合云技术的数据共享平台在数据流向和存储上更加复杂，非核心可公开的外部数据源上传至公有云留存，核心机密数据存储于私有云数据中心，通过DMZ 区域缓冲实现互联网与内网的数据交互，确保数据传输的安全性。公有云数据交换中心、私有云DMZ 数据交换区、私有云数据中心区均采用不同的访问策略，公有云数据交换平台会预设置白名单访问，仅接收前期预配置的用户源地址请求，账户权限分配由系统管理员统一分配，各用户数据权限粒度具体到表，访问权限粒度具体到接口、导入，各账户根据权限上传/查看相关数据。公有云数据交换平台只允许本地DMZ 区数据交换系统主动发起请求至公有云端，公有云端返回对应数据；DMZ 区外网防火墙仅配置源地址转换，互联网侧无法直接访问私有云DMZ 区数据交换系统，降低本地受外网攻击的可能。通过内网防火墙控制仅允许内网数据中心系统主动发起请求，获取DMZ 区前端数据，不允许DMZ 区直接对内网数据中心发起主动请求，具体访问控制如图3所示。

图3：数据交换平台访问控制

由于机场运行涉及航班安全和旅客出行等大量敏感数据，因此在系统设计上除了考虑系统的访问控制以外，数据安全也是系统设计的重中之重。内网数据中心侧主要存储核心数据，可以实现对某些敏感信息（比如，身份证号、手机号、人像图片等）通过脱敏规则进行数据的变形，实现隐私数据的可靠保护。在配置接口服务时，系统管理员设定表字段脱敏要求，数据共享过程中消息字段以脱敏数据传输。数据中心数据脱敏模块可采用多种方式对数据进行脱敏使用，满足不同业务数据使用的敏感性需求，比如静态脱敏实现数据抽取后直接进行脱敏处理，后续数据与源数据无关，可随意使用，动态脱敏在访问敏感数据时进行数据脱敏，可后台设置给不同用户、角色、权限的脱敏方案，对于特定用户获取密钥后可实现脱敏恢复等，满足不同使用场景对数据脱敏的要求。

4 数据共享平台实现

平台通过建立数据中台进行数据分析和计算，同时也可实现对敏感数据的复杂脱敏算法处理，在数据层和服务层中间建立计算层，部署数据加工计算组件，可以快速完成数据计算。基于历史数据和实时数据，可在旅客、航班、物流、交通、资源等主题域进行实时分析，执行飞机时间预测、机场资源预测、安检人流预测等数据挖掘及汇总展示，实时结果通过中台API 服务形式提供出来，支持各新型业务，加速企业从数据到业务价值的过程。比如，在航班计算主题中，数据中台通过获取飞机实时发送的ADS-B 广播数据，结合历史数据精准计算出航班预达时间，并定时校正，可以为驻场单位的各种资源调配提供数据支撑。在旅客数据方面，通过数据中台进行数据脱敏，同时也可为外部系统提供汇总数据和大屏集中展示，为机场管理人员提供辅助决策支撑，基于机场不同的数据主体进行划分，如图4所示。

图4：机场数据中台主题域划分

公有云数据交换中心是与外部机构进行交互的窗口，平台根据数据交换的情况支持多种方式接入，对于高吞吐大数据场景，支持异步MQ 接入，用于数据量大，对数据接收反馈要求不高的情况；支持常见消息队列协议（RocketMQ、Kafka 等），支持系统解耦，可降低数据传输的性能压力。对于低延迟强同步数据场景，支持同步API 接入，主要为各类信息系统服务，支持常见的REST 协议和SOAP 协议，用于数据量大、精度要求高的核心生产数据传输。而对于灵活可配置的数据场景，支持基于企业总线的Web 服务接入，主要用于实时性低，涉及人工录入和导入的数据。

基于混合云环境和机场业务场景实际需要，制定云上云下数据链路策略，实现数据镜像差异化同步。根据实际需求，针对不同业务实时性要求，主要划分了三种场景：

（1）实时性业务，如航班滑行轨迹、保障任务巡检等，私有云每隔10 秒发起数据同步，拉取公有云数据到本地合并后，立即推送到公有云环境。

（2）准实时性业务，如旅客行李托运、登机提醒等，私有云每隔1 分钟发起数据同步，拉取公有云数据到本地合并后，定时1 分钟推送到公有云环境。

（3）非实时性业务，如T+1 航班计划发布、机位容量数据分析等，私有云在业务低峰期发起数据同步，拉取公有云数据到本地合并后，同样在业务低峰期推送到公有云环境。