智慧城市数据中台设计与应用
2020-03-20许苗峰中国联通智能城市研究院北京00089海联金汇北京金融科技有限公司北京00089
许苗峰，薛 慧（.中国联通智能城市研究院，北京 00089；.海联金汇（北京）金融科技有限公司，北京 00089）
0 前言
智慧城市经过十多年的信息化建设，各类信息化系统已全面应用于智能楼宇、智能园区、智能校园、智能社区等多个领域，为各项业务提供了有力支撑。但也存在很多不足之处：一是各领域各系统形成了以各自为中心的独立应用，如楼宇能耗与空间管理都是独立系统，导致了严重的流程断点和数据壁垒；二是数据利用率低，没有形成有效积累，系统之间数据重复获取；三是数据分析指标多而散、数据价值并没有有效体现，导致系统价值低。
针对智慧城市发展的不足，需要将各系统数据统一管理，形成数据生态，挖掘数据价值。构建数据中台，正是建设智慧城市中不可缺少的一环。数据中台可通过数据建模来实现跨业务的数据整合；通过数据服务对各个系统数据封装和共享；通过数据分析，实现数据应用的服务化，挖掘数据价值。
1 数据中台设计
数据中台的目的在于为各个系统提供数据共享和数据分析。以数据资产管理为基础，沉淀数据通用能力，通过对数据进行采集、加工、存储、共享以满足不同专业间、不同领域之间的数据共享、数据挖掘、数据分析的需求。数据中台架构如图1所示。
图1 数据中台技术架构
2 构建数据中台的关键模块
2.1 数据抽取
数据抽取模块是数据中台的第一步，主要为API数据接入、数据库数据接入、文件（图片、视频、文档）等。其抽取模式主要分为全量抽取和增量抽取，全量抽取是每次都将所有数据全部接入到数据中台中，而增量抽取只接入数据中台中没有的部分数据，增量抽取数据量更小，性能更好。
增量数据抽取模式主要有基于触发器的增量数据抽取、基于日志文件的增量数据抽取、基于时间戳的增量数据抽取和基于全文比对的增量数据抽取，其优缺点如表1所示。
2.2 数据加工
2.2.1 数据标准管理
数据标准管理是数据加工的基础，规定了数据中台中所有数据的统一格式、统一标准和唯一ID等数据规范，主要包括数据模型管理、主数据管理、元数据管理、数据的质量、价值、安全管理。
传统智慧城市系统的单个业务领域都独立进行并自行管理数据，对于同一份原始数据每一个业务都有不同的定义，命名、标识都不尽相同，标准混乱给统一管理业务带来了极大的困难。主数据管理和元数据管理致力于构建数据源标准化数据，对每一个元数据进行定义，使数据中台抽取到的数据有统一的规范标准。
以智慧城市为例，数据主要来自于楼控系统、楼宇能源系统、园区环境监测系统，数据又分为用户数据、经济数据、环境数据、能耗数据等。不同业务系统之间关注的数据整体关联但又相互独立。因此需要借助数据模型管理对数据分层分类，建立统一的数据管理规则从中挖掘更多的数据价值。
2.2.2 数据转换
数据转换模块作用是将抽取来的数据进行加工，使之符合数据标准的规定。主要使用计算列、合并列、行转列、列转行、SQL筛选等一种或者多种操作，进行数据转换加工。同时，也可以使用算法模型进行数据的复杂分析，从而得到期望的数据。
2.3 数据共享
将中台内部整理完成的数据，通过通用服务能力进行共享与交换。为各应用系统访问业务数据提供统一接口支持和策略支持。负责接收应用系统的数据请求，按照请求内容读取数据，然后发送给请求数据的应用系统。
3 数据中台实施
智慧城市的建设涉及到众多系统整合，亟需数据中台将零散的信息化系统规范和统一起来。以智能楼宇为例，其涉及系统有智慧停车、会议室管理、空间管理、能源管理、门禁系统、烟感系统、安防管理等众多系统。数据中台正是这些系统之间的数据桥梁，承担数据规范并深入挖掘数据之间的关系，构建多场景联动应用，对内加强精益化管理，对外实现可视化服务，全面提升楼宇智能化水平。智慧楼宇数据总体架构如图2所示。
表1 不同增量数据抽取的对比
图2 智慧楼宇数据总体架构
传统数据仓库使用ETL将业务系统的数据直接采集加工至数仓中，其目的在于数据整合。随着业务的增加，重复ETL会造成数据混乱，无法满足数据标准化。依照数据中台原则，数据应分层设计，分为源数据层、中间层、应用层。三层自下而上，各层次之间数据低耦合高内聚，避免了因业务系统过多造成的数据混乱。
源数据层是将来源于各个终端业务系统的数据，结构化地存储到数据中台中。数据抽取主要采取同步任务的形式，对于使用关系型数据库的业务系统采取全量或者增量方式直接通过数据库同步到中台，对于使用非关系型数据库或者提供数据接口的业务系统，首先进行结构化处理，再存储到数据中台中。
中间层是数据中台最为核心的部分，是数据建模和数据标准化的体现点。在这一层需要以维度模型为基础，把源数据层整理完毕的数据转换加工后放入应用层中。维度建模首先需要做好需求调研，梳理业务系统抽象出数据作用域，如智慧楼宇中常用的人员空间管理模型、安防预警研判模型、设备故障研判模型、能耗预估模型等。同时，对于一些相对简单而孤立的数据，可采用通用数据标准模型进行处理。
应用层主要放置用于数据共享的统计指标和模型结果。这一层数据来源于中间层的加工，同时又与业务层的数据需求一一对应。比如：楼宇可视化平台、楼宇BI平台及一些数据分析场景。
4 结束语
数据中台建设是智慧城市必不可缺的一环，是各业务系统数据共享与交换的桥梁。随着智慧城市不断发展，业务系统和业务数据都在快速增加。因此，打造数据中台对内可贯通多个业务系统，对外可快速支撑新业务拓展。
本文以智能楼宇为例，借鉴互联网较为成熟的中台战略，设计了符合需求的数据中台架构，并对其核心模块的关键技术进行了阐述，对于智慧城市数据中台建设具有一定的借鉴意义。
