智慧城市基础数据支撑系统设计

谷国栋 陈伟

摘要： 智慧城市通过物联网、大数据计算等技术实现对居民生活、企业发展、行政管理等过程的智慧感知、分析与指导，为企业、居民、政府构造了一个和谐美好的商业发展、工作生活、运营管理环境。而作为城市数据处理的核心，基础数据支撑系统承担整个智慧城市基础数据的筛选、清洗以及校验等服务，是城市公共信息服务平台能够发挥其服务作用的基础。

【关键词】智慧城市 大数据计算 数据处理支撑系统

1 智慧城市介绍

1.1 概念与内涵

智慧城市是以信息技术、大数据计算、软件集成等高新技术为基础，以智能感应为主要特征，完成对城市发展道路上的各种感知、分析及整合服务。实现对民生、环保、公共安全、城市服务、道路交通、工商业活动在内的多种智能化需求响应服务，为人类创造更加美好的生活做贡献。

1.2 建设目标

智慧城市以“科学智慧型政务服务”为理念，构建信息泛在基础上的新型城市发展模式，在提高环境承载力、驱动经济有效发展以及城市生活感知方面具有重大优势。通过梳理整合各政务部门的信息资源，完成智慧城市基础数据库的建立，实现政务数据的集中；通过建设目录和共享交换体系，完成政务信息的采集和处理，实现政务系统基础信息资源共享服务的建设；通过建立智能、便捷、直观的信息资源服务应用，实现相关业务的处理及辅助决策等功能。

2 系统整体规划架构分析

智慧城市系统的建设以城市基础数据库和公共信息服务平台作为数据核心和基础服务支撑，整体架构规划自下而上分别为基础设施层、数据资源层、应用支撑层、应用层、终端用户层。

基础设施层主要包括网络、存储设备、服务器群组、数据库系统、以及安全保护体系，是构成平台安全平稳运行的基础保障。数据资源层主要为各应用、服务系统提供需要交换和共享的数据资源，包括交换库、目录库、共享库、基础库等数据库中存储的数据。应用支撑层由应用程序技术框架组成，包括数据总线、服务总线、消息中间件、数据支撑等相关组件，可支持智慧城市系统的SOA体系架构设计，是数据开发、共享、应用的基础，还可通过扩展接口对接各类智慧型城市应用服务。应用层主要由政府数据门户和数据开发门户组成，前者负责相关政务决策分析服务，后者负责政务数据的查询和展示。终端用户层主要由政务网平台、互联网平台以及移动APP平台组成，服务对象主要为各政务部门工作人员及领导、相关企业和市民用户。

3 基础数据支撑系统设计分析

数据支撑系统作为应用支撑层的子功能模块，由数据采集、数据处理、数据共享交换以及数据资源目录四个子系统组成。

3.1 数据采集系统

数据采集系统可改变信息多重采集、采集过程繁琐的情況，实现城市常住人口、民政治安、企业法人、区域经济等多方面综合数据的采集服务。数据资源经过采集汇聚到数据交换平台，经过基本的抽取、校验、清洗、格式转换等处理流程后，打包封装传输到交换网络中供公共信息服务平台做更深层次的数据处理。

数据抽取模块主要通过全量和增量两种业务抽取方式从每一个资源数据库中抽取数据，数据种类包括业务数据和文件数据，可根据业务部门的具体业务类型制定相应的抽取时间、抽取频率等定制参数。

数据校验模块从数据对象粒度和维度出发，通过文件级和记录级两类校验模式，实现数据类型、长度、精度、范围、格式等完整性内容的检查，只有通过检验的数据才能流入下一个清洗过滤环节。对于错误数据，利用统计输出工具形成过滤数据文档提供给前端数据采集工作者，以此减少数据错误率，保障数据的采集质量。

数据清洗模块利用分布式处理系统，实现批量数据的实时清洗、过滤、类型转换、映射编码、文件拆分与合并、维度转换等任务。清洗的主要任务是数据类型不一致的转换、数据粒度转换以及相关转换规则的计算。不一致转换将不同业务系统的相同数据统一处理整合，数据粒度转换实现数据的统一归整，转换规则的计算则按照设计好的对应计算标准对数据进行重新计算分类。

数据转换模块按照合并、拆分、排序等方式将清洗后的新数据通过多种映射关系存储在对应数据库中，该步骤可看做是数据整合与数据清洗过程的结合。数据压缩模块可对数据进行压缩处理，从而提高大文件数据在采集、传输过程中的安全性和运输效率。数据加密模块在远程传输的场景中可进一步提高数据传输的安全性。

3.2 数据处理系统

数据处理系统将各政务系统、其他相关渠道采集处理后，传输到公共信息服务平台的数据按照设定的数据标准进行二次处理。数据标准规范由相应的业务人员和技术人员根据数据特征共同制定，由开发人员通过计算机语言转化为对应的比对校验功能模块，并通过数据仓库技术（ETL）完成数据的抽取任务，最终将符合校验规则的标准数据存储于公共信息服务平台基础数据库中供其他业务系统调用。

数据比对校验模块能够将来自关系型、非关系型数据库以及运维业务平台中的分散、异构数据抽取到临时数据处理层，在这里完成数据入库存储前的数据类型校验以及海量数据的高性能解析服务。

数据映射模块将数据存储层和内存表现层之间的双向数据形成一对多，多对一，以及多对多的映射访问关系。数据拆分模块将逻辑上统一的整体分割成可独立管理的物理存储单元，便于实现对其部分数据的重构、重组和恢复服务。

3.3 数据共享交换系统

数据共享交换系统是整体数据交换体系的核心，可完成各政务系统的信息交换和共享服务，主要由交换桥接、前置交换、交换服务总线、交换传输、交换管理五个模块组成。

交换桥接模块用于实现各政务部门业务信息库与交换信息库之间的信息同步、各操作系统和数据库的支持、结构化与非结构化数据的支撑以及相关数据自动识别。同时可提供图形化的配置管理工具，并支持多个桥接任务的同时运行和远程部署。前置交换模块通过前置服务器、信息库和适配器等网络交换设备可实现子系统与各业务应用之间的隔离，保障部门业务信息库和各业务应用系统之间的独立性。

交换服务总线作为数据共享交换系统的“中枢神经”，为各应用系统提供统一的入口管理服务。数据交换传输模块通过设计好的交换流程，构建各前置交换系统间稳定可靠的信息交换通道，可将转换、打包、路由、解包处理后的信息数据，连续稳定的传递于各部门前置交换信息库之间。数据管理模块实现整个信息交换过程中的流程配置与部署执行，并可对整体交换系统的运行状况进行监控与管理。

3.4 数据资源目录系统

数据资源目录系统用于实现目录的编目、审核、发布与资源检索，由目录导航、目录注册、目录信息检索、目录资源定位等模块组成。

目录导航模块根据各政务部门服务类型的差异，可提供定制化的目录内容及相应的主题应用管理服务，为智慧城市基础数据库在信息组织环节提供技术支撑服务。目录注册模块通过提取数据的主题特征来完成对目录体系中的核心元数据标准、分类标准以及资源标识编码标准的编目工作，并可实现目录内容的审核、管理、报送等服务，为城市基础数据库中信息标引服务提供技术支持。

目录信息检索模块基于网络实现目录主题内容的发布管理，并可为用户提供目录内容查询服务。用户可根据展现在目录上的数据主题选项寻找对应资源的链接访问入口，获取相应的信息资源，该模块为城市基础数据库内容發布环节提供技术支持。目录资源定位模块主要用于搭建部门间信息资源共享服务环境，可实现信息资源的生成、发布与管理、以及对应的资源查询获取服务。部门信息资源共享系统提供了文件数据库资源的采集管理及审核发布功能，为城市基础数据库的信息采集与发布提供技术支持。

3.5 结语

基础数据支撑系统作为智慧城市系统整体架构中最重要的组成部分，其通过数据处理技术将海量的城市信息资源通过采集、加工、分析等过程处理后，形成相应的资源共享、决策辅助等基础支撑，为智慧城市系统的整体实现奠定了相应的基础支撑。

参考文献

[1]曾鹏，刘佳.智慧城市精细化治理大数据可视化分析及信息挖掘[J].软件导刊，2018，17 （08）：190-193.

[2]李卫东，余奕昊，徐晓林，智慧城市数据开放机制研究 以上海市政府数据服务网为例[J].企业经济，2018，37 （06）：163-172.

[3]许苏苏，高俊强，孙灏，大数据时代的智慧城市建设[J].测绘与空间地理信息，2018，41（03）：148-149+153.

[4]李彦龙，于洁，许元斌，黄文思.基于大数据技术的智慧城市体系平台的构建[J]，自动化技术与应用，2018，37 （01）：37-41.

[5]艾丽蓉，刘云峰.基于Hive的智慧城市数据处理技术研究与实现[J].计算机技术与发展，2018，28 （02）：9-13.