新型智慧城市运行管理大数据平台关键技术研究
2017-09-20李飞
李飞
摘要:新型智慧城市建设是贯彻落实习近平总书记系列重要讲话精神,推动国家治理体系和治理能力现代化建设的重要举措。新型智慧城市运行管理大数据平台是由物联港、大数据分析处理引擎、新型智慧城市模型所构成的新型智慧城市信息整体框架,形成统一的数据汇集、统一的数据分析和统一的运行指挥,形成“传感-传输-处理-应用”闭环。该平台的建立孤立的算法、技术和管理模式,系统性的解决新型智慧城市及大数据应用的创新缺乏全局视野、难以获得实际应用等问题。
关键词:新型智慧城市;模型;大数据
一、概述
新型智慧城市是以为民服务全程全时、城市治理高效有序、数据开放共融共享、经济发展绿色开源、网络空间安全清朗为主要目标,通过体系规划、信息主导、改革创新,推进新一代信息技术与城市现代化深度融合、迭代演进,提高城市发展的持续性、宜居性,实现国家与城市协调发展的新生态。
二、研究内容
物联港是实现物联传感网中海量设备接入,管理和控制设备,并将设备上传的异构信息转换为便于系统处理的归一化处理平台。新型智慧城市运行管理大数据平台中的物联港构筑在物联网通用体系架构之上,对下提供将包含各类接入设备在内的物体进行服务封装,对上提供便捷统一的开发接口为进一步的数据分析处理提供便利。得益于通用体系架构,异构的物联网设备和信息网络终端能够采用统一的方式进行描述、接入、标识与寻址、访问调用和控制。通过物联港的隔离,其上层系统仅需要根据需求和能力通过封装成服务的接口访问虚拟设备即可,实现了新型智慧城市信息系统的快速构建,按需扩展和高度的互联互通与信息共享。
大数据处理引擎实现对海量、异构、准实时数据的处理,对数据的封装、清洗、存储、索引、检索及高级运算操作,实现以合理数据结构和存储方式存档数据,并提供数据的查询展示、统计分析、趋势预测等服务。大数据引擎采用基于集合的非关系数据库,以分布式文件系统和并行处理框架作为基础支撑。引擎的主要功能分为内部处理和外部处理。内部处理通常是非关系数据库本身提供或衍生出来的功能特性,具有实时性,能够保证前端数据非阻塞式入库而不会丢失,并确保对数据访问请求的实时响应。外部处理指独立于非关系数据库以外,通过定制化开发的模型及分析算法进行诸如社会动力学仿真、模糊条件搜索与特征匹配、间接经济效益核算等研究。不同的外部处理能力通过独立的引擎实现,通过通用接口挂载到数据库上读取原始数据并回写计算结果。
新型智慧城市模型是城市运行管理体系的控制核心,与大数据引擎紧密配合,负责根据城市的总体状态,生成任务并动态分配各类资源以确保任务的总体优化执行,提供应用程序接口支撑上层的各类应用。当通过大数据分析识别城市状态异常或产生突发事件,城市模型将自动生成一个任务并定义其基本属性,同时根据预案开启一个工作流程并分配一定的资源加以处理。系统将不断更新任务属性并确定其优先级,动态调整投入资源,指挥并约束每个基本执行单位的行为,并追踪工作流程的进度。任务和工作流程信息都通过应用程序接口提供给特定应用展示给管理人员。当任务完成后,其本身及工作流程中各环节信息将提交大数据引擎存档,进行过程重构、推演分析与优化,以对预案进行优化。任务和工作流程亦可由人工指令开启、干预及结束。
三、关键技术研究
(一)新型智慧城市模型
从逻辑数据、资源调配、应用接口、安全管理的方面对城市运行管理过程进行建模,并在实际中验证模型的准确性和通用性。该模型将指导新型智慧城市运行管理大数据中心的建设工作,并为其他智慧城市建设项目提供理论支持。新型智慧城市模型的主要功能在于从数据中分析出异常,并根据城市运行管理的规律,调配资源来处理异常;同时向上提供应用接口,支撑上层应用。除此之外,新型智慧城市模型还通过内嵌的安全管理模块,对城市管理数据和逻辑进行保护。
(二)新型智慧城市大数据处理引擎核心与扩展算法
新型智慧城市大数据处理引擎以非关系型数据库及其支撑环境和部件为核心,可通过标准化接口挂载用于功能扩展的外部算法和模型。大数据处理引擎核心包括非关系型数据库、分布式文件系统、分布式处理框架、数据基本处理工具及必要的中间件。项目选取合理的数据封装格式,数据集合/图的基本结构及拓扑方式,定义数据筛选、索引方式及视图服务使之满足新型智慧城市各类上层应用的需要并具有进一步扩展的潜力。大数据处理外部算法和模型用于从非关系型数据库中提取各类数据进行深度检索,并将结果回写入数据库。
(三)新型智慧城市运行管理大数据平台框架
采用由大数据分析处理平台和新型智慧城市模型组成的新型智慧城市控制与处理聚合(Control&Processing Unity)架構来搭建新型智慧城市运行管理大数据平台。大数据分析处理平台实现数据处理、输入、存储、查询、统计、分析、预测功能,提供洞察力;新型智慧城市模型负责处理城市管理逻辑、调配城市资源,提供执行力。在城市运营大数据平台中将两者分开,有助于实现分系统任务的同质化,提高系统运行效率,并平衡系统灵活性与鲁棒性。
四、结论
该平台将提供完整的新型智慧城市数据采集、处理、分析和应用的系统,提供高性能、易管理、完全自主可控的、具有自主知识产权的数据分析处理平台软件系统,提供功能丰富、扩展性强、用户友好的大数据接口,构建活跃的大数据生态系统。具备高移植性,可将城市运行管理的大数据平台,硬件系统和软件系统中平台性软件部分可直接扩展至其他城市,应用性软件部分经过适当的修改,也可以应用到其他城市。endprint