空间数据中心建设及其在智慧城市中的应用
2015-07-05北京机电工程研究所袁鸿翼
● 文|北京机电工程研究所 袁鸿翼
空间数据中心建设及其在智慧城市中的应用
● 文|北京机电工程研究所 袁鸿翼
一、背景分析
1.数据的价值和重要性
近年来,随着互联网和信息行业的发展,大数据异常火爆,数据的采集、存储和使用成本迅速下降。过去50年中,存储密度增长了5000万倍,这使得大数据成为匹敌土地、劳动力和资本的新的生产要素,成为新的战略资源。在生物、物理、生态、公共管理、市场营销、军事、金融、社会管理、医疗等行业均能找到大数据的身影,显然,这不是单一行业的特有概念。亚马逊前首席科学家Andreas Weigend直白的指出:“数据是新的石油。” IBM执行总裁罗睿兰认为:“数据将成为一切行业当中决定胜负的根本因素,最终数据将成为人类至关重要的自然资源。”
目前,欧美、日韩等国已经将大数据上升为国家层面的战略。将一个问题提升到国家与政府层面,说明其存在对社会和国家的综合价值。我们所能获得的数据量越大,能挖掘到的价值就越多,既包括科学价值,也包括产业、经济价值。我国互联网产业经过一段时间的发展,已经具备一定的数据分析基础,在很多领域具有结合实践发展的能力。但是大数据的价值密度比较低,有针对性地选择和分析,才能使数据的价值最大化。
大数据来源众多且相互关联,真实有用为其最大的价值,大数据价值的公认规则是用数据说话,首要前提是保持大数据始终有用的活性,最终价值则是以大数据增进人类智慧。大数据作为一种重要的战略资产,已经不同程度地渗透到每个行业领域和部门,其深度应用有助于国民经济发展,对于推动信息产业创新、大数据存储管理挑战、改变经济社会管理面貌等方面也具备重要意义。
2.大数据的发展趋势
马云在卸任演说中提到:“这是一个变化的世界,我们谁都没想到我们今天可以聚在这里,可以继续畅想未来,我跟大家都认为电脑够快,互联网还要快,很多人还没搞清楚什么是PC互联网,移动互联来了,我们还没搞清楚移动互联的时候,大数据时代又来了。”
随着数据量爆炸性地增长,大数据技术的发展也达到了前所未有的新高度。2014年12月13日,CCF大数据专家委员会(CCF Task Force on Big Data,CCF TFBD)在中国大数据技术大会上发布了《2015 大数据十大发展趋势预测报告》。报告指出,2015年大数据的十大发展趋势为:智能计算与大数据分析成为热点、数据科学带动多学科融合、与各行业结合实现跨领域应用、“物云移社”融合产生综合价值、一体化平台与软硬件基础设施夯实、大数据的安全与隐私保护、深度学习众包计算的新计算模式突破、可视化分析与可视化呈现、大数据人才与教育、开源系统将成为主流技术和系统选择。
大数据已成为社会关注的重要战略资源,数据资源化势在必行,物联网、移动互联网等新兴计算形态,将一齐助力大数据革命,让大数据资源发挥出更大的影响。与此同时,随之兴起的数据挖掘、机器学习和人工智能等相关技术,将会改变数据世界里的很多算法和基础理论,实现科学技术上的突破,基于数据这个基础平台,将建立起跨领域的数据共享平台,这将成为未来产业的核心一环。
3.空间大数据的时代特点
人类行为70%属于空间活动,空间数据是人们通过信息世界认识现实世界的基础数据。《大数据时代》一书的作者、大数据领域的权威发言人之一维克托·迈尔·舍恩伯格在书中前瞻性地指出,大数据带来的信息风暴正在变革我们的生活、工作和思维,大数据开启了一次重大的时代转型。大数据是复杂数据集合,已经难以用现有的数据工具管理利用,而在这些数据中,空间数据占了绝大多数,大约80%以上的数据与空间位置有关。
空间大数据描述信息世界中的空间对象在现实世界内的具体地理方位和空间分布,包括空间实体的属性、数量、位置及其相互关系等,涵盖从宏观、中观到微观的多个层次。在大数据飞速发展的时代背景下,与一般数据相比,空间大数据呈现空间性、时间性、多维性、空间关系复杂等时代特点。空间数据都与某一对象或某一地点相关,空间数据中除包含以文字、字符为特征的非空间信息即属性信息之外,还含有以拓扑关系、距离关系、方向关系为特征的空间信息;另外空间大数据具有空间自相关性,即每一个事物都与其它事物相关,但邻近事物间的相关性比距离较远的事物间的相关性要大得多。
概括而言,空间数据描述了现实世界各种现象的三大基本特点:空间、时间和专题属性。空间特点是地理信息系统或者说空间信息系统所独有的,它是指空间地物的位置、形状和大小等几何特征,以及与相邻地物的空间关系。通过对空间关系的描述,可在很大程度上确定某一目标的位置,空间目标的空间位置也隐含了各种空间关系。严格来说,空间数据总是在某一特定时间或时间段内采集得到或计算得到的。专题特点是指除了时间和空间特征以外的空间现象的其他特点,如地形的坡度坡向、某地的年降雨量、空气污染程度等。
而随着空间信息技术的飞速发展,获取数据的手段和途径都得到极大丰富,遥感对地观测已经成为社会、政治和经济的发展决策不可或缺的重要组成部分,描述空间对象属性的波段数目由几个增加到几十甚至上百个。遥感对地观测技术正在形成一个多层次、多角度、全方位和全天候的全球立体对地观测网。获取到的空间数据量巨大,每天的数据增长量达到TB级乃至PB级,遥感技术的发展更加推动空间大数据时代的到来。
4.智慧城市发展的应用模式
智慧城市是在数字城市建立的基础之上,现实世界与数字世界通过物联网进行有效地融合,能够自动并实时感知现实世界的变化信息,最终呈现出以大数据为核心的一种综合应用。它是把信息技术充分运用的城市信息化高级形态。智慧城市基于移动互联网、云计算、人工智能等新一代信息技术以及大数据、社交网络等工具和方法的应用,实现全面感知、宽带互联、智能融合的应用以及可持续创新。官方统计资料的结果表明,中国的城市化率已超过50%,但交通拥堵、环境恶化、医疗困难等“城市病”却日渐突出,因此,中国政府需加快建设新型城镇化的步伐,智慧城市是将新型城镇化和信息化相结合的最佳形式。
在智慧城市的建设与运转中,定会产生大数据,如人口流动数据、环境监测数据等。这些数据都能够全面真实的反映城市问题,在城市发展的过程中起着举足轻重的作用,可以说,数字城市是智慧城市的基础,其核心是数据,而绝大多数都与空间数据相关。智慧城市的建设与应用带来数据量剧增,大数据遍布智慧城市的各个领域,包括智慧交通、智慧生活、智慧医疗等。对大数据进行收集、存储、分类、分析、再利用等一系列处理,形成量化与直观的结果,为决策者提供参考。可以看出,智慧城市产生大数据,大数据遍布智慧城市各行各业,同时大数据为政府决策提供了依据。
大数据时代,智慧城市的发展应采用“数据中心+服务平台+智慧城市应用”的总体架构模式,此处的数据中心可以是分布式多数据中心,包含若干个层级数据库,整合各类资源、实现资源共享。其中,空间数据中心是以城市空间数据为基础,涵盖城市信息系统的基础数据、业务数据、服务数据;而服务平台是数据中心的依托,借助平台的力量实现数据推广与应用服务,使用全新的智慧方法,推进物联网及智能信息技术,对城市现存的经济、社会及城市各系统进行智慧化应用,最终成为互联网、物联网和云计算有机结合及广泛应用的智慧化城市,推进城市可持续发展、增强城市功能、实现智慧城市应用。
二、建设城市空间数据中心
空间数据与人类的衣食住行息息相关,其数量、大小和复杂性都呈现爆炸性的增长,大量的数据以文字、图表、影像、多媒体等方式被累积存储在空间数据库中。标准的数据中心一般由八部分构成:基础环境、业务系统数据库、共享交换平台、中心数据库、数据应用、标准规范、安全体系和管理运行机制。对于城市而言,建设智慧城市需要的数据资源管理高度集中在数据中心,涵盖了大量的部门业务系统以及相应的专题数据库、主题数据库、数据仓库、数据共享与交换系统、资源服务系统以及建立在其上的综合应用系统、决策支持系统、公众服务系统等。
在大数据飞速发展的时代背景下,建设城市空间数据中心的重要性与必要性可见一斑。
打造“空间数据中心+综合应用服务平台”的数据中心模式逐步成为主流的建设方向,并延伸到智慧城市的市场理念。即打造一个完备的空间数据中心,在政府的整体指导下,整合各部门多元化的资源,集数据资源管理、分发、生产、服务于一体,建设空间信息综合应用服务平台,随着智慧城市的建设与海量数据更新,发挥中心的作用,在服务平台之上实现信息透明、服务共享,最终实现对行业内外用户提供数据的行业与综合应用服务。
空间信息综合应用服务平台旨在为各级政府和公众建设一个覆盖全域范围的公共基础信息平台,实现对空间数据中心的各种可共享数据的统一建设、统一更新维护,为各类智慧应用提供最新、最权威的公共数据,为各级政府部门、企业和社会公众提供基础信息服务,助力智慧城市建设,提升区域信息化水平。
1.空间数据中心组成
城市空间数据中心包括基础数据库、业务数据库和服务数据库等多类数据库,通过对政府、公众等内外部数据资源的汇聚、整理、分类,形成数据即服务的应用环境。
基础数据库,是整个城市空间数据中心建设的基础信息源,内含若干个子库,库与库之间是一个有机联系的整体。从归属部门来看,城市空间信息数据来源不仅包括基础测绘部门提供的权威的地理空间信息数据,还包括城市行业部门提供的专题数据。从数据产生过程来看,城市空间信息数据可来源于原始数据、过程数据和最终产品。原始数据是在地理信息获取中产生,例如控制成果、原始影像等;过程数据是在原始数据基础上进行加工处理或再生产而形成,经过产品质量检查合格的过程数据成为最终产品。从数据存在状态来看,城市空间信息数据可来源于已经建库、未建库和外部共享交换,对于在空间信息综合应用服务平台建设过程中已经建成的空间数据库可作为空间数据中心不可忽略的数据来源,存在于其他权属部门的数据,可通过共享交换来补充空间数据中心的专题数据源。
业务数据库,是从各个业务系统、业务部门抽取并整理的能够为其他业务部门提供服务与共享的业务数据,即空间信息综合应用服务平台中需要共享的业务数据库的集合。每个数据库可能涉及若干业务部门,数据来源纷繁复杂,容量非常可观;同时,每个业务部门又可能需要来自多个信息库的数据,数据的应用需求也十分庞大。
服务数据库,是提供基础信息服务、专题信息服务、扩展数据服务等多类服务的信息组合,通过对业务数据、基础数据的分类、整理、分析,形成面向各个领域或应用场景的专题数据集,提供面向政务综合、城市管理、经济运行等多领域的专题分析,从而有针对性的为不同行业和部门提供数据服务。
除此之外,整个空间数据中心的资源由综合应用服务平台以服务的方式进行综合管理、调度、监控,可以提供数据资源的注册、审计、监控、统计等多项功能,包括资源管理、资源调度、统计查询、服务监控、系统管理等等。
2.数据内容分析
城市空间数据中心建设的主要数据内容包括基础地理数据、专题地理数据、地理空间框架数据。
基础地理数据主要包括数字规划图(DLG)、数字正射影像(DOM)数据、数字高程模型(DEM)数据以及各类数据的元数据。DLG数据通常是指通过野外调绘和内业整理后的矢量数据,包含所有的基础地理信息要素,是最全面的基础地理信息数据,是城市空间信息的全面表达。DOM数据通常是经过正射校正或几何校正后的标准分幅影像数据,包括全色影像和多光谱影像,其影像类型通常为卫星影像和航空影像,对于城市影像数据来说,航空影像数据以其分辨率高占据主导应用市场,不过随着国产卫星影像分辨率的不断提高,卫星影像数据的应用在逐步壮大。DEM数据是通过用一组有序数值阵列形式表示地面高程的一种实体地面模型,可以由DEM派生出坡度、坡向及坡度变化率等地貌特性。元数据通常是对数据本体的空间数据的信息描述,与空间信息存储方式一致,包括分幅存储和分区域存储,元数据内容涵盖编目信息、数据集所属项目标识信息、数据集内容信息、限制信息、数据说明信息、数据质量(数据精度、数据评价)信息等内容。
专题地理数据主要是指各行业专题部门提供的专题信息,多以空间图形数据和属性数据形态存在。主要包括POI数据、楼盘数据、公交数据、学校分布、医疗机构、急救中心、工商点、市政服务点、餐饮饭店、宾馆住宿、休闲娱乐区等与广大民众休戚相关的各行各业的专题信息。
地理空间框架数据是是面向共享服务应用的空间地理信息数据,为服务平台运行和扩展提供必要的数据支撑。它主要包括地理实体、地名地址、电子地图、影像数据和高程数据。地理实体数据是针对相关社会经济、自然资源信息空间化挂接的需求而构建的,主要采用实体化数据模型,以地理要素为空间数据表达与分类分层组织的基本单元,包括基本地理实体和扩展地理实体两类。地名地址数据是公共平台对外提供位置查询和定位服务的信息源,它常被作为电子地图内涵的一部分配套引用。电子地图是栅格地图和矢量数据的统一体,根据数据源的数据格式不同分为线划电子地图和影像电子地图,根据表现维度和方式不同又可分为二维电子地图和三维景观电子地图等。影像数据包括地表影像、构筑物纹理、立面街景数据。高程数据是描述地形地物及构筑物高程或高度信息的数据,其主要表现形式为数字高程模型数据(DEM)和三维构筑物模型,是构建三维地形景观和三维城市景观的基础。
3.技术体系
大数据时代的数据中心不再是服务器的集合,而是一套完整的、复杂的、大集合的系统,用于实现对空间数据和信息的集中处理、存储、传输、交换和管理。伴随信息技术的发展,数据中心正在经历着从大型机时代、小型机时代、互联网时代到云计算时代的变迁。
大型机时代和小型机时代,更多地被称为“数据机房”,随着数据的膨胀、技术的变革,数据机房逐渐演变为数据中心,这不仅仅是概念上的变化,但在功能性、规范性、规模性都与互联网数据中心和云数据中心有着巨大的差别。数据中心对外提供的数据服务应满足快速、稳定、持续的应用,这是应用层面所要达到的目标,在满足这一要求的前提下,为实现可伸缩的、按需分配的基础服务措施,云计算的模式发展越来越快速。
基于“大数据、云计算”时代的发展需求,基于传统的关系型数据库的空间数据管理模式已不能适应发展的需要。而以Google、GoogleMap与GoogleEarth等为代表的互联网企业的发展为空间数据中心建设带来了新的技术推动和变革力量。传统关系数据库往往以SQL应用为基础,在互联网时代,大量的数据往往是以NoSQL为基础的,例如基于Hadoop架构的HBase、Google的Bigtable等。NoSQL本身的非线性、分布式、水平可扩展等特点,非常适合云计算的部署。然而,Hadoop在面对传统关系型数据复杂的多表关联分析、强一致性要求、易用性等方面时,与分布式关系型数据库还存在较大的差距,NoSQL目前提供的应用也趋于简单化。于是出现了一种基于云架构的新型数据库——NewSQL,在传统数据库基础上支持可伸缩集群,便于部署。例如Google的F1,EMC的Greenplum等。因此,基于NewSQL构建新时代的空间数据组织管理解决方案,从而建设空间数据中心,将是空间大数据时代发展的必然。
基于NewSQL的空间数据中心技术体系,整体架构将以开源技术构建核心技术体系,以基于分布式文件系统和云计算的空间数据库作为底层数据库系统,提供云环境下结构化和非结构化数据到分布式文件系统的高效存取功能以及用户权限等安全性功能。其中基础服务器采用分布式文件系统、分布式并行计算、大表文件索引、虚拟化等成熟的云存储和云计算技术,为上层应用提供基础的存储与计算私有云环境。应用服务器重点解决空间信息高效组织、管理、并发服务等问题。
三、智慧城市空间信息综合应用
空间信息综合应用服务平台通过充分整合现有的信息资源,构成融合、互联互通的资源共享环境,建立一个公共的、安全的、灵活的、可被政府与公众灵活使用的平台,打破信息壁垒,提高业务协同水平。如此一来,空间数据中心的海量信息资源可以在该架构上,为城市不同部门、异构系统之间的资源共享、业务协同提供空间数据信息支撑,通过多样的服务形式,实现智慧城市的空间信息综合应用,支撑智慧城市发展。
智慧城市空间信息应用的需求包括数据产品、地图服务、目录服务、数据分发服务等多个方面。空间信息综合应用服务平台是空间信息数据的进出通道,是城市信息资源综合管理中心,通过数据中心与服务平台实现公共数据的加工整合和信息资源的交换共享。
服务平台包括平台门户、目录管理、数据交换、数据整合、数据管理、运营维护等多个模块,可以对政府各类信息资源进行整合和统一管理,通过面向政府、企业、公众等多个智慧门户,提供包括数据服务、信息服务、软件服务、知识服务在内的诸多服务。数据服务狭义的理解为数据产品的提供与生产,数据产品包括矢量数据集、影像数据集、影像瓦片数据集、标准图集、电子地图、三维模型表现数据集等,数据产品可作为数据城市各个应用的底图数据,在此基础上整合各类应用;地图服务是以标准服务接口的形式来传递地理信息数据内容,目录服务是空间数据中心对外提供内部数据资源目录及元数据信息的一种服务接口,数据分发服务是实现地理信息产品分发服务日常工作的业务流程化、办公自动化。
从数据产品到地图服务,从目录服务到数据分发服务,从开放式数据访问到前置数据库,空间数据中心与服务平台将具备多个层次的应用服务能力,实现空间数据信息在智慧城市的应用。
四、结束语
通过城市空间数据中心与空间信息综合应用服务平台的建设,能够逐步建立面向智慧城市管理、运营、服务等多个领域的城市空间数据资源体系,从而可以整合现有分散的数据资源,提供集中的统一的存储和管理,为政府和社会公众提供基础的数据存储、更新、访问机制,增加资源利用率,减少重复建设,配合大数据、物联网、云计算等先进的技术手段,基于航天云网的已有平台,为城市管理发展和公众便捷服务提供有效的支撑。
同时,智慧城市建设中必然会产生的新的大数据问题,如何实现对数据质量的快速评估、对数据价值的深度挖掘、对数据安全的措施保障,如何推动数据的深层次利用,形成新的商业模式,这些都将成为新的机遇与挑战。需要城市空间数据中心和综合服务平台在建设与运营过程中,不断吸取经验教训,同时开拓进取,有针对性的开展技术创新与重点攻关,推动产业发展,让城市更智慧,更美好。
[1]James Manyika,Michael Chui,et al.Open data: Unlocking innovation and performance with liquid information[R].McKinsey Global Institute,2013.
[2]Eric Savitz.The Industrial Internet: Even Bigger Than Big Data[R],2012.
[3]李德仁,姚远,邵振峰.智慧城市中的大数据[J].武汉大学学报信息科学版,2014(6).
[4]邬贺铨.大数据支持智慧城市[J].中国经济和信息化,2013(2).
[5]赵振营,耿方方.大数据在智慧城市中的作用分析[J].商丘师范学院学报,2014(8).
[6]怀进鹏.大数据是国家战略资源[J].中国经济和信息化,2014(4).
[7]程学旗,潘柱廷,靳小龙等.2015大数据十大发展趋势预测报告[R].2014.