APP下载

超级计算机在城市规划管理中的应用

2014-12-14邢汉发李长辉谭喜成

测绘工程 2014年2期
关键词:超级计算机数据量海量

邢汉发,李长辉,林 鸿,谭喜成,宋 杨

(1.广州市城市规划勘测设计研究院,广东 广州510060;2.武汉大学 国际软件学院,湖北 武汉430079)

城市规划管理中的地理空间数据分析与处理面临着数据量高速膨胀、应用模型复杂化的双重挑战[1-2]。而超级计算是解决国家经济建设、社会发展、科学进步、国家安全和国防建设等领域一系列重大挑战性问题的重要手段,已经成为世界各国特别是大国争夺的战略制高点[3-4]。然而当前其巨大的存储和计算潜力始终未被充分利用,如何应用超级计算机来为工业和科研等领域服务已经成为当前研究的重要课题[5]。为满足城市规划和地理信息应用领域对海量地理空间数据存储、高性能计算和高效可视化的需求,有必要对超级计算机在规划管理中的应用做系统研究,并提出解决方案。

1 超级计算机简介

超级计算机是指“当前时代运算速度最快的大容量大型计算机,是计算机领域的珠穆朗玛峰”[5]。类似称谓还有高性能计算机、高效能计算机等,是指由成百上千的处理器组成的、能计算普通PC机和服务器不能完成的大型复杂课题的计算机,是运算速度最快、存储容量最大的计算机,可以广泛应用于国家高科技领域和尖端技术研究,是国家科技发展水平和综合国力的重要标志。超级计算机首先是由希穆尔·克雷于20世纪60年代设计并制造,之后超级计算机飞速发展,到今天世界上运行最快的我国自制研发的天河二号,峰值运算达33千万亿次/s,相当于800万台普通笔记本电脑同时运算的能力。

目前超级计算机在军事、高科技领域以及国民经济建设中发挥着愈来愈大的作用,已广泛地应用于核武器研究和核材料储存仿真,应用于如气象气候、地球物理、空间物理、天文物理、高能物理、加速器物理、生命科学、材料设计和模拟、系统科学、人工智能、医学等基础科学研究领域,这些领域的研究成果许多将为工业化、产业化提供直接的科技支撑[6-7]。将来随着超级计算机的发展,其应用会不断拓展到商业、服务业、政府决策等领域。超级计算机还是云计算主要的支撑平台之一,伴随云计算服务的进一步普及,超级计算机将有着更为广泛的应用。

2 城市规划管理面临的新挑战

经过多年的建设与积累,城市规划系统所处理的测绘地理信息数据量呈一种加速增长的趋势,TB乃至PB的数据作为重要的资源已经出现。但由于当前数据高效存储、查找、共享能力有限,缺乏高效计算模型,难以满足规划计算中数据量膨胀、模型复杂化、实时计算需求,导致这些数据基本上都闲置在磁盘等存储设备中,无法体现它们的价值,使城市规划系统面临着挑战。

2.1 地理信息数据量膨胀

随着对地观测技术的发展,人们获得测绘地理信息的能力大大增强。如图1所示,城市规划中的地理信息数据种类和数量急剧增长,这给计算机的存储和计算都带来了很大的压力,当数据超过一定的限制时,普通计算机是无法处理的,这主要是由于单处理器运行时对大数据进行磁盘分页和内存映射的额外耗费造成的。单机处理是有数据量限制的,对于更大规模的数据,单机无法处理。

图1 城市规划中的多尺度数据资源

2.2 应用模型复杂化

大部分的GIS模型都具有内在复杂性,大多空间优化问题都是具有NP复杂度的问题,同时,模型和算法都是高计算复杂度和海量数据计算兼备的问题[8]。而对某些复杂问题的求解,即使是精妙地改进算法仍然是无能为力的。因此,在GIS模型分析计算领域对计算能力提出了迫切的需求[9]。

2.3 实时计算的需求

由于实际应用的需要,如天气预报、突发事件(火灾、地震)的快速反应等,要求GIS系统具备在指定的时间内能够完成定量数据的处理,达到实时或近实时的处理能力,这对于实际应用有重大的意义。这方面比较典型的例子是城市应急响应系统、灾害监测系统、军队指挥控制系统及公众地图服务中对出图效率和响应时间的要求。对GIS实时计算能力要求是在考虑了数据的增长和模型复杂化的前提下的不断提高,因此是一个很有挑战性的问题。

3 智能城市规划管理平台设计

3.1 平台方案设计

本文充分发挥超级计算机海量数据管理和高性能计算的能力,以满足规划管理应用中的GIS数据量膨胀、应用模型复杂化、实时计算等需求。信息处理流程见图2,平台设计思路见图3。针对当前规划数据海量增长、复杂模型计算效率低下的问题,将集群中的文件切分成块,并创建多份数据块的复制,利用多节点文件索引系统进行管理;针对复杂模型计算效率低下的问题,应用MPI并行计算技术,在计算机集群上面根据需求运行多个程序实例来处理各个子任务,然后再对结果进行归并,实现了海量空间数据的并行地理分析。对城市规划中涉及到的地形地貌、淹没、日照、视场分析等数据运算密集型应用进行并行化处理。

图2 城市规划中的GIS信息处理流程

图3 规划管理应用平台设计思路

3.2 平台功能和技术指标

规划管理应用平台能够实现基于语义的高效检索和基于MPI的高性能计算方法,提高基于多源遥感、三维GIS等空间数据资源的利用效率,从而实现高效、合理、智能的城市规划管理和分析功能。

平台实现的主要技术指标包括:①该平台能够对20种以上的城市多源异构遥感、GIS数据进行一体化描述和语义标注;②提供海量多源异构城市规划遥感、GIS数据的描述、检索、空间分析、规划分析等5种以上服务;③城市规划海量空间数据的检索的查全率达到98%以上,查准率达到99%;④实现基于MPI的大规模城市规划分析功能,如坡度分析、通视分析、日照分析等功能,对整个城市范围的大比例尺数据的规划分析性能提高5倍以上。

4 规划管理平台在广州超级计算中心的实现

广州超级计算中心是广州市的科技一号工程,是助推战略性新兴产业发展、支撑国家创新型城市和智慧广州建设的重大战略性基础设施,为广州、广东乃至华南地区的经济社会发展提供强大引擎,为物联网、动漫渲染、工业设计、城市规划、电子商务、电子政务等众多领域的个人、研究机构、企业和政府提供优质的高性能计算服务。有利于提升广东、广州的科技教育实力、产业竞争力、文化创新力和国际影响力,推动战略性新兴产业发展,提升社会服务管理水平。同时,也为规划系统海量数据的共享和计算提供了一条可行途径[5]。

广州超算中心超级计算机系统从组成结构上看,包括计算处理分系统、服务处理分系统、互连通信分系统、全局存储分系统、监控诊断分系统和基础架构分系统(见图4)。

图4 超级计算中心系统组成结构

为了验证规划管理平台设计的可行性,本项目组依据平台的性能需求,在广州超算中心申请了9个计算节点(见图5)。其中,1个主节点部署系统的应用层,负责系统的用户界面显示和规划应用功能展示;1个子节点部署任务调度层,负责并行处理的作业调度,调用并行运算功能;并行处理层运行在7个子节点上,将计算完成的结果返回给主节点归并。图5是“广州市三维规划管理系统”在广州超算中心先导系统上的系统实现界面,其是对广州全市DEM数据的并行坡度分析结果图,总共运行时间约7s,比串行坡度分析效率提高近5倍。

图5 平台在广州超级计算中心实现效果图

5 结束语

本文针对城市规划中地理信息数据量膨胀、模型复杂化、实时计算的迫切需求,依托超级计算机海量数据管理和处理能力,突破海量GIS数据高效存储、复杂三维空间数据并行计算等技术难题,构建城市规划管理与应用智能平台,为建设“智慧城市”、实现“三规合一”统一提供信息技术支撑,以提高测绘地理信息服务政府、服务社会的保障能力,最终推动地理信息战略型新兴产业持续、健康、快速发展。

随着大规模科学计算成为继实验和理论分析之后第三种科学研究手段后,高性能计算技术已经成为国内各个地区经济转型期新的经济增长点和技术服务支撑,国家级和省级的超算中心雨后春笋般竞相成立。广州市正处于经济发展的转型期,要充分利用广州超算中心在高性能计算方面独特的优势,为以生物、地球科学、物联网等为代表的各类新兴产业提供优质的高性能计算技术服务。

[1]冉磊,高磊,张宇琳,等.三维数字城市技术在城市规划中的应用[J].城市勘测,2010(2):99-101.

[2]刘勤,马建林,赵江波.GIS在城市规划管理信息系统中的应用[J].城市勘测,2010(3):20-22.

[3]王握文,陈明.“天河一号”超级计算机系统研制[J].国防科技,2009(6):4.

[4]张丹丹,郭培卿.第39届全球超级计算机TOP500排行榜[J].高性能计算发展与应用,2012,39(2):06-08.

[5]张军华,臧胜涛,单联瑜,等.高性能计算的发展现状及趋势[J].石油地球物理勘探,2010,45(6):918-925.

[6]刘航冶,李二森,张振华.基于集群的影像并行OPTA算法研究[J].测绘工程,2011,20(2):35-38.

[7]王结臣,王豹,胡玮,等.并行空间分析算法研究进展及评述[J].地理与地理信息科学.2011,27(6):1-5.

[8]张剑清,柯涛,孙明伟,等.并行计算在航空摄影测量中的应用与实现[J].测绘通报,2008(12):11-14.

[9]吴佳妮,刘露,陈荦,等.高性能计算环境下地理计算服务流程并行处理方法[J].计算机科学,2012,39(11):111-115.

[10]姚燕华,孙翔,王朝晖,等.广州市控制性规划导则实施评价研究[J].城市规划,2008(2):38-44.

[11]周浩,钟波,罗志才,等.OpenMP并行算法在卫星重力场模型反演中的应用[J].大地测量与地球动力学,2011,31(5):123-127.

猜你喜欢

超级计算机数据量海量
超级计算机
一种傅里叶域海量数据高速谱聚类方法
基于大数据量的初至层析成像算法优化
计算Lyapunov指数的模糊C均值聚类小数据量法
高刷新率不容易显示器需求与接口标准带宽
宽带信号采集与大数据量传输系统设计与研究
超级计算机及其在航空航天领域中的应用
海量快递垃圾正在“围城”——“绿色快递”势在必行
美国制造出全球最快超级计算机
每秒100亿亿次 中国超级计算机