基于要素的城市地形图与管线数据库管理系统的设计与建设
2012-05-31黄登峰
黄登峰
(福州市勘测院,福建福州 350003)
1 前言
随着技术的进步以及用户需求的提升,城市测绘行业正面临着从“数字化测绘”向“信息化测绘”过渡的重大课题,以适应信息化时代对测绘行业提出的更高要求。面对新的形势和新的需求,城市测绘行业必须坚持走信息化发展道路,加快信息化测绘体系建设,推进测绘信息化进程,从而为城市的规划、建设、管理以及经济社会发展提供更好的测绘服务和保障。
福州市勘测院是福州市专业从事勘察、测绘、空间数据加工、地理信息系统开发的综合性生产科研单位。福州市勘测院以基础测绘和城市测绘为核心业务,及时准确地获取福州市现势性基础地理和属性信息,并加以管理和应用,为福州市的城市规划、建设和管理及各领域提供全方位的空间地理信息服务。
在2009年之前,福州市勘测院的地形图数据采用在MicroStation平台上开发的成图软件进行生产和管理,数据的日常维护管理基于文件图幅方式。2009年,我院为了实施新技术革新,推进信息化测绘生产技术体系建设的进程,从北京清华山维新技术开发有限公司(以下简称“清华山维公司”)引进了EPS2008地理信息工作站作为院基础测绘生产和数据加工平台,并与清华山维公司合作,结合测绘行业的相关国家标准和行业标准,建立了《福州市 1∶500、1∶1 000、1∶2 000数字线划图数据分类、代码、属性与符号定位规定》等适合福州城市测绘及地图制图需求的技术标准,基本解决了外业测绘及内业数据处理的问题。
但在新技术的应用和推广初期,由于未能很好解决新技术体系下的数据库更新管理、生产项目管理等问题,导致新技术的推广无法顺利进行。为了解决这一信息化管理的瓶颈问题,我院决定立项开发《福州市地形图与管线数据库管理系统》。本文就以该系统的设计与建设为例,具体阐述了与信息化测绘体系建设相关的一些难点问题、解决方案及关键技术。
2 系统建设的目标和内容
城市勘测行业的信息化测绘技术体系的建设,是一个复杂的系统工程,涉及前端数据采集、数据加工;后台的数据管理、数据维护以及对外的数据分发和服务等各个方面。
从总体上讲,该系统的建设目标如下:
(1)基于 EPS2008、ArcGIS、Oracle 等软件平台,建立要素级的1∶500基础地形图数据库与管线数据库。
(2)基于空间数据库,实现1∶500基础地形图数据和管线数据的实时更新,并对生产过程中产生相关元数据信息进行建库、管理以及查询浏览,同时提供配套的数据生产与管理工艺流程。
(3)实现空间数据库自身的管理功能,保障数据库的正常运行和数据自身的安全。
(4)在新的技术体系下,为我院内部现有的软件信息系统以及福州市相关的政府部门、企事业单位提供数据分发服务。
3 系统的总体框架设计
系统的整体设计遵循了“分层设计、模块构建”的思想,具体如图1所示。
图1 系统总体框架图
整个系统体系结构由三大部分构成:数据层、组件层、应用层。其中:
数据层包括数据库层和数据访问层。数据库层主要是存放在Oracle中的地形图、地下管线等空间信息数据库以及相关的业务数据信息,是系统管理的对象。数据访问层主要包括ADO服务、XML服务、FTP文件服务以及ArcSDE服务,是应用系统与数据库进行信息交互的中介。
组件层主要包括 ArcEngine 9.3、.Net Framework 2.0。其主要职责在于将相对稳定不变的通用支撑技术与高层可变的应用进行隔离,通过基础集成框架做统一维护管理,同时暴露相应的应用开发接口,供高层应用使用。
应用层包括业务逻辑层和展现层。业务逻辑层主要包括GIS基本功能、生产项目管理、数据更新、数据分发、业务应用以及系统管理等模块,其中最为核心的是工程项目管理、数据更新以及数据分发模块,该业务层主要是以数据为中心进行管理,以项目工程为依据进行业务应用。展现层则是针对用户操作的人机交互界面。
4 系统功能实现
该系统不是一个单纯的数据库查询和检索的管理系统,而且包含为外业测绘生产(包括地形图和地下管线)提供服务的大量业务功能。一方面,该系统为外业测图提供现存最新的地形图或管线图作为进一步修测的基础;另一方面,外业修测的成果入库后,又实现了数据的更新,保证了数据库的现势性和生命力。同时,还要兼顾院内其他在用信息系统以及对外数据服务的需求。
根据系统的需求分析以及总体设计,福州市地形图与管线数据库管理系统基本上由GIS基本操作功能、生产项目管理、元数据管理、数据库更新管理、历史数据管理、数据库安全管理、数据分发、系统安全管理等模块组成。
(1)GIS电子地图基本操作
①数据加载:系统基础背景及专题数据的加载显示,同时支持本地和远程SDE图层数据的加载。
②地图浏览:提供地图放大、缩小、平移、显示全图、前后视图切换等基本的地图浏览功能。
③属性查询:提供电子地图中专题图层地物要素的属性信息,如地下管线的属性信息、地形图要素的属性信息等。
④图层控制:通过改变当前视图中各图层可视状态(显示/隐藏、显示比例尺范围设置等),从而改变当前地图的显示效果。
⑤地图定位:为了方便用户快速的浏览和查询数据,系统提供了坐标定位、图幅号定位、道路定位、地名定位等多种地图定位功能,方便用户进行空间位置的快速查找和定位。
(2)生产项目管理
生产项目的管理主要是对与地形图或管线修测项目的基本信息进行管理和维护。
①项目范围线管理:传统的大比例尺测图成果管理都是按照图幅文件的方式进行的,当某一区域需要修测时,则将该区域覆盖的地形图或管线图幅文件拷贝给外业修测人员。在数据库管理模式下,所有的要素都合并为一个整体,当对一个特定区域进行修测时,必须根据该范围线的实际形状将包含的地形图或管线数据按要素下载给外业修测人员使用。因此,系统必须实现对每一个测绘生产项目的修测范围线(更新区域)进行有效的管理,包括范围线的绘制、属性信息的赋值、信息的查询以及空间位置的定位等。
②项目流程管理:根据用户输入的项目编号等条件,查看某项目在整个生命周期中所处状态,例如是否下载、修测成果是否上传、是否审核通过、项目是否已经完结等项目状态信息,如图2所示。
图2 测绘项目管理的流程图
③与项目管理信息系统的交互:该系统中的大部分项目都是通过《勘测工程项目管理信息系统》下达的,因此同一个修测项目的属性信息和流程状态在两个系统中应该保持一致,因此必须进行两个系统信息的互操作,包括读取项目的属性信息(如项目编号等)、写入项目的流程状态(项目是否入库)等信息。
(3)数据库的更新管理
①项目数据下载:根据用户选定的修测范围线,从数据库中下载测绘生产项目所需要的1∶500地形图数据或地下管线数据。由于数据库中存放的是SDE的FeatureClass,下载后必须先转换为EPS2008软件能处理的EDB格式文件。
②数据冲突检测:在测绘生产项目完成并需要上传更新数据库之前,数据库管理员必须对该项目的更新区域内存在的冲突现象、数据质量问题进行全方位检测,若没有冲突且数据质量合格,则直接执行上传更新操作;否则,必须先进行冲突处理或质量优化,以防止出现数据丢失、保证数据安全。
③数据预入库:外业测绘成果经过检查无误后,可以通过该功能将项目成果数据进行预入库处理,将数据上传到临时库中。
④预入库数据比对检查:系统提供了预入库数据与上传文件、数据库数据的多角度比对,包括图形比对、报表比对分析等,方便数据管理员对每一个待入库项目都能快速、高效的分析检查,如图3所示。
图3 新旧数据比对分析图
⑤数据审核入库:预入库后的项目数据,经过数据管理员的再次审核,如果没有异常问题,就正式合并入库,完成数据的更新。否则,就回退项目数据,通知外业人员整改。
(4)数据的安全性管理
①项目文件FTP备份:为了防止系统异常导致的数据丢失,在每个项目的下载和上传过程中,系统都将下载文件及上传文件自动备份到FTP服务器上,用户可根据需要随时下载查看和分析。
②数据库备份:为了防止服务器系统崩溃导致的数据丢失,系统定期(根据需要设置周期)对后台数据库的全部数据进行自动备份。
③数据库恢复:数据库服务器一旦崩溃,需要重新部署时,系统提供的数据恢复功能可以在备份文件的基础上将数据库恢复原状,从而在最大限度上保证不影响外业测绘生产以及对外的数据服务。
(5)历史数据管理
①图历表管理:图历表是在图幅管理模式下用来记录某图幅发生修测变化的一些信息记录,是记录数据变迁的元数据。为了保持与原有图幅历史文件的延续性,系统将旧的图历信息和新系统下的图历信息进行了整合,可以进行统一查询检索,如图4所示。
图4 地形图历分析专题图
②历史数据检索:与图历表管理相对应的是,在某一个发生数据修测的时间点上,用户还可以调阅该时间点上数据版本的前后对比信息,便于用户检索和查阅历史数据,如图5所示。
图5 历史数据版本检索比对图
(6)空间数据分发
系统数据库存放的是ArcSDE的FeatureClass数据,而生产用的是EPS2008的EDB格式的文件数据,外部用户所需要的数据格式更是多种多样,包括DWG格式文件、DGN格式文件、ArcGIS Shape格式文件、MapInfo Tab格式文件等等。
系统的空间数据分发功能主要就是根据用户选择的空间范围以及需要的数据格式,将数据库中的SDE数据下载并转换成其他的数据格式,提供给不同的用户使用。
(7)系统维护管理
系统维护管理功能主要是保证系统正常稳定运行所需的一些辅助管理功能。具体包括:
①用户管理:用户信息(用户名称、所在部门、对应角色等)的管理。
②组织管理:用户所在组织机构信息(组织名称、包含用户等)的管理。
③角色管理:系统操作角色信息(角色名称、允许操作的功能权限、相关的用户名称等)的管理。
④参数管理:系统运行中一些关键参数的配置管理。方便用户在环境发生变化时,对这些关键参数进行修改和配置,提高系统运行的灵活性。
5 项目的特色
(1)实现了“测绘一张图”
系统基于ArcSDE+Oracle技术,在辅以EPS的符号化显示技术,将 1∶500地形图、1∶1 000地形图、1∶2 000地形图、地下综合管线数据、影像数据、GIS电子地图数据、地理实体数据等有机地整合到“一张图”上,使数据的管理、应用和维护更加方便、直观,也为其他部门的管理和经营人员查询和了解院部的数据资源提供了便利,如图6所示。
图6 实现了“测绘一张图”
另外,随着应用的深入,还可以将其他更多的数据资源纳入这个管理系统,例如控制点资料、电子政务GIS应用数据等。
(2)严格的数据出入库管理
在图幅管理模式下,数据的出入库管理相对简单,只要对同一个图幅的文件进行拷贝和粘贴操作就可以完成(在数据质量通过质检的前提下)。在该系统中,数据的出入库管理需要解决不同的平台数据格式(EPS2008 EDB数据和ArcGIS Geodatabase数据)之间的图层对照、属性字段对照、空间数据异常监测等诸多问题,因此需要更加严格的管理措施:
①图层对照:系统在数据库设计阶段,为所有的专题要素图层都建立对照关系,如地形图中的植被点、植被线、植被面都在EPS数据和Geodatabase数据中建立了对应的植被点、植被线、植被面的FeatureClass,管线数据中将EPS中的给水管线图层映射到Geodatabase中的对应给水点、给水线、给水注记的FeatureClass等。
但EPS平台还会为数据文件增加辅助图层用于编辑,如地形图中的Default、PNT数据图层,管线图中的管线草图、断面图层等,这些辅助图层中临时数据如果在入库前没有处理好,入库监测时系统就会提示异常,以防止出现数据丢失。
另外,正是因为有了这种严格的图层对照关系,才使得数据的分层出入库成为可能,如地下管线的出入库就可以根据实际需要灵活选择下载和上传的管线种类(如单一的路灯管线修测、包含煤气、天然气、液化气3种管线的燃气管线修测等)。
②属性字段对照:由于该系统实现了真正意义上的GIS要素级管理,因此属性信息非常丰富,这一点在管线数据管理上特别突出。在管线的属性数据中,甚至还包含了空间拓扑信息,如管点和管线的连接关系就是通过管线的起始点编号、终止点编号,管点的所在管线编号等属性信息来表达的。因此在数据的出入库过程中,必须建立严格的字段映射和对照关系,防止出现数据信息的混乱或丢失。
图7 数据上传前的异常监测
③空间数据异常监测:由于EPS平台和ArcGIS平台在空间数据的数据上有不同的要求,因此EPS数据要素的某些空间特征在ArcGIS的Geodatabase数据中是不允许存在的,如地形图数据中的自相交线、自相交面,管线数据中的平铺线、点线(区分变坡点线)等特殊情况,都必须在入库阶段进行数据检查,一旦发现异常,就提示数据管理员进行相应的处理,如图7所示。
(3)灵活的历史数据版本管理
在图幅文件的管理模式下,历史数据的管理是直接将历史文件更名,在文件名上加入时间版本信息,以备份保存的方式进行历史数据的管理和检索。
新的技术体系下,所有的数据都是基于要素的方式进行管理,为了有效地管理历史数据,系统在后台数据库中为历史数据建立了与现状数据结构完全相同的FeatureClass,并且在所有的空间要素的记录中都增加了标识时间的字段(采集时间和更新时间)。当数据库发生更新操作时,系统自动将旧的要素剪切移植到历史数据图层,同时将新的要素添加到现状表中。当需要调阅历史数据时,再根据时间段从现状库和历史库取出对应的数据,进行必要的分析和综合运算后就能得到某时间段的历史数据版本。
(4)修测项目范围冲突的协调管理
在日常的测绘生产中,两个或更多的项目范围线发生交叉冲突的情况经常发生,两个或多个项目组争用同一块数据会导致工期延迟、数据丢失等不良的后果。
在图幅文件管理模式下,数据都是以图幅为单位,发生数据冲突时,往往由数据管理员和作业组之间进行协调,使得争用数据(常常是若干个单独的图幅文件)的使用和修改有序进行,从而避免混乱。
在要素管理模式下,数据不再以图幅进行分割,而是根据选定的更新区域进行整体的下载,对于冲突区域的处理必须采用不同的方式,如图8所示。
图8 修测项目更新区域冲突示意图
在该系统中,我们采取了机器判读和人工干预相结合的办法:
①机器判读:在每个项目上传入库之前,软件系统都要与数据库中的数据进行比对,通过检查可以发现冲突区域中是否有其他工程修改的要素,如果有,则可以提示数据管理员下载最新的数据,交给未入库的项目组进行处理。
②人工干预:机器判读会增加作业员的工作量,在实际操作中往往会遇到阻力。人工干预可以通过等待前一项目入库、修改更新区域、项目组之间协商等手段来尽量避开或减少冲突,减少工作量。另外,人工干预还可以将一个大范围的修测任务(如市政道路工程等)分割成若干个小的修测任务,便于多个作业员协同工作,既可减少冲突,又可提高作业效率。
(5)海量空间数据的高效管理
一个城市的空间数据常常都是海量信息,以福州为例,目前福州市建成区的面积已扩展到400 km2,随着福州“东移南扩”的推进,城区面积还将进一步扩大;从数据库的角度看,目前已经入库的地形图和管线数据的现状要素量达到了700多万,加上历史记录,数据库已达到1 000万条记录的量级。
为了在保证数据安全的前提下尽量提高数据库的访问与响应效率,系统除了在服务器硬件配置上采用较好的设备外,还在软件优化方面采用了数据缓存、多线程、空间索引优化等多项技术来提高数据库的访问效率,改善了用户的操作体验,满足日常生产对系统响应效率的要求。
6 结论
系统投入运行后,经过近一年的实践检验和不断的优化完善,软件系统及配套的管理制度已经能基本上满足我院地形图和管线日常修测的数据生产和更新管理,并且通过与院内相关业务软件系统的有机衔接,实现了平滑的过渡。
该项目的实施和应用,对于我院在新的技术平台下建立信息化测绘技术体系具有重要的意义。一方面,它解决了新平台下数据生产和更新管理的问题,另一方面,建设了新的数据库体系,整合了数据资源。
同时,该项目还为以后将更多的测绘资源数据进行整合奠定了基础,如果进一步加以扩展,既可以更好地整合城市测绘的数据资源,也可以更好为“数字城市”的空间信息基础设施的建设服务,更好地为政府和社会公众服务。
[1]周信炎.信息化测绘体系:一个新的战略方向——访中国测绘学会理事长杨凯[R].中国测绘学报,2006.5.16
[2]宁津生,杨凯.从数字化测绘到信息化测绘的测绘学科新进展[J].测绘科学,2007(02).
[3]李德仁,苗前军,邵振峰.信息化测绘体系的定位与框架[J].武汉大学学报·信息科学版,2007,32(03).
[4]国家测绘局.关于加快推进测绘信息化发展的若干意见.2006.
[5]王磊.城市空间数据库动态更新生产体系关键技术研究[J].测绘通报,2010(05).
[6]潘瑜春,钟耳顺,赵春江.GIS空间数据库的更新技术[J].地球信息科学,2004,6(1).
[7]范大昭,张永生,雷蓉等.GIS数据自动更新技术[J].测绘科学,2005,30(3).
[8]宋玮,王家耀,郭金华.面向对象时空数据模型的研究[J].测绘科学技术学报,2006(8).