农地确权数据成果汇交管理系统设计与实现*
2019-12-11薛春璐马红旺裴志远
薛春璐,郭 琳,马红旺,卢 萌,裴志远
(1.农业农村部规划设计研究院农业资源监测站/农业农村部耕地利用遥感重点实验室,北京 100121; 2.中国农业科学院农业信息研究所,北京 100081; 3.易智瑞(中国)信息技术有限公司,北京 100028)
0 引言
数据成果汇交是行业数据共享的前提,是推动科学数据可持续发展的动力,是行业大数据应用的支撑。各类科技行业都在实际工作中进行过数据汇交的尝试,如极地考察科学研究工作[1]、中医药科学[2]、水利科学[3-4]、生态科学[5]等。农业科学共享数据已有汇交管理流程[6],但汇交数据的规范性尚需完善。农村土地承包经营权确权登记(简称“农地确权”[7])成果数据是农业领域大数据构成之一[8],与当前结构化和非结构化农业大数据整合分析,可以针对不同需求,基于大数据分析做出辅助性决策,更加有效地利用当前农业信息资源。
2009年,中国为妥善解决农村承包地四至不清、面积不准等问题[9-12],建立了应用3S技术等现代信息手段[13-17]进行农地确权的工作流程,以实现农村土地承包经营权的空间化和信息化,完善农村土地承包制度,为贯彻落实“三权分置”[18-20]政策提供保障。自提出农地确权工作以来[21],全国陆续开展该项工作的涉农县超过2700个,部分地区已完成调查工作[22]。随着全国农地确权工作的进行,各省积极整理农地确权调查工作的数据和资料,并严格按照农业部门下发的有关政策[23-25]组织农地确权数据成果汇交工作。虽然中国正在建设有关农业农村大数据信息系统[26-27],但大数据量、大业务量的农地确权成果数据短时间内集中汇交给中国农地数据管理造成了一定压力。为缓解国家级农地信息平台建设压力,提高农地确权汇交工作效率,文章将政策规范信息化,依据《农村土地承包经营权确权登记数据库成果汇交办法(试行)》(农办经[2015]13号,简称《汇交办法》),梳理汇交业务流程,形成系统核心功能,基于GIS平台[28],研发了农村土地承包经营权确权登记数据成果汇交管理系统。该系统是国家农地信息平台的咽喉,有序接收全国各县农地确权成果数据,向上承接“数据质量检查系统”,向下关联“数据库管理系统”,支撑国家级农地确权信息应用平台建设,支持大数据量成果管理和空间统计分析,对全国各省、市、县分区数据汇交情况、数据质量、承包地各类农业用途、是否基本农田、权证信息情况、承包方情况等进行空间挖掘,为开展农地大数据应用提供基础地理信息数据保障,并对省、市级行政区农地确权数据成果汇交管理系统建设提供技术示范。
1 系统总体设计
1.1 需求分析
系统首先满足政策业务需求,保障大数据量、大业务量的全国农地确权数据库成果短时间内集中顺利汇交,并满足数据管理系统基本需求。政策需求方面, 2016年6月,《农业部关于做好农村土地承包经营权信息应用平台建设工作的通知》[29]提出汇交建库及管理要求:国家级层面到2018年完成不少于1 500个县级确权成果数据汇交工作, 2019年以后逐步完成剩余县的汇交工作,在此之前,《汇交办法》文件规范了以县级行政区为基本单位的农地确权数据库成果提交程序、内容、形式以及存储规则。
业务数据量方面,全国2 700多个行政县的农地确权成果汇交业务数据量大、业务量大,涉及数据基础地图、矢量图形数据、权证信息数据的存储,以及时间和空间角度的全国各级行政区农地确权信息的统计与分析。农地确权成果数据类型复杂、数据格式多样,据农村土地承包经营权信息应用平台建设方案,全国农地确权数据存储约3 600TB,估算结果如表1所示,估计影像数据所占数据量比重最大,其次是图件数据,估计与影像数据量差距很大。
表1 全国农地确权数据存储量估算
数据种类影像数据权属数据矢量数据图件数据合计数据量(TB)3 214.5517.2044.02305.003 580.77占总数量(%)89.770.481.238.52—
在政策需求和大数据量、大业务量需求的前提下,该研究综合考虑系统稳定性、安全性、易操作性、高效性和可扩展性原则进行研发[30]。
该系统基本功能需求:一是要易于进行以县为单位的农地确权数据成果汇交业务,实现数据高效审核、录入; 二是能对数据进行管理和初步挖掘,按时间、空间和指标进行查询、汇总、统计、分析,为农地大数据研究提供基础; 三是与农地信息平台中其他系统对接,关联“数据质量检查系统”和“数据库管理系统”,缓解数据存储压力。
1.2 系统构架设计
确权成果数据涉及空间信息,原始测绘数据的保密性要求数据通过物理隔离方式进行提交,系统应在局域网中进行操作,并支持多用户操作模式。系统基于ArcGIS平台和Web服务器[31-32]作为组件层在B/S模式下进行开发[33-35]。系统总体架构如图1所示,包括数据层、组件层、应用层和交互层[36-39]。系统底层构架数据层采用关系数据库和空间数据库对不同类型数据进行组织,以避免农地确权数据在系统运行产生大量信息而影响系统操作。在数据层和组件层的支持下,系统可以完成汇交单元管理、汇交状态管理、汇交成果管理、汇交数据分析和系统管理的应用。最后在交换层实现与用户的交互,实现系统功能操作。
图1 系统总体设计
1.3 接口设计
接口设计为不同功能模块和系统之间设置通信规则,提高系统运行效率,用来实现系统大量数据高效读写、查询、与农地信息平台其他系统之间的互联互通。根据系统前端功能需求来设计后台操作接口,统一资源定位符、统一数据提交类型、统一用户操作类型、统一参数信息和返回信息等。系统接口设计内容涉及系统管理接口、汇交预约接口、上传解析信息接口、数据入库接口和对接其他系统的接口。
1.4 数据库设计
数据库主要由汇交业务类、汇交数据类、质检类和系统类信息组成,其具体内容如图2所示。系统采用关系数据库和空间数据库对不同类型数据进行组织。汇交业务类库表记录汇交业务进度管理的各种信息,主要用于管理在汇交过程中产生的各种节点事件和流程。汇交数据类库表记录汇交上来的汇总表数据,主要用于进行汇交数据的统计、分析和查询。质检信息类库表记录与质检系统交换的信息,主要用于统计质检情况。系统类库表用于记录系统内的各种信息,主要支撑系统运行。
图2 汇交管理系统数据库表设计结构
图3 汇交业务流程
2 系统功能设计
系统服务于全国农村土地承包经营权确权登记数据库成果汇交工作,审查汇交数据、录入合格数据、记录汇交数据的质检结果和统计分析汇交情况,提高数据管理工作效率,关联数据质检系统和数据库管理系统。
2.1 核心业务流程
依照《汇交办法》的业务要求,对汇交业务流程进行了设计(图3)。《汇交办法》要求以县级行政区为单位进行数据库成果汇交。由于数据的涉密性质,必须以物理隔离的方式进行提交。如图3所示,系统记录数据汇交时间、提交单位信息,并扫描汇交数据包记录各类数据存储量,系统记录汇交数据基本情况。对数据进行初审,若人工识别出数据不完善,如数据种类不全、数据命名不符合要求等,则退回数据; 如果数据通过人工初审,系统派送质检任务对其进行数据质量检查[12],生成质检报告并反馈给该系统。若数据不合格,数据需重新汇交; 若数据合格,系统录入汇交数据,辅助数据库管理系统建设,同时生成数据汇交成功记录。
2.2 功能模块设计
2.2.1 汇交预约
该模块记录汇交单位与提交人的基本信息,并初检汇交数据包内各文件是否按照《汇交办法》进行组织,能扫描并录入汇交数据包各类文件数据量大小和各类文件总数,并记录存储位置。系统数据库内部存储全国县级行政区划代码,汇交单元代码按照行业标准执行[40-41],便于汇交单元快速录入。汇交预约成功的将进行汇交处理。
2.2.2 汇交处理
按照汇交业务流程处理汇交状态,与数据质检系统对接,派发质检任务,接收质检结果,对汇交预约失败和质检不合格数据进行退回处理,并进行记录; 录入质检合格的汇交数据包,为进行汇交成果分析和数据分析提供基础。
2.2.3 成果管理
各类汇交业务完成情况可以随时间在空间上形成特征,为掌握农地确权成果汇交工作在不同时间和区域的进展情况,比较、初步评价和监测各地区确权工作态度和完成质量,系统从时间回溯和空间角度对“汇交进度”、“质检情况”和“汇交数据量”等方面,采用人机交互模式,基于全国、省、市不同行政级别统计和查询汇交成果,主要指标有汇交单元数量、汇交进度、汇交率、汇交通过率等,以及各类数据文件数量和数据量大小,并形成各指标的统计图表和地域空间聚类分析结果。
2.2.4 数据分析
系统采用人机交互模式,在ArcGIS服务器支持下,基于中国行政区对汇交数据进行快速挖掘分析,进一步体现此次农地确权工作获得的地理信息数据价值。包括承包地各类农业用途、是否基本农田、权证信息情况、承包方情况等。
2.2.5 其他功能
系统与数据质检系统和数据库管理系统通过接口实现各系统之间的互联互通,缓解数据运行压力,提高总体运行效率。
3 系统实现
3.1 开发环境
系统由3种服务器支撑开发,其中Web服务器操作系统为Linux上面的uWSGI,由Microsoft Internet Information Server结合ArcGIS for Server支持系统运行,内存16G,存储刀片约4PB。数据库和ArcGIS server服务器系统为windows 2008 r2。数据库平台采用对空间数据的支持性好、稳定性高、兼容性好、可运行于多种平台的Oracle 12c。系统开发前端操作系统为Windows 10。系统采用目前主流的Html、JavaScript、Python3类计算机语言联合编写,其中服务器端采用Python语言来完成后台的请求响应和数据库操作功能,以*.json文件为后台和前端数据交互格式。系统前端采用Eclipse支持JavaScript 语言进行系统开发,在浏览器中用Html搭建Web界面,实现系统功能。
3.2 系统运行
对系统各项功能进行测试,在各种汇交业务状态下,系统运行正常,于2016年7月试运行,辅助各省的确权数据成果向国家层面提交,确保汇交单元顺利进行预约,并将合格的汇交数据录入数据库管理系统,此后系统将不断针对实际业务需求进行改进。
目前,随着《关于汇交县级农村土地承包经营权确权登记数据的通知》(农(经综)函[2016]207号)的下发,全国各地区依据通知规定的时间陆续提交数据,结果表明,截止2018年4月25日,全国已有25个省(市、区)共1 140个县申请过数据汇交,约占全国行政县总量的40.98%,有507个县完成汇交,汇交进度18.22%,初步统计数据量达2 866TB。自系统导出全国各省汇交业务统计结果如表2所示。
表2 全国各省(市、区)汇交业务情况统计结果(截止2018年4月25日)
区域汇交进度(%)汇交次数(次)完成汇交县(个)应汇交县(个)汇交通过率(%)汇交率(%)全国18.221 1405072 78244.4740.98北京0.0000130.000.00天津0.000060.000.00河北0.5611179100.000.56山西58.261166711557.76100.87内蒙古0.00301040.002.88辽宁0.0080800.0010.00吉林0.0000650.000.00黑龙江6.7812811866.6710.17上海0.001090.0011.11江苏5.563859013.1642.22浙江0.0030900.003.33安徽64.081146610357.89110.68福建0.00180810.0022.22江西6.809471037.4591.26山东81.2916312615577.30105.16河南0.008801530.0057.52湖北15.6327159655.5628.13湖南5.479712877.787.03广东0.004301150.0037.39广西0.921111099.0910.09海南50.0012112291.6754.55重庆0.0000380.000.00四川42.071466916447.2689.02贵州15.7966159522.7369.47云南0.00001310.000.00西藏0.0010730.001.37陕西53.21675810986.5761.47甘肃33.3371298740.8581.61青海0.0060340.0017.65宁夏100.00222222100.00100.00新疆0.0000950.000.00 注:港澳台没有参与确权工作
据表2统计结果,宁夏汇交进度达到100%,即该省在统计截点已经完成了农地确权汇交工作。北京、天津、吉林、重庆、云南、新疆尚未提交过数据成果。部分地区如上海、西藏、内蒙古、浙江、青海、辽宁、福建、广东、河南已提交确权成果数据,但尚未完成质检或未通过质检,因此没有完成汇交的县。河北省目前只完成了一个县的汇交,其汇交进度为0.56%,但其汇交通过率为100%,说明这个县仅提交过1次,且1次性通过了质检,表明数据质量好。山西、山东、安徽的汇交率超过了100%,即汇交次数大于应汇交县数量,说明有些县不只提交过1次,存在重复提交或数据退回再次提交的情况。
汇交进度、汇交通过率和汇交率客观反映各区域确权工作质量。汇交进度是完成汇交县数量占应汇交县数量的比重,是反映农地确权工作完成多少的指标,其中完成汇交县是指数据质量合格的数据成果。汇交通过率是完成汇交县数量占汇交次数的比重,是对汇交成果数据质量的衡量,其中汇交次数包含重复提交或数据质量不合格被退回再次提交的情况。汇交率是汇交次数占应汇交县数量的比重,可以反映各地区汇交工作积极性,与汇交进度指标结合进一步反映汇交数据质量。汇交率不会小于汇交进度。对上述3个指标进行统计对比分析(图4)。
图4 全国各省汇交情况分析
按照各省汇交进度由大到小排序,图4结果表明,宁夏、山东、安徽、山西、陕西、海南汇交工作进度过半,表明汇交工作进展快。其中,宁夏3个指标值都是100%,是统计截点时农地确权数据成果汇交工作质量较好的地区。陕西、海南、黑龙江、湖南、湖北、河北等地区汇交通过率相对较高,且高于汇交率,汇交进度与汇交率差距小,表明这些地区数据质量高。上海、西藏、内蒙古、浙江、青海、辽宁、福建、广东、河南只有汇交率,汇交进度和汇交通过率为0%,表明提交过的数据尚未完成质检或未通过质检。结果表明,汇交通过率越大,数据成果质量相对越好。汇交进度与汇交率差距越小,表明数据重复提交次数越少,农地确权成果汇交工作质量越好。
基于汇交情况,利用动态绘制技术,将最新的县级行政边界实时更新到系统的GIS 服务器上,实现了对不同时间、不同空间区域的汇交成果分析和确权成果数据挖掘分析、汇交数据情况分析。选取部分系统运行结果进行示例,如图5所示。
图5-a 汇交业务成果统计结果(山东省部分城市) 图5-b 汇交业务成果空间分布(山东省)
图5-c 全国汇交业务结果统计分析
图5-d 全国汇交数据量统计分析
图5-e 基于确权成果数据的承包地利用分析(宁夏)图5 汇交数据分析实现结果(截止到2018年4月25日)
图5-a与图5-b以山东省为例表达汇交业务成果,其中图5-a为系统界面左侧,表达汇交业务统计情况,图5-b表为系统界面右侧,空间上表达了东省西部和中部完成汇交县数量多,济南市、滨州市和烟台市完成汇交县数量较多,其他地区完成汇交县数量较少。图5-c为全国汇交进度情况统计分析,可见汇交工作完成了18.22%,汇交通过率为44.47%,从下排柱状图可见各省汇交进度情况。图5-d为数据量统计分析,可见全国栅格数据量最大,为2 813.06TB,占总数据量的97.47%,其次是图件数据量,占总数据量的1.69%,其他资料数据量占总数据量的0.65%,矢量数据仅为0.18%,这种比例情况与需求分析中的农村土地承包经营权信息应用平台建设方案估算比例结果较一致;下排柱状图是各省各类数据量的统计分析,鼠标滑过可见其详细情况,图中所示为黑龙江省各类数据量。图5-e是基于已汇交工作的确权成果数据空间分析实现,以宁夏为例分析了承包地块面积情况,可见定西市承包地面积最大。
系统运行结果可初步掌握全国各地区农地确权成果汇交工作情况,了解农地确权工作完成进展和数据质量,是农地大数据的来源之一。系统根据汇交成果实时分析中国耕地承包经营权情况,促进确权成果服务于现代农业建设,为贯彻“三权分置”政策、培育新型农业经营主体、农业补贴发放、土地经营权抵押、高标准农田建设、耕地质量保护与提升、农业规划等提供数据支撑。系统有序接收全国各县农地确权数据成果,为数据库管理系统分担数据处理压力,支撑国家级农地确权信息应用平台建设,为开展农地大数据应用提供基础地理信息数据保障。
4 结论
该研究依据《汇交办法》及全国农地确权工作需求,在梳理汇交业务流程的前提下,基于GIS平台和Web服务器,采用B/S模式,研发了“农地确权数据成果汇交管理系统”,实现了农地确权数据库成果汇交业务信息化和相关数据分析。系统运行结果如下。
(1)实现了政策性业务信息化,以县为汇交单元的农地确权数据成果汇交业务信息化,包括汇交预约和汇交数据信息录入,对汇交数据文件包进行扫描并审核,保障汇交数据质量。
(2)实现了各类汇交业务的高效处理,能与数据质检系统和数据库管理系统互联互通,承接数据质检系统工作结果,支撑中央数据库管理系统数据准备工作,缓解农地确权数据成果整理工作压力,提高工作效率。
(3)采用人机交互模式实现了大数据量的农地数据可视化管理、统计与分析,从时间回溯和空间区划角度,对汇交业务和数据进行计量、空间查询与统计分析,分析结果为现代农业建设、“三权分置”政策贯彻、农业供给侧改革和土地规模化经营策略提供参考依据。
研究基于系统运行结果,仅对一个统计截点的数据进行了简单分析,多个统计截点的系统运行结果可进一步作对比分析,监测全国各地区农地确权数据成果汇交工作进度和数据质量。由于系统功能上的界定,该系统仅对农地确权数据成果中的汇总表信息和部分权属信息进行了数据挖掘分析与成果表达,而更深入的数据挖掘,如不同用地等级的承包方式的面积比重、人均和户均承包地面积、不同年龄段和性别的承包方代表数量及其承包经营面积等将在数据库管理系统中进一步实现。该系统对各省市汇交管理系统建设具有技术示范与指导意义。系统辅助大数据量的全国农地确权成果汇交工作进行,汇交工作结束之后,所得成果将支撑国家级农地确权信息应用平台建设,对全国农地确权空间数据库建设和数据服务提供支撑,为农地大数据应用提供保障。