农业园区全景GIS数字化系统设计与应用
2018-06-21王元胜李瑜玲吴华瑞孟淑春
王元胜,李瑜玲,吴华瑞,郭 威,陈 诚,孟淑春
(1. 北京农业信息技术研究中心,北京 100097;2. 石家庄市农林科学研究院,石家庄 050041;3. 北京市农林科学院蔬菜研究中心,北京 100097)
0 引 言
当前,经济社会已经由信息(information technology,IT)时代进入数字(digital technology,DT)时代,数据已成为各行各业发展的重要创新驱动力,农业大数据在重塑生产要素、精准管理决策、培育新动能等方面具有广阔前景,农业园区作为科技研发和技术推广的“孵化器”之一,是农业现代化的重要领域,承载着产业聚集、科研协同和示范引领等重要功能,迫切需要在提升科技服务水平、促进供给侧结构性改革、提高农产品质量和市场竞争力等方面加快发展,开展数字化园区建设是实现这一目标的重要途径[1-2]。
运用地理信息、三维数字化等技术是实现园区信息化的常规手段,可以通过 GIS数据、遥感影像数据、三维建模数据实现园区可视化管理。近年来,球面全景图加入GIS框架的全景GIS技术成为信息化发展的重要内容,可以多角度、多方面三维视觉大幅提升二维地图的实景效果,并能充分运用多媒体甚至物联网实时监测等多种类型信息进行综合管理,在拓展信息化深入发展、消除“信息孤岛”等方面发挥重要作用[3-7]。
然而,常规的数字化通常是依赖大型商用GIS平台对大规模地物进行数字化建模,这种建模方式成本高昂[8],在基层小尺度园区数字化建设上有很大的局限性,本文针对此背景,结合基层农业园区典型业务需求,面向园区信息化设计提出了基于全景GIS的低成本数字化方案,设计并实现了园区全景信息动态管理、监测数据在线分析挖掘和试验数据协同分析等功能,以期为促进物联网、大数据在农业领域的深入应用,提供了借鉴模式和方法。
1 园区数字化技术
园区数字化的核心任务是实现数据的快速采集和在线化,形成大数据,进行可视化建模和在线挖掘分析。其中基础地理、作物生长环境和试验等数据与现阶段园区“产业聚集、新动能培育”发展目标紧密相关,全部采用人工方式或自动化采集方式不符合传感器技术发展现状和园区应用实际,本文采用自动化物联网监测、数字影像无人机规模化拍摄和跨学科跨地域业务数据协同获取等多种手段相结合的方式[9-12],实现园区数字化,主要技术流程如图1所示。
1.1 物联网监测
作物生长环境时空变异大,现有的传感器能够覆盖到常规监测指标,因此在大田和设施温室内最大限度部署小型传感器,对园区内各节点的空气温度、空气湿度、日降水量、风力、太阳辐射、风向、土壤湿度和土壤温度等数据进行自动采集,通过无线传输网络汇聚到园区全景 GIS云服务系统数据中心,为智慧园区管理提供历史数据和实时在线数据。
图1 园区多源数字化技术流程Fig.1 Multi-source technique process of park
1.2 无人机数字影像获取
在园区的基础地理数据采集上,采用大比例尺的三维建模方式需要投入大量人力,因此直接运用国产无人机,根据园区规模,在30~500 m高度范围内飞行,获取全景拍摄和高分辨率影像数据,进行批量畸变校正、图像拼接和地理坐标校正后,获取三维视觉的全景交互数据和平面GIS数据,为精细化生产、农作物生长过程观测等业务提供高效、动态、低成本的数字化管理技术[13]。
1.3 跨学科跨地域专题数据获取
对于与气象、墒情同等重要但又无法通过传感器实时快速采集的数据,设计采用支撑科研协同的方式进行跨学科跨地域专题数据获取,即通过信息系统将园区和农技人员、产业专家和科研院所连接起来,以协同合作的方式线下获取土壤肥力、作物长势和品种试验等专题数据,整合入系统进行挖掘分析。
2 高频并发数据存储技术
在园区数字化中,全景和基础地理相关的影像数据采用传统的非结构化文件存储,跨学科跨地域协作试验数据采用传统的关系型数据库存储。物联网实时监测数据不能直接采用传统的存储方式,需要在架构上进行扩展性设计,实现高频并发数据高效稳定存储。
2.1 高频并发数据存储流程及优化策略
物联网实时监测数据具有高频率、持续并发增长特点,易导致接收数据所在服务器信息系统瘫痪[14]。近年来兴起的NoSQL技术采用列存储的横向扩展方式解决这方面的问题,但这在农业园区应用中具有一定的难度。本文设计采用兼具NoSQL和关系型数据库优势的存储机制(图 1),对于基层部门的物联网实时监测数据管理具有较强的可行性。
高频并发数据存取流程(图2)具体实现机制采用由config、partion、pool、build和query模块组成的TribeDB中间件(Middleware)按表1的优化策略对传统的数据存取模式进行优化,对高频、并发量大的数据进行分表分库配置,增加其横向扩展性能,使MySQL具有可伸缩、高扩展的架构,从而具备海量数据分布式存取功能,成倍提升性能[15-16]。
图2 高频并发数据存取流程Fig.2 High frequency concurrent data access process
表1 统一存储模型优化策略Table 1 Optimizing strategy for unified storage model
当有数据向MySQL数据库存储时,TribeDB中间件读取 tribeDB.conf配置文件定义的分库/分表存储策略,对操作进行拦截和优化,将写操作统一由 TribeDB中间件按配置表路由要到指定的库(schema)和表(table)中,将频繁写操作对磁盘造成的I/O压力转移到TribeDB中间件,由路由策略将负荷分散到不同库表节点,从而避免因数据访问瓶颈导致服务器宕机。
2.2 高频并发数据存储架构
针对高频并发数据存取目标,设计“一主多从(1 Master –n Slave)”式MySQL存储物理架构(图3),基于 TribeDB中间件的统一存储调度功能,灵活增加普通数据库服务器,扩展系统的整体性能,从而高效应对大规模数据访问请求[17]。
在图3架构中,采用多个计算单元(CU1~CUz)、多个数据库服务器(DS1~DSn)和大量 MySQL数据库(Db1m~Dbmsn-1)来负载高频增长数据存储,物理拓扑结构与表 1设计的统一存储模型优化策略相对应,在CU1~CUn每个节点计算单元数据库服务器上都部署开源Node.js分布式计算总线(图4),基于TribeDB中间件,遵循tribeDB.conf定义的数据路由策略,通过调用优化动态路由配置(config)、数据处理模式(mode)、对象深度处理(util)、并发访问指令构建(create)、分区路由计算(partion)和多节点池化资源集群(pool)等模块的客户端存根(Stub)接口,优化MySQL原有的单点存取机制,保障数据的集群化协同存取目标(图2)实现,实现实时监测数据的并发存取任务。
图3 高频并发数据存取架构Fig.3 High frequency concurrent data access framework
3 园区全景GIS云服务系统设计
通过以上园区数字化技术获取的数据资源,本文选用开源软件为主的基础软件环境,采用主流的 Web Service 云服务技术进行园区全景GIS云服务系统设计研发,以降低基层管理部门数字化建设成本,保障系统的先进性和灵活扩展特性(图4)。
图4 园区全景GIS系统Fig.4 Park panoramic GIS system
全景 GIS相关基础软件采用开源 Geo Server和PaperVision3d,通过Tomcat Web服务器部署基于SOA(面向服务)和RIA(富客户端应用,rich internet application)框架,由TribeDB中间件提供Web Service接口,实现关系数据库负载均衡,Tomcat Web服务器提供各类业务的SOA云服务,面向专家、农技人员、科研机构和管理部门等类型用户,提供WebGIS和全景VR空间信息服务,以节省小尺度数字化系统构建成本。
3.1 全景GIS信息管理
将球面全景图纳入 GIS框架,可从多个方位对真实场景进行拍摄合成模拟,建立三维全景地图数据库,从整体、局部和细微角度呈现三维实景,大幅度提升二维电子地图的实景效果[7]。
在全景GIS构建上采用PaperVision3d引擎,在Action Script中对3D 对象(display-object 3D)、摄像机(camera)、材质(material)、场景(scene)、视点(viewport)、渲染引擎(render)等元素进行参数定义或动作控制,将全景图像作为Sphere 对象的纹理给球体添加纹理材质,对全景图像进行球面虚拟场景动态渲染,实现对园区的三维全景浏览和漫游交互功能[18]。
3.2 全景GIS二三维联动
球面全景图与 GIS的球面投影相似,虽然二者半径和球心位置不同,但各自投影系内坐标可以相互转换,从而实现全景GIS与GIS的二三维信息关联。联动的途径主要是通过在球面全景场景内底面“大地”坐标(x',y')与二维平面GIS场景内大地坐标(x,y)之间建立比例和平移转换关系,从而实现触及全景球面地物,可触发二维GIS中相应位置信息查询功能,如该位置的土壤肥力、投入品、废弃物综合利用等情况。
3.3 全景GIS系统相关模型与分析
全景 GIS系统大幅提升了二维地图的实景效果,在数字化应用服务上需要解决自身的坐标系转换、热点交互响应和物联网监测数据模型分析等方面的技术支撑问题,同时也需要对实景交互过程中的重要生产环节提供数据的协同分析功能。
主要途径是在软件工程中,运用全景GIS理论模型,在与用户交互的球面坐标系统中设置与全景平面图中对应坐标的热点响应事件,触发物联网实时数据查询、在线分析和跨学科协同分析等服务,实现数字化系统的全景交互功能(图5)。
3.3.1 全景坐标系转换
热点响应和“全景”与2D联动是全景GIS系统的2个关键技术点,实现上主要依赖于全景影像与交互视图的坐标转换,全景拍摄影像数据经批量畸变校正、拼接等处理操作后,得到如图6所示的2:1全景平面图,将其投影到图 7左侧图形所示半径为 R(其值为 L/2π)的半球面上[19-22]。
依据左手定则笛卡尔坐标系对应算法,即可得到二者坐标系转换模型,算出平面中 A(x,y)点在球面中对应A' (x',y',z')点的坐标值,如公式(1)所示。
图5 全景GIS系统热点交互Fig.5 Interaction of panoramic GIS system by hot spot
图6 园区全景平面图中任意点A的位置Fig.6 Position of any point A in park panoramic image
图7 球面上对应点A'的位置Fig.7 Position of corresponding point A' on sphere
式中,φ 为从球心到A'点的连线与Y轴夹角,θ为从球心到A'点的连线在XOZ平面上的投影与X轴夹角。
利用上述公式进一步计算,可得到平面点 A与曲面点A'的关系
3.3.2 物联网实时数据在线挖掘分析模型
物联网监测原始数据,往往不能很好地反映生产经营管理目标状况(例如作物需水量、病虫害发生情况等),通常需要基于原始数据形成的综合指标来进行挖掘分析。以作物需水量为例,选用彭曼—蒙蒂斯(Penman—Monteith)模型分析作物需水量,其中相对需水量模型如下[23-24]:
式中 ET0为参考作物蒸散量,mm/d;Δ为温度—饱和水汽压关系曲线在温度 T处的切线斜率,kPa/℃;Rn为净辐射 MJ/(m2·d);G为土壤热通量,MJ/(m2·d);T为平均温度,℃;r为干湿表常数;U2为2 m高处风速,m/s;es为平均饱和水汽压,kPa;ea为实际水汽压,kPa。
基于物联网监测数据,运用 TribeDB中间件调度相应数据,计算出作物参考需水量ET0,再根据作物各生长阶段作物系数,就可计算出作物生育期需水量,以此为核心,参与相关的分析,实例详见表2。
表2 物联网实时数据在线分析Table 2 Online analysis for internet of things datas
如表2所示,基于TribeDB中间件分布式协同计算技术,从存储系统中调度出模型的输入参数数据,计算作物需水量,实现物联网实时监测数据在线分析功能,解决了多指标物联网监测数据的降维分析问题。在此基础上,按文献[25-26]论述方法,选用非参数时间序列ARIMA(p,d,q)分析模型,在通过数据差分化(d阶差分)保证待分析数据平稳前提条件下,选择自回归阶 p和移动平均阶 q的合适数值,对观测数据分析结果做进一步预测分析,从而挖掘监测数据潜在规律,为经营管理工作从事后转身事前提供依据(图8)[27-28]。
图8 园区物联网数据在线分析示例Fig.8 Example of online analysis for park IoT datas
3.3.3 试验数据协同分析
从产学研的角度,园区通常要面临资源环境禀赋需求,与专家、科研人员协作开展育种、栽培模式、品种对比等试验活动,在试验数据分析方面的需求也很迫切。由于领域交叉性,短期内系统平台难以实现全要素的跨学科数据在线挖掘分析,因此以科研协同的方式,以园区为载体将分析师、农业专家连接起来,从而实现试验数据的快捷、权威分析,为园区生产服务。
以菠菜品种试验分子标记数据分析为例,将在园区进行协同试验的31个品种运用AFLP引物组合进行分子标记,得到表3所示数据。
表3 菠菜分子标记数据Table 3 Molecular marker data of spinach
表3中共有31个品种(C1~C31)、276条记录,根据AFLP扩增条带的有无,统计数据为1、0矩阵,对其进行相似系数矩阵计算、非加权配对算术平均法(UPGMA)聚类等分析[29-30],得到反映各品种亲缘关系的遗传距离(图 9),揭示不同品种间在遗传上的远近关系,为选择培育优良性状品种提供依据[31]。
图9 科研协同试验数据分析Fig.9 Test datas analysis by scientific and research collaboration
4 结 论
在DT时代信息化的方向正在发生重要转变,信息系统平台的功能也在向以数字化表达和数据资源深度利用的方向发生重要转变,本文基于上述设计,最后运用TribeDB中间件“一主多从式”MySQL大数据存储模式,采用 Geo Server、PaperVision3d、Node.js等开源基础软件平台和分布式计算总线,运用JavaEE、RIA技术构建了基于全景 GIS的园区数字化云服务系统原型,实现了全景交互环境下数字化园区管理核心功能,取得了以下结果。
1)提出轻量级农业园区数字化云服务系统构建技术。综合采用了全景影像,融合传感器监测等低成本数据获取技术,重点解决了全景影像坐标转换热点应用、全景与二维 GIS联动查询和物联网监测数据在线挖掘与预测分析等方面的核心应用问题,实现适合园区全息化信息管理等系统构建目标。
2)设计了高效适用的物联网高频并发数据云存储模式。充分考虑农业领域信息化基础现状与技术需求,设计采用了TribeDB中间件实现兼有关系数据库和NoSQL数据库优势的数据存储架构,通过分布式计算和数据路由设计,在保障系统应对高频、快速增长数据存取需求的情况下,减少了技术的复杂程度和大数据建模上的额外开销。
3)提出了扩展性强的数字化资源整合利用模式。利用田间传感器、空中无人机和地面互联网科研协同的方式,将自动采集和人工实验分析相结合,以全息式、实时信息流的服务模式,连接园区、产业专家和数据分析师人员,从而充分拓展了数字化系统的“互联网+”功能,实现产学研资源协同整合。
本文研究的原型系统初步在京津冀地区的园区信息化中得到应用,很好地满足了基层园区对数字化云服务方面的技术需求,应用效果良好,在促进物联网、大数据技术深入应用、学科技术在农村基层地区的交叉融合等方面具有一定借鉴意义。
[1] 张慧媛,郭雪霞,刘瑜,等. 农产品加工产业园区聚集水平的发展评价[J]. 农业工程学报. 2016, 32(增刊1):320-324.Zhang Huiyuan,Guo Xuexia,Liu Yu,et al. Evaluation of cluster development level of agriculture products processing industrial park [J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE),2016,32(Supp. 1): 320-324. (in Chinese with English abstract)
[2] 冯卓斌. 浅析渠县现代农业园区发展现状及对策[J]. 三农论坛. 2017, 34(2):166-168.
[3] 陈维榕,童倩倩,舒田,等. 三维模型在农业感知物联网中的研究与应用[J]. 贵州农业科学. 2017, (11):135-138.
[4] 尤达,郑翔,李卓霖,等. 数字技术在福建南平市博远农庄改造中的应用[J]. 防护林科技. 2017, (5):103-105.
[5] 王廷华,姚辉博,王恩标. 企业全息化数据智慧应用平台若干关键技术的研究[J]. 山东煤炭科技. 2015, (5):178-184.
[6] 李建良,陆铮,贺耀宜. 煤矿全息数字化矿山平台设计[J].工矿自动化. 2015, 41(3):57-61.
[7] 王晨. 基于全景技术的校园三维实景展示应用研究[D].天津: 天津科技大学. 2016.Wang Chen. Research and Implementation of Campus Three-dimensional Reality Based on Panorama[D]. Tianjin:Tianjin University of Science & Technology. 2016. (in Chinese with English abstract)
[8] 刘雯. 城市地理信息系统中的全景地图技术初探[J]. 科技经济市场. 2018, (1):9-10.
[9] 周茜,夏清清. 数字化调查与可视化分析在城镇规划中的应用[J]. 规划师. 2017, 33(4):101-108.
[10] 陈芬. 3S技术在农业科技园区信息化管理中的应用研究[D]. 昆明: 云南大学, 2016.Chen Fen. Application of 3S Technology in Information Management of Agricultural Science and Technology Parks[D]. Kunming: Yunnan Agricultural University. 2016.(in Chinese with English abstract)
[11] 唐洁,邵壮,张春燕. 无人机图像拼接技术的应用研究[J].佳木斯大学学报(自然科学版). 2017(6):918-921,982.
[12] 秦育罗. 一种高效的虚拟校园构建模式[J]. 科技与创新.2017(24):3-5.
[13] 余建军,徐攻博,郭望成,等. 天地一体全景影像快速获取与应用技术[J]. 测绘通报. 2017, (7):103-107.
[14] Wang Yuansheng, Wu Huarui, Luo Lei, et al. Research on cloud storage technologies of typical crop growth environment monitoring data [J]. Computer Modelling &New Technologies. 2014, 16(2):13-22.
[15] 康文杰,王勇,俸皓. 云平台中 MySQL数据库高可用性的设计与实现[J]. 计算机工程与设计. 2018(1):296-301.
[16] Sahithi T, Venkata M. Managing mysql cluster data using cloudera impala [J]. Procedia Computer Science 2016( 85):463-474.
[17] Lee DongSeok, Lim JoongSoo. Design of compact data integration and convergence device using Esp8266 module[J].Journal of the Korea Convergence Society. 2017, 8(2):15-20.
[18] 李石磊,杜明义,刘艳巍,等. 全景图像与GIS 集成技术研究[J]. 城市勘探. 2013(4):12-16, 20.
[19] 陈青青,汤志亚,杨玲. 地图投影面上的全天空图像拼接[J]. 微型机与应用. 2016(8):9-11,14.
[20] 陈宁,龚苏斌. 基于 PV3D 的全景漫游关键技术研究[J].系统仿真学报. 2013, 25(9):2140-2143.
[21] 赵毅力. 球面全景图漫游算法研究[J]. 电脑知识与技术.2011, 7(13):3112-3113.
[22] 田军,孟祥娟,王萍. 全景图中投影模型与算法[J]. 计算机系统应用. 2013, 22(5):126-132, 192.
[23] 王娟,王建林,刘家斌,等. R-K 蒸散模型用于华北平原冬小麦农田的参数校正与评价[J]. 农业工程学报. 2016,32(9):99-105.Wang Juan, Wang Jianlin, Liu Jiabin, et al. Calibration and evaluation of R-K evapotranspiration model for winter wheat in North China Plain[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE),2016, 32(9): 99-105. (in Chinese with English abstract)
[24] 金菊良,宋占智,蒋尚明,等. 基于云模型的淮北平原参考作物蒸散量时空分布[J]. 南水北调与水利科技. 2017,(1):25-32.Jin Juliang, Song Zhanzhi, Jiang Shangming, et al.Spatiotemporal distribution of potential evapotranspiration in Huaibei Plain based on cloud model[J]. South-to-North Water Transfers and Water Science &Technology, 2017,15(1) : 25-32. (in Chinese with English abstract)
[25] Fan Jianqing, Yao Qiwei. Nonlinear Time Series Nonparametric and Parametric Methods[M]. 北京:科学出版社. 2016.
[26] 易丹辉. 时间序列分析方法与应用[M]. 北京:中国人民大学出版社. 2011.
[27] 熊伟丽,李妍君,姚乐,等. 一种动态校正的AGMM-GPR多模型软测量建模方法[J]. 大连理工大学学报. 2016(1):77-85.Xiong Weili, Li Yanjun, Yao le, et al. A dynamically corrected AGMM-GPR multi-model soft sensor modeling method[J].Journal of Dalian University of Technology. 2016(1): 77-85.(in Chinese with English abstract)
[28] 柳海涛,孙双科,郑铁刚,等. 水电站下游鱼类产卵场水温的人工神经网络预报模型[J]. 农业工程学报. 2018, (4):185-191.Liu Haitao, Sun Shuangke, Zheng Tiegang, et al. Prediction of water temperature regulation for spawning sites at downstream of hydropower station by artificial neural network method [J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018,34(4): 185-191. (in Chinese with English abstract)
[29] 吴娅妮,康俊根,王文科,等. 菠菜种质遗传多样性和亲缘关系的AFLP分析[J]. 园艺学报. 2013(5):913-923.
[30] 姜德志,方应有,肖贤,等. 基于 ISSR标记的油茶种质资源遗传基础分析[J]. 湖北农业科学. 2018(2):119-125.
[31] 李芳弟,王鹏,窦俊焕,等. 加工型马铃薯实生群体的SSR鉴定与遗传多样性分析[J]. 西北农林科技大学学报(自然科学版). 2018(4):1-11.Li Fangdi, Wang Peng, Dou Junhuan, et al. SSR identification and genetic diversity of seedling population of processing potato[J]. Journal of Northwest A&F University(Nat. Sci. Ed.). 2018(4): 1-11. (in Chinese with English abstract)