基于大数据技术的藏红花栽培分析模型的构建
2021-11-23张颢玮桑世庆
张颢玮 桑世庆 陈 祥
(嘉兴职业技术学院,浙江 嘉兴 314036)
0 绪论
随着土壤数据采集技术的迅猛发展,处理、存储以及获取数据的成本不断降低,运用传统方法已不能有效地对藏红花栽培过程中的海量数据进行分析、融合及深度挖掘。因此,亟需利用云计算、数据挖掘以及多元统计分析等技术将时间、空间与属性注入藏红花栽培的全过程研究中,构建面向对象的时空特征分析模型,对自然环境、经济等多元异构时空数据信息进行重组和融合,以实现数据综合分析与多维可视化表达的目标,为藏红花栽培风险评价及修复等工作奠定基础。
1 方案设计
结合区域藏红花栽培分部情况,以藏红花种植的土壤环境为背景,重点采集生长过程中土壤的养分。通过传感器动态收集土壤酸碱度、温湿度;周期测试土壤中氮、磷以及钾等有机质的含量;结合藏红花栽培自然环境信息数据进行整理和综合,初步收集、整理数据后,将其作为基础大数据集合。经过对数据的理解和处理,获取基于新技术分析的样本数据。
该文主要应用理论与实际相结合的方法,利用物联网技术、大数据技术、云计算以及多元数学统计分析等技术,将时间、空间与属性注入藏红花栽培环境监测研究与多维可视化中,运用大数据开发平台、物联网数据采集设备等软硬件技术构建一体化藏红花栽培大数据服务平台,实现面向对象土壤养分的时空特征分析模型。采集的数据包括静态历史数据和实时采集的动态传感器数据,主要方式是利用已知的数据环境因素对藏红花生长的历史数据进行整理以及建立基本属性,利用分类与决策树,并运用数据挖掘技术处理海量数据,分析周期土壤养分的时空变化特征,进而揭示藏红花种植过程中出现低产、少花和无花等原因,并用实际的结果来验证该平台的可行性。设计平台架构如图1所示。
图1 平台的架构
1.1 物联网采集功能
物联网采集主要具备精细化、数字化管理的功能。通过信息传感设备获取物理农业的各种信息,结合LoRa通信进行信息传输与交互,对藏红花生产过程中生长与自然界的多种相关因素进行数字化采集,其中包括温湿度、土壤酸碱度等。
1.2 云平台和数据挖掘
云平台可以构建物联网数据中心群集,对数据进行存储与运算;数据挖掘对数据中心数据进行整理,建立高效的数据指标体系,利用先进的事件模型抽象生产应用,提供多维度、多指标的交叉分析能力,全面满足藏红花的日常数据分析需求,驱动业务决策。
1.3 藏红花栽培监测平台
藏红花栽培监测平台主要具备大数据监测、可视化分析和成果监测的功能,直观地揭示了藏红花种植的规模、发展趋势以及传感器的分布;它还具有实时监控、监测曲线、时段统计、统计排名、历年分析以及关联挖掘等功能,可直接统计相关数据。
2 模型的分析与构建
从传感器、测试仪和专家经验等途径获得的多源异构数据中抽取、整理、分类、组合转换并建立数据集;面向藏红花栽培土壤环境建立数据分析集,并选取数据挖掘中的决策树、模糊评价算法等方法处理海量数据,并通过测试比较应用不同算法的优缺点,找到合适的算法,建立流失预测模型。最后对模型进行分析和评估,并用于实际的预测中。藏红花栽培预测模型分析如图2所示。
图2 分析模型构建
藏红花栽培模型根据区域气象条件、季风特点、土壤有机质条件以及管理方案动态、定量地描述藏红花的生长、发育过程。用数学方程描述作物、气候和土壤之间的作用过程,构建模型最重要的意义是综合整个藏红花栽培过程的专业知识,并量化藏红花生长过程与气象、土壤的相互关系,即利用大数据挖掘满足一定条件的依赖性关系。模型是利用大数据系统强大的信息处理和计算功能,系统地对不同生长过程进行整合和分析,相当于对系统的最新的知识进行积累和综合。推理出数据间未知的依赖关系,并将其描述成关注数据项间的因果关系。构建模型的作用如下。
2.1 制定宏观的农业决策
通过分析模型的基本功能可以模拟预测不同时间、不同强度藏红花栽培和环境调控措施对作物生长发育的作用(例如作物花蕊品质、产量以及上市期),因此成为可以有效优化藏红花栽培和调控环境的工具。其更大的价值则是可以为国家或地区的特色农业规划及作物生产的选种,特别是对农业经济政策的选择提供决策支持。
2.2 模拟预测藏红花的生长过程
藏红花栽培模型在帮助理解藏红花生长过程及其与影响因子间定量关系的基础上,可以对系统过程和结果进行模拟预测。藏红花栽培生长模型的预测功能既是建立模型的原动力之一,也是其成为作物生产管理决策工具的重要原因。
2.3 藏红花栽培预测与风险分析
藏红花栽培生长模型对生长发育生态过程的数字化描述可以促进对藏红花生长发育生态规律由定性描述阶段上升到定量分析阶段,为特色农作物的精确化、标准化以及智能化管理提供理论依据。使研究人员可以对农作物系统的行为进行定量分析。通过藏红花模型可以对作物的生长发育过程及产量进行预测,还可以对未来全球气候变化对藏红花栽培的影响进行评估。
3 应用平台的硬件构建
在远距离传输通信技术中,虽然NB-IoT和5G网络都可实现远距离传输通信,但实现的成本与后期运行维护投入的成本都较高,而LoRa在全球范围内免费使用,即使在情况较为复杂的城区,其传输距离也可达2 km~5 km,在农村的通信距离可达15 km,适合在农业生产中应用。另外,ZigBee技术虽然同样可进行远距离通信,但长距离传输需要增设更多子节点和中继器等设备,不但增加了投入成本,而且更不利于系统维护,同时ZigBee采用的频率为2.4 GHz,该频率在传输过程中容易受到其他无线通信技术的干扰,从而导致数据传输延迟或丢失,但在近距离通信中具有一定优势。由于藏红花栽培分为室内、室外2个生长过程,因此系统采用LoRa和ZigBee无线通信技术作为数据通信方式,经验证,所设计的数据实时采集方案是完全可行的。
3.1 节点数据采集
该系统采用的是温湿度、pH值、土壤微量元素、光照传感器和符合IEEE的无线通信协议的芯片,芯片传输距离符合实际的应用需求,该芯片使用性能稳定且功耗低,因此LoRa模块采用安信可公司生产的Ra-o1型模块,其射频芯片SX1289主要采用LoRa远程调制解调器,可用于远距离的扩频通信,抗干扰能力强。LoRa模块通过SPI总线与PCIE插槽相连,进而通过底板与主控进行连接。在ZigBee模块中采用了CC2530的模块,CC2530模板的特点是分为核心板和扩展板2个部分。通过核心板和扩展板完成设备之间的无线低功耗通信。pH值传感器采集流程如图3所示。
以“爱国、清贫、创造、奉献”为主体的方志敏精神,它凸显了社会主义荣辱观的本质内涵。用方志敏自己概括和倡导的“五种精神”来讲,即赣东北苏维埃政府所具有的“民主精神”、“创造精神”、“进步精神”、“刻苦精神”和“自我批评精神”(《我从事革命斗争略述》)[8](P88),这些精神是中华民族道德传统和中国共产党人革命精神相融合的结晶,基本体现了社会主义荣辱观各方面的内容,也是加强社会主义荣辱观教育的极好教材。
图3 pH值传感器采集流程图
3.2 融合网关
系统边缘设备采用了融合网关,集成LoRa和ZigBee通信技术,并采用了嵌入式安卓系统的7寸触模屏。网关中ZigBee模块作为协调模式,接收第一年10月到第二年3月藏红花室内栽培的监控数据,包括温湿度、pH值传感器,并与ZigBee终端节点模块相连,实时采集动态数据;网关中LoRa模块作为集中器,接收第二年4月到9月藏红花室外栽培的监控数据,包括土壤酸碱度、温湿度,并与LoRa终端节点模块相连,适合中长距离的数据采集。网关的嵌入式安卓系统编译底层驱动,结合应用开发了能基于网关程序设置2种通信方式的参数和工作模式,并对统一采集的数据进行格式转化,实现基于云的边缘计算,最终将数据传输至云端,并显示在7寸的触模屏上。
网关的重要作用是采集数据与转换数据,主要实现以下3种功能。
3.2.1 从设备接收数据
设备和网关通过LoRa和ZigBee接口进行无线连接,当与传感器终端连接时,主要实现传感器路由、终端两类节点单方面持续通过网关向服务器发送数据的功能。如果连接的类型是控制类节点,则需要通过设备申请从外部获取数据,服务器向设备端发送数据时,就需要通过网关申请数据。
3.2.2 生成要发送的数据
从设备接收到数据后,就需要将数据转换成能发送给服务器的格式,主要转化成数值数据或者字符串格式。同时,在发送数据的过程中,对数据进行整合(以减少数据量)或者合并发送。
3.2.3 把数据发送到服务器
4 Web服务端应用设计
4.1 数据接收
Web服务端通过约定的协议接收来自设备端的数据,协议包括HTTP协议、WebSocket以及MQTTP等,其中WebSocket是一种在单个TCP连接上进行全双工通信的协议。MQTT是最近几年出来的协议,MQTT协议能够实现一对多通信,主要由发布者、订阅者以及中介构成。中介承担转发MQTT通信的服务器作用[1],发布者和订阅者发挥客户端的作用。发布者是发送消息的客户端,订阅者是接收消息的客户端。设备传来的数据和Web传来的数据是有差异的,大多数是传感器数据、语音以及图像等数值数据。与文本相比,这样的数据更适合采用二进制形式对其进行处理。基于物联网服务处理这些格式时,需要把文本数据转换成数值数据和二进制数据(也是由于调用MessagePack函数发送的是二进制数据所造成的)。
4.2 数据处理
服务器接收到数据之后,接下来就需要对数据进行处理。利用大数据的处理技术,按照数据挖掘的处理流程包括数据分析、数据加工、数据保存以及向设备端发送指令。对数据的分析与加工主要采用了“批处理”和“流处理”2种典型的处理方式。
4.2.1 批处理
批处理就是每隔一段时间处理一批积累下来的数据,例如在藏红花栽培中物联网采集的历史数据及专家存入数据库中的数据,需要隔一段时间就从数据库获取数据,执行处理操作。批处理的重点在于在规定时间内完成处理所有的数据的任务,因此数据的数据量越大,就需要性能越好的机器。要处理由数量庞大的设备发出来的传感器数据和图像等大型数据,就需要使用分布式处理平台软件高效地对数据进行处理。
4.2.2 流处理
流处理指不保存数据,按照到达服务器的顺序依次对数据进行处理。流处理是一个有效的可以实时对数据做出反应的方法,可以处理控制传感器实时采集的数据。批处理是先积攒数据,隔一段时间后再对数据进行处理,因此从数据存储到处理完毕会出现时间延迟。而流处理这样根据数据到达的顺序依次对数据进行处理的方法就变得比较重要。流处理基本上不会保存数据,使用过的数据直接丢弃,只需要保存处理结果。
4.3 反控数据发送
“反控”主要是指服务器端向设备端发送数据或者控制设备指令,服务端发送采取接收时的相应协议MQTT。藏红花栽培中物联网通信利用MQTT实现同步异步数据传输。在MQTT发送数据时,首先,设备作为订阅者,向MQTT中介进行订阅。其次,服务器作为发布者,向MQTT中介进行发布。在MQTT模式下,发送服务器只需要把确定的数据加在主题上发送就行了,服务器和设备之间无须知道对方的地址,只需要知道中介的地址即可。一旦订阅者断开,中介将肩负起断开时的发送任务,在设备重连后再次发送数据。运用MQTT协议后,服务器反控下发数据到设备就变得更简单了。
4.4 移动终端应用层设计
首先通过配置ID和KEY与云服务器进行连接,其次实时监听数据,以获取相关传感器的数据并对其进行处理[2],终端应用层的作用是实现客户端浏览器的可视化人机交互界面。可以在网页端实时查看智能温室内的环境数据,且可以发送命令控制温室内的数值,从继电器再到终端节点执行网页端的命令,从而使农作物在最佳的生长环境中生长。在getConnect()函数中定义了实时连接对象rtc,当连接成功时,回调函数是rtc.onConnect;同时,数据服务器掉线,回调函数是rtc.onConnectLost,消息处理回调函数是rtc.onmessageArrive。
5 结语
随着智慧农业的发展,移动嵌入式系统、大数据挖掘以及传感器网络等技术在农业种植中广泛使用,物联网技术变得越来越重要,它可以实现农业生产的全天候监测、标准化种植以及智能化管理,帮助农民减少灾难,提高农业经济效益,促进现代农业的更新换代,也发挥了技术的支柱作用。该系统是基于大数据挖掘技术的藏红花栽培与土壤养分态势分析模型构建及应用系统,采用物联网技术采集数据,通过LoRa和ZigBee通信技术实现数据传输,利用边缘计算统一地对数据进行处理。在云端利用数据挖掘多次对数据进行处理,并对数据挖掘的过程进行归纳和总结,构建了数据挖掘的处理应用模型。