基于多信息融合的设施农业物联网系统设计

林山驰，刘林，李相国

（宏景科技股份有限公司，广东 广州 510663）

0 引 言

设施农业作为一种典型的农业生产管理模式，由于其可在环境相对可控条件下，采用现代工程技术手段对动植物生长所需资源进行高效组织，从而实现生产优质、高产、稳产等特点，发展设施农业越来越成为解决我国人多地少制约可持续发展问题的最有效技术工程之一。借助物联网技术对设施农业内环境、水肥、视频等进行高效采集、传输、决策是进一步提升设施农业生产效率的重要手段[1]。

随着设施农业物联网的发展以及人工智能技术的成熟，设施农业物联网系统面临着更多数据采集、多维数据分析、更复杂场景融合应用等需求[2]。当前国内外对农业物联网技术的研究及应用做了大量的工作，在理论研究方面集中于探索物联网技术实现农业生产精确管理上，研究结果证实物联网技术的运用对作物单位产量、光合效率、水份利用率、品质提升明显[3，4]；在应用研究上主要集中在物联网架构设计、传输协议设计、数据监测设计、决策理论等领域。从设施园艺物联网技术研究来看，采集到的数据主要还是一种展示和简单的统计分析，在环境数据、营养供给需求、图像数据、专家理论等多信息融合分析及决策方面研究较少[5，6]。另一方面，生长信息的全面感知为作物生长管控模型提供数据支持，它需要采集作物生长所需环境参数并识别作物种类及其生长阶段和状况。现阶段借助与机器视觉技术运用于作物病虫害检测及其生长信息越来越成熟[7，8]，国内张皓婷[9]基于机器视觉的番茄果实监测用于检测番茄结果期裂果情况，龙洁花[10]等基于改进的YOLOv4 用于识别温室环境下草莓生育期各阶段取得了较好的效果，但这些方法都没有将深度学习技术融合传统农业物联网系统内。

面对设施农业物联网系统新需求，本文设计了一种融合深度学习的多信息融合设施农业物联网系统，该系统由环境监测子系统、视频监控子系统、水肥一体化系统、AI 分析子系统、信息融合子系统组成。本系统可用于监控设施农业内部环境状况、作物营养状况，部署的AI 分析系统可用于识别作物生长阶段、作物长势等，借助信息融合技术可根据作物生长阶段及长势动态调整环境调控及水肥实施策略，该系统可作为基础应用，广泛应用于智慧农业信息系统的构建中。

1 系统整体架构

设施农业物联网系统由环境监测子系统、视频监控子系统、水肥一体化系统、AI 分析子系统、信息融合子系统五个部分组成，如图1 所示。围绕环境温度、湿度、CO2浓度、光照强度等传感器信息采集、传输、集成和应用，通过工业网关实现传感器数据采集并将各项数据传输到云平台上，视频监控系统获取现场作物图像信息之后在嵌入深度学习算法的信息融合系统内进行分析，分析得到作物生长阶段及长势信息，借助信息融合技术完成环境数据、长势信息等信息融合后，制定设施农业调控策略，再通过Wi-Fi 工业网关对水肥设备、风机、湿帘和遮阳等控制设备下达相关控制指令，从而实现手机端和电脑端的远程监控、数据分析以及精准调控。

图1 基于多信息融合的设施农业物联网系统架构图

2 子系统设计

2.1 环境监控子系统

环境监控子系统设计如图2 所示，主要包括环境感知、数据传输、环境控制平台、农业综合管理云平台及用户终端等模块。环境感知模块围绕设施农业大棚温度、湿度、CO2浓度、光照强度等重要环境指标部署相应的传感器，数据传输模块通过工业网关实现传感器数据采集并将各项数据传输到云平台上，在云平台内实现环境数据的进一步分析，再通过Wi-Fi 工业网关对喷灌、风机和PLC 等控制设备下达相关控制指令，实现设备的远程控制。

图2 环境监控子系统设计

云平台在上述系统功能基础上，还需添加异常告警功能，包括设备运行异常、信息传输异常、模型决策异常、数据异常等的告警，平台将告警信息推送至用户终端设备。告警模块包括了传感器阈值获取、信息推送渠道获取、实时监控数据获取以及告警决策四个过程。其实现流程如图3 所示。

图3 告警设计流程

用户完成系统基础配置之后，告警线程在系统启动之后同步运行。

告警线程启动后将检测系统配置中设备信息、告警策略等的更改状态，系统标识在系统基础配置完成之后的初始状态为True。若有更改，系统配置标识为True，则线程按照步骤3 获取更改后的配置信息；若无更改，系统配置标识为False，则线程将跳过步骤3。

系统通过API 接口、后台配置等方式获取各传感器阈值、运行状态、信息推送渠道等信息。告警模块将设备类别、信息推送渠道、监控指标类别作为主要标识。信息推送渠道提供以主要标识为依据的多目标告警方式，即系统根据告警等级、设备使用权限等的不同，将异常信息推送至相应的管理者或者专家。此类告警信息推送规则设计方便用户根据权限及经验高效获取告警信息，更快速锁定并解决异常状况。

告警模块获取系统配置信息完成之后，告警线程将持续监听传感器状态及采集的实时数据，告警决策函数获取该类实时信息将触发告警信息，包括指标超阈值告警、设备离线告警、数据传输中断告警等。

告警决策函数关联信息推送模块，告警信息将触发信息的推送，信息推送模块依据告警信息严重等级及决策结果判断是否调用信息推送系统向不同权限员工发送告警信息，以实现精准推送告警信息，及时处理异常状况。

2.2 视频监控子系统

视频监控子系统的设计原则是既要满足管理人员远程监控大棚运营现场，又要考虑借助深度学习技术深度挖掘现场图像价值。视频监控子系统整体架构分三层建设，包括监控前端、分控中心、总控中心，如图4 所示。设施农业大棚内的视频监控子系统结合AI 分析子系统利用摄像头对大棚内植物病虫害现象、作物生长发育状况以及设备状态等根据图像信息实时进行监控。在总控中心通过视频监控帮助温室管理人员远程监控温室状况，快速掌握温室信息，及时作出反馈。机器视觉技术的不断发展，方便了管理人员依据图像进行作物生长状况监测、作物病情诊断、设备状态检测等操作。

图4 视频监控子系统架构

2.3 水肥一体化子系统

水肥一体化子系统主要由6 部分组成：智慧种植平台、智能施肥系统、能效监测系统、管网信息监测系统、土壤墒情监测系统、灌溉控制系统。其中管网信息监测系统采集管网流量、压力数据，保障管网流量平稳，水肥顺利传输至各灌溉节点；土壤墒情检测系统实时采集设施农业内土壤水份、温度数据；能效监测系统实时采集水量、电能消耗数据；管网信息及土壤墒情状况信息通过有线或无线传输至灌溉控制系统，结合环境监测系统及视频监控系统采集的环境指标信息及作物长势信息，在智慧种植平台内进行信息统计分析与处理，决策指令下发至智能施肥系统，管理者通过客户端访问智慧种植平台（信息中心）下发调控指令到灌溉控制系统进行参数调试。在智慧种植平台内可及时了解管网压力及流量、作物长势况、能源消耗状况、灌溉系统运行状况等，平台内根据作物类别及设备制定预警机制，发生异常状况时，平台将告警信息推送至用户，保障设备、管网、系统的稳定运行。系统架构及组成示意图如图5 所示。

图5 基于物联网的水肥一体化技术

灌溉系统内置智能施肥控制程序，在控制程序内初始化嵌入了不同作物各生长阶段标准需水量数据库。施肥设备采用可采集水肥配比内N、P、K 及微量元素含量的智能设备，利用环境监控子系统采集的湿度、温度、光照、CO2等环境数据，并传送至智慧种植平台。在平台内水肥配比数据、环境数据、作物长势信息等多维信息融合分析，结合作物标准需水量数据库，采用彭曼公式[11]分析得出该作物需水量ET0、作物系数K、作物实际需水量ET等，进一步制定该作物在特定生长阶段的灌溉策略。策略将通过平台下发至施肥设备，设备通过调控肥液的EC及pH值实现精准施肥及灌溉。

2.4 AI 分析子系统

植物的形态结构在农业生产和研究中有着重要的生物学意义，是对植物生长调控的重要依据，借助机器学习技术、图像分割、图像识别等深度学习等技术来准确地对植物的重要特征进行采集和分析是辅助育种和生产过程管理的重要技术手段。植物表型研究中的图像分析主要涉及到对作物形态结构的鉴别与检测[12]。AI 分析子系统就是借助深度学习、机器学习等技术融合分析作物图像数据、设施大棚环境指标、水肥等。一方面通过分析作物图像获得作物当前在全生命生长周期内的阶段期，根据生长阶段的不同调节环境调控、水肥营养供给等策略；另一方面通过图像识别技术分析作物长势及病害情况，基于长势信息及时调整作物管理手段；最终实现设施农业的精细化管理。

如番茄的全生命周期分为发芽期、幼苗期、开花坐果期、绿熟期、转色期，每个阶段对设施环境的适宜性、水肥营养的供给、作物管理的要求都是不同的。借助于深度学习方法可以自动提取作物特征，日常巡检将不再只依赖人工处理图像，将极大地提高生产巡检的效率。同时，随着图像数据资源越来越丰富以及网络深度的增加，模型训练过程中引入专家经验，模型的学习能力将更强，提取的特征更丰富，对作物的特征识别将会越接近于专家的理论判断。如图6 所示，基于现场视频监控子系统采集的番茄生长全生命周期图像，借助YOLOv 系列算法[13]，在AI 分析子系统内完成训练之后，即可实现番茄果实、叶片检测识别，并根据检测目标框实现果实、叶片及其局部区域的分割，结合分类算法对分割出来的叶片或果实进行分类检测，进而判别生长阶段及长势情况。坐果期借助深度学习算法检测一株番茄内果实成熟情况，果实分为青色（green）、半熟（half_ripened）、全熟（fully_ripened），综合分析之后将长势情况输入到信息融合子系统，番茄管控策略的制定将根据融合信息来定制，进而下发环控策略、水肥策略等到控制设备，实现精准管控生产。

图6 基于YOLOv4 的番茄坐果期成熟度识别

2.5 信息融合子系统

2.5.1 设施农业环境信息融合

设施大棚环境是影响设施作物健康水平、生长、坐果等的重要因素，对作物生产起着决定性作用，受到广泛的关注。然而，设施大棚环境是由多个环境因子相互耦合而形成的复杂的非线性时变系统。对各环境因素适宜性的描述并取决于单个环境指标数据或者多个独立维度的指标数据，而是需要采取多维信息耦合成一个评价策略。借助多传感器数据融合技术对设施大棚环境进行融合分析可以一定程度上解决上述问题。

多传感器数据融合是指对来自不同维度信息和对按时序获得的多传感器采集的数据，在信息融合准则下自动分析、综合分析进行的信息处理过程，从而实现对复杂场景下的观测对象进行综合理解。目前已有大量的融合算法应用于多传感器信息融合，它们有各自的优缺点，研究及应用较多的有统计分析方法、贝叶斯方法、Kalman 滤波方法、证据理论推理、模糊理论和神经网络等方法[14]。多传感器数据融合功能模块架构如图7 所示，一般包括目标值测量、目标属性测量、数据校准、数据对准、数据融合、状态估计、评价体系生成等，传感器属性信息及测量信息经过低层处理（信息对准）、高层处理（融合算法）两层处理最终输出设施大棚环境综合评价指标。

图7 多传感器信息融合系统的功能模块

2.5.2 基于深度学习的综合调控系统

在完成了数据采集体系、多传感器信息融合体系构建之后，指标数据流、工作流、指令流等在基于深度学习的综合调控系统内进行分析及流转。调控系统的架构如图8 所示，传感器融合模块将多传感器采集的环境及水肥等信息进行融合计算，输出系列评价指标；AI 分析系统将同步时是分析作物长势情况；在综合决策平台内，结合作物生长及管理理论，由指标体系和作物长势触发生产管理策略集合，包括环境调控策略、水肥调控策略、作物作业管理策略。决策平台将调控策略调整指令下发到各系统或设备控制器内，一方面实现各端设备的根据现场变换及长势情况精准调控，另一方面推送作物管理策略建议，如病虫害防治、采收计划、施肥计划等，实现作物的精细化管理。

图8 基于深度学习的综合调控系统架构

3 结 论

面向设施农业物联网系统需处理复杂场景数据、多维度信息以及融合作物生长信息辅助决策的需求，本文设计了一种多信息融合的设施农业物联网系统，可有效解决设施农业领域多传感器数据融合难、缺乏作物生长模型辅助调控决策体系、难以做到精准调控等问题。本文结合无线传输技术、机器视觉算法、多信息融合算法、多信息决策等技术，构建了环境监测子系统、视频监控子系统、水肥一体化系统、AI 分析子系统、信息融合子系统五个子系统，实现了从终端传感器的数据获取到多传感器信息融合的数据融合处理，再到嵌入深度学习模型识别作物生长信息，在信息融合平台实现了传感器数据、生长信息、作物生长理论的融合分析，最终实现基于多信息融合的设施农业设备端按需精准调控、精细化管理策略及建议。管理人员能够在作物出现异常状态时及时获取环境信息、长势信息、作物营养供给需求等，并及时根据作物生长状态制定管控策略以降低农业生产风险，降低农业生产成本。