深度学习在农业领域的研究与应用

梁美静 毛克彪 郭中华 袁紫晋

摘 要： 深度学习是目前人工智能领域最重要的技术之一，在学术领域和工程应用中掀起了研究高潮。鉴于深度学习在农业领域的应用潜力和重要性，通过对深度学习有关文献的研究，详细描述了深度学习的概念，结合典型深度神经网络的结构特征，对其特点、优缺点、变体及应用现状进行了综述；重点介绍了深度学习在语音识别、农业场景目标检测、农业图像语义分割领域的发展和应用；分析了深度学习在农业领域应用中存在问题和未来重点研究方向。

关键词：深度学习；农业应用；卷积神经网络；递归神经网络；智慧农业

中图分类号：S126 文献标识码：A 文章编号：2095-1795（2024）01-0030-07

DOI：10.19998/j.cnki.2095-1795.2024.01.005

0 引言

随着人工智能技术和现代农业的发展，深度学习对于农业发展的重要性越来越显著。深度学习在农业生产领域的应用不仅将成为现代农业的研究热点之一，更是实现农业智能化的重要手段。深度学习作为一种包含多层网络结构的机器学习模型，其深度表示从输入到输出的转换步骤，并表示输入层和输出层之间的脉冲连接。深度学习利用多层神经网络模型对数据训练得到模型特征，通过将低层次特征组合成高层次特征来实现对数据的抽象表示。与深度学习相比，浅层学习通常需要借助人工经验提取样本特征，最终得到的是无层次结构的单层特征。浅层学习将被限制在不超过两层非线性特征转换层。而深度学习则可以通过对原始信号的逐层特征变换，自动地学习获得层次化的特征表示。2006 年，HINTON G E 等[1] 首次提出了深度学习的概念和一种逐层贪婪的无监督训练算法，利用分层初始化的策略使深度学习结构能够很好解决浅层学习存在的问题。随着深度学习的兴起，许多研究应用中不需要再对特征进行单独的选取和变换，而是将原始数据输入到模型中，通过模型的自动学习得到适合分类的特征表示。

随着云计算、大数据、物联网等技术的快速发展，以及互联网领域各种应用的出现，深度学习成为了近年来计算机科学领域最重要的发展，影响了包括农业的各个科学领域，促使世界互联网科技巨头公司之间竞相推进深度学习，极大地推动了人工智能的发展。大数据蕴含丰富的价值和发展潜力，伴随着数据规模的爆发式增长和海量聚集，深度学习模型作为人工智能的核心技术模型也不断更新，反映了当前科学技术的最新研究进展。在农业领域，利用深度学习对农业大数据进行分析和有效利用是解决传统农业存在问题和发展现代农业的重要手段，同时促进深度学习与农业的深度融合是实现农业智能化的重要途径。本研究鉴于深度学习在农业领域的重要性及热门程度，综述不同类型的深度学习网络架构及其优缺点、深度学习在农业上的发展和典型应用，针对大数据背景下深度学习目前存在的问题，展望其未来发展趋势。

1 深度学习网络结构

随着大数据和计算能力的不断提升，深度学习网络结构在农业领域中被广泛研究和应用。深度学习的概念现在泛指基于多层网络结构的各种机器学习模型，每层均构成一个非线性信息处理单元。深度学习网络结构可以对复杂和非线性关系进行建模并生成模型，因此在农业生产中研究和选择合适的深度神经网络结构模型及其变体至关重要。本研究通过表1 对卷积神经网络和递归神经网络架构的特点、优缺点、应用领域进行对比分析，在实际应用時根据不同网络模型的特性进行选择。

1.1 卷积神经网络

卷积神经网络是一类包含卷积计算的典型深层前馈神经网络，是深度学习的代表算法之一。卷积神经网络由仿造生物的视知觉机制构建，能够进行平移不变分类。卷积神经网络的结构是由输入层、卷积层、池化层、全连接层和输出层组成，如图1 所示。卷积神经网络具有局部感知和权值共享的特点，这使得它更接近于生物神经网络，这种网络结构可以有效地降低网络模型的复杂性和减少权重的数量来提升神经网络的泛化能力。卷积层也称为特征提取层，主要作用是通过卷积运算提取图像的不同特征。卷积层包含卷积、激活函数和最大池化3 种操作，上一层的特征面被卷积核卷积，卷积结果经过激活函数后输出形成下一层的特征面的神经元，从而形成下一层对应的某个特征面的特征。池化层通常位于卷积层之后用于二次特征提取，并且它的每一个特征面都与池化层中的特征面唯一对应。池化层通过不同的池化操作对特征图进行降维，来提高特征的尺度不变特性。全连接层主要是对提取的特征进行分类，然后输出到输出层。全连接层的每个神经元与其上一层的所有神经元全连接，以整合卷积层或者池化层中具有类别区分性的局部信息，但同时特征图的空间结构会被破坏并且产生大量的冗余参数，通常用卷积层或全局平均池化层替代全连接层的方法来解决。

LeNet-5 模型是较早出现的卷积神经网络[2]。作为卷积神经网络的经典模型，其主要应用在计算机视觉领域中的手写字符识别，在MNIST 数据集上的错误率只有0.9%，但它不能识别大规模图像等复杂问题，其主要原因归咎于当时的计算机的软硬件基础设施较差，缺乏大规模的训练数据。目前LeNet-5 模型在农作物品种识别和分类、病害虫识别、杂草识别及判断农田土壤质量等方面应用较为广泛。随着研究的不断深入和大数据时代的到来，KRIZHEVSKY A 等[3] 提出一种与LeNet-5 模型结构相似但具有更宽和更深结构的卷积神经网络AlexNet。此模型使用了ReLU 激活函数、Dropout、GPU 加速技术及高效的GPU 支持的程序来解决ImageNet 问题，在ImageNet 大规模视觉识别挑战竞赛（LSVRC）中超越之前所有解决图像分类任务的方法并赢得了冠军，这使得卷积神经网络再次流行起来并愈发受到研究人员的重视。此模型在处理复杂农产品病虫害图像方面比以往模型更具优势。随着卷积神经网络不断与传统算法相融合及网络架构不断加宽加深的趋势，并且针对出现的问题不断提出改进措施，使得图像识别和分类、目标检测、目标分割和自然语言处理等技术在农业领域均获得了成功的应用。尽管卷积神经网络具有较好的应用前景，但也存在一些问题。一是目前农业领域的标注数据集相对较小，不足以支撑大规模的深度学习训练。因此如何提高数据质量和数量是未来需要解决的关键问题之一。二是由于农业领域涉及的农作物种类、生长环境等因素较多，使得模型的泛化能力面临一定的挑战。如何改进卷积神经网络的结构，提高模型的训练速度和泛化能力是进一步研究的方向。三是如何进一步拓展卷积神经网络在农业领域中的应用场景，为农业生产提供更加可靠和高效的智能化支持，助力农业领域的可持续发展。四是卷积神经网络本身的数学模型缺少完善的数学验证与解释，卷积神经网络的相关理论研究对于进一步发展有重要意义并且是当前最为匮乏也是最有价值的。

1.2 递归神经网络

递归神经网络作为深度学习领域一种重要的神经网络，打破了传统前馈网络每个输入和输出一一对应的局限。递归神经网络具有存储性，通常用来处理序列数据，对序列数据进行特征提取和建模。其中常见的序列数据是语音、文本和视频等，这类数据在处理过程中需要存储前后时刻的信息，某一时刻的输出对记忆和当前输入都有依赖性。递归神经网络结构主要由输入层、隐藏层和输出层构成，如图2 所示，图中t表示时刻，向量x、h、o 表示各层的数值，U、W、V表示各层传输的权重。各隐藏层之间互相连接，即递归循环网络当前时刻的输出不仅取决于当前的输入，还取决于前一时刻的输出。

递归神经网络在处理长期依赖关系的时序数据中表现突出，在实际训练过程中经常会发生梯度消失和梯度爆炸问题。MEMORY L S T[4] 针对出现问题提出了递归神经网络的变体长短期记忆（LSTM）网络。长短期记忆网络是在隐藏单元引入了门控结构的递归神经网络，增加了记忆功能，能够较好地避免梯度消失或爆炸问题，让网络更好地处理长期或短期依赖关系的时序数据。长短期记忆网络因其本身的优良性能，被广泛应用在农业领域的气象预测、作物病害检测、农田监测和产量预测等方面。长短期记忆网络的变体，如门递归单元 （gated recurrent unit， GRU）、卷积LSTM、窥视孔 LSTM（peephole LSTM）在农业方面得到广泛应用[5-7]。于珍珍等[8] 基于SSA-LSTM 网络模型对玉米种植期的土壤含氧量进行预测和分析，通过与BP、LSTM、GA-LSTM 和PSO-LSTM 预测模型试验进行对比发现此模型的预测精度远优于这4 种模型，其预测精度R2=0.959。贺志将等[9] 设计了一种基于VMD-LSTM 的动态称量算法来预测奶牛体质量，预测EMRE 仅0.81%，ERMSE 为6.21 kg。王春颖等[10] 设计了一种基于ST-LSTM 的植物生长发育的预测模型，模型预测的图像序列与历史生长发育图像序列相似度较高，在实际应用有一定的可行性，提高农业生产效率。

2 深度学习的应用

深度学习凭借着处理大量无标签样本及优秀的特征学习能力在很多应用领域正逐步替代传统的机器学习方法。同时，深度学习的成功应用和目前计算机软硬件技术的提高也让越来越多的领域尝试使用深度学习的方法去研究。深度学习已经在农业图像处理、农业自然语言处理、农业计算机视觉和智慧农业等领域成为了研究焦点并且取得了一定的研究成果，但深度学习的应用领域不局限于这些。本研究将从语音识别、目标检测和图像语义分割技术在农业领域的研究情况及典型应用进行介绍。

2.1 语音识别

随着移动互联网和人工智能不断发展，语音识别作为实现人机信息交互的重要技术，吸引了越来越多的研究人员对其领域进行研究并促使了语音识别技术在农业生产领域的应用和发展。语音识别技术在农业领域主要应用于智能化农机设备和智能农业管理系统中，实现语音交互以提高农业生产效率。语音识别是计算机对语音信息识别和理解并转化为文本信息或指令的技术。传统语音识别方法主要是基于GMM-HMM模型进行训练的，其模型是浅层网络模型，浅层网络模型在处理语音信息中有一定的局限性，特别是处理高维语音数据时会增加模型计算负担[11]。2009 年，深度学习的概念首次被应用到语音识别领域。2012 年，多伦多大学、微软研究院（MSR）、谷歌和IBM 研究院的研究小组成功证明了深度神经网络在语音识别方面优于传统的高斯混合模型GMM，可被用于各种数据集的语音识别，包括具有大词汇量的大型数据集[12]。深度学习与传统方法相结合的方式推动了语音识别技术的快速发展，进而推动了语音识别技术在农业领域的发展。李江岱等[13] 提出基于LM-BP 神经网络的采摘机器人语音识别系统使机器人对语音识别准确度提高，从而提高了采摘机器人的环境适应能力，实现采摘作业自动化。张锋等[14] 提出基于双向长短时记忆（Bi-LSTM）网络的语音识别模型来控制機器人，数据集训练的识别率>80%。在农业领域利用深度学习语音识别技术对农业机器人进行智能化控制，如通过语音指令实现自动化灌溉、除草等操作提高农业生产效率。

近年来，语音识别技术主要基于递归神经网络（RNN），根据不同的应用场景和需求对其进行改进或综合其他深度学习模型。端到端语音识别方法是目前语音识别领域的研究热点，主流的端到端的语音识别方法有基于连接时序分类（CTC）和基于注意力机制 （attention model）两类方法及其优化方法，在很多应用场景中都有不错的识别效果[15-16]。语音识别在农业领域主要应用在农业信息采集、畜禽疾病检测、语音控制无人农机等，语音识别在提高农业智能设备的人机交互发挥了重要作用。赵建[17] 为应对猪呼吸道疾病的预警，提出基于双向长短时记忆网络（BLSTM）和连续时序分类（CTC）声学模型的猪连续咳嗽声识别系统，通过试验测试得到最佳试验组猪咳嗽声识别率达到93.63%。脱小倩[18] 提出了一种基于空洞卷积技术的Enhance 降噪网络实现害虫声音识别和降噪，利用InsectFrames_2 对降噪之后的信号识别，识别精度达到68.75%。总体而言，语音识别技术已经在农业领域成功应用并获得了很多的研究成果，但理想安静场景与复杂噪声场景的语音识别准确率仍相差甚远，因此语音识别方法的研究仍然任重而道远。

2.2 计算机视觉

计算机视觉是研究计算机如何从数字图像或视频中获得高层次理解，目的是让计算机能够模拟人眼对目标识别、跟踪、检测和其他视觉方面问题的具体过程，实现对输入的图像或视频进行有效处理。随着计算机视觉技术将与深度学习技术相结合，使得基于大规模数据集应用于农业生产管理的各个方面，更好地解决当前的农业问题，提高农业生产效率，进一步推动农业自动化和智能化的方向发展。基于深度学习的计算机视觉技术在农业上的应用主要在植物目标检测、植物病虫害目标检测、农业场景语义分割及病害图像识别等。

2.2.1 农业场景目标检测

目标检测主要研究目的是能够在给定的图像或者图像序列准确定位目标并判断目标的具体类别。随着基于深度学习的目标检测研究，目标检测在植物目标识别、农产品质量检测及病虫害识别等领域彰显了重要的实际应用价值，但在现实目标检测过程中，由于目标位置、大小和数量的不确定性和其他外在因素影响，导致其过程具有一定的复杂性和困难度。

传统目标检测方法是基于浅层分类器和手工设计特征的方法，主要是采用滑动窗口的方式对图像实施候选区域选择，然后应用HOG、SIFT、Haar、LBP 等方法提取图像特征，进而把所提取的特征传递给分类器来确定候选区域的类别[19-22]。但传统目标检测方法在实际应用中不够理想。随着深度学习的持续发展以及在各个领域成功应用，众多研究人员开始对基于深度学习的目标检测方法进行研究，解决传统目标检测方法存在的问题，从而提高目标检测的性能。基于深度学习的目标检测方法中比较典型的有基于候选区域的R-CNN、Fast R-CNN、R-FCN 及Mask R-CNN 等目标检测模型，以及基于回归的YOLO、SSD 及其改进方法[23-28]。随着基于深度学习的目标检测模型精度不断提高，使用深度学习相关技术实现精确的农业场景目标检测成为研究人员重点研究方向。余贤海等[29] 为克服花朵目标检测不高的问题，提出一种在YOLOv5s 网络基础上增加卷积块注意力模块（CBAM）并利用加权框融合（WBF）方法的模型ACW_YOLOv5s，使模型对番茄花朵的目标检测准确度提高到0.957、召回率0.942。武星等[30] 针对苹果检测识别提出一种基于YOLOv3 的轻量Light-YOLOv3 方法，其主要思想是利用一种类似残差块串联的特征提取网络与深度可分离卷积相结合，试验表明模型检测准确率达到94.69%。朱红春等[31] 设计了基于Faster R-CNN 模型的目标检测算法对复杂背景下的茶叶嫩叶类型进行检测，检测准确率和召回率都远优于传统目标检测方法。王宇歌等[32] 设计基于YOLOv3 的目标检测模型对测试图像进行麦穗目标检测与计数方法，模型在麥穗检测中性能较好，检测精确率达到76.96%、召回率93.16%，在产量估算上有实际意义。ZHOU C 等[33] 提出了一种重构的残余致密网络用于番茄叶病害检测， 模型在AIChallenger 1 数据集中的番茄测试数据集上的平均识别准确率达到95%，在作物叶片识别和检测方面可以比大多数现有模型获得显著改进，以更少的计算来实现高性能。FUENTES A 等[34] 使用Faster R-CNN、RFCN和SSD 检测器从番茄叶图像中识别10 种疾病；在对病虫害检测时，3 种检测器与深度特征提取器VGG16、ResNet50 和ResNet152 的不同变体相结合，其中VGG16 在FRCNN 之上实现了83% 的最高平均精度。

2.2.2 农业图像语义分割

图像语义分割是通过一定方法对图像的每个像素进行分类，把图像分割为若干具有一定语义含义的区域块并分配提前设定的标签。随着深度学习在计算机视觉方面的发展，基于深度学习的图像语义分割在农业遥感图像处理、农业病虫害防治和检测农作物生长状态等方面应用广泛。基于深度学习的图像语义分割无需人工设计特征，将海量的图像数据直接输入到深层神经网络，自动处理复杂的图像数据，最终获得高层次的抽象特征。

LONG J 等[35] 在2015 年首次提出了应用全卷积网络（FCN）实现图像的像素级语义分割，可以处理任意尺寸大小的输入图像并通过端到端的方式获得每个像素的目标分类结果。其他图像语义分割的方法如SegNet 有效提升了分割结果的精细度并降低了图像信息的损失和计算复杂度[36]。DeepLab v1 利用了全连接条件随机场（CRF）的方法提高捕获边界细节的能力和分割结果的准确度[37]。有研究人员在DeepLab v1 的基础上进行改进，提出了DeepLab v2、DeepLab v3 等模型，使得语义分割性能不断增强[38-39]。王书志等[40] 利用SegNet、FCN 和U-NET 网络对葡萄新梢进行图像分割，FCN 网络在复杂天气背景下的分割精度都优于其他两个网络，其中FCN 网络在标准测试集中的分割精度高达93.85%。杨蜀秦等[41] 提出一种改进的DeepLabv3+深度语义分割模型用于无人机多光谱遥感影响的农作物分类，试验结果表明，模型对向日葵、玉米和西葫芦3 种作物的平均像素精度达到93.06%，其平均交并比达到87.12%。李余康等[42] 针对复杂背景下的葡萄叶语义分割处理，采用DeepLab v3+模型算法进行特征提取和训练学习，实现对葡萄叶的自动分割，能够有效识别患病葡萄叶，试验表明，对不同类别葡萄叶图片的分割平均像素准确率98.6%。黄林生等[43] 提出的基于UNet 的语义分割模型可对生菜多光谱图像实现性能较好的前景分割，平均像素分割准确率99.19%，平均交并比高达94.98%。董秀春等[44] 对四川省柑橘研究区进行试验提出的基于U-net 和DeepLab v3+语义分割模型，并利用高分辨率遥感Google earth 图像来提取果园空间信息，两种模型在其分类总精度相当，模型预测的面积估算精度高达92%。

3 结束语

深度学习可以自动地提取特征，本质上是分层次的特征提取确定目标的过程。深度学习利用海量数据训练模型参数和含有多层隐含层的神经网络模型提取最佳参数，将低层特征组合形成高层次的复杂特征。深度学习技术作为发展最快、适应性最强的技术之一，在农业领域，深度学习与语音识别、图像处理和计算机视觉等技术结合的应用方面有显著优势。物联网技术、大数据的发展及深度学习的应用将会弥补传统农业的缺陷。但目前存在的问题是深度学习需要大量的数据来进行训练和优化，在农业领域由于很多样本数据缺少标注使采集成本较高。另外深度学习缺乏坚定的理论基础，深度学习模型的黑箱问题使无法理解其工作原理和工作方式，缺乏一定的可解释性，限制了其在农业生产中的应用范围。

研究了几种典型的深度学习网络模型并比较其优缺点，重点介绍了深度学习融合其他技术在农业领域的应用与优势。深度学习发展迅速而且包含内容广泛，可与大数据分析技术、物联网技术、迁移学习及强化学习等相结合解决农业领域面临的问题。在实际应用中，深度学习针对种植业方面的识别、检测、分类等有众多的研究应用，在畜禽养殖方面的研究应用相比之下较少，仍需进一步扩展深度学习在农业领域的应用场景和研究应用。大数据背景下，基于深度学习的畜禽行为特征识别和生长环境监测，与深度学习融合的农机设备应用到实际生产，加强深度学习在植物学、环境科学、动物学等领域的交叉研究，以及研究如何通过深度学习算法提供快速和准确的响应等均将成为未来研究的重点。大数据技术的发展在推动农业信息化、精准农业、农业智能化发挥重要作用，利用深度学习技术促进农业现代化发展是未来趋势。