基于深度学习的农作物检测识别研究现状及展望

陈自宏，邓干然，崔振德，何冯光，李国杰，王 翔

（1.华中农业大学工学院，湖北 武汉 430070；2.中国热带农业科学院农业机械研究所，广东 湛江 524091；3.农业农村部热带作物农业装备重点实验室，广东 湛江 524091；4.雷州雷宝机械有限公司，广东 雷州 524200）

0 引言

中国是农业大国，在大力推动科技与农业发展时，加快农业信息化的进程可以进一步促进农业更快更好的发展[1]。近年来，农作物信息监测、农田信息监测、精准农业逐步信息化、智能化，其研究设计已经逐渐由传统功能型向多功能型方向发展[2]。目前，物联网技术被广泛应用于农作物的生长观测[3]，其采用视频传感器构建远程监控网络。但物联网技术存在观察农作物信息无法及时记录、对农作物病虫害无法准确识别、对采集到的农作物图像处理单一等问题[4]。

深度学习技术的出现为学术界、工业界带来了新的变革。20 世纪80 年代后期，反向传播算法（即Back Propagation 算法，简称BP 算法）奠定了人工神经网络（Artificial Neural Network）中网络连接系数的优化基础[5]。2006 年，HINTON[6]提出深度学习的概念，发展至今，深度学习技术被广泛应用于研究和应用领域，人工智能技术领域更是离不开深度学习。在科研人员的不断研究与创新下，各种人工神经网络不断被提出，如卷积神经网络[7]、循环神经网络[8]、生成对抗神经网络[9]等，随着各种神经网络和深度学习算法的不断革新，深度学习技术提高了各应用领域的工作效率。

本文概述了近年来深度学习技术在水果识别、农作物病害识别、农作物虫害识别、田间杂草识别、目标农作物定位等农作物检测识别领域内的研究进展，分析了深度学习技术存在的理论、建模、环境、成本及应用问题，提出了算法优化、应用多维化、处理效率与计算能力提升的发展趋势。

1 传统农作物检测识别方法

传统农作物检测识别一般采用图像识别技术，如图1 所示。在深度学习概念还未提出之前，传统的图像识别技术包括图像滤波、去噪、腐蚀、膨胀、二值化等形态学处理，提取图像的外形、颜色等关键特征信息，将这些特征信息进行运算得到特征值，利用偏最小二乘法（PLS）对其进行建模。在处理数据时，非线性数据对建模有很大的局限，传统的图像识别技术在进行非线性数据的建模时识别成功率很低。而在农作物识别中，由于田间情况复杂，这种图像识别技术的识别成功率极低[10]。

2 国内外研究现状

在20 世纪80 年代末，YANN LECUN 等[11]提出卷积神经网络如图2 所示。这是一种具有卷积层的神经网络，该网络在小规模的应用问题上取得了当时世界最好成果，但在很长一段时间里没有取得重大突破。直到2012 年，HINTON 等[6]构建的深度神经网络模型在ImageNet 问题上取得了惊人的成果，该模型使用原始的自然图像训练，不经过任何人工提取特征，使得对于图像识别的研究工作前进了一大步。

2.1 水果识别领域

在深度学习兴起之前，对于水果的检测主要是根据颜色、外形等容易分辨的特征[12]进行检测与识别。最常见的是基于水果轮廓边缘信息检测。这种检测方法容易受到光照、遮挡物及人工操作的影响，有着很大的局限性，且检测精度不高，果实识别成功率不高。随着深度学习技术的发展，更多的深度神经网络应用于自动提取目标水果的特征信息，目前在水果检测中得到广泛的运用[13-14]。

LUO 等[15-16]研究对黑葡萄的检测，选取与黑葡萄果实颜色相差较大的背景色，提取黑葡萄的颜色特征，随后在提取的图像和颜色特征的基础上建立线性分类器，使用Adaboost 算法进行训练得到用于最终检测的分类器。该检测方法准确率达到93.74%。吕石磊等[17]提出了利用YOLOv3 神经网络模型对柑橘进行识别，YOLOv3 神经网络是一个全卷积网络，在对柑橘进行检测时利用了多尺度特征，在对象分类中用Logistic 取代了softmax。YOLOv3 神经网络识别准确率高、速度较快。王丹丹等[18]为了解决苹果疏果期的背景情况复杂、光照条件不稳定、障碍物和果实遮挡等问题，提出了一种基于R-FCN 神经网络模型的苹果识别，解决了传统识别方法对苹果疏果期难以识别的问题，准确率较高。

2.2 农作物病害领域

农作物生产过程中，病虫害是造成作物产量与质量下降的重要因素[19]，病虫害的有效防治对农作物的高产优产十分重要[20]，然而现阶段的农业生产中，大部分农户对农作物病害的种类及田间虫情信息掌握不清，导致时常出现误用农药、过量喷药的情况，这不仅会延误最佳治疗时机，造成经济损失，还会带来水土污染、生态失衡等环境问题[21]。因此，实现对病害的准确识别与虫害的准确检测，对减少农药浪费和降低环境污染有着重要的意义。农作物病害领域的图像检测识别技术最早出现在国外，国外对其研究较早，逐渐已经有了完善的可见光图像数据库。

GUO 等[22]研究了一种通过深度神经网络识别玉米叶片3 种疾病的技术，在获取到玉米叶片图像数据后，计算机将图像转换为YcbCr 色彩空间；在阈值化过程中确定目标的阈值，确定玉米叶片患病的区域，并从灰度共生矩阵中提取纹理特征，这些特征经过MLP 神经网络训练生成模型，达到识别疾病的目的。瑞士洛桑联邦理工学院MOHANTY 等[23]分析了来源于PlantVillage 数据库中的54 306 幅植物叶子的图像，其中包括了26 种作物疾病，由于获取的图像像素大小不一，需要对图像进行缩小，缩小的图像在进行预测时效率更高。利用GoogLeNet 卷积神经网络建立模型，对其中80%的彩色图像进行采样训练，模型识别准确率达到90%以上。

北京工业大学的WANG 等[24]基于深度学习技术研究了一套判断苹果叶真菌感染程度的系统，在其研究中按感染程度不同将苹果叶分为4 种，分别为健康叶、初期感染叶、中期感染叶和末期疾病叶，利用卷积神经网络进行分类识别，准确率达到90.4%。

2.3 农作物虫害领域

近年来，随着物联网技术与无线传感技术的融合与发展，人们开始使用无线传感器与搭建的监控平台对农作物的虫害情况进行检测，可以代替人工判断，从而降低人工劳动强度、减少人工误判。对于农作物虫害监测，由于田间害虫具有迁移性和隐蔽性，难以直接检测害虫个体，目前研究方向通常是通过图像采集田间害虫样本数据，获取田间虫情信息[25]。

LI 等[26]针对田间蚜虫聚集导致传统的神经网络检测成功率低的问题，研究一种由粗到细的卷积神经网络，该网络可以先筛选出蚜虫聚集的区域，再对这个区域内的蚜虫进行识别，该网络提高了检测识别的精度。计雪伟等[27]利用一种基于残差网络改进的卷积神经网络实现简单易行地快速检测虫害类型，以目前已公开的植物影像数据库为样本数据集来训练神经网络，降低了获取大量样本数据的难度，其检测成功率达到98.6%。

2.4 田间杂草识别领域

由于杂草的颜色特征、叶片形状、叶面纹理存在种类差异，因此，目前主要利用杂草的一个特征或几个特征的不同来进行识别[28]。

LEE 等[29]设计了一套智能化识别杂草的系统，以某环境下的一块试验田上的杂草为研究对象，利用不同杂草的形状轮廓作为主要提取特征，实现了68.8%的杂草识别准确率，单张图像用时344 ms。TANG 等[30]使用了小波变换的方法提取纹理特征，在此方法上进行该特征的分类，由于杂草的种类不同，大小不一，部分杂草出现纹理特征缺失的现象，造成识别效果不理想。杨慧清等[31]采用BP 神经网络进行杂草识别，杂草识别精度较高，但训练样本数据的选取会影响训练的准确性。毋立芳等[32]提出了一种基于深度学习的目标检测与图像分类的方法，主要对棉花发育期进行自动识别，通过基于深度学习的图像分类实现对棉花三真叶期、五真叶期和现蕾期的识别，识别成功率可达到75.48%。

2.5 目标农作物定位领域

BARGOTI 等[33]利用卷积神经网络（CNN）对苹果树图像进行卷积特征提取，然后将特征输入到支持向量机（SVM）分类器中，通过池化操作降低特征空间维度，最终输出分割后图像实现苹果的像素级分割。将深度学习输出的结果进行Hough 圆估计，完成了果实的识别检测。由于深度学习所需要的计算量较大，在实时性方面仍需要改进。黄亦其等[34]根据甘蔗图像的灰度信息实现了甘蔗茎节识别。首先对甘蔗图像进行滤波、去噪处理，在图像HSV 颜色空间的H 通道上进行阈值分割、形态学处理以及最大面积选择并提取中心坐标，再在图像的RGB 颜色空间计算G-B 色差分量图，然后，以给定的移动步长，把一个图像模板在分量图上沿甘蔗中心横向平移，对于每一次移动，计算模板所覆盖区域的平均灰度值，平均灰度最大值对应的位置为甘蔗茎节。该研究发现，当图像模板的宽度为6，模板的移动步长为6 时，取得最佳效果，甘蔗茎节的识别率达到90%以上。

3 存在的问题

3.1 理论问题

目前，深度学习技术在农作物应用领域内存在的理论问题主要的困难有2 个，第一个与统计学习相关，另一个与深度学习运算量相关[35]。深度学习不同于浅层学习，在浅层学习中，对于单一的线性模型表示较好，而对于任何一个非线性的模型来说，深度学习相比于浅层学习表示更好，所需要的参数也更少。但随之而来的，深度学习需要面临庞大的数据集[36]，计算的复杂度也大大提升，因此需要大规模的数据量和深度的神经网络运算得到模型，解决相应的问题。另外，深度神经网络在训练模型时所消耗的计算资源难以估计，因此计算机计算能力、神经网络的优化技术还有待提升。

3.2 建模问题

在建立深度神经网络模型时，如何建立分层神经网络模型[37-38]，如何提高模型识别成功率[39]，训练的模型既可以有效地抽取数据的特征信息，也可以进行理论分析。同时，构建一个深度神经网络模型解决不同的应用问题仍需要进一步探索。现在一般用于图像识别的深度神经网络模型都拥有相似的卷积层和全连接层，研究人员也在为建立新的模型进行探索。

3.3 成本问题

目前，深度学习技术大多应用于学术界、工业界[40]。在深度学习技术应用于农作物检测领域乃至农业领域时，成本问题是必须面对的问题。深度神经网络在获取大规模样本数据时，数据的采集、处理都需要大量的人力资源和CPU 资源，在训练模型时，所需要的计算资源也是庞大的，相比于传统检测手段，成本大大提高。

3.4 环境复杂

我国的农田环境复杂，田间遮挡物、灰尘等因素都会影响到图像数据的采集，图像输入质量参差不齐，有可能出现得不到图像的问题，深度学习技术无法直接应用于田间。

3.5 应用问题

在深度学习技术应用到各领域的问题上，如何利用现有的资源对大规模的样本数据进行训练是如今各个深度学习和人工智能研发公司所要解决的难题。由于深度学习所需要的计算资源和数据资源庞大，目前的大数据处理平台资源量有限，不适用于深度神经网络模型的训练[41]。

4 展望

4.1 算法优化

目前，常见的深度学习算法包括反向传播算法、迁移学习算法[42]、Dropout 算法[43]。优化深度学习算法的目标是通过降低损失函数，从而提高模型在真实情况下的性能。因此，优化算法的目标是更好地降低损失函数的值。一般情况下，通过学习算法计算的是整个模型函数的最小值点，也即学习算法通常不会停止在局部值点，而是直接寻找最值点，但是这样容易引起过拟合。但是通过优化算法，其寻找的不一定是最值点，一定程度上，优化函数防止了过拟合，优化算法可提高模型的学习速率和识别成功率。

4.2 应用多维化

随着图像识别技术的发展，图像的维度也开始逐渐增长。因此，深度学习在图像识别中的应用需要加强对于多维度图像的处理[44]。未来深度学习走进各领域已经势不可挡，在农业领域内的应用会向着大量多元化、多维度的处理需求发展。随着互联网的发展，深度学习技术对农业领域内要求的适应能力将慢慢加强，以提供更有效、更准确的服务。深度学习研发人员应进一步提高深度神经网络的适用性，实现可靠性的提升[45]。

4.3 处理效率与计算能力提升

目前，深度学习技术存在一定程度的计算量限制，这种限制会降低模型训练过程的速度，降低整体系统的处理效率。大量的数据对处理平台的计算资源占用很大，对平台要求较高。因此，深度学习技术有着许多无法应用的场景。在未来的发展中，深度学习技术需要进一步提高整体系统的处理效率，满足各领域、各场景的需求，实现经济效益提升[46]。

5 结语

我国正处于传统农业向现代农业转型的关键时期，未来智慧农业概念也日渐清晰，深度学习技术应用于农业各领域的发展趋势不可逆转，尤其是农作物检测领域更加迫切需要引进更先进的深度学习技术。随着现代电子信息技术的飞速发展，更高效、更便捷、更准确的深度学习技术可以让先进的科技资源充分地应用到农业中去。将深度学习技术与图像识别技术相结合代替人工判断，以降低人工劳动强度，减少人工误判，必将推动农业技术的巨大进步。