农作物害虫图像识别研究进展与展望

张萌 钱蓉 朱静波 张立平 李闰枚 董伟

摘要 农作物害虫的精准识别是害虫预报及防控的重要前提，图像识别法以高效率、低成本、易操作等优势，成为近年来害虫防治工作的研究热点和主要技术手段。鉴于害虫图像识别在虫害诊断中的巨大潜力，回顾害虫图像识别方法的发展历程，阐述由室内环境下的识别走向自然环境的研究进展，分析传统方法与深度学习的优势与局限性，针对性给出未来发展的相应措施。传统识别方法易实现，适用在样本少、范围小的识别领域;深度学习方法精度高、自适应性强，在数据量充足的前提下可以取得较好的识别效果。最后对农作物害虫图像识别的发展前景进行展望，指出将害虫图像识别与物联网、传感器等技术相结合，共同构建农业大数据，并成为智慧农业的重要组成部分。

关键词 害虫图像;虫害诊断;图像识别;深度学习;智慧农业

中图分类号 S431.9文献标识码 A文章编号 0517-6611（2018）34-0011-02

农作物虫害一直是农业生产中的重要问题，严重影响我国现代农业发展、农业增产和农民增收。对虫害进行早期识别、监测、预警，是控制虫害大范围蔓延、保护农作物品质、减少农药残留对环境污染的重要前提和基础，是防控工作的决策信息源头。随着计算机技术的发展，人们逐渐将图像识别技术应用到害虫的识别中，通过感知害虫的几何信息，进而对害虫图像进行描述、存储与理解，以寻找一种实时、准确、高效、便捷的害虫识别方法。

随着信息技术的发展，我国传统农业正在向现代化的智慧农业转化。智慧农业是指依托农业大数据，集物联网、传感器、云计算等多种新兴技术为一体，实现农业生产中的智能感知、监测、预警、分析等，并提供精准决策。田间害虫图像作为农业大数据的重要组成部分，准确对其进行识别，并以此为依据进行害虫防治，是实现智慧农业的重要环节。

1 传统害虫图像识别方法

1.1 室内环境下的害虫图像识别

农作物害虫的图像识别法始于昆虫形态学的研究，对昆虫个体的形态特征进行描述和识别[1]。早在20世纪80年代，Daly等[2]、Zhou等[3]尝试利用翅膀图像上的形态对蜜蜂、蚊子等昆虫进行识别，取得良好的识别效果。沈佐锐等[4]是国内较早开展利用数学形态学进行昆虫图像识别的专家，并通过试验验证了将形态学特征应用在科阶元上分类的可行性。张红涛等[5]针对储粮害虫的二值图像提取出17个形态学特征，通过蚁群算法（ant colony optimization，ACO）优化后，最终采用支持向量机（support vector machine，SVM）分类器对9类粮虫进行分类，识别率达到95%以上。Larios等[6]开发了一种石蝇自动分类系统，使用3种检测方法检测图像中的特征点，通过SIFT（scale invariant feature transform）描述算子提取特征，在4类石蝇图像的识别分类中取得82%的准确率。Wang等[7-8]使用基于内容的图像检索（content-based image retrieval，CBIR）方法分别对9类昆蟲图像和17类蝴蝶图像进行识别研究，均取得较好的识别效果。竺乐庆等[9]以昆虫翅图像为识别对象，结合韦伯局部描述子（weber local descriptor，WLD）和颜色直方图（histogram of color，HoC）实现了昆虫图像的自动分类，在包含10种共576个样本的昆虫图像数据库中进行测试，取得了100%的独立预测精度。以上研究证实了图像识别技术在害虫识别领域中的可行性，为害虫图像识别打下了坚实的基础，为后续的研究提供了充足的理论依据。但是，早期的研究大多是在实验室的理想环境下实现的，在应用层面上还有待进一步的研究。

1.2 自然环境下的害虫图像识别

为了实现复杂环境下的害虫识别，众多学者针对田间害虫图像易发生特征信息缺失的问题，在多特征融合、优化学习方法等多方面展开研究。Wen等[10]使用SIFT描述算子提取局部特征，并与全局特征相结合建立分类模型，对8类果园害虫图像进行识别，准确率达到86.6%。范伟军等[11]提出一种基于扇形变换的姿态不变胡氏矩特征向量提取方法，对24类不同姿态幼虫图像的识别准确率为100%。Yao等[12]将颜色、性状、纹理等156个特征提取到SVM分类器中，通过7次检查验证法，对4类鳞翅目害虫的识别准确率为97.5%。Han等[13]基于数字信号处理（digital signal processing，DSP）和3G无线通信技术实现了田间害虫的实时分类，对6类常见田间害虫图像的平均识别准确率为82%。李文勇等[14]提出一种基于颜色和纹理等与形态无关的特征相结合的多姿态害虫分类方法，对黏虫、桃蛀螟等4类成虫图像进行分类。Zhang等[15]分别提取害虫图像的颜色、形状和纹理特征，通过Fisher分类器计算单特征的权系数，最终通过加权平均得到融合方法，并利用水稻、油菜、玉米等34类害虫图像进行验证，结果表明该方法具有较高的识别精度。谢成军等[16]提出一种基于图像稀疏编码与空间金字塔模型相结合的害虫图像表示与识别方法，该方法利用大量非标注的自然图像块构造过完备学习字典，并运用该学习字典实现对害虫图像的多空间稀疏表示，最终使平均识别精度提高了9.5%。朱莉等[17]提出一种利用颜色特征的害虫视觉识别技术，使用害虫基准图像对其进行直方图反向投影并计算交叉匹配指数，将匹配指数和害虫标签作为训练数据建立分类器，对菜蝽、菜青虫等5类害虫图像的识别准确率为92%。自然环境下农作物害虫的多样性和复杂性给自动识别带来较大的困难，虽然众多学者通过多种方法实现了较理想的识别效果，但是均存在适用面小的情况，只能在特定的区域、物种间实现应用，对该领域的研究还有许多难题需要解决。

2 深度学习在害虫图像识别中的应用

近年来，深度学习的兴起使人工智能的各个领域都有了突破性的发展，其特有的特征描述方法，可以在训练数据的驱动下自主学习特征，具有良好的普适性和自适应性。作为深度学习中的经典代表，卷积神经网络（convolutional neural network，CNN）在图像检测、分类、识别方面都获得巨大成功。相比于传统的手动或依赖先验知识提取特征的算法，CNN可以直接在图像上产生局部感知区域，通过多层的过滤器逐层训练，自主获得图像中的关键特征，大大减少了由于人为误判而产生的训练误差[18]。程曦等[19]分别使用GoogLeNet和AlexNet模型对储粮害虫图像进行识别，准确率均达到95%以上。Liu等[20]通过深度卷积神经网络设计一种利用局部特征学习的农业害虫分类器，在测试数据集上的平均精度为95.1%。杨国国等[21]提出一种基于卷积神经网络的深度学习模型，能从茶园环境中快速、准确地对23种害虫进行定位和识别，识别准确率为91.5%。Glickd等[22]采用深层次卷积神经网络（hierarchical deep CNNs，HD-CNNs）以21万余张昆虫图像为样本，对277类昆虫图像进行识别分类，top-10错误率为14.01%。针对害虫图像种间相似性高、种内变化性大、姿态变化丰富、易受作物遮挡等特点，CNN相比于传统方法具有更好的适应，并能在多类害虫图像识别中取得更高的精度。近年来，依托互联网而实现的数据共享，使得数据积累的速度获得显著进展;而算法和计算机硬件的迅速发展，也使得计算能力获得突破性的发展，这些都为深度学习的崛起奠定了坚实的基础。

3 害虫图像识别技术发展存在的问题与形势

3.1 传统方法的局限性

现有的传统识别方法多为半交互式，需要人为选择特征参数，而特征的选择需要大量试验和经验，在这个过程中如何选择最佳参数是尚未被很好解决的一个难题。此外，传统方法大多是针对小范围内的害虫识别展开的研究，而田间害虫种类复杂，同一片区域内可能出现数十种甚至上百种害虫，应用难度大。

3.2 深度学习的局限性

深度学习对硬件要求较高，且需要海量的带标注数据，深度学习的发展历程就是计算能力和数据的积累。大多数害虫都具有较强的应激性、隐蔽性，且田间环境复杂，存在较多不可预知因素，害虫图像的采集难度远大于其他图像，数据量远远达不到深度学习的标准。此外，因为害虫存在种间相似度高的特点，有些害虫需要采集到足够多的高分辨率样本图像才能构建可用的识别模型，在数据积累难度大的同时，也对计算能力提出较大的挑战。故国内外应用深度学习来进行害虫图像识别的研究还处于探索阶段，实时控制还有待进一步改善和提高。

3.3 害虫图像识别的发展形势

害虫图像识别属于信息技术与农业技术的交叉学科，害虫图像的采集难度大、图像信息复杂，其发展进度在整个图像识别领域中进展较慢。相较于传统方法，在田间复杂环境下进行害虫图像的实时识别，深度学习无疑具有更好的适应性，也是必然的发展趋势。如何降低深度学习对样本量的需求，以及降低田间复杂环境对识别精度的影响是急需解决的问题，而近年来迁移学习的出现使得該领域拥有较好的发展前景。而传统方法更适用于小样本处理，当图像样本量不足时，无法满足深度学习模型的构建需求，传统方法更易于实现，对复杂度较低的图像也可以取得较高的识别精度。

4 结语

鉴于农作物害虫种类繁多，其形态、习性都会随着环境不断改变，识别模型也需要根据实际情况不断完善。在这种形势下，构建基于深度学习的害虫图像识别模型，并从样本和算法两方面进行系统优化，是实现田间复杂环境下害虫自动识别的发展趋势。将深度学习技术与传感器相结合，实现田间农作物害虫自动化、智能化的实时监测，并通过物联网将数据信息融入到农业大数据当中，构建基于“互联网+”的信息化服务平台，真正实现智慧农业。

参考文献

[1] 周志艳，罗锡文，张扬，等.农作物虫害的机器检测与监测技术研究进展[J].昆虫学报，2010，53（1）：98-109.

[2] DALY H V，HOELMER K，NORMAN P，et al.Computer-assisted measurement and identification of honey bees （Hymenoptera：Apidae）[J].Annals of the entomological society of America，1982，75（6）：591-594.

[3] ZHOU Y H，LING L B，ROHLF F J.Automatic description of the venation of mosquito wings from digitized images[J].Systematic zoology，1985，34（3）：346-358.

[4] 沈佐锐，赵汗青，于新文.数学形态学在昆虫分类学上的应用研究.Ⅲ.在科阶元上的应用研究[J].昆虫学报，2003，46（3）：339-344.

[5] 张红涛，毛罕平，邱道尹.储粮害虫图像识别中的特征提取[J].农业工程学报，2009，25（2）：126-130.

[6] LARIOS N，DENG H L，ZHANG W，et al.Automated insect identification through concatenated histograms of local appearance features：Feature vector generation and region detection for deformable objects[J].Machine vision & applications，2008，19（2）：105-123.

[7] WANG J N，LIN C T，JI L Q，et al.A new automatic identification system of insect images at the order level[J].Knowledge-based systems，2012，33（3）：102-110.

[8] WANG J N，JI L Q，LIANG A P，et al.The identification of butterfly families using content-based image retrieval[J].Biosystems engineering，2012，111（1）：24-32.

[9] 竺乐庆，张大兴，张真.基于韦伯局部描述子和颜色直方图的鳞翅目昆虫翅图像特征描述与种类识别[J].昆虫学报，2015，58（4）：419-426.

[10] WEN C L，GUYER D.Image-based orchard insect automated identification and classification method[J].Computer and electronics in agriculture，2012，89（3）：110-115.

[11] 范伟军，周敏，张钰雰.弯曲姿态蛾类幼虫的自动识别方法研究[J].昆虫学报，2012，55（6）：727-735.

[12] YAO Q，LV  J，LIU Q J，et al.An insect imaging system to automate rice light-trap pest identification[J].Journal of integrative agriculture，2012，11（6）：978-985.

[13] HAN R Z，HE Y，LIU F.Feasibility study on a portable field pest classification system design based on DSP and 3G wireless communication technology[J].Sensors，2012，12（3）：3118-3130.

[14] 李文勇，李明，陈梅香，等.基于机器视觉的作物多姿态害虫特征提取与分类方法[J].农业工程学报，2014，30（14）：154-162.

[15] ZHANG J，WANG R J，XIE C J，et al.Crop pests image recognition based on multi-features fusion[J].Journal of computational information systems，2014，10（12）：5121-5129.

[16] 謝成军，李瑞，董伟，等.基于稀疏编码金字塔模型的农田害虫图像识别[J].农业工程学报，2016，32（17）：144-151.

[17] 朱莉，罗靖，徐胜勇，等.基于颜色特征的油菜害虫机器视觉诊断研究[J].农机化研究，2016（6）：55-58，121.

[18] KRIZHEVSKY A，SUTSKEVER I，HINTON G E.ImageNet classification with deep convolutional neural networks[C]//International conference on neural information processing systems.New York：Curran Associates Inc.，2012：1097-1105.

[19] 程曦，吴云志，张友华，等.基于深度卷积神经网络的储粮害虫图像识别[J].中国农学通报，2018，31（1）：154-158.

[20] LIU Z Y，GAO J F，YANG G G，et al.Localization and classification of paddy field pests using a saliency map and deep convolutional neural network[J].Scientific reports，2016，6：1-12.

[21] 杨国国，鲍一丹，刘子毅.基于图像显著性分析与卷积神经网络的茶园害虫定位与识别[J].农业工程学报，2017，33（6）：156-162.

[22] GLICKD J，MILLER K.Insect classification with heirarchical deep convolutional neural networks.Convolutional neural networks for visual recognition （CS231N）[M].California：Stanford University，2017.