粘虫板害虫自动识别计数研究

包晓敏，盛家文

(浙江理工大学 信息学院，浙江 杭州 310016)

虫害是农业生产中的重要问题，严重制约着我国现代农业发展。及时获悉田间害虫种类及数量，不仅是有效制定害虫防治方案的基础，更能为后期预测预报害虫爆发期提供原始数据。

害虫具有趋黄性，在田间设置黄色粘虫板诱杀害虫的方法目前已被广泛使用[1]。粘虫板上害虫的计数方法主要分为2种：一种是人工计数；一种是基于机器视觉的自动计数。前者费时费力且实时性差，需要基层测报人员具有相关的理论知识；而后者利用图像处理、模式识别等方法对害虫图像进行自动分析，能够有效地识别害虫种类及数量，排除了人为因素的干扰。传统的基于机器视觉的计数方法，需要工作人员深入田间进行拍照，然后将图片传送至计算机终端进行识别计数，工作量大，实时性差[2-3]。姚仲敏等[4]设计了一种基于移动无线传感器网络的植株图像监测系统，但该系统需要无人机作为传输节点，成本较高；曹旨昊等[5]设计了一种基于Android系统的粘虫板害虫计数系统，然而该系统不能实时获取害虫图片。近年来，深度学习技术在图像处理领域的表现愈加出色，有学者将深度学习的方法引入到农作物的害虫识别中[6]。然而，深度学习需要大量的样本才能获得较好的识别结果，但在实际生产活动中往往无法获得大量的目标样本。为解决上述问题，本文提出了一种基于树莓派的农业害虫测报系统。利用树莓派自动拍照并将图像上传至云服务器进行处理，以Web网页作为客户端展现测报结果。许多昆虫诱捕试验都发现，黄色粘虫板的诱捕效果最好[7-9]。为此，本试验选择黄色粘虫板诱捕米蛾(Corcyracephalonica)，并以此为例开展研究。针对拍摄的图片，在进行背景去除的基础上，提出一种基于颜色矩特征提取的方法，提高计数结果的准确率。

1 材料与方法

1.1 系统架构

系统由数据采集端、测报云平台和客户端组成(图1)。数据采集端主要包括环境数据采集、害虫图片采集、数据及图片上传，测报云平台主要包括云数据库(存储环境数据)、云对象存储服务器(存储害虫图片)和云服务器(处理图像)，客户端主要负责数据可视化和发送指令。数据采集以树莓派作为处理的核心，将采集到的环境数据和害虫图片通过4G无线Wi-Fi模块以TCP协议的形式上传至测报云平台。图像上传至云对象存储服务器后展开计数，并将计数结果存储至云数据库中，用户通过浏览器访问网页，以HTTP请求形式调用云数据库和云对象存储服务器中的数据查看信息，同时可通过云服务器发送拍照、设定拍照时间等功能指令驱使树莓派获取环境值和图像。

1.1.1 数据采集端

数据采集端以树莓派3代B型开发板作为核心，通过杜邦线连接温湿度传感器、光照强度检测模块和下雨检测模块，通过USB接口连接4G无线上网卡，通过CSI接口连接树莓派专用摄像头。主要功能及其实现简述如下：1)环境数据采集。树莓派驱动传感器模块采集温湿度、光照和降水情况。2)害虫图像采集。将树莓派置于距百叶箱(百叶箱置于户外，靠近米蛾的培养中心)底部30 cm高的横梁上，摄像头正对底部含有黑色诱芯(米蛾性诱剂诱芯)的黄色粘虫板，树莓派驱动摄像头进行拍照。3)数据及图片上传。树莓派通过4G无线上网卡获取网络连接，将环境数据和图片通过TCP协议上传到云平台，并通过心跳机制保证TCP长期有效连接。

1.1.2 测报云平台

测报云平台包含云服务器、云数据库、云对象存储服务器3部分。云服务器是测报云平台的核心部分，管理云数据库和云存储对象，负责数据采集端的数据交互，处理上传图片；云数据库负责管理测报系统使用到的数据表；云对象存储服务器用于存放终端上传的图像。测报云平台与数据采集端通过TCP连接。数据采集端先上传树莓派标识，然后再上传环境数据，并将其写入云数据库。上传过程中，先上传图像名字，后循环上传图像内容，待图像内容上传完毕后，存入云对象存储服务器。

1.1.3 客户端

客户端包括数据可视化和指令传输。数据可视化是指采集的环境数据和计数结果在网页上的呈现，指令传输是指何时进行拍照计数和获取环境值，整体功能如图2所示。

1.2 云平台图像处理及计数

图像上传至云对象存储服务器后，进行图像预处理、图像分割、测报害虫特征提取和识别计数4个步骤。

1.2.1 图像预处理

针对图像中存在的黑色诱芯(图3-A)，采用最小二乘圆拟合获取疑似诱芯位置(图3-B)。

相对于RGB空间，HSV空间能够更直观地表达色彩的明暗、色调和鲜艳程度，更具有稳定性。因此，在完成最小二乘圆拟合检测后，进行颜色过滤替换，将图片从RBG空间过滤替换为HSV空间。定位黑色区域，将其替换为背景板的颜色，结果如图3-C所示。

图2 客户端功能示意图Fig.2 Diagram of client functions

1.2.2 图像分割

图像分割的实质是分割背景与前景，为特征提取及过滤非靶标物质提供条件。图像分割方法大体可分为4类，其中以基于聚类的方法最为常见[10]。由于本试验中的图片背景具有相对一致性，因此采用基于HSV颜色空间的背景分割方法[11]。过程如下：1)空间转换，将输入图像转换为HSV空间下的图像；2)背景去除，颜色过滤替换(以图像背景为模板进行过滤)；3)形态学操作，包括二值化和高斯滤波。处理结果如图4所示。

1.2.3 测报害虫特征提取

背景去除后，在图像上遍历轮廓，获取轮廓位置，以最大外接矩形包围轮廓，并在原图相应位置设置感兴趣区域(region of interest，ROI)。对于害虫来说，其特征主要有颜色、形状和纹理。

A、B、C分别是原始图片、最小二乘法拟合后图片、颜色过滤替换后图片。A， B and C were the original picture， the picture after least square fitting and the picture after color filtering and replacement， respectively.图3 图像预处理结果示意图Fig.3 Diagram of image preprocessing

A、B、C分别为空间转换、背景去除和形态学操作之后的图片。A， B and C were pictures after spatial transformation， background removal and morphological operation， respectively.图4 去背景结果示意图Fig.4 Diagram of background removal

在本试验条件下，最简单直接的特征就是颜色特征，而害虫图像的尺寸、方向、旋转等因素对鉴别害虫影响较小[12-14]。颜色的主要信息集中在一阶矩(mean)、二阶矩(variance)和三阶矩(skewness)。其中，一阶矩描述的是平均颜色，二阶矩描述的是颜色方差，三阶矩描述的是颜色的偏移性。颜色矩能够全面呈现图像的颜色分布特征。

(1)

(2)

(3)

式(1)～(3)中：pij表示第j个像素的第i个颜色分量；N为图中像素点的个数；i为颜色模型的分量，i=1表示R分量，i=2表示G分量，i=3表示B分量；μi、σi、δi分别表示一、二、三阶矩。经过计算得到的部分一、二、三阶矩如表1所示。从表1的15组数据统计出待测害虫与干扰(主要是灰尘和其他非测报害虫)颜色矩的范围，从而选定R分量的二阶矩、G分量的二阶矩，以及B分量的一、二、三阶矩作为识别害虫的特征。

为了提高识别的准确率，将RGB图像转换到HSV颜色空间，转换公式如下：

(4)

式(4)中：H、S、V为HSV颜色空间模型的H、S、V值；R、G、B分别为红、绿、蓝3分量像素值；min(R，G，B)为R、G、B分量中最小值。为了直观表示，令

(5)

式(5)中：h、s、v为变化后的H、S、V值。

表2中μ、σ、z为待测害虫与干扰在HSV模型颜色参数的一、二阶矩和众数。

综合表1和表2的统计结果，将RGB空间中B分量的一、二、三阶矩，以及HSV空间中S分量的一阶矩和众数作为特征。

表1 待测害虫与干扰RGB模型颜色参数值

Table1Values of color parameters of forecast pests and disturbances in RGB model

类别CategoryRμσδGμσδBμσδ待测害虫142.12120.118-12.072188.35534.318-20.027105.91939.22850.016Forecast pest119.73626.358-23.781154.06729.896-22.87494.31639.51939.969121.32922.548-17.257168.22330.939-33.54395.89733.27247.588130.22425.336-19.332178.58935.226-35.969102.66532.86149.964127.95223.227-15.332166.22533.874-35.254103.22537.84544.258干扰142.06816.363-20.963157.88822.567-28.29625.23375.23315.155Disturbances130.46715.134-9.644182.95512.433-13.53587.08685.9569.402136.3339.079-19.041164.57318.491-21.66885.95697.08617.071137.66510.589-15.689175.36515.358-17.54955.68487.62520.258139.54812.689-17.258166.58316.468-16.25864.58492.65216.582

表2 待测害虫与干扰HSV模型颜色参数值

Table2Values of color parameters of forecast pests and disturbances in HSV model

类别Categoryhμσδsμσδvμσδ待测害虫142.12120.118-12.072188.35534.318-20.027105.91939.22850.016Forecast pest119.73626.358-23.781154.06729.896-22.87494.31639.51939.969121.32922.548-17.257168.22330.939-33.54395.89733.27247.588130.22425.336-19.332178.58935.226-35.969102.66532.86149.964127.95223.227-15.332166.22533.874-35.254103.22537.84544.258干扰142.06816.363-20.963157.88822.567-28.29625.23375.23315.155Disturbances130.46715.134-9.644182.95512.433-13.53587.08685.9569.402136.3339.079-19.041164.57318.491-21.66885.95697.08617.071137.66510.589-15.689175.36515.358-17.54955.68487.62520.258139.54812.689-17.258166.58316.468-16.25864.58492.65216.582

另外，利用Matlab数学工具进行统计，获得面积、周长特征的范围分别为51.6～89.6和43.7～95.3。

1.2.4 识别计数

特征提取的识别计数过程如图5所示。对选中的ROI进行特征计算，然后依(6)式进行决策：

(6)

根据(7)式获得最终识别结果：

W=δφ+βφ+γφ，

(7)

式(7)中：δ、β、γ分别为图片颜色特征、轮廓面积和轮廓周长的权重。经过多次测试，取δ=0.4，β=0.3，γ=0.3。若W值大于0，则表明该ROI区域是测报害虫。

识别结果如图6-A所示。可以看出，图片中有粘连的情况。为解决此问题，对面积较大的区域采用自适应分水岭方法进行局部分割，分割后再对其进行上述操作，结果如图6-B所示。

图5 特征提取的识别计数流程Fig.5 Flow chart of computation of selected features

1.3 识别效果判定

将获取的图像应用到害虫测报系统进行数量统计，以人工计数作为对照，用正确识别率(REFR，单位%)评价害虫识别效果[15]。

(8)

式(8)中：VREFR表示REFR的值；Nm表示人工识别的结果；Na表示图像自动识别的结果。

于每天不同时间段进行拍照计数，随机选择不同天数进行害虫数目统计，对比两种方法的效果。

A、B为初始识别结果和解决粘连问题后的识别结果。A and B were the identification result before and after solving adhesion.图6 识别结果示意图Fig.6 Diagram of identification result

2 结果与分析

如图7所示，编号1～10的粘虫板上害虫数目较少，编号11～20的粘虫板放置时间稍长，害虫数目较多。可以看出，人工计数与系统算出的个数接近。当害虫数目较少时，系统计算结果准确率较高，相对误差稳定在5%左右；当害虫数目增多时，系统计算结果的准确率略降，相对误差也有所增加，但仍保持在7%左右。可能原因之一是，随着粘虫板放置时间的延长，周围环境对粘虫板的影响越来越大，导致计数的正确率下降。若能及时更换粘虫板，是可以保证系统计数的准确率的。总的来看，通过该系统是可以自动获取害虫发生的动态数据的。

图7 人工计数与系统计数结果对比Fig.7 Comparison of manual count and automatic count of proposed system

3 结论与讨论

传统的害虫计数方法需要将图像在计算机终端进行人工剪裁以去除无关背景。本文基于自适应方法去除粘虫板背景，提出将颜色空间矩和图像几何形特征相结合的量化害虫特征的方法，采用加权决策方法来识别害虫。所提方法具有普适性。然而，当环境发生剧烈变化时，如光照严重干扰图像时，会导致本方法的计数精度下降。同时，若害虫种类增加，也需要另行选取合适的特征。下一步考虑采用基于深度学习的算法来应对环境更加复杂的情况。

经测试，本系统自动计数与人工计数的误差在7%，运行效果良好，能够有效地实现对粘虫板害虫的自动计数，提高了统计效率，对于做好害虫测报及防护工作具有实际意义。