基于黄色诱捕板的黄曲条跳甲识别与计数方法

2020-06-17张连宽岑冠军

江苏大学学报（自然科学版） 2020年3期

张连宽,张程,岑冠军,高燕

(1.华南农业大学数学与信息学院,广东广州 510642;2.青岛理工大学信息与控制工程学院,山东青岛 266033;3.广东省农业科学院植物保护研究所广东省植物保护新技术重点实验室,广东广州 510640)

黄曲条跳甲属鞘翅,以危害叶类蔬菜为主,其幼虫和成虫对蔬菜造成严重危害.是制约蔬菜高质、高产和高效益的重要因素之一.黄曲条跳甲在我国南方区域为害严重,近年来在北方的危害程度也逐年增加,因此,实时掌握蔬菜的虫害状况是有效防控虫害的关键.传统蔬菜虫害信息的获取大多采用人工计数,存在效率低、劳动强度大和时效性低等缺点.近年来,以图像处理技术分析虫害的相关研究有了较大进展.基于图像的虫害鉴别途径主要有两种，第1种是采集含有虫害的叶片图像进行分析.LI Y.等[1]采集叶片上的烟粉虱图像,运用多重分形算法对烟粉虱目标进行分割分析,召回率达86.9%.J.G.A.BARBEDO[2]通过不同颜色空间与像素面积门限识别烟粉虱的不同阶段.张水发等[3]采用离散余弦变换算法和区域生长算法,从自然环境中采集的叶片中提取白粉虱图像,准确率达98%.胡雅辉等[4]通过Canny边缘检测算法获取烟粉虱目标,计算图片中害虫数量,从而获得害虫密度,准确率达90%.第2种是通过分析诱捕板图像中害虫情况,获得虫害种类和危害程度.K.ESPINOZA等[5]在实验室稳定光源下通过扫描黄色诱捕板获得图像,采用神经网络方法对烟粉虱与蓟马进行识别,对烟粉虱鉴别精度为96%,对蓟马的识别精度达到92%.XIA C.L.等[6]利用蓟马、烟粉虱和蚜虫的颜色差异,采用马氏距离与分水岭算法对3种昆虫进行识别,平均识别准确率分别达到82.2%,79.7%和85.6%.

目前,对于蓟马、烟粉虱和蚜虫的识别研究已有了一定的进展,但对于黄曲条跳甲的识别研究较少.为此,笔者提出自然环境下基于黄色诱捕板的黄曲条跳甲成虫的识别与计数方法,综合使用最大类间方差法(OTSU)、颜色平滑算法与主动轮廓模型方法,通过颜色、纹理与形状特征参数提取及采用支持向量机(support vector machine,SVM)法，获得黄色诱捕板黄曲条跳甲数量,以期达到及时掌握黄曲条跳甲发生与危害程度,为科学的田间管理提供依据.

1 材料与方法

1.1 图像采集

图像采集地点位于广东省广州市的广东省农业技术推广总站.使用Cannon EOS 700D相机,拍摄大田环境下悬挂的黄色诱捕板图像,黄色诱捕粘板规格为25 cm×20 cm.Cannon EOS 700D相机的图像分辨率为3 456像素×5 184像素.相机与黄色诱捕粘板距离为0.3～0.5 m,相机不需要特别设置拍照的角度与距离,但是需要将整个黄色诱捕粘板放在所采集的图像中,并占据图像的主要区域.共采集42幅图像,每幅图像中的黄曲条跳甲数量为2～16个.

1.2 方法

基于黄色诱捕板的黄曲条跳甲识别与计数方法由4个步骤组成.由于研究目的是识别黄色诱捕板上的黄曲条跳甲,因此第1步是除去背景图像,仅保留黄色诱捕板区域图像;第2步是提取黄色诱捕板区域中的候选待判别区域;第3步是对候选区域提取特征参数;第4步是利用这些特征参数,采用支持向量机对每个区域进行鉴别计数,从而获得黄曲条跳甲的灾情状况.

1.2.1背景去除

为减少背景的干扰,提高运算效率,首先去除图像背景部分,提取黄色诱捕板前景区域.图像数据在自然环境下进行采集,为了降低亮度变化的影响,首先将图像由RGB颜色空间转化为HSV颜色空间.由于相机主要对着黄板区域拍照,因此黄板区域占据图像主要部分,采用OTSU算法提取黄板区域图像.对于灰度图,OTSU算法以前景与背景图像的最大类间方差自动求得全局阈值,将灰度图像二值化,以划分图像前景区域和背景区域.具体过程如下:

1) 用OTSU算法获得HSV颜色空间的阈值,以阈值提取S通道与V通道前景图像,分别表示为IOTSU(S)和IOTSU(V).

2) 计算两通道前景的并图,Icandi=IOTSU(S) &IOTSU(V).

3) 提取Icandi的各连通区域,以第1个大连通区域作为前景Iforeg.判断第2个大连通区域Isec的面积是否大于Iforeg面积的1/5,若满足条件,则将Isec并入到Iforeg,即Iforeg=Iforeg|Isec.

4) 对于原彩色图Iorig的每一个像素,若在Iforeg中相应位置的灰度值为1,则保留该像素的彩色值,否则作为背景删除.

采用S与V通道可以将黄色的前景区域提取出来.图1为背景去除前后照片对比.

图1 背景去除

1.2.2候选区域分割

图2为黄曲条跳甲识别候选区域图片.对原始图像的V通道采用OTSU算法提取背景图像,见图2a白色部分.由于各种昆虫和污点的图像亮度异于黄板,采用OTSU算法进行分割会将该区域作为背景提取出来，将这些区域与黄板区域做并运算.通过对黄板中黄曲条跳甲分析,发现黄曲条跳甲成虫大小相似.为了排除面积较小的昆虫、灰尘及面积较大的苍蝇、污点等影响,从并运算图像的区域中选择像素面积为310～770像素的区域作为黄曲条跳甲的候选区域(见图2b).

图2 黄曲条跳甲识别候选区域选择结果

图3为OTSU算法对目标区域分割的结果.为了统一候选区域规格,在每一个候选区域,以几何中心为中心,截取一个边长为81像素的正方形子图(见图3a).为了判定子图中候选区域是否为黄曲条跳甲,进一步分割子图中目标区域彩色图像(去除周围黄色背景),再进一步提取其特征.然而OTSU算法由于使用全局的门限分割背景,所以其提取的候选区域具有较多缺陷,分割不完整.试验结果显示,存在两个影响因素,一是包含了目标区域的部分影子,二是由于黄曲条跳甲背部的黄色区域亮度较高,OTSU算法将其作为背景进行消除(见图3b),由此分割提取的彩色图像不完整(见图3c),因此与希望提取的目标区域图像差距较大.

图3 OTSU算法对目标区域分割的结果

为了提取子图中不规则的候选区域彩色图像,采用主动轮廓模型[7]的分割方法.假设I(x,y)为一灰色图像,主动轮廓是一条在I上可伸缩、移动和变形的曲线X(s)=[x(s),y(s)],其中s是量纲一化弧长参数,s∈[0,1].主动轮廓模型将图像分割问题(寻找轮廓线)转换为求解能量泛函最小值问题.主动轮廓的总能量定义为

(1)

式(1)中Eint(X(s))是内部能量泛函,即

(2)

式中:α(s),β(s)是权值参数;α(s)|X′(s)|2为弹性内能项,使得轮廓曲线具有伸缩性；β(s)|X″(s)|2使得轮廓曲线具有弯曲性.

式(1)中Eext(X(s))是外部能量泛函,即

Eext(X(s))=Eimg(X(s))+Econ(X(s)).

(3)

其中Eimg(X(s))为图像能量,表示为

Eimg(X(s))=|I(x,y)|2,

(4)

或

Eimg(X(s))=|[Gσ(x,y)I(x,y)]|2,

(5)

采用面积门限提取候选区域,候选区域可能是各种昆虫和田间污点,形状各异,而主动轮廓模型特别适用于任意形状的变形轮廓[8],所以采用主动轮廓模型提取候选区域,为进一步的特征提取做准备.主动轮廓模型需要选择适当的初始轮廓曲线.图4为直接采用主动轮廓模型分割目标区域的结果.由于目标区域在子图的中心,以子图中心为几何中心,采用一个边长为9像素的正方形作为初始轮廓.然而黄曲条跳甲的背部变化较大,有亮度较低的黑灰区域,也有亮度较高的黄色区域,直接采用主动轮廓模型获得结果图像也不够完整,如图4b所示.

图4 直接采用主动轮廓模型分割目标区域的结果

为此,使用OTSU算法对候选区做出的初步选择会将黄曲条跳甲上高亮度的黄色区域删除掉.而如果直接使用主动轮廓模型,由于该高亮度黄色区域与其他部分的差异,使得分割不完整.为此,对删除的高亮度区域做了颜色图像修改,然后再采用主动轮廓模型对其分割.图5为采用颜色平滑算法与主动轮廓模型法分割目标区域的过程.分割步骤如下:

1) 对获取如图5b所示的结果做形态学的补洞运算,并且记住补洞的区域Dhole.

2) 对图5b图像中的每一个灰度值非零的像素,从子图原图(图5a)中提取其R,G和B分量值.统计这些非零像素的R,G和B分量的平均值Rave,Gave和Bave.

3) 对原图(图5a)中Dhole区域所有像素点的R,G和B分量值都用Rave,Gave和Bave填充,结果如图5c所示.

4) 对图5c图像采用主动轮廓模型进行分割,结果如图5d所示.

图5 颜色平滑算法与主动轮廓模型的分割过程

由此可见,采取的颜色平滑算法使目标区域的颜色趋于平滑,因而主动轮廓模型能够较准确地将目标区域分割出来.图6为采用颜色平滑算法与主动轮廓模型对图像进行分割的结果实例.

图6 颜色平滑算法与主动轮廓模型的分割结果

由图6可知,采用分割方法对各种形状的昆虫、污点轮廓提取都有效.

1.2.3图像的特征参数提取

特征参数的选择直接影响着图像识别的准确度.为了有效区分黄曲条跳甲与其他昆虫、污点,对每个子图提取共21维的颜色、纹理和形状等特征信息,具体如表1所示.

表1 黄曲条跳甲识别特征信息

颜色特征是彩色图像的重要特征信息.为了提取目标候选对象及其背景的特征,用HSV颜色空间的S通道提取目标分割区域和正方形区域的一、二和三阶颜色矩.3个颜色矩的定义分别如下:

(6)

(7)

(8)

纹理是指图像中大量规律性相似元素或图形结构,常指图像中反复出现的局部模式及其排列规则.笔者采用广泛使用、效果较好的基于灰度共生矩阵法[9]的纹理表示方法.灰度共生矩阵是图像的像素距离和角度的矩阵函数,用以计算一定距离和方向的两点灰度值之间的相关性,反映图像在方向、间隔、变化幅度和快慢上的综合信息.该方法是通过从灰度共生矩阵中提出14个反应矩阵状况的参数描述纹理特征,为此笔者对目标分割区域与正方形区域的S通道分别采用对比度、角二阶矩、同质性和熵值作为图像纹理特征参数.

黄曲条跳甲在形状上与其他昆虫、污点有着一定的区别,为了利用形状特征进行区分,对目标分割区域提取了7个Hu不变矩特征.Hu不变矩具有平移、旋转和尺度不变性[10].假设一个大小为m×n图像的图像函数为I(x,y),则图像的p+q阶矩定义为

(9)

p+q中心矩定义为

(10)

(11)

(12)

量纲一化的中心矩为

(13)

则7个Hu不变矩分别为

φ1=η20+η02,

(14)

φ2=(η20+η02)2+4η112,

(15)

φ3=(η30-3η12)2+(3η21+η03)2,

(16)

φ4=η30+η12+(η21+η03)2,

(17)

φ5=(η30-3η21)(η30+η21)[(η30+η12)2-
3(η21+η03)2]+(η21-η03) (η21+
η03)[3(η03+η12)2-(η21+η03)2],

(18)

φ6=(η20-η02)[(η30+η12)2-
(η21+η03)2]+4η11(η30+
η12) (η21+η03),

(19)

φ7=(η21-η30)(η30+η12)[(η30+η12)2-
3(η21+η03)2]+(3η21-η03) (η21+
η03)[3(η03+η12)2-(η21+η03)2].

(20)

1.2.4基于支持向量机的黄曲条跳甲识别方法

图7为基于支持向量机的黄曲条跳甲识别结果.选取颜色、纹理和形状特征的目的是要利用这些特征将黄曲条跳甲与其他事物区分开,属于二分法的分类,笔者采用支持向量机的识别方法达到这一目标.

图7 基于支持向量机的黄曲条跳甲识别结果

SVM的核心思想是选择一个非线性变换,将输入变量映射到高维空间中,在该空间中构造一个最优分类超平面.记训练集(y1,x1),(y2,x2),…,(yl,xl),xi∈Rn,y∈{-1,1}的向量x的两个有限子集分别为I(y=1)和II(y=-1).对于超平面(x·φ)=c是可划分的,即对xi∈I,有(xi·φ)

(21)

(22)

(23)

对于不可分样本集引入软间隔来构建最优超平面,对线性不可分的样本集,可以通过引入满足Mercer定理的生成内积的核函数K(x,xi)来构建非线性决策面.

从式(22)可以看出,SVM的求解只与两个向量的内积有关,而与维数无关,这一事实允许SVM在高维空间甚至在无限维的Hilbert空间中构造分类超平面;同时,SVM的求解过程允许利用训练集中的少量向量求解最大化函数.因此,相对于传统学习算法,SVM在解决小样本、非线性及高维模式识别问题中表现出特有的优势,具有良好的泛化能力和出色的小样本学习能力.

2 结果与分析

本研究首先对S通道与V通道分别用OTSU算法获得阈值,以阈值将S通道与V通道提取前景.由于采集图像时黄色诱捕粘板占用主要区域,因此OTSU算法提取的前景图像获得很好的提取效果.试验中拍摄的42幅图像中,仅有3幅边界出现了少许缺失,如图8所示,其他图像都完整地将黄色前景粘板分割出来.缺失原因主要是由于采集图像是在自然环境下进行,黄色诱捕粘板光线不均匀,小部分边界被认作背景.由于缺失面积较小,对黄曲条跳甲识别影响不大.

图8 背景消除后边界缺失现象

由于黄色诱捕粘板悬挂于大田环境下,开放的环境使得黄板中常粘有各种昆虫和污点等.通过连通区域面积阈值的分割方法能够将众多与黄曲条跳甲体积差距较大的干扰源排除掉.图9为面积阈值分割法消除小区域与大区域干扰的图片.由图9可知,面积阈值分割方法消除了整张黄板中的422个小区域和8个大区域的干扰,保留了18个候选区域有待判断.利用面积阈值分割法有效消除了不必要的干扰,加速了识别进程.