基于显著性检测的蔬菜鳞翅目害虫图像自动分割算法

钱 蓉，董 伟，朱静波，张 萌，张立平，卜英乔

(1.安徽省农业科学院农业经济与信息研究所，安徽合肥230031；2.国防科技大学电子对抗学院，安徽合肥230037)

田间复杂背景下实现对蔬菜鳞翅目害虫的有效分割是亟待解决的问题，也是提高害虫图像自动识别准确率的关键因素.随着计算机视觉技术的快速发展，害虫图像分割算法得到了广泛的研究.传统的害虫图像分割算法主要是基于样本的颜色、纹理、几何形态等特征进行分割.程小梅等[1]综合颜色、纹理和空间等多特征信息，通过EM算法估计高斯模型参数，可分割出10多种昆虫图像.陈婷婷[2]采用模糊形态学处理带有噪声的大田害虫图像，可将害虫与背景分离.张水发等[3]以样本采集时焦点定制目标物为前提，基于DCT和区域生长算法把白粉虱从叶片上分割出来，平均分割率达到98.49%，但焦点未聚焦在目标物样本的图像分割率急剧下降.传统的分割方法在特定的数据集上表现出良好的分割效果，但被应用至田间复杂自然背景的害虫图像分割，获得的分割结果不尽人意.近几年，已有研究人员开展害虫图像半自动分割和全自动分割方面的研究，2013年张洁[4]提出了一种结合纹理颜色直方图的最大相似度区域合并算法，用于农田背景害虫图像的人机交互分割，实现了半自动化图像分割.2017年杨国国等[5]把图像显著性检测技术应用到茶园害虫识别中，对数字图像进行显著性分析，实现在图像中对害虫进行定位并完成自动分割，从而提高茶园害虫识别准确率，使茶园害虫的识别率达到91.5%.但这种算法的分割精确度受样本集制约，不适合小样本分割.2017年Zhao et al[6]采用边缘感知加权技术，增强了病虫害图像显著检测结果的边缘和细节，更好地保存了害虫的特征.2018年陈树越等[7]采用改进的Harris算法计算角点的像素相似度，选出候选角点，剔除候选角点中的非凹点，将剩余的凹点进行局部非极大值抑制，选出真正的凹点，完成对粘连害虫轮廓的逐层剥离.蔬菜鳞翅目害虫颜色多样，体态多变，大部分害虫与田间蔬菜颜色相近，不易识别.因此，在田间复杂背景下，仅依据颜色或纹理特征，采用传统分割算法进行自动分割会出现过分割或欠分割的现象.为了增加前背景间对比度，淡化田间复杂环境的影响，本文提出一种基于显著性检测的图像自动分割算法(saliency based segmentation，简称S-segmentation)，即采用显著性检测模型提取样本图像的显著图，达到让前景凸显的效果.与传统GrabCut算法[8]相比，S-segmentation算法将显著图设计成GrabCut算法的约束项，加入到分割区域计算项中，可实现田间复杂背景下害虫图像的自动分割，且其分割的精确度也不受样本个数约束.

1 材料与方法

1.1 供试材料

数据采集设备为尼康D810、尼康D7000数码单反相机.计算机硬件配置是Intel(R)Core(TM)i7-7700CPU＠3.60GHz，8GB 内存，64位 Windows10操作系统.开发平台：VisualStudio2012＋Opencv3.3.0.

1.2 样本采集

数据集包含5类鳞翅目害虫图像，分别为斜纹夜蛾、甜菜夜蛾、棉铃虫、小菜蛾和菜粉蝶，均采自田间实地，为自建数据集.害虫占整幅照片的中心位置.为了使样本分布均匀，随机抽取各类害虫100张图像，组成500张样本图像的样本集，样本图像大小均为1 000 px×1 000 px.

1.3 样本图像预处理

采用显著性检测对样本图像作预处理，实现前景目标的预分割.显著性检测是通过自上而下的目标驱动或自下而上的数据驱动方式，自动地从图像中提取最突出或最能吸引视觉注意的局部区域[9].自上而下的目标驱动式显著性检测需要提前给出先验目标知识和特定任务，通过训练学习，完成显著区域提取；而自下而上的数据驱动式显著性检测是基于颜色、形状、位置和强度等特征信息完成显著区域提取，无需提前设定先验目标，因此被广泛应用在目标物分割和识别、图像压缩等方面[10].结合田间蔬菜鳞翅目害虫实际特征，分别参考文献[11-17]的显著性检测算法，分析试验样本数据集，得到的显著图如图1所示.

图1 RC、AC、FT、LC和HC的预处理结果对比图Fig.1 Comparison of the results of RC，AC，FT，LC and HC pretreatment methods

对比图1中5种显著性检测算法的结果可知，与其他4种显著检测算法相比，采用RC显著性检测算法处理可使样本的前景与背景间的对比度明显增强.因此，本文融合RC算法对数据集进行显著性检测，提取显著性图.显著性图提取计算公式表示如下：

式(1)中，rk和ri是样本图像任意2个子区域，S(rk)代表rk区域的显著值，权值ω(ri)是ri区域像素值的个数，Dr(·，·)是2个区域间颜色距离矩阵，计算方法表示如下：

式(2)中，f(ck，j)是第i个颜色值ck，i在rk区域的nk种颜色中出现的概率，k＝{1，2}.

1.4 S-segmentation算法实现

传统的GrabCut算法需要人机交互，要求人为选定兴趣区域，并通过鼠标重复设置图像前景区和背景区，在分割前景与背景颜色差异不明显或背景复杂的样本时，很难获得满意的分割效果.S-segmentation算法采用显著性检测模型对样本图像进行预分割，提取视觉注意区域中显著性图，然后把预分割得到的显著性图作为GrabCut算法的预设项，对GrabCut算法进行初始化，完成自动分割.在图像采集过程中把目标对象放置于图像中心位置，初始过程中可把显著性图的高和宽3%的边界区域设置为背景区域，有效提高算法运行效率和分割准确率.S-segmentation算法的框架图如图2所示.算法流程表示如下：(1)初始化.(2)对原样本图I作高斯滤波去噪处理，保存为 I＿Gau.(3)采用 RC算法对 I＿Gau图进行显著性内容分析，得到显著性图I＿saliency.(4)采用显著图I＿saliency初始化GrabCut算法，设定I＿saliency图的高和宽3%的边界区域设置为背景区域，此时的图记为I＿saliencyROI；把I＿saliencyROI作为输入，开始迭代运行GrabCut算法.(5)对GrabCut算法的每次迭代结果进行膨胀和腐蚀操作，得到三元图I＿trimmap(包括前景、背景和位置区域)，作为下次迭代的输入.(6)经过n次迭代后即可得到分割后的二值图I＿RCsegimg，结合原样本图像I，即可得到原样本图的分割结果 I＿segimg.

图2 S-segmentation算法框架图Fig.2 S-segmentation algorithm framework diagram

1.5 验证试验

为了验证本文提出的分割算法，另选取上述5种鳞翅目害虫的成虫样本图像各100张继续进行分割试验；并计算出各类成虫图像的平均分割精确度.通过比较各类成虫图像分割结果的平均精确度来评价分割效果.

2 结果与分析

2.1 S-segmentation算法分割幼虫试验

采用本文提出的算法分别分割5种害虫幼虫的7类图像，分割过程如图3所示.鳞翅目幼虫颜色多样，与背景颜色差异很小.图3列出7种害虫的图像样本，前景颜色与背景相似.从图3可知，采用本文提出的方法处理前景与背景间颜色相似程度不等的样本图像，均可去除背景区域，还可以保留虫体前景与背景间的边缘细节信息.

2.2 不同算法分割幼虫的对比试验

从图4可知，S-segmentation算法可完整分割出斜纹蛾，而Ostu算法分割结果中丢失较多黑色斑纹信息.其原因可能是黑色斑纹与背景区域颜色相似，被当作背景去除，从而影响幼虫自动识别的准确性.从图5可知，试验样本为上述7类样本图像，图5A1的背景区域有部分颜色与前景接近，初次迭代分割效果明显，继续迭代3次后剩余部分背景区域仍无法去除，分割效果如图5C1中红色矩形框所示.图5A2样本图像的背景区域色彩复杂，经3次迭代后，在后续的每次迭代后只能去除设定为背景的线条形区域，分割效果如图5C2中红色矩形框内标记的黑色线条背景线，未设置的背景区域不能被移除，分割效果很理想.采用传统的GrabCut算法对本试验选用的7类样本图像的分割情况表明，这些算法对背景颜色单一且前景与背景间颜色差异明显的样本分割效果好，所需时间较短；对背景颜色复杂的样本，迭代多次后仍有部分背景难以去除；对前景与背景间颜色相近的样本不能准确分割，未能达到期望结果.而采用S-segmentation算法处理可得到很好的分割结果(图5B1、5B2).

图3 S-segmentation算法分割5种蛾类幼虫的过程图Fig.3 Graphical procedure of segmentation of 5 types of moth larvae by S-segmentation algorithm

2.3 验证试验

为了定量分析各算法的分割效果，采用分割精确度来量化各个算法的分割结果，从而进行客观评价.通常，图像分割结果的优劣通过精确度(precision)[19]和交并比(IOU)2个指标来衡量.精确度可衡量分割图面积占真实图面积的比例，交并比用来说明分割图与真实图的交集与并集的比例.精确度和交并比的计算方法分别如式(3)和式(4)所示.

式中，G表示真实图的参考面积，S表示算法分割得到的分割图像的真实面积，表示错误分割的像素点个数，precision为分割精确度，IOU为真实图和分割图交集面积占并集面积的比例值，Area(G)表示真实图的面积，Area(S)表示分割图的面积，Area(G)∩Area(S)表示真实图与分割图重叠面积值，Area(G)∪Area(S)是真实图与分割图并集的面积.

图4 Ostu算法和S-segmentation算法分割斜纹蛾的对比图Fig.4 Comparison of Ostu algorithm and S-segmentation algorithm for the segmentation of Spodoptera moth

图5 传统GrabCut算法与S-segmentation算法分割结果的对比图Fig.5 Comparison of traditional GrabCut algorithm and S-segmentation algorithm

从图6、7可知，S-segmentation算法、Ostu算法和传统GrabCut算法在本文数据集上的平均分割精确度和交并比差别较大，其中Ostu算法的precision和IOU的平均值分别是54.09%和52.29%，传统GrabCut算法的precision和IOU的平均值分别是71.34%和70.31%；S-segmentation算法的precision和IOU的平均值分别是93.14%和92.69%.从以上2个衡量指标值来看，S-segmentation算法分割准确率和交并比明显高于其他2种算法，分割效果好.表明S-segmentation算法在各类样本图像分割中均具有较好的分割效果，从而验证了该算法在自然背景下分割蔬菜鳞翅目害虫图像的可行性.从图8可知，5种成虫图像的平均精确度达到88.22%，可以满足实际应用的需求.

3 小结

本文基于图像显著性检测提出一种鳞翅目图像自动分割算法，即S-segmentation算法，与传统分割算法比较，分割效果更好，且不受样本数量影响.S-segmentation算法不受图像复杂背景与前背景间颜色差异的影响，能保留前景图像的边缘信息和纹理细节信息，应用到体型单一的幼虫图像分割中，其平均分割精确度达到93.14%；应用到体型多样且纹理复杂的成虫图像分割中，其平均分割精确度也能达到88.22%.对于田间自然情况下不同色型、不同龄期且姿态多变的鳞翅目成虫的分割试验，该算法具有较强实用性.

图6 S-segmentation算法、Ostu算法和传统GrabCut算法的平均分割精确度统计图Fig.6 Average segmentation accuracy statistics of S-segmentation algorithm，Ostu algorithm and traditional GrabCut algorithms

图7 S-segmentation算法、Ostu算法和传统GrabCut算法的平均分割交并比统计图Fig.7 Average split-to-match ratio chart of S-segmentation algorithm，Ostu algorithm and traditional GrabCut algorithms

图8 采用S-segmentation算法分割5种成虫图像的平均精确度统计图Fig.8 S-segmentation algorithm divides the average accuracy statistics of five adult images