少样本条件下的复杂叶片图像语义分割

汪庆，杜炜，马春，谷宗运

少样本条件下的复杂叶片图像语义分割

汪庆，杜炜，马春，谷宗运＊

（安徽中医药大学 医药信息工程学院，合肥 230012）

针对少样本条件下复杂叶片分割精确度不高的问题，提出一种基于数据增强的图像语义分割方法。使用翻转、平移方法对训练集中的图像进行增强扩充，利用VGG19代替原SegNet语义分割模型的VGG16主干网络进行模型训练。实验结果表明，在包含180幅复杂背景叶片的图像数据集上，使用该方法的评价指数MPA和MIOU达到了98.02%和95.79%，相比未使用数据增强的原模型分别提高了9.96%和15.27%。

语义分割；SegNet模型；VGG19；少样本；复杂叶片；数据增强

图像分割是图像识别的重要预处理步骤，优秀的分割算法能够提高图像特征提取的效率，提升识别率。自然界中获取的叶片图像通常含有复杂的自然场景，叶片图像分割的主要任务就是将叶片从复杂的背景中提取出来。

常见的植物图像分割方法有：基于边缘检测的图像分割[1]、基于聚类的叶片图像分割[2]、基于支持向量机的图像分割[3]等。传统的分割方法虽然可以将叶片区域从图像背景中分割出来，但是这些方法对于存在叶面不均匀光照、非主要干扰叶片、杂草背景、变色叶片等复杂场景下，往往不能得到令人满意的效果。

近年来，不少学者使用深度学习的方法在植物图像分割领域开展了一系列研究工作，通常这些模型训练需要较多的样本作为数据支撑。胡静等[4]使用全卷积神经网络FCN对Leafsnap数据库中7719张图像背景较简单的叶片图像进行分割，使用召回率RR和误报率FAR作为评价标准并使用ROC曲线进行分析；熊俊涛等[5]使用Deeplab V3模型结合ResNet34主干网络训练模型，在675幅荔枝花叶图像数据集上分割，得到了平均交并比mIoU达到0.734，准确率达到87%的结果；Yang等[6]采用Mask Region-based Convolutional Neural Network（Mask R-CNN）作为叶片分割训练网络，结合VGG16训练分类模型，在2500幅复杂背景的叶片图像数据集上分割平均准确率达到了91.5%；Zou等[7]采用简化的U-net算法对800张农田杂草进行分割，算法降低了分割图像的速度，但保持了较高的分割精度，评价标准IoU、ACC分别达到了92.91%、98.24%；Kan等[8]使用U-Net模型结合Resnet50网络进行模型训练，在Imagenet和DUTS dataset中选取1000幅叶子图像作为训练数据集，对比颜色指数方法取得了更优秀的分割效果；Kolhar等[9]使用基于修正残差U-Net的CNN进行植物叶片分割，在包含800幅叶片图像的Leaf Segmentation Challenge（LSC）数据集上分割准确率达到了91.25%；Agarwal等[10]提出了一种差分进化改进的SegNet压缩版本，对800幅简单背景的马铃薯叶片分割病变区域，在不影响mIoU指数的情况下对模型进行了压缩。

本文针对图像语义分割训练中训练图像样本不足的问题，结合VGG19主干网络并通过引进增强变换扩充样本数据量，以提高叶片图像分割的准确率。

1 SegNet语义分割模型

SegNet模型[11]是一种语义分割网络，该模型具有语义分割网络基于像素分割的共同特征，通过遍历图像中的每个像素按内容进行分类。相比图像分类图像跟踪算法，语义分割需要更大的计算量和对图像边缘更精细的处理。由于图像中包含的每个像素都需要被分类，被分割目标的各个部分是被精准分类的，目标分割边缘也相对更加清晰。

SegNet模型引入了编码器-解码器（Encoder-Decoder）结构，Encoder端是使用了VGG16网络的16层卷积神经网络中的前13个卷积层，网络深度为5，卷积子层数分别为2, 2, 3, 3, 3。该模型的主要特点是：在Encoder阶段，最大池化操作时只需要记录最大值所在位置，建立索引查询节省内存空间；而在Decoder阶段，直接使用记录的索引来进行去池化操作，从而在上采样阶段就无需学习，不用反卷积操作。为了具有更好的分割效果，本文引入VGG19网络作为主干网络，该网络包含19层卷积神经网络，Encoder端使用去除全连接层的前16个卷积层，网络深度仍设置为5，卷积子层分别2, 2, 4, 4, 4。引入VGG19的SegNet模型网络结构如图1所示。

图1 引入VGG19的SegNet模型网络结构

2 数据集和数据增强

2.1 数据集

为了确定图像分割标准，需要对训练的叶片图像进行像素级标记。图像分割的任务是把叶片从复杂的背景中分离出来，所以将图像的像素点标记背景区域和叶片区域，对图像按像素进行手工标记分类，其中，标记背景区域为back，标记叶片区域为leaf。

所有叶片图像来自于ImageCLEF2012PlantIdentification数据集[12]，该数据集图像采集自法国地中海地区的126种树种，包含11572张图片，其中训练数据8422张图像，测试数据3150张图像，主要包括：扫描的叶片、白色均匀背景的叶片和自然条件下的叶片，数据集的主要任务是用于基于叶片图像的树种识别。为了更科学地进行模型训练，本文随机选取180幅自然场景下复杂背景的叶片图像。其中90幅图像来源于该数据集的训练集作为该实验的训练集，90幅图像来源于该数据集的测试集作为该实验的测试集，以保证实验的训练集和测试集的图像不重复。

2.2 数据增强

为了进一步增强少样本条件下模型训练的精确度，本文使用数据增强方法将数据集倍增扩充，这些增强方法包括：

（1）翻转：翻转增强包括水平随机翻转和垂直随机翻转，当使用水平随机翻转表示图像沿着左右方向以50%的概率随机翻转；当使用垂直随机翻转表示图像沿着上下方向以50%的概率随机翻转。

（2）平移：平移增强表示图像沿着轴或者轴坐标在指定的范围内进行随机按像素平移，如指定[-10 10]表示在正负10个像素之间随机移动。

3 算法流程

根据前面描述的内容，本文设计了一个基于改进的SegNet模型的叶片图像语义分割方法。该方法首先标记出所有的图像样本的背景区域和待分割的叶片区域作为标准真值图像，然后利用2.2节描述的数据增强扩充方法将所有测试集样本图像进行倍增，在设置好训练模型的超参数前提下，使用SegNet模型结合VGG19主干网络训练语义分割模型，最后利用模型进行分割测试。整个算法步骤描述如下：

步骤1：将数据集按像素手工标记出背景区域和叶片区域；

步骤2：将数据集随机划分为不相交的测试集、训练集；

步骤3：对训练集数据增强扩充；

步骤4：设置训练超参数进行模型训练；

步骤5：使用训练完成的模型对测试集进行分割。

该算法的程序流程图如图2所示。

图2 叶片图像语义分割程序流程图

4 实验与分析

4.1 实验环境和评价标准

本文的实验环境为Windows Server 2008 R2 64位，Intel Xeon CPU E5-2620 v3@2.4G，32GB RAM，仿真软件使用MATLAB 2020a版本，模型输入图片分辨率标准化为224×224。

数据增强阶段，实验使用翻转、平移两种方法将训练集样本扩充20倍，原训练集记为LeafSetI，倍增后的数据集分别记为LeafSetII。翻转沿着/轴随机进行，平移范围为沿着/轴正负10个像素点。

训练超参数设置阶段，对模型训练超参数进行初始化，模型超参数设置如表1所示。

表1 模型超参设置表

为了评估该模型的分割效果，使用平均像素精确度（Mean pixel Accuracy, MPA）和平均交并比（Mean Intersection Over Union, MIOU）进行评价，它们的定义如下：

4.2 实验结果和分析

为了更好地分析模型训练过程，实验对模型训练集训练过程记录了精确度Accuracy曲线帮助分析训练趋势，如图3所示，横坐标下方数字代表迭代次数，横坐标上方代表最大训练周期，纵坐标代表精确度百分比，图3(a)和图3(b)分别代表在原模型和本文方法在数据集LeafSetI上的训练过程，图3(c)和图3(d)分别代表在原模型和本文方法在数据集LeafSetII上的训练过程。

图3 模型在不同训练集上训练过程

根据式(1), (2)，再对测试集中的图像计算MPA和MIOU，结果如表2所示，未使用数据增强的本文模型比原模型MPA和MIOU分别提高了3.03%和1.63%，使用数据增强的本文模型比原模型MPA和MIOU分别提高了1.77%和2.70%，比未使用数据增强的原模型MPA和MIOU分别提高了9.96%和15.27%。

表2 不同方法实验结果对比表

4.3 可视化分析

为了进一步说明本文方法的优势，图4提供了部分数据增扩前后部分叶片图像分割对比效果图。其中图4(a)列表示测试集图像；图4(b)列表示手工标准分割结果；图4(c)列表示原模型使用LeafSetI训练的分割结果；图4(d)列表示本文模型使用LeafSetI训练的分割结果；图4(e)列表示原模型使用LeafSetII训练的分割结果；图4(f)列表示本文模型使用LeafSetII训练的分割结果。从分割效果图中可以看出，使用数据增强后模型分割效果在复杂的自然环境下仍具有较好的效果。

5 结论

针对少样本条件下的叶片图像分割，本文使用了一种基于数据增强的叶片图像语义分割算法。该算法首先标记出所有图像的背景和叶片区域，然后利用数据增强方法对训练集样本扩充，最后使用SegNet深度学习框架结合VGG19主干网络进行模型训练分割。实验结果表明，本文的算法提高了复杂场景中叶片图像分割的精确度，将评价指标MPA和MIOU分别提高了9.96%和15.27%，表明了该算法在小型数据集上的有效性。

图4 不同方法叶片图像分割效果对比

[1] 李凯，张建华，韩书庆，等. 基于改进C-V模型的棉花叶片目标提取方法[J]. 中国农业大学学报，2019, 24(02): 132-144.

[2] 陈浩，裴瑞杰，汪鑫. 基于ACO和K-means算法相结合的生菜叶片图像分割方法[J]. 现代计算机，2019(21): 45-49.

[3] 袁芊芊，邓洪敏，王晓航. 基于超像素快速模糊C均值聚类与支持向量机的柑橘病虫害区域分割[J]. 计算机应用，2021, 41(02): 563-570.

[4] 胡静，陈志泊，杨猛，等. 基于全卷积神经网络的植物叶片分割算法[J]. 北京林业大学学报，2018, 40(11): 131-136.

[5] 熊俊涛，刘柏林，钟灼，等. 基于深度语义分割网络的荔枝花叶分割与识别[J]. 农业机械学报，2021, 52(6): 252-258.

[6] YANG K, ZHONG W, LI F. Leaf segmentation and classification with a complicated background using deep learning[J]. Agronomy, 2020, 10(11): 1721.

[7] ZOU K, CHEN X, WANG Y, et al. A modified U-Net with a specific data argumentation method for semantic segmentation of weed images in the field[J]. Computers and Electronics in Agriculture, 2021, 187(3): 106242.

[8] KAN J, GU Z, MA C, et al. Leaf segmentation algorithm based on improved u-shaped network under complex background[C]//2021IEEE 4th Advanced Information Management, Communicates, Electronic and Automation Control Conference(IMCEC), 2021: 87-92.

[9] KOLHAR S, JAGTAP J. Convolutional neural network based encoder-decoder architectures for semantic segmentation of plants[J]. Ecological Informatics, 2021, 64: 101373.

[10] AGARWAL M, GUPTA S K, BISWAS K K. A compressed and accelerated SegNet for plant leaf disease segmentation: a differential evolution based approach[C]//The Pacific-Asia Conference on Knowledge Discovery and Data Mining(PAKDD), 2021: 272-284.

[11] BADRINARAYANAN V, KENDALL A, CIPOLLA R. SegNet: A deep convolutional encoder-decoder architecture for image segmentation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(12): 2481-2495.

[12] ImageCLEF: Plant Identification 2012.[EB/OL]. (2012-03-01)[2021-11-10]. https://www.imageclef.org/2012/plant.

Complex leaf image semantic segmentation under condition of few samples

WANG Qing，DU Wei，MA Chun，GU Zong-yun＊

(College of Medicine Information Engineering, Anhui University of Chinese Medicine, Hefei 230012, China)

To solve the problem that the segmentation accuracy of complex leaves is not high under the condition of few samples, a method of image semantic segmentation based on data enhancement is proposed. Use flip and translation methods to enhance and expand the images in the training set, and use VGG19 to replace the VGG16 backbone network of the original SegNet semantic segmentation model for model training. The experimental results show that using this method on the image data set containing 180 leaves with complex background, the evaluation indexes MPA and MIOU reach 98.02% and 95.79%, which are 9.96% and 15.27% higher than the original model without data enhancement.

semantic segmentation；SegNet model；VGG19；few samples；complex leaves；data enhancement

2021-10-29

安徽省高校自然科学重点研究项目（KJ2020A0392）；安徽中医药大学校级自然重点项目（2020zrzd16）；安徽中医药大学校级自然一般项目（2020zryb09）

汪庆（1983-），男，安徽寿县人，实验师，硕士，主要从事人工智能应用研究，wangqing@ahtcm.edu.cn。

TP391

A

1007-984X(2022)03-0021-05