APP下载

基于改进Deeplabv3+模型的果树语义分割研究

2024-04-29黎远江李云伍赵颖台少瑜王克超

中国农机化学报 2024年1期
关键词:语义分割注意力机制果树

黎远江 李云伍 赵颖 台少瑜 王克超

摘要:针对丘陵山区果园存在地形、光线、边界干扰等环境因素对单株果树难以精准识别分割的问题,提出一种改进的高精度Deeplabv3+语义分割网络模型。首先,该模型以ResNet50为主干网络提取特征,引入金字塔拆分注意力(PSA)机制,获得更清晰的果树轮廓边界信息;继而,将条纹池化(SP)模块串联到解码部分,通过SP加强特征提取,分别沿水平和垂直维度获取丰富的上下文信息,扩大感受野范围并保证信息完整性和连续性。通过语义分割可得以下结论:在使用Labelme工具进行自主图像标注的丘陵山区果树树冠图像数据集中,果树单株识别分割准确率PA为98.91%,果树分割的平均交并比MIoU为74.94%,相较于PSPNet、UNet、FCN和Deeplabv3+,PA分别提高2.5%、1.88%、1.03%和1.85%,MIoU分别提高10.93%、8.19%、2.78%、5.73%,有较明显的数据提升。该研究成果可为智能农业装备在果园对靶喷药、长势识别等精细化作业方面提供数据支撑。

关键词:果树;树冠分割;Deeplabv3+;语义分割;条状池化;注意力机制

中图分类号:TP391.4: S126

文献标识码:A

Research on semantic segmentation of fruit trees based on improved Deeplabv3+ model

Abstract:

In order to solve the problem that it was difficult to accurately identify and segment individual fruit trees in hilly and mountainous orchards due to environmental factors such as terrain, light and boundary interference, an improved high-precision Deeplabv3+ semantic segmentation network model was proposed. Firstly, features were extracted from ResNet50 main trunk network, and pyramid splitting attention (PSA) mechanism was introduced to obtain clearer fruit tree contour boundary information. Then, the stripe pooling (SP) module was connected to the decoding part in series, and the feature extraction was enhanced by SP to obtain rich context information along the horizontal and vertical dimensions respectively, which expanded the range of sensitivity field and ensures the integrity and continuity of information. Through semantic segmentation, it could be concluded that in the tree crown image data set of fruit trees in hilly and mountainous areas with autonomous image annotation using Labelme tool, the identification and segmentation accuracy of individual fruit trees was 98.91%, and the average intersection ratio of fruit tree segmentation was 74.94%. Compared with PSPNet, UNet, FCN and Deeplabv3+, PA was increased by 2.5%, 1.88%, 1.03% and 1.85% respectively, while MIoU was increased by 10.93%, 8.19%, 2.78% and 5.73% respectively, there was obvious improvement data. The research results could provide data support for intelligent agricultural equipment in fine operations such as target spraying and growth identification in orchards.

Keywords:

fruit tree; crown segmentation; Deeplabv3+; semantic segmentation; strip pooling; attention mechanism

0 引言

丘陵山区占据我国陆地面积的67%,受限于丘陵山地道路狭小的特殊环境,制约了丘陵山区农业现代化的发展[1]。在我国农业种植产业中,水果种植位居前三,而丘陵山区气候极适合水果的种植,因此,对丘陵山区果园的精准管理是建设现代化果园的必然趋势。由于光照、环境等因素的影响,不同果树之间存在差异性,基于视觉的方式对果树进行分割识别,根据果树的不同大小按照相应的方式开展作业,在对靶喷雾、果树长势识别、药量的高效利用、减少环境污染等方面具有重要意义[2]。

不同果树的冠形、冠径、果树之间的株间距等复杂情况为果树树冠的快速准确识别带来了一定的难度[3]。目前,国内外对果树的分割识别已经做了很多研究。Csillik等[4]提出了一种由简单线性迭代聚类算法派生的超像素进行分类细化的方法,对无人机拍摄的柑橘树图像进行识别检测;张先洁等[5]基于线性迭代聚类超像素分割算法对果树冠层进行分割,可对果树树冠与杂草的绿色区域进行分离。通过聚类算法能有效地对果树进行分割,但对于图像的高级语义信息提取不足,易受到环境因素的影响。基于深度学习的语义分割技术是被广泛使用的一种应用于复杂场景的解析方法[6]。王辉等[7]采用Mask R-CNN方法对单株柑橘树树冠实现了精准识别;韩蕊等[8]联合VGG16和UNet网络,使用VGG16获得柑橘树的最佳光谱特征后,利用UNet对柑橘树冠进行分割;毕松等[9]使用Darknet19网络作为特征提取模块,加入迁移学习的方法避免过拟合问题,最后通过非极大值抑制算法来修正多重检测;Liu等[10]使用ResNet152对自然状态下的正常柑橘进行识别并获得了较为良好的预测结果;黄彦晓等[11]在Faster R-CNN模型中将ResNet101作为基础特征提取主干网络,从而减少信息丢失的情况,通过利用残差结构避免了由于网络深度加深而来的梯度消失的问题;Lin等[12]重构了一种多尺度特征金字塔结构,凭借自上而下的架构,利用横向连接,在所有尺度上构建高级语义特征图。基于深度学习的语义分割方法,在果树分割上有着较高的分割准确率,但是模型复杂度较高、推理速度较慢、缺乏空间信息,又会导致边缘分割精度不足。Majeed等[13]利用Kinect获取果树树冠的点云数据,从点云数据中提取深度和RGB信息,并采用SegNet网络分割出具有共同外观和特征的树冠和枝干;Wu等[14]采用激光雷达获取树冠点云数据,将树冠的层次结构用等高线表示,以局部轮廓法对树冠进行分割,该方法能够有效地将树冠以点云的方式进行识别,在体积测算方面具有较高的准确性,但是点云数据仅能保证树冠信息的精确提取,在树干部分尤其是树干与杂草重合部分无法准确分割。

综合以上研究表明,经典的语义分割模型在对果树信息提取时精度不高、模型参数量较大、推理速度慢,而现有改进模型中,对于杂草和树干重叠、光线变化等复杂的场景分割存在误差,精度较高的模型又带来了计算复杂度,对于硬件要求较高。针对上述问题,本文设计了一种改进的Deeplabv3+高效语义分割模型,实现在复杂环境下的果树树冠精准分割,并对比不同算法在树冠识别上精度的差异。

1 样本采集

图像采集设备选用Stereo Camera ZED双目摄像头,对树冠进行左、右图像的同步采集,保证其在真实世界的尺度。首先通过Matlab 2021a中的Stereo Camera Calibrator标定工具箱对双目摄像头进行标定计算,得到左、右目相机的焦距、中心点以及旋转矩阵等内外参数。采用1 920像素×1 080像素的图像分辨率,以15 fps的帧率对柑橘园果树进行图像采集,所采集的柑橘树树龄在3~4年,果园机耕道宽约2~4 m,果树之间的间隙约1~1.5 m,采集时树高约1.5~2.3 m。重庆地区夏季草木较为茂盛,气候适宜,采集的果树树冠图像如图1所示,为了保证采集数据的多样性与适用性,同时能够对深度学习神经网络更加客观地评估,选取不同气候条件(晴天、阴雨天、多云)和客观场景(背光、杂草遮挡)进行采集,对采集到的图像进行筛选,保存图像中较为清晰的果树图片。由于所采集到的图像数据集图片数量较少,而对于复杂多变的树冠形状、果园场景等难以完全覆盖,图像样本也存在分布不均匀的现象。因此,通过几何变换(旋转、镜像、翻转)以及颜色变换(亮度、对比度、饱和度、锐化)等数据增强手段[1517],使得图像数据样本更加丰富、均匀,有效地增强了模型的鲁棒性,数据增强后的图片如图2所示。

数据增强后共计14 400张图片,以8∶1∶1的比例进行划分数据集,分别获得训练集11 520张、验证集1 440张和测试集1 440张,使用开源标注软件Labelme对图像进行标注,并将所拍摄的果树图像像素内容分为Stock(树干)、Crown(树冠)以及Background(背景)3类,最后将Labelme标注得到的.json格式的文件通过OpenCV进行转换获得.png格式的标签图像。原图与标签图像如图3所示。

2 模型构建与优化

2.1 Deeplabv3+网络模型

Deeplabv3+网络由编码器和解码器两部分组成,以Mobilenetv2作为主干网络进行特征提取,主干网络输出两个特征层,主特征层作为输入进行编码器,通过加强特征提取结构进行信息提取,降维以后,输出到解码器;解码器接收浅层特征并与特征图进行融合,在编码器中,Mobilenetv2使用了Inverted Resblock模块,该模块引入了卷积升维,并使用了深度可分离卷积,大幅度降低了模型的参数数量。在解码器中,将空洞卷积后的有效特征层与上采样的结果进行堆叠,获得更准确地特征表达,有效地提高了目标边缘的分割精度。以Mobilenetv2为主干网络的Deeplabv3+语义分割模型主要是针对移动端的轻量化的网络模型,减小了网络的复杂度,但分割的精度较低;采用ASPP网络进行加强特征提取,使用了不同采样率的多个并行空洞卷积层,但会损失信息的连续性,大的膨胀系数的空洞卷积可能只对大物体的分割有效果;对于杂草遮挡、树干细小等情况,对树干的分割存在无法识别等现象,因此不适用果园复杂环境下精准的果树语义分割[17]。针对上述问题,本文对语义分割网络结构进行改进,改进后的网络结构如图4所示。

将主干网络替换为ResNet50,通过引入残差结构,使得输出特征层的内容有一部分由前面的某一特征层线性提供,能够有效地克服由于网络深度加深而带来的学习退化的问题,增强主干网络提取果树目标特征的能力;主干网络输出的深层网络的特征层作为PSA模块的输入,对特征图上的空间信息进行切分、提取,建立多通道注意力间的空间依赖,通过对多尺度通道注意力向量进行标定,以提高获得果树多尺度信息的能力;在解码器部分,为更加准确地捕捉到果树轮廓,将主干网络输出的浅层网络的特征层输入到SP模块,利用水平和垂直的池化策略,使其能够更高效的远程捕获上下文信息,将得到的池化特征层与原始输入特征对应元素相乘,获得更细致的特征信息,并与编码部分进行堆叠。

2.2 ResNet50模块

在使用卷积进行特征提取时,随着神经网络层数的加深,会出现网络退化的问题,导致学习效率变低,参数更新很慢。针对这一问题,ResNet50在VGG19的基础上,通过短路机制加入残差单元,在每两层卷积层中使用残差学习,将特征图的大小和网络的复杂度有效的统一起来,如图5所示。其中,x代表输入特征层,F(x)为经过线性变化并激活后的输出,通过残差连接,将输出表述为输入和输出的一个非线性变换的线性叠加,打破了网络的对称性。

2.3 PSA模块

使用空洞卷积可以获得更大的感受野,不同空洞率的卷积,还可以捕捉到多尺度的上下文语义信息,具有很高的语义一致性,但牺牲了一定的空间信息,最终会出现预测结果较为粗糙的现象。PSA模块是一种高效的通道注意力机制,其主要处理流程为:通过SPC(Split and Concat)模块构建多尺度特征,以SE方式得到通道级注意力向量以提取不同尺度特征,使用Softmax对得到的通道注意力向量进行重校正,最后将校正后的注意力向量作用于多尺度特征图实现加强特征提取,获得丰富的多尺度信息,并作为结果输出。PSA的关键在于多尺度特征的提取,即SPC模块,主要是特征的切分,如图6所示,假定输入为X,将输入拆分为4部分,用[X0,X1,X2,X3]来表示,每个分割部分的通道数分别为3、5、7、9,使用多尺度卷积的方式提取不同尺度特征图的空间信息,并将所提取到的特征通过维度进行拼接,得到融合后的特征图

F=Cat([X0,X1,X2,X3])(1)

基于获得的特征图,对不同特征提取注意力权值

Zi=SEeight(Fi) i=0,1,2,3(2)

将注意力向量进行拼接,更好地实现注意力信息的交互以及跨维度信息的融合

对所得到的注意力权值进行归一化处理,提高模型的收敛速度

最后将注意力权值与特征图进行融合,输出特征表示为

2.4 条纹池化结构

在进行特征提取时,ResNet50在提取上下文信息时,由于感受野存在差异,对不同特征的判别能力不一致,规则的N×N空间池化处理长而窄的目标时会丢失部分语义信息,而对于不规则形状的目标,不可避免地会将一些不相关的区域识别为目标像素,这在对树冠轮廓提取时,会存在精度上的误差。因此,为了提高果树边界的分割精确度,采用SP模块,专注于沿水平和垂直空间维度对远程上下文进行编码,其数学表达式为

式中:

xi,j——输入的二维张量;

yhi——对行中所有特征值进行平均;

yvj——对列中所有特征值进行平均;

H——输入特征的高度;

W——输入特征的宽度。

池化图中的每个空间位置,给定水平和垂直的条带池化核,在离散分布的区域之中更容易建立远程的依赖关系,对得到的全局信息在水平和垂直方向上进行编码,并通过这些编码来平衡自身权重进行特征优化,由此便能专注于捕获果树局部细节。SP模块的网络结构如图7所示。

从图7可以看出,对输入H×W的特征,分别使用SP方法(只在高或宽的维度上池化),在垂直方向上使用H×1得到1×W的特征图,在水平方向上使用1×W得到H×1的特征图,对特征图进行扩张后得到两个H×W大小的特征图,将两个特征图融合相加,使用1×1的卷积与Sigmoid函数增强非线性,得到H×W大小的编码权重,将获得的权重与输入特征进行融合得到最终的输出。

3 结果与分析

3.1 环境搭建平台

本文针对果园复杂环境所提出的改进Deeplabv3+网络基于开源的PyTorch 3.8实现。试验的系统环境为Windows10,CPU型号为Inter Core i7 10750H,16 GB内存,GPU为GeForce RTX 2060,6 GB显存,计算设备架构为CUDA 11.3,神经网络加速库版本为CUDNN 11.1。

3.2 网络训练及参数设置

模型训练分为冻结阶段和解冻阶段,在冻结阶段中,模型主干参数被冻结,仅对主干网络以外的参数进行细微调整,以加快网络的训练速度,也可防止训练初期的权值被破坏;在解冻阶段中,网络所有的参数都会发生改变。使用SGD优化器,动量因子为0.9,为防止过拟合,权值衰减系数为10-4,batch_size设置为8,在冻结阶段,初始学习率为5×10-4,解冻阶段的初始学习率为5×10-4,训练过程中根据epoch的训练次数自适应调整学习率,并将每个轮次的网络模型权值都进行保存。训练集损失函数使用普通的交叉熵损失(Cross Entropy Loss),计算如式(8)所示。

此像素点的真值,若此像素点为果树,则定义为1,否则为0。

使用Dice Loss作为验证集的损失函数,Dice系数是一种集合相似度度量函数,通常用于计算两个样本的相似度,取值范围在[0,1][16]。计算公式如式(9)所示。

式中:

s——Dice系数,表示网络预测结果和实际结果的重合度越大;

M、N——预测树冠区域和真实树冠区域的面积,即区域范围内像素点的个数。

因此,Dice系数越大越好,Loss数值越小越好,Dice Loss损失函数可表示为

Dice loss=1-Dice(10)

3.3 评价指标

语义分割模型采用像素准确率PA(Pixel Accuracy)和平均交并比MIoU(Mean Intersection over Union)作为测试集的评价标准。设语义分割的类别总数为k+1(包括背景在内的类别总数),i是真实值,j是预测值,pii表示属于类别i且被预测为i的像素数量,pij表示属于类别i但被预测为j的像素数量。

1)  PA:预测正确类别的像素数量占图像像素数量的比例。

2)  MIoU:预测像素数量和真实像素数量2个集合的交集与其并集的重合比例,并对所有类别取平均值。

3.4 不同骨干网络性能对比分析

为提高对果树树冠分割的正确性,对Deeplabv3+模型的骨干特征提取网络进行更换,在所采集的树冠数据集上一共进行了4组对比试验,分别测试不同骨干网络在Deeplabv3+上的算法性能,并采用MIoU和参数量Parameters作为评价指标对不同骨干网络的适配性进行评价,对比试验数据如表1所示。

由表1可见,将特征提取网络替换为ResNet50后,MIoU达到了74.94%,参数量为53.65 M。虽然试验1中Mobilenetv2拥有更少的参数量,但MIoU比ResNet50少了5.73%;试验2中使用Xception后,虽然MIoU高达75.43%,但其参数量远远高于ResNet50;试验4的MIoU与ResNet50相差不大,但是ResNet50参数量更少。综合考虑,ResNet50既能保证分割准确率,又能保证模型推理速度,将网络部署在智能农业装备有更好的优势。

3.5 不同模块消融分析

为评估各个改进模块的有效性,利用控制变量法设计4组消融试验,以MIoU和PA作为评价指标,构建4组不同的神经网络,对比结果如表2所示。

从表2可以看出,对比试验1和试验2,使用Deeplabv3+网络进行果树树冠分割,MIoU仅为69.21%,在加入SP模块后,模型性能有较为明显的提高,MIoU提升了1.65%,PA提升了0.92%,表明通过对不规则边缘的加强特征提取能够有效地提高分割精度;引入PSA模块后,精度有明显的提升,MIoU达到了72.45%,PA提升了1.38%,PSA能够有效获得多尺度信息,提高像素预测体系结构性能;当同时加入PSA模块和SP模块时,模型性能得到大幅度提升,MIoU达到了74.94%,PA在原始模型的基础上提高了1.85%。多尺度特征的加强提取能够实现轮廓的精确分割、聚合区域信息并获取全局上下文特征,可以极大程度地提高语义分割的精确性,保证最终输出结果的图像质量。

3.6 不同模型性能对比

为进一步验证改进Deeplabv3+模型在对果树树冠语义信息提取的有效性,将其与UNet[18]、PSPNet[19]、Deeplabv3+[20]、FCN[21]等经典的语义分割模型进行对比分析。通过MIoU、PA和单幅图像处理时间Second等指标对模型性能做出评价。表3为不同语义分割模型性能参数对比。

由表3可以看出,本文模型的PA和MIoU分别为98.91%和74.94%,相比PSPNet分别提升2.5%和10.93%,PSPNet采用金字塔池化,只能处理较为简单的场景,特征融合时容易丢失信息;相比UNet分别提升1.88%和8.19%,UNet虽然采用维度拼接的方式进行特征融合,但是对于细节的处理不够完善;相比FCN分别提升1.03%和2.78%,FCN通过特征图对应像素值相加的方式来融合特征,虽然使用了跳跃连接改善了上采样的粗糙程度,但对于边界的分割仍然不够准确;相比传统的Deeplabv3+分别提升1.85%和5.73%。在杂草遮挡的情况下分割精度不足,通过引入的PSA机制和SP模块,能够有效地聚合不同区域的信息,产生高质量的语义分割结果,并增强预测类别的一致性。而在图像处理时间上,本文所采用的方法在单幅图像处理的平均耗时为0.11 s,结合实际应用场景,处理速度是可以满足对果树树冠语义分割的要求。

由图8可以看出,随着训练轮次的不断迭代,本文模型的收敛速度更快,在训练相同轮次的情况下,MIoU也比其他模型更高,随着迭代次数的增加,本文模型能够更快速地收敛并维持稳定,没有明显的波动。

由图9可以看出,本文所提出的模型能够较为完整、准确、精细地对树冠对象进行分割解析;PSPNet模型对边界进行信息提取不足,存在果树与背景边界分割不连续、分割结果较为粗糙等情况,如图9(c)所示,存在树干识别不准确,在遮挡的情况下无法分割树干,树冠轮廓分割也不够精细;UNet通过上采样获得大的特征图,但是缺乏相应特征图的边缘信息,因此对树干部分的分割不够准确,如图9(d)所示,模型对于树冠能较为准确地分割出轮廓形状,但是在树干部分,分割较为粗糙;Deeplabv3+模型采用ASPP模块加强特征提取,能有效地对树冠轮廓进行分割,如图9(e)所示,但是对杂草遮挡的情况,对树干无法进行准确识别;FCN模型没有考虑到像素与像素之间的关联关系,难以保存全部的空间信息,如图9(f)所示,在阴雨天场景下,在树干分叉时,无法进行准确的分割;而改进的Deeplabv3+模型在边缘细节上分割效果更为精细,如图9(g)所示,将标签中未标注的树冠实现了分割,表明了改进模型在果树实例分割上的精确性和优越性,对果树的边缘分割也更加平滑,在多场景的复杂情况下,改进模型仍具有鲁棒性强、泛化性能好等特点。

4 结论

1) 针对丘陵山区果树语义分割存在准确率与分割效果低下等问题,提出了改进的Deeplabv3+模型,该模型将骨干特征提取网络改为ResNet50,更丰富地提取图像特征;将PSA模块替换原始的ASPP模块,有效地提高了获取信息的能力;将SP模块引入浅层特征,提高对树冠边缘的分割精度,更好地捕捉目标像素点。

2)  所提出的改进Deeplabv3+网络的语义分割模型,有效地解决了在杂草遮挡场景下无法对果树进行准确分割的问题;实现了对果树边缘轮廓精准的分割;果树分割MIoU为74.94%,PA为98.91%,在保证MIoU的同时兼顾了PA,与PSPNet、UNet、FCN、Deeplabv3+等传统语义分割模型相比,MIoU分别提高了10.93%、8.19%、2.78%、5.73%,PA分别提高了2.5%、1.88%、1.03%和1.85%,结果表明,该模型具有更好的分割性与鲁棒性,可为智能农机的发展提供参考,也为现代化果园的检测、识别等提供技术支撑与数据参考。

参 考 文 献

[1] 钟佳利. 丘陵山区农业农村现代化发展现状评述及问题研究——以成都市简阳市为例[J]. 四川农业与农机, 2021(4): 51-52.

[2] 刘爱民, 封志明, 徐丽明. 现代精准农业及我国精准农业的发展方向[J]. 中国农业大学学报, 2000(2): 20-25.

Liu Aimin, Feng Zhiming, Xu Liming. The modern precision agriculture and technological system [J]. Journal of China Agricultural University, 2000(2): 20-25.

[3] 王永振, 樊桂菊, 张昊. 果园作业平台的研究现状及发展趋势[J]. 中国果树, 2018(1): 105-108.

[4] Csillik O, Cherbini J, Johnson R, et al. Identification of citrus trees from unmanned aerial vehicle imagery using convolutional neural networks [J]. Drones, 2018, 2(4): 39-45.

[5] 张先洁, 孙国祥, 汪小旵, 等. 基于超像素特征向量的果树冠层分割方法[J]. 江苏农业学报, 2021, 37(3): 724-730.

Zhang Xianjie, Sun Guoxiang, Wang Xiaochan, et al. Segmentation method of fruit tree canopy based on super pixel feature vector [J]. Jiangsu Journal of Agricultural Sciences, 2021, 37(3): 724-730.

[6] Badrinarayanan V, Kendall A, Cipolla R. SegNet: A deep convolutional encoder-decoder architecture for image segmentation [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(12): 2481-2495.

[7] 王辉, 韩娜娜, 吕程序, 等. 基于Mask R-CNN的单株柑橘树冠识别与分割[J]. 农业机械学报, 2021, 52(5): 169-174.

Wang Hui, Han Nana, Lü Chengxu, et al. Recognition and segmentation of individual citrus tree crown based on Mask R-CNN [J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(5): 169-174.

[8] 韩蕊, 慕涛阳, 赵伟, 等. 基于无人机多光谱影像的柑橘树冠分割方法研究[J]. 林业工程学报, 2021, 6(5): 147-153.

Han Rui, Mu Taoyang, Zhao Wei, et al. Research on citrus canopy segmentation method based on UAV multispectral image [J]. Journal of Forestry Engineering, 2021, 6(5): 147-153.

[9] 毕松, 高峰, 陈俊文, 等. 基于深度卷积神经网络的柑橘目标识别方法[J]. 农业机械学报, 2019, 50(5): 181-186.

Bi Song, Gao Feng, Chen Junwen, et al. Detection method of citrus based on Deep Convolutional Neural Network [J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(5): 181-186.

[10] Liu Y P, Yang C H, Ling H, et al. A visual system of citrus picking robot using convolutional neural networks [C]. 2018 5th International Conference on Systems and Informatics (ICSAI). IEEE, 2018, 344-349.

[11] 黄彦晓, 方陆明, 黄思琪, 等. 基于改进的Faster R-CNN模型的树冠提取研究[J]. 林业资源管理, 2021(1): 173-179.

Huang Yanxiao, Fang Luming, Huang Siqi, et al. Research on crown extraction based on improved Faster R-CNN model [J]. Forest Resource Management, 2021(1): 173-179.

[12] Lin T Y, Dollár P, Girshick R, et al. Feature pyramid networks for object detection [C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017: 2117-2125.

[13] Majeed Y, Zhang J, Zhang X, et al. Apple tree trunk and branch segmentation for automatic trellis training using convolutional neural network based semantic segmentation [J]. IFAC-PapersOnLine, 2018, 51(17): 75-80.

[14] Wu B, Yu B, Wu Q, et al. Individual tree crown delineation using localized contour tree method and airborne LiDAR data in coniferous forests [J]. International Journal of Applied Earth Observation and Geoinformation, 2016, 52: 82-94.

[15] 张磊, 姜军生, 李昕昱, 等. 基于快速卷积神经网络的果园果实检测试验研究[J]. 中国农机化学报, 2020, 41(10): 183-190, 210.

Zhang Lei, Jiang Junsheng, Li Xinyu, et al. Experimental research on orchard fruit detection based on fast convolutional neural network [J]. Journal of Chinese Agricultural Mechanization, 2020, 41(10): 183-190, 210.

[16] 黄林生, 邵松, 卢宪菊, 等. 基于卷积神经网络的生菜多光谱图像分割与配准[J]. 农业机械学报, 2021, 52(9): 186-194.

Huang Linsheng, Shao Song, Lu Xianju, et al. Segmentation and registration of lettuce multispectral based on convolutional neural network [J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(9): 186-194.

[17] 孟庆宽, 杨晓霞, 张漫, 等. 基于语义分割的非结构化田间道路场景识别[J]. 农业工程学报, 2021, 37(22): 152-160.

Meng Qingkuan, Yang Xiaoxia, Zhang Man, et al. Recognition of unstructured field road scene based on semantic segmentation model [J]. Transactions of the Chinese Society of Agricultural Engineering, 2021, 37(22): 152-160.

[18] Ronneberger O, Fischer P, Brox T. U-Net: Convolutional networks for biomedical image segmentation [C]. International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2015: 234-241.

[19] Zhao H, Shi J, Qi X, et al. Pyramid scene parsing network [C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017, 2881-2890.

[20] Chen L C, Zhu Y, Papandreou G, et al. Encoder-decoder with atrous separable convolution for semantic image segmentation [C]. Proceedings of the European Conference on Computer Vision (ECCV), 2018: 801-818.

[21] Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation [C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015: 3431-3440.

猜你喜欢

语义分割注意力机制果树
种果树
果树冬季要休眠 易受冻害要注意
天渐冷果树防冻要抓紧
基于积神经网络的图像着色方法研究
基于深度学习的问题回答技术研究
基于全卷积网络FCN的图像处理
基于语义分割的车道线检测算法研究
基于LSTM?Attention神经网络的文本特征提取方法
基于语义分割的增强现实图像配准技术
基于注意力机制的双向LSTM模型在中文商品评论情感分类中的研究