基于多特征提取与注意力机制深度学习的高分辨率影像松材线虫病树识别

刘世川，王庆，唐晴，刘浪，何辉羽，芦佳飞，戴秀清

(长江大学地球科学学院，武汉 430100)

森林病虫害是森林健康和林业生产的宿敌。松材线虫是对松树危害较大的外来入侵物种之一，感染松树后会造成松树针叶黄褐色或红褐色，在6个月内即可导致病树整株干枯死亡，且繁殖速度快、传播途径广、传播范围广、难以防治，是使松林大片被毁的重要害虫。因此,及时发现松材线虫病树至关重要，可以利用遥感技术实现高效率监测松材树木的健康情况。

已有许多学者对遥感技术在松材线虫病树识别上进行了研究。Näsi等[1]基于个体树分析和经过校准的高光谱遥感图像识别出被树皮甲虫侵扰的树木。通过单个树级别的高光谱UAV成像的机器视觉技术可以识别树木的不同阶段。Hilker等[2]通过多角度观察高光谱分辨率的遥感图像检测树叶状况通过提取与冠层反射有关的扰动变化，进而在时间和频谱上密集的数据中检测到叶绿素含量的变改。

近年来，深度学习逐渐成为人工智能领域的研究热点和主流发展方向，利用多个处理层组成的计算模型，学习具有多个抽象层次数据表示的机器学习技术，促进了松材线虫病树遥感影像识别的发展。卷积神经网络作为最热门的深度学习模型算法，其不需要人为设计目标特征，不仅提高了模型的训练和测试速度，且会根据海量数据和标注自行进行有效特征提取和学习，在训练数据充足的情况下，模型具有良好的泛化能力，能够在复杂多变的条件下依然保持良好的稳健性。Guirado等[3]使用卷积神经网络识别Google Earth中影像的植被覆盖区域，识别范围虽然广，但识别精度粗糙，影像拍摄时间也不一定利于识别，故遥感影像数据源需要更加可控灵活，例如无人机遥感技术。孙钰等[4]基于Faster R-CNN神经网络模型设计了监测油松红脂大小蠹的病害树木，并结合了无人机技术，实现了高效的无人机实时监测，但对于光谱信息没有初步筛选，会对神经网络模型识别效率产生影响，在识别中加入特征筛选步骤后将提高识别效率。针对松材线虫病树，Deng等[5]结合了无人机技术，并对VGG16网络模型进行优化，最终达到较高的准确度，但网络模型的结构还有优化的空间，可将网络模型识别的注意力集中，再增加识别准确度。Iordache等[6]利用航拍的高光谱影像和多光谱影像相结合，由于其具有一般影像更多的光谱信息，结合随机树机器学习方法得到了较高的识别准确度，但由于单株样本数据量较大，随机树模型的处理速度也会受到影响，松材线虫病树光谱特征较为明显，可选用高分辨率影像替换高光谱影像进行识别。

因此，本研究采用较为成熟的卷积神经网络模型VGG(visual geometry group network)的简化模型VGG-S(simplification，即针对松材线虫病树进行简化)作为深度学习模型，以高分辨率遥感影像为提取对象，对松材线虫病树的植被指数、颜色模型、空间分布特征进行多特征分析，以速度快、针对性强的方法筛选疑似病树；并结合注意力机制神经网络VGG-A(attention module，即结合注意力机制)的深度学习，从疑似病树样本中自动识别病树，在保证高效率的同时提高识别精度。

1 技术路线与关键技术

1.1 技术路线

通过人工筛选高分辨率航空样本影像(含红色、绿色、蓝色和近红外波段)，取样得到病树、健康树、房屋、裸土地和柏油路的样本像元区域。计算样本像元区域的光谱特征，利用Relief特征选择算法，得到二分类病树和非病树的最佳特征。将最佳特征的病树像元样本集进行统计分析，取得合适阈值构建病树的光谱特征模型，用以在目标影像上筛选出病树像元。再运用空间聚类算法对像元进行聚类分析，并剔除周围一定范围内不附着健康树像元的病树像元，得到疑似病树像元集。再将疑似病树像元集和位置相同的原始影像进行人工判读，将被判读为病树的原始影像裁剪成为病树样本集，反之裁剪健康树样本集。把这两个样本集分别作为VGG-S训练样本，将VGG-S与注意力机制相结合(VGG-A)，从而得到松材线虫病树影像识别准确率较高的识别模型。最后把识别模型放入完整的松材线虫影像中进而得到一个完整病树的分布范围，如图1所示。

图1 技术路线Fig. 1 Technical route

1.2 关键技术

由于松材线虫的侵染能明显引起寄主植株叶绿素、类胡萝卜素发生改变，导致植物光谱特征发生变化。健康松树的反射光谱在绿光区(510～570 nm)有一个较低的反射峰值；红光区(640～680 nm)有一个较低的吸收谷值；感染松材线虫后松树绿光区的反射峰会逐渐减弱，红光区的吸收谷却会逐渐增强。高分辨率影像上的病树像元会表现出聚集性的空间特性，由此可筛去部分噪点，并且满足周围一定范围内有健康树木的空间分布特性，获取疑似病树像元集，利用卷积神经网络对疑似病树像元集进行进一步的识别，从而得到一个识别率高的松材线虫病树的范围分布图。

1.2.1 植被指数

植被指数是利用绿色植被在不同波段的反射和吸收特性，对传感器不同波段进行组合运算，增强植被的信息。它本质上是综合考虑各有关光谱信号，把多波段反射率做一定的数学变换，使其在增强植被信息的同时，使非植被信息最小化。目前较为常见的归一化植被指数NDVI(normalized vegetation index,INDV)、比值植被指数RVI(ratio vegetation index,IRV)、差值植被指数DVI(difference vegetation index,IDV)、增强型植被指数 EVI(enhanced vegetation index,IEV)、归一化绿红差异指数NGRDI(normalized green-red difference index,INGRD)、仿照NGRDI构造的归一化绿蓝差异指数NGBDI(normalized green-blue difference index,INGBD)及红绿比值指数 RGRI(red-green ratio index,IRGR)[7]，计算公式如表1所示。

表1 植被指数计算公式Table 1 The vegetation index calculation formula

1.2.2 颜色空间模型

在可见光范围，松材线虫病树死亡前的颜色变化主要包括：先是褪色发黄，此现象可以出现在单枝或少量枝条上，也可出现在整株，针叶进而枯萎变成红褐色。现在绝大部分的彩色图像是基于RGB颜色三基色的模型，但RGB空间中3个分量之间存在很强的相关性，因而不适合直接用于基于3个分量独立运算的图像分割。利用各种变换，可以由RGB空间推导出其他颜色空间(表2)。

表2 颜色空间模型Table 2 Color space model

1.2.3 Relief特征选择算法

Relief算法是一种高效的过滤式特征选择方法，由Kira等[8]提出用于二分类问题的特征选择算法，根据各个特征和类别的相关性赋予特征不同的权重，权重小于某个阈值的特征将被移除。Relief算法中特征和类别的相关性是基于特征对近距离样本的区分能力。计算公式如下：

式中：样本集为S，特征集为A，设抽样次数为n，xi为样本集S中的单个样本；aj为特征集A中的单个特征;Nh为与xi同类别的最近邻；Nm为与xi非同类别的最近邻。若xi与Nh在特征aj上的距离小于xi与Nm的距离，则说明aj对区分同类与异类样本是有利的，反之则不利，Wj为aj的权重，Wj的值越大则说明该属性的分类能力越强[9]。

利用Relief特征选择算法得到单个样本对每个特征的评价值，将所有样本对同一个特征的评价值进行平均就得到了该属性的相关统计分量，分量值越大，分类能力就越强，从而选出最优特征用以分类病树像元和非病树像元。

1.2.4 多尺度卷积神经网络病树识别

卷积神经网络是一种包含卷积计算并且具有深度结构的前馈神经网络，是深度学习算法的其中之一。多尺度输入是指输入任意大小的影像以及将卷积神经网络所有中间层的特征融合到最后提取结果中。多尺度输入卷积神经网络包括输入层、隐含层和输出层。

输入层：输入一般为整张影像或影像中的一部分区域。

隐含层：对输入层的数据进行特征提取、特征选择以及信息过滤，包括卷积层、池化层、全连接层。

输出层：采用逻辑函数或归一化函数输出分类标签。

本研究以VGG为参考模型建立一个专门识别松材线虫病树的神经网络模型——VGG-S[10-11]，该模型拥有4个卷积层和1个全连接层。其中的卷积层中第1层使用1个3×3的卷积核，第2层使用2个3×3的卷积核，第3层使用3个3×3的卷积核，提高学习精度。该模型经过上层采样后传递给全连层进行特征分类，最后再由Softmax输出分类结果。

注意力机制是由Yann等[12]首先应用于神经机器翻译，主要内容是选择关注所有信息的一部分并忽略其他可见的信息。在卷积神经网络中，CBAM(convolutional block attention module)是一种结合了空间和通道的注意力机制模块(图2)。

图2 CBAM模型Fig. 2 CBAM model

图3 通道注意力Fig. 3 Channel attention

通道注意力模块：关注的是这张图上哪些内容是有重要作用的。通过输入的特征图在空间维度进行压缩，得到一个一维矢量后再进行操作。在空间维度上进行压缩时，不仅考虑到了平均值池化还考虑了最大值池化。平均值池化对特征图上的每一个像素点都有反馈，而最大值池化在进行梯度反向传播计算时，只有特征图中响应最大的地方有梯度的反馈(图3)。

Mc(F)=σ{MLP[AvgPool(F)]+

MLP[MaxPool(F)]}Mc(F)

空间注意力模块：关注“哪里”是最具信息量的部分,对通道进行压缩，在通道维度分别进行了平均值池化和最大值池化。MaxPool的操作就是在通道上提取最大值，提取的次数为高乘以宽；AvgPool的操作就是在通道上提取平均值，提取的次数也是高乘以宽；接着将前面所提取的特征图(通道数都为1)合并得到一个2通道的特征图[13](图4)。

图4 空间注意力Fig. 4 Spatial attention

MS(F)=σ(f7×7([AvgPool(F);MaxPool(F)]))

将CBAM添加到VGG-S的relu激活函数之后、最大池化层之前[14-15]，得到VGG-A模型(图5)。

图5 VGG-A结合模型Fig. 5 VGG-A combination model

2 实验与分析

2.1 人工取样

研究区位于湖北省松滋市北部，该地是松材线虫病暴发的重点监测区。松材线虫病树的遥感监测的窗口期包括春秋两季，春季宜在4月下旬至5月初进行，此时健康植被处于茂盛阶段，易于和病树区分；秋季宜在9月下旬至10月上旬进行，此时是发病的高峰期[16]，且10月中下旬后，枫香、山胡椒等许多落叶阔叶树也开始变色，对病树的监测带来极大干扰[17]，通常春季监测用于上年度病树除治效果的评估，而秋季监测用于当年除治计划的制定[18]。本研究数据采集时间为2019年10月初，由无人直升机搭载徕卡ADS100航空摄影系统进行采集，拍摄地点30°1′33″～30°1′46″N、111°43′9″～111°44′24″E和30°38′6″～30°38′23″N、111°33′48″～111°34′16″E附近，获取包含红、绿、蓝、近红外4个波段，空间分辨率0.1 m的高分辨率遥感影像数据。

该区域地物类别主要为房屋、道路、草地、空地和健康树木和病树。由于高分辨率遥感影像中地物颜色更明显、轮廓更清晰，故将房屋细分为蓝顶房屋和灰顶房屋，道路分为柏油路面和水泥路面。采用人工取样的形式，得到病树、健康树、蓝顶房屋、灰顶房屋、裸土、柏油路和小路的像元区域(图6)，并统计出像元样本数量(表3)。

图6 人工取样示意图Fig. 6 Manual sampling schematic

在表3的地物分类中，之所以将非病树分开标注，是为了研究病树与各类地物的特征差异，有利于本研究能应用于不同的场景，比如DVI指标很难区分病树和草地，但如果有松林图斑数据，可以将草地筛选掉，那么DVI就能更好地识别病树；而在深度学习训练阶段，因为深度学习强大的学习能力，无须进一步区分能适应不同情况，因此将非病树样本合在一起和病树构成两类进行训练。

表3 各地物像元样本总数Table 3 Total number of samples of objects in various places

2.2 Relief算法结果和特征选取

特征：将各植被指数和各颜色模型所包含的各分量作为单独特征种类，总计20种特征。

数量：由于样本数量参差不齐，以及考虑到运算耗时，各类地物选取300份样本，总计2 100份样本。

Relief特征选择算法得出各特征所对应的权重(表4)。

表4 各特征权重Table 4 Weights for each feature

图7 各参数箱线图Fig. 7 Box line chart situ

取权重大于0.1的8个特征进行特征选择数量2～8的讨论，对拍摄于30°1′44.54″～30°1′55.88″N、111°43′13.58″～111°43′28.80″E，图幅大小为3 495×4 079，人工识别177个病树的图片利用不同数量的特征进行病树识别，识别结果见表5。

当选择权重前3的DVI、I2、I3作为病树模型参数时，漏选率较低且错选率也同时较低，保证错误数尽量低的同时正确数也是最高。DVI、I2、I3各参数的箱线图见图7。

表5 各数量特征识别结果Table 5 Recognition results of various quantitative features

2.3 VGG-S模型训练过程

本实验中，所用训练样本的计算机配置为lntel(R) Core(TM)i7-7700HQ CPU @2.80Hz 2.81 GHz 处理器，8 GB内存和Windows版本的Pycharm平台。CNN模型包含4次卷积和池化，1个全连接层，全连接层后采用Softmax进行分类。

本研究中VGG-A算法的训练和验证都是基于Keras神经网络库，训练阶段利用自制尺寸为80×80的影像数据集对VGG-A进行训练操作，然后基于多次实验参数设置比较以及鉴于本实验计算机配置，整个算法BatchSize设为256，设初始学习率设置为0.001，epochs设置为50。最终训练精度达到96.68%，验证集平均精度在90.15%。

2.4 病树筛选结果

对拍摄地点30°1′N、111°43′E附近的3幅高分辨率遥感影像筛选病树，在中央处理器为i7-7700HQ、图形处理器为GTX1050Ti、ROM为8 GB的计算机上分别进行多特征识别、VGG-S识别以及VGG-A识别，将结果与人工目判结果进行对比(图8)，得到统计结果(表6)，其中多特征方法的平均检准率为78.23%，平均检全率为95.05%；VGG-S方法的平均检准率为82.61%，平均检全率为94.06%；VGG-A方法的平均检准率为85.45%，平均检全率为93.07%；VGG-S与VGG-A两个模型的训练和预测耗时如表7所示。

图8 识别结果对比Fig. 8 Comparison of recognition results

表6 多特征、VGG-S和VGG-A检测数据统计Table 6 Multi-feature, VGG-S and VGG-A test data statistics

表7 VGG-S和VGG-A模型训练和预测耗时Table 7 VGG-S and VGG-A model training and prediction time-consuming

3 结 论

利用多特征提取高分辨率遥感影像中的松材线虫病树，平均检测准确率为78.23%、平均检全率为95.05%，由于后续识别模型都是在多特征识别的基础上，平均检全率无法提高；结合使用VGG-S神经网络模型的深度学习后，平均检测准确率提高至82.61%；再将CBAM加入VGG-S模型后得到VGG-A模型，进一步将平均检测准确率提高至85.45%，但平均检全率下降至93.07%。

由于高分辨率遥感影像获取方式的灵活性，虽然实验数据在不同拍摄条件下得到的光谱特征不同从而可能导致结果的改变，例如在实验过程中，影像1和影像3的光照强度不足，导致部分林木在影像上无法被识别，从而导致漏检率较高；但是可以通过无人机航拍等方式进行快速获取遥感影像数据，从所获得的影像数据中筛选出质量更高的影像进行识别。

针对3种不同的识别方法，要实现大面积、及时地监测松材树木的健康状况，采用基于多特征提取和注意力机制神经网络的高分辨率遥感影像识别技术在传统多特征提取的基础上实现了高准确率、高精度监测，更有利于保护松材树木的森林资源。