联合Bi-LSTM和注意力加强多尺度卷积的黄河三角洲湿地高光谱图像分类方法研究

徐美论, 李忠伟, 王雷全, 李 娟, 胡亚斌, 梁 建

联合Bi-LSTM和注意力加强多尺度卷积的黄河三角洲湿地高光谱图像分类方法研究

徐美论1, 李忠伟1, 王雷全2, 李 娟2, 胡亚斌3, 梁 建4

(1. 中国石油大学(华东)海洋与空间信息学院, 山东 青岛 266580; 2. 中国石油大学(华东)计算机科学与技术学院, 山东 青岛 266580; 3. 自然资源部 第一海洋研究所, 山东 青岛 266061; 4. 南通智能感知研究院, 江苏 南通 226007)

近年来, 面向黄河口的监测需求日益增大, 如黄河入海流路改道至清水沟路以来, 在新老河道的交汇处存在着丰富的地物类别, 对于这些地物类别的检测识别研究有助于掌握生态环境状态, 对于黄河口的湿地保护以及国家改善环境的战略支持具有重要意义。因此, 本文提出一种新的湿地高光谱图像分类方法, 分双路分别提取图像的空谱特征并融合分类。光谱维采用分组预处理的双向长短期记忆网络(Bi-LSTM)有效学习光谱特征; 空间维采用注意力加强的多尺度卷积网络有效增强所提取的空谱特征, 使得分类结果更具准确性。本文实验应用覆盖黄河入海口新老河道交界处的成像光谱仪(Compact High Resolution Imaging Spectrometer, CHRIS)所采集的数据和黄河三角洲自然保护区滨海湿地高分5号传感器(GF-5)所采集的高光谱图像开展。结果表明: 分组与双向长短期记忆网络(Bi-LSTM)的有效结合显著提升了网络性能, 同其他监督分类方法相比提升约3%~8%, 此外注意力机制的加入同比增加约3%, 在使用1%的极少训练集下数据集CHRIS和GF-5的总体分类精度分别达到92.3%和86.11%。

高光谱图像分类; 黄河三角洲; 分组; 多尺度; 注意力机制

黄河三角洲是高效的生态经济区, 是国家级自然保护区, 在资源储备, 生态调节, 生物保护等[1-2]方面发挥着重要作用。黄河入海流路改道至清水沟路以来, 在新老河道的交汇处, 存在多种地物类型, 其生态资源、土地资源极为丰富, 而近年来由于油田和农田的增加导致滩涂大面积围垦, 破坏了生态环境, 使得面向黄河三角洲湿地分类遥感监测的需求日益增大; 加之遥感技术的飞速发展, 使得越来越多的学者投身于高光谱图像分类领域, 因此采用有效的分类方法来监测识别相关地物对于黄河三角洲湿地的生态资源保护具有重要意义。

高光谱遥感是将成像技术和光谱技术相结合的多维信息获取技术, 可以同时获取目标的二维空间信息与第三维的光谱信息, 得到高光谱分辨率的连续、窄波段图像数据[3]。与传统遥感相比, 其优势在于光谱分辨率高, 波段众多, 能够获取地物几乎连续的光谱特征曲线, 为图像分类提供了条件。根据每个像元的灰度、纹理、空间邻域信息及光谱信息等可得到像元的类别标签。高光谱图像(Hyperspectral Image, HSI)应用于农业、海洋遥感、地表资源调查、环境监测、地质资源勘探、军事侦察等领域均表现出突出优势与重要作用。

直到夜幕降临，父亲才脸色铁青地回来。刚进屋，父亲把我们三个朝怀里一搂，“呜哇呜哇”大哭起来，大声说自己没用。那一刻，我们知道，想吃顿带肉的年夜饭的愿望又泡汤了。或许是父亲去借钱时受了风寒，第二天他就感冒了，烧得满脸通红，一向刚强的父亲主动说扛不住了，要去医院。医生说，是重感冒引发的急性肺炎，需要住院几天。母亲身体不好，我们又小，只好告知亲朋好友，希望能过来帮忙照看一下。

目前国内已有文章也谈及东非某国抗震设防烈度的取值方法[2]，本文试图以其他地区几个海外项目为例，浅析海外岩土工程勘察工作中抗震设防烈度的采取方法，供从业者参考。

目前, 深度学习方法已成为高光谱图像分类领域的研究新热点, 其相较于传统的机器学习算法如支持向量机(SVM)、K-近邻法、朴素贝叶斯、决策树、稀疏表示、字典学习等能够自主学习图像的更高级特征, 可以更好地提取非线性和层次特征。其中, 卷积神经网络(CNN)、递归神经网络(RNN)、生成对抗网络(GAN)、长短期记忆网络(LSTM)等为基本、常见、高效、经典的深度学习网络。Li S等[4]综述了自编码(SAE)、CNN、RNN、GAN等深度学习网络在高光谱图像分类中的应用, 并比较了传统方法和深度学习方法间的差异性。张雪薇[5]列举了CNN、RNN、LSTM等神经网络在海洋信息探测中的应用现状, 并总结了深度学习方法的前景展望。高光谱图像分类方法高度依赖于空谱信息的特征提取, 而传统方法如支持向量机[6]、随机森林(RF)[7]等方法仅利用了光谱信息, 忽略了空间信息的重要性, 导致提取的特征信息不够完整, 影响分类准确率。RNN、LSTM网络主要用于光谱序列的学习, 例如杨胜龙[8]提出多层双向长短期记忆网络(Bi-LSTM)用于识别远洋渔船类型, 考虑船舶的两个方向的历史信息, 但仅利用单一的光谱波段信息进行特征的提取和识别, 因光谱存在同物异谱、同谱异物的现象而影响网络性能。因此, 空间信息对于分类至关重要。CNN网络主要用于提取空谱特征, 有1DCNN、2DCNN和3DCNN, 例如ROY S K等[9]综合考虑空谱信息, 提出典型3D-2D-CNN网络同时提取空谱信息, 3D- CNN有助于从一堆光谱波段中联合表示空间-光谱特征, 2D-CNN进一步学习更抽象的空间表示, 增加特征的辨别度, 从而提高分类精度; ZHANG Z[10]采用残差网络从高光谱图像(HSI)丰富的光谱特征和空间背景中连续学习鉴别特征, 进而提升网络性能。而上述方法均未考虑空间分布的特殊性, 即目标像素邻域内像素类别存在随机性。于是, ZHANG M[11]提出DR-CNN网络, 学习目标像素多邻域空间区域的上下文交互特征, 使提取到的空谱特征具有更强的识别能力。FENG J[12]提出RS-AMCNN网络, 自适应选取目标像素周围多个不同大小的邻域块, 不仅提取联合空间-光谱特征, 而且通过多尺度卷积操作利用不同空间位置的感受野。而这些模型忽略了卷积核提取不同区域特征对分类结果的贡献程度的不同, 因此, 近年注意力机制的兴起为深度学习提供更好的学习能力。

神经网络在注意力机制的辅助下可以聚焦局部重要位置而忽略无关位置, 根据输入的重要性自适应加权特征加以分配不同的权重值, 突出重要特征弱化相对无用特征。GUO M H[13]综述了通道、空间、分支等不同注意力的应用场景和方式。HUJ[14]提出的压缩激活网络(SENet)属于通道注意力, 通过对特征通道之间的相互依赖关系建立注意力机制, 自适应地对特征进行重新校准。J WANG[15]提出波段注意力, 使网络可以自动学习关注所需的波段集, 从而最大限度地提高分类精度。在卷积网络中加入注意力机制已是当下研究热点, 例如SUAN H[16]提出一种空间注意力机制网络(SSAN), 将光谱-空间网络(SSN)与SSAN相结合提取空谱特征。在此基础上, WOO S等[17]结合通道和位置注意力, 提出CBAM, 在通道和空间2个维度上均对输入特征进行特征优化, 使网络更多关注对分类有用的信息, 增强特征的表达能力。Li R[18]提出双路注意力网络DBDA, 将特征分别输入光谱特征提取分支和空间维提取分支, 分别加强光谱特征和空间特征的表征能力。Fu J[19]提出了一种新颖的对偶注意力网络, 位置注意力模块用于学习特征的空间依赖性, 通道注意力模块用来学习通道之间的内部关联性, 利用自注意力机制提高特征表示的判别性。

黄河三角洲湿地的黄河水含沙量巨大, 而河口区的裸滩含水量较大, 在卫星图像中其水体和裸滩的光谱特征差异较小, 因而根据黄河三角洲湿地类型及分布特点, 本文在深度学习方法和注意力机制的基础上作相关改进, 提出了联合分组预处理的双向长短期记忆网络(Devide pretreatment Bi-LSTM network, DBL)和注意力加强多尺度卷积网络(Atten­tion enhancement on Multiple scales CNN, AMCNN)用于黄河三角洲湿地高光谱图像分类, 网络名字简称则为DBL-AMCNN。该网络主要有以下三点贡献:

目前，我国对食品安全的监督，涵盖了从农产品种养殖、食品生产加工与制造到流通和消费的全链条、各环节，食品安全的“共治”格局已形成。具体来讲，从农业部门、水产部门、林业部门到加工运输，再到食品供应，甚至包括互联网食品快餐的配送，以及小摊点、小餐桌、小饭馆的消费，每一个环节都纳入了食品安全监管的范围内。

图1、图2的真实地物标签图均由自然资源部第一海洋研究所和南通智能感知研究院相关人员联合进行了数据标签的人工标注和处理(去噪和大气校正)。此外, CHRIS是GF-5图像的黄河口入海口部分, 区域有重叠但地物标签存在不一样现象, 是因为两幅图像波段、所用卫星和采集年份不一样, 地物会发生变化, 从而地物类型存在差异, 在人工进行数据标签标记时进行了更细致的归类。

1.4统计学分析采用SPSS18.0进行统计分析,计量资料以(±s)表示,t检验,计数资料用n(%)表示,χ2检验,P<0.05为差异有统计学意义。

1 实验数据

1.1 研究区域

如图1所示, 高分五号(GF-5)数据集采集于2018年11月, 其区域覆盖了黄河三角洲的自然保护区滨海湿地, 其影像图由78、25、5三波段组合得到, 像素尺寸为462×617, 共150个波段, 光谱范围为390~1 029 nm, 其分辨率3.67~4.81 nm, 地面空间分辨率30 m。该区域为典型的滨海湿地, 其地物类型包含互花米草、芦苇、柽柳林、盐地碱蓬、潮滩芦苇、裸潮滩、盐碱滩及水体共8类。PROBA-CHRIS (Compact High Resolution Imaging Spectrometer) 是搭载于欧洲空间局(European Space Agency, ESA)小卫星上的遥感器, 成像模式多, 可获取0°、+36°、–36°、+55°和–55°等五种角度的高光谱图像。如图2所示, 本文采用的CHRIS数据集区域位于黄河入海口新老入海径流清八汊和清水沟交界处, 于2012年6月获取黄河口滨海湿地CHRIS工作模式2的0°图像, 其影像图由15、10、5三波段组合得到; 像素尺寸为510×511, 共18个波段, 光谱范围为406~ 1 035 nm, 其光谱分辨率5.9~44.1 nm, 地面空间分辨率为17 m。该区域为典型的滨海湿地, 其地物类型包括芦苇、互花米草、滩涂、水体、裸地及柽柳碱蓬混生区共6类。

1.2 数据

黄河三角洲是我国暖温带最广阔、最完整、最年轻的滨海湿地, 位于山东省北部渤海湾和莱州湾之间, 东营市黄河入海口处, 东经118°10¢至119°15¢与北纬37°15¢至38°10¢之间, 地处黄河入海口, 总面积约5 450 km2, 是上游黄河携带大量泥沙在渤海凹陷处沉积形成的冲积平原, 是山东省东营市经济发展的广阔空间, 为山东黄河三角洲国家级自然保护区, 其水源充足, 海水和淡水的交汇促进泥沙絮凝沉降形成泥滩, 生长有许多湿地植被与珍稀动植物, 具有很高的科研价值; 加之其对于生态保护的重要性, 选取该研究区域, 对其地物类型进行有效的监测及分类。

子美性极辣，惜未见诸行事。 《雕赋》一篇，辣味尽露。 所云“重其有英雄之姿，类大臣正色立朝之义”，可谓善于立言。 《义鹘行》是其一生心事，偶遇好题，遂不觉淋漓痛快。 至功成用舍之际，何其撇脱，几于神龙见首不见尾矣。 高鸟奇文，并传不朽。[26]9101

(3)空间特征提取支路采用多尺度卷积神经网络, 并通过加入注意力对不同尺度和不同层次的网络信息进行信息增强学习, 最后级联多尺度多层次的信息得到空间特征用于后续分类; 在注意力增强特征信息表现力的基础上充分学习网络不同深度的特征信息, 使得分类精度更高, 黄河三角洲湿地不同地物类型的边界更清晰。

图1 实验区GF-5影像图及地物真值图

图2 实验区CHRIS影像图及地物真值图

2 方法

本文所提出的黄河三角洲滨海湿地高光谱图像分类方法的整体网络框架如图3所示, 该网络分两路分别提取地物的空谱特征并融合; 针对黄河三角洲湿地地物中水体和裸滩的光谱特征差异较小的问题, 光谱特征提取支路采用分组预处理的Bi- LSTM网络, 分别从正反两方向学习光谱间相关性和长距离依赖性; 针对各地物空间分布边界的模糊性, 空间特征提取部分引入注意力机制进行特征的增强, 并通过级联多尺度卷积充分提取具表征力的特征。本节将分以下五小部分对图中相关工作做详细介绍。

2.1 分组策略预处理

研究表明在处理复杂光谱结构时深层的结构具有更好的泛化能力[20-21], 现有的方法主要关注光谱的完整性, 输入网络可在无监督情况下自动学习光谱特征, 而长短期记忆网络(LSTM)等时序网络更加关注相邻波段的上下文信息。因此, 如何正确地将高光谱矢量划分为不同的序列对网络的性能至关重要。高光谱含有数百个波段, 若将每个波段作为一个时间步输入一个频段一次则使得LSTM网络太深而无法训练。此外, 黄河三角洲湿地地物光谱之间具有强相似性, 如裸滩和水体光谱信息相似, 不易区分; 因此根据地物光谱间强相关性和长距离依赖性的特点进行分组预处理。

图3 联合Bi-LSTM和注意力加强多尺度卷积的高光谱图像分类网络架构

本文提出两种分组策略, 如图4所示为分组策略1, 图5所示为分组策略2, 并通过后续实验选择最优方案和最优时间步长。设为波段数,为LSTM中时间步数, 则每个时间步的序列长度为=(/),()表示向下舍入。例如: 设=[1,2,…,z]为高光谱图像中某一像元在整个波段上的光谱向量序列。经分组变化后的光谱序列表示为=[1,2, …x, …τ], 则存在下列分组策略。

图4 分组策略1

分组策略1为:

分组策略2为:

2.2 长短期记忆网络(LSTM)

(1)该网络分为双路分别学习高光谱图像的光谱信息和空间信息, 最后将两路信息通过全连接层进行融合学习后得出最终分类结果。整个网络相互统一、相互制约, 通过反向传播不断训练优化。

机构优化设计中常用的算法有梯度优化算法[14]和进化算法[15-17]。梯度优化算法收敛速度快，但容易导致局部最优解；遗传算法、蚁群算法属于进化算法，能有效规避局部最优解，但搜索到满足点距准则、函数值变化准则或梯度准则的最优解需要较长的迭代时间。

图6 LSTM网络门单元

2.3 基于分组预处理的双向长短期记忆网络(DBL)

每个波段图像不仅与其之前的波段图像相关, 还与其后续的波段图像相关, 基于此, 梁联晖等[22]运用Bi-RNN注意力网络, Mei S[23]运用Bi-LSTM, 有效学习序列长期依赖和上下文关系。因此在图像识别等某些任务中, 双向的序列网络可以很好的解决上述问题。

图7 DBL网络

Fig. 7 DBL network

2.4 注意力机制模块

提取的立方体的不同位置具有不同的语义信息。例如, 对象边缘通常比其他位置更具辨别力。如果能充分利用这些先验信息, 光谱和空间子网的学习能力将得到提高。由于黄河三角洲湿地地物空间分布的边界模糊, 网络对于边界地物的分类识别具挑战性。基于此, 本文将注意力机制加入到网络中, 使得网络更加关注对分类有用的信息并抑制对分类无用的信息, 从而可以让网络学习到更准确的特征信息, 更加精确高效地区分边界信息, 从而提升分类精度。

本文所提出的模型在下述服务器上运行: 操作系统Ubuntu18.04.3, CPU处理器Intel(R) Core(TM) i7-9700K CPU@3.60GHz, GPU显卡NVIDIA RTX 3090 Super GP基于Tensorflow 2.5.0框架实现。

国网乡镇供电所生产的营业用房，处于严寒地区，因严寒地区施工时间短，施工地点多，位置分散，建筑规模小，因此构建节能环保的装配式建造体系更利于满足建筑全生命周期绿色建筑发展（见图4）。

图8 注意力机制模块

Fig. 8 Attention mechanism module

2.5 注意力加强多尺度卷积网络(AMCNN)

CNN不同层次之间的信息互补更有利于分类, 结合黄河三角洲湿地地物空间分布边界的模糊性特点, 本文提出AMCNN用于提取湿地高光谱图像的空间特征, 如图9所示, CNN中加入批归一化层[24], 其多尺度体现在目标像素邻域在卷积过程中提取三个不同的邻域范围和浅中深三个不同层次的结构特征, 通过卷积、PCCBA注意力模块、批归一化、池化等, 分别从不同尺度和不同深度提取不同的空间特征, 并通过级联的方式融合这些特征用于后续通过全连接层和softmax层进行分类。该网络可加强特征之间的互补和层次之间的相关性, 提取到更加具有表现性的特征, 更加精准高效地对边界地物进行分类, 提升网络性能。相较于传统的多尺度多分支网络, 该网络不仅可以学习不同尺度之间相关性, 而且可以提取到不同尺度的特征信息。网络每个步骤细节参数如表1所示, 步长是指卷积或池化过程中滑动窗口的移动步长, 填充是CNN中常用的一种技术, 通过在边界中添加零值使卷积运算前后特征图大小不变。

图9 引入BN层的多尺度卷积模块

表1 注意力加强多尺度卷积网络模块参数

3 实验

3.1 实验数据设置及环境

本实验所选数据集为黄河三角洲湿地CHRIS高光谱影像。本实验均随机重复10次后取平均值, 每次训练均随机抽取训练集和测试集。如表2、表3所示。实验中训练集分别选取1%、2%、3%进行不同训练样本占比的比较, 剩下的为测试集。实验中采用小批量随机梯度下降算法优化网络, 实验中设置训练批次为300, 学习率为0.001, 批量大小为128。实验结果采用OA和Kappa系数评估。OA表示正确分类的样本占总测试样本的比例, Kappa系数表示真实值和分类结果之间的一致性, 两个指标越高说明分类结果越好。

行为风格或人格能够影响创造力，创造力与行为风格或人格密切相关。早期的研究就发现了一些较为稳定的人格对创造力有很大影响，如内在动机、宽广的兴趣、审美敏感、容忍模糊、直觉、冒险、韧性与自信、不关注公众认可等。巴龙、爱杜森等人在研究科学家的创造力时发现，高度的自我力量、独立自主的强烈需要、较高的自信水平、陶醉于所热爱和倾注的事业等是创造者的共同个性特征。克顿(1989)发现那些具有“创新性”解决问题的人往往以“新颖的”方式解决看似普通的问题，甚至重新“界定问题表征”，然后再找寻答案。他说，这些创造性行为风格是较为稳定的，一旦形成，就会贯穿于解决绝大多数问题的过程之中。

表2 GF-5训练集和总样本数量

表3 CHRIS训练集和总样本数量

(2)光谱特征提取支路采用Bi-LSTM网络, 学习光谱间的双向关系, 并通过分组策略预处理缓解梯度消失现象, 更好地学习光谱的长期依赖关系; 从而缓解了由于水体和裸滩的光谱特征差异较小而影响分类精度的问题。

十九大报告明确指出，推动形成全面开放新格局，要以“一带一路”建设为重点，赋予自由贸易试验区更大改革自主权，探索建设自由贸易港。从总体上看，“一带一路”倡议与自贸试验区建设互为补充，“一带一路”建设的“五通”与自贸试验区的“四化”两者高度契合，共同推动形成全面开放新格局[注]张时立：《中国自贸区建设与“21 世纪海上丝绸之路”——以上海自贸区建设为例》，《社会科学研究》2016年第1期，第58页。。

3.2 实验结果与分析

首先验证分组策略的有效性, 对所提出的两种分组策略进行实验验证, 策略1按照光谱顺序将相邻波段划分为同一组, 策略2则按相同的时间步长间隔划分为同组。实验结果如图10、图11所示(采用1%的训练集), 通过实验说明, 太深的网络并不适合LSTM提取光谱特征, 所以本文中将时间步设置为3, 全连接FC神经元数量设置为128。实验结果证明了在不同时间步长的设置下策略2均优于策略1, 其原因一是策略2所划分的序列覆盖了更宽的光谱范围, 在每个时间步中有更多丰富的上下文光谱信息送入LSTM单元, 原因二是策略2中不同时间步之间的光谱距离更短, 使网络更好地学习长短期依赖关系。此外, 从可分性的角度来看, Xu Y[23]通过使用PCA将数据从原始高维空间投影到三维空间, 也验证了分组的有效性。

图10 CHRIS基于不同步长的分组策略性能

图11 GF-5基于不同步长的分组策略性能

其次, 采用第二种分组策略, 验证lstm不同方向的性能。实验结果如表4所示, 在采用光谱特征进行图像分类的任务中, 双向网络能达到最好效果; 同时, 黄河三角洲湿地不同地物的光谱间差异性小, 利用DBL网络可综合学习不同方向的上下文长期依赖关系, 为分类网络提供更好的性能, 实现地物的有效区分。

表4 基于分组策略2的LSTM不同方向性能

然后评估AMCNN在不同降维通道和不同输入邻域块大小下的性能, 因为PCA预处理的降维通道数和输入网络的patch块大小是网络中两个重要的影响性能的参数。由于经PCA降维预处理后, 高光谱图像的空谱信息多集中于第一主成分, 因此选择3, 4, 6进行实验对比,选择28, 24, 20, 其实验对比如表5所示。因此加权计算时间花费和分类精度,选择4,选择28。

表5 AMCNN主要参数性能

最后我们将所提出的方法同其他方法进行比较, 包括SVM、BL-0(无分组Bi-LSTM)、DBL-1(基于分组策略1的Bi-LSTM)、DBL-2(基于分组策略2的Bi-LSTM)、SSUN[25]、DBMA[26]、DBDA[18]、AMCNN (本文所提方法的空间特征提取支路)、DBL0-MCNN (无分组Bi-LSTM且无注意力机制)等, 分别采用不同占比的训练集, 其评估结果如表6—8(GF-5-1%/2%/ 3%训练集)、表9—11(CHRIS-1%/2%/3%训练集)所示, 各方法相应分类结果如图12—14(GF-5-1%/2%/3%训练集), 图15—17(CHRIS-1%/2%/3%训练集)所示。

通过实验可知, 分组策略可以显著地提高LSTM的性能, 在两个数据集中, OA可提高约3%~5%, 其原因则是逐频带输入网络使得训练过深影响精度, 因此本文采用的分组策略2效果达到最优。此外, 光谱分支缺乏空间特征, 其分类图会受到胡椒噪声的干扰; 在空间分支中可有效利用地物连续性, 得到较清晰的分类图, 在不加注意力机制情况下SSUN的性能相较于AMCNN略低, 这是由于在AMCNN中使用的是双注意力, 可以同时捕获空谱信息, 有效提高网络精确率; DBL0-MCNN相较于DBMA、DBDA、SSUN略低, 其原因是无分组的Bi-LSTM加重了网络的计算负担, 使网络训练参数升高, 出现过拟合现象; 而DBMA、DBDA略低于SSUN可能由于该网络相对复杂, 不适用于小样本训练, 其参数训练出现欠拟合现象。因此, 相比之下, 本文所提出的DBL-AMCNN综合双向、分组和双注意力机制, 可达最优效果, 相比于其他卷积神经网络有效缓解过拟合现象, 减少网络训练压力和计算消耗, 提升抗噪声干扰能力; 从对比实验图的黑框和白框中可清晰看到本文算法在地物边界处的良好分类效果, 相比于其他方法地物边界更清晰, 更精确; 此外, 在不同占比训练集的实验相比较下, 总体精度在1%的极少训练集下已达到86%(GF5), 93%(CHRIS), 且其强泛化能力亦能在其他数据集中获得较优性能。

表6 所提分类方法与其他实验结果对比(GF-5-1%训练集)

表7 所提分类方法与其他实验结果对比(GF-5-2%训练集)

表8 所提分类方法与其他实验结果对比(GF-5-3%)

表9 所提分类方法与其他实验结果对比(CHRIS-1%训练集)

表10 所提分类方法与其他实验结果对比(CHRIS-2%训练集)

表11 所提分类方法与其他实验结果对比(CHRIS-3%训练集)

图12 GF-5-1%训练集下不同方法实验结果对比图(a-i为对比方法, j为本文方法)

图13 GF-5-2%训练集下不同方法实验结果对比图(a-i为对比方法, j为本文方法)

图14 GF-5-3%训练集下不同方法实验结果对比图(a-i为对比方法, j为本文方法)

图15 CHRIS-1%训练集下不同方法实验结果对比图(a-i为对比方法, j为本文方法)

图16 CHRIS-2%训练集下不同方法实验结果对比图(a-i为对比方法, j为本文方法)

图17 CHRIS-3%训练集下不同方法实验结果对比图(a-i为对比方法, j为本文方法)

4 结语

本文提出了一种新的高光谱图像分类方法, 并将其应用于黄河三角洲的滨海湿地地物识别检测, 根据该湿地地物的空谱特点, 网络分双路分别进行地物的光谱特征提取和空间特征提取。首先利用PCA对空间维进行降维预处理, 然后取降维后的小patch块输入AMCNN网络提取多尺度多层次融合的空间特征; 采用分组策略将对光谱维进行分组预处理后的光谱序列输入Bi-LSTM网络提取双向上下文关联和具长期依赖的光谱特征, 最后融合双路的空-谱特征通过softmax层进行分类。

观察组和对照组均采用标准的化疗方案，对获得CR的急性髓细胞性白血病的缓解后治疗，主要包括表柔红霉素+阿糖胞苷（DA）、高三尖杉酯醇+阿糖胞苷（HA）、米托蒽醌+阿糖胞苷（MA）、阿霉素+阿糖胞苷（AA）及中/大剂量阿糖胞苷（Ara-C）等方案；对获得CR的急性淋巴细胞白血病患者的缓解后治疗，主要包括长春新碱+柔红霉素+环磷酰胺+强的松（VDCP）、足叶乙苷+阿糖胞苷（EA）以及甲氨蝶呤（HD-MTX）等方案。观察组加用十一味参芪片（吉林金恒制药股份有限公司，国药准字Z10900029，0.3 g/片）口服，每日服用3次，每次服4粒。

本文通过一系列实验比较证明了所提DBL- AMCNN方法的有效性, 证明了分组和双向组合的有效性。此外, 通过双注意力和多尺度卷积的有效结合, 并验证注意力的对比试验, 证明了注意力模块在多尺度卷积的基础上进一步加强了空谱特征。所提出的方法不仅在少量的样本下实现了较好的分类效果, 而且降低了模型计算量和复杂度, 有效在庞大的数据提取困难度下更好的检测黄河三角洲滨海湿地的地物分布状况。

虽然所提出的分类方法和其他方法相比, 表现出最优异的性能, 但还存在不足之处, 之后的工作还需进一步优化模型, 继续提高模型效率和鲁棒性, 用更少的训练样本来达到更高的分类精度, 继续探索优化注意力及多尺度的参数问题, 并使网络能够自动学习双分支的贡献度权重因子并合理分配权重。

[1] 李永涛, 杜振宇, 王霞, 等. 黄河三角洲自然保护区湿地生态服务功能价值评估[J]. 海洋环境科学, 2019, 38(5): 761-768.

LI Yongtao, DU Zhenyu, WANG Xia, et al. Evaluation of wetland ecological service function in Yellow River delta nature reserve[J]. Marine environmental science, 2019, 38(5): 761-768.

[2] 王娜娜, 刘宏元, 李英, 等. 黄河三角洲湿地生态系统服务价值评估[J]. 山东农业科学, 2022, 54(2): 153-158.

WANG Nana, LIU Hongyuan, LI Ying, et al. Evaluation of wetland ecosystem services in Yellow River Delta[J]. Shandong Agricultural Sciences, 2022, 54(2): 153-158.

[3] 张建伟, 陈允杰. 高光谱图像分类方法综述[J]. 南京信息工程大学学报(自然科学版), 2020, 12(1): 89-100.

ZHANG Jianwei, CHEN Yunjie. A review of hyperspectral image classification methods[J]. Journal of Nanjing University of Information Science & Technology (Natural Science Edition), 2020, 12(1): 89-100.

[4] LI S, SONG W, FANG L, et al. Deep Learning for Hyperspectral Image Classification: An Overview[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(9): 6690-6709.

[5] 张雪薇, 韩震, 郭鑫. 深度学习在海洋信息探测中的应用: 现状与展望[J]. 海洋科学, 2022, 46(2): 145-155.

ZHANG Xuewei, HAN Zhen, GUO Xin. Application of deep learning in ocean information detection: Current Situation and Prospect[J]. Marine Science, 2022, 46(2): 145-155.

[6] MOUGHAL, T A. Hyperspectral image classification using Support Vector Machine[J]. Journal of Physics Conference, 2013, 439(1): 20-42.

[7] XIA J, FALCO N, BENEDIKTSSON J A, et al. Hyperspectral Image Classification With Rotation Random Forest Via KPCA[J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing, 2017, 10(4): 1601-1609.

[8] 杨胜龙, 史慧敏, 张胜茂, 等. 基于Bi-LSTM模型的远洋渔船类型识别研究[J]. 海洋科学, 2022, 46(3): 25-35.

YANG Shenglong, SHI Huimin, ZHANG Shengmao, et al. Research on type identification of ocean-going fishing vessel based on BiLSTM Model[J]. Marine Science, 2022, 46(3): 25-35.

[9] ROY S K, KRISHNA G, DUBEY S R, et al. HybridSN: Exploring 3D-2D CNN Feature Hierarchy for Hyperspectral Image Classification[J]. IEEE Geoscience and Remote Sensing Letters, 2020, 17(2): 277-281.

[10] ZHONG Z, LI J, LUO Z, et al. Spectral-Spatial Residual Network for Hyperspectral Image Classification: A 3-D Deep Learning Framework[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 56(2): 847-858.

[11] ZHANG M, LI W, DU Q. Diverse Region-Based CNN for Hyperspectral Image Classification[J]. IEEE Transac­tions on Image Processing A Publication of the IEEE Signal Processing Society, 2018, 27(6): 2623-2634.

[12] FENG J, WU X, SHANG R, et al. Attention Multibranch Convolutional Neural Network for Hyperspectral Image Classification Based on Adaptive Region Search[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(6): 5054-5070.

[13] GUO M H, XU T X, LIU J J, et al. Attention Mechanisms in Computer Vision: A Survey[J]. 2021, 8 (3): 331-368.

[14] HU J, SHEN L, SUN G. Squeeze-and-excitation networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 7132-7141.

[15] WANG J, ZHOU J, HUANG W. Attend in bands: Hyperspectral band weighting and selection for image classification[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2019, 12(12): 4712-4727.

[16] SUN H, ZHENG X, LU X, et al. Spectral–Spatial Attention Network for Hyperspectral Image Classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(5): 3232-3245.

[17] WOO S, PARK J, LEE J Y, et al. Cbam: Convolutional block attention module[C]//Proceedings of the European conference on computer vision (ECCV). 2018: 3-19.

[18] LI R, ZHENG S, DUAN C, et al. Classification of hyperspectral image based on double-branch dual-atten­tion mechanism network[J]. Remote Sensing, 2020, 12(3): 582.

[19] FU J, LIU J, TIAN H, et al. Dual attention network for scene segmentation[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2019: 3146-3154.

[20] CHEN Y, LIN Z, ZHAO X, et al. Deep learning-based classification of hyperspectral data[J]. IEEE Journal of Selected topics in applied earth observations and remote sensing, 2014, 7(6): 2094-2107.

[21] CHEN Y, ZHAO X, JIA X. Spectral–spatial classification of hyperspectral data based on deep belief network[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2015, 8(6): 2381-2392.

[22] 梁联晖, 李军, 张绍泉. 基于3D Octave卷积和Bi-RNN注意力网络的高光谱图像分类方法[J].光子学报, 2021, 50(9): 13.

LIANG Lianhui, LI Jun, ZHANG Shaoquan. Hyperspectral image classification based on 3D Octave convolution and BI-RNN attention Network[J]. Journal of photons, 2021, 50(9): 13.

[23] MEI S, LI X, LIU X, et al. Hyperspectral image classification using attention-based bidirectional long short- term memory network[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 60: 1-12.

[24] IOFFE S, SZEGEDY C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[C]//International conference on machine learning. PMLR, 2015: 448-456.

[25] XU Y, ZHANG L, DU B, et al. Spectral–spatial unified networks for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(10): 5893-5909.

[26] MA W, YANG Q, WU Y, et al. Double-branch multi- attention mechanism network for hyperspectral image classification[J]. Remote Sensing, 2019, 11(11): 1307.

Combined Bi-LSTM and attention enhancement multiscale convolution for wetland hyperspectral image classification in the Yellow River Delta

XU Mei-lun1, LI Zhong-wei1, WANG Lei-quan2, LI Juan2, HU Ya-bin3, LIANG Jian4

(1. College of Oceanography and Spatial Information, China University of Petroleum (East China), Qingdao 266580, China; 2. College of Computer Science and Technology, China University of Petroleum (East China), Qingdao 266580, China; 3. Ministry of Natural Resources, First Institute of Oceanography, Qingdao 266061, China; 4. Nantong Intelligent Perception Research Institute, Nantong 226007, China)

Recently, the demand for monitoring the Yellow River estuary has gradually increased. For example, there are various types of ground objects at the intersection of the old and new rivers since the flow of the Yellow River into the sea was diverted to Qingshuigou. Thus, the detection and recognition of these ground objects can provide insights into the state of the ecological environment for the protection of wetlands at the Yellow River estuary. Therefore, in this paper, a new classification method for wetland hyperspectral images is proposed. The proposed method can be categorized into spectral and spatial dimensions to extract the empty spectral features of the images and fuse them for classification. In the spectral dimension, a bidirectional long- and short-term memory network (Bi-LSTM) with packet preprocessing was used to determine spectral features efficiently. In the spatial dimension, an attention-enhanced multiscale convolution network was used to effectively enhance the extracted empty spectrum features and further improve the accuracy of classification results. In this paper, the experimental application was conducted based on data from a compact high-resolution imaging spectrometer (CHRIS) covering the junction of old and new rivers at the estuary of the Yellow River and the hyperspectral images collected using the Gaofen-5 sensor (GF-5) in the coastal wetland of the Yellow River Delta Nature Reserve. Our results show that the effective combination of grouping and Bi-LSTM significantly improved the network performance by ~3%–8% compared with other supervised classification methods, and the addition of an attention mechanism increased by ~3% compared with the previous year. Under the minimal training set of 1%, the CHRIS and GF-5 datasets reached overall classification accuracy of 92.3% and 86.11%, respectively.

hyperspectral image classification; Yellow River Delta; grouping; multiscale; attentional mechanism

Apr. 29, 2022

TP79

A

1000-3096(2023)5-0027-14

10.11759/hykx20220429013

2022-04-29；

2022-12-30

山东省联合基金项目(U1906217)；国家自然科学基金项目(62071491)

[Shandong Provincial Joint Foundation Project, No. U1906217; National Natural Science Foundation of China, No. 62071491]

徐美论(1997—)，女，河南新乡人，硕士研究生，主要研究方向为高光谱图像分类，E-mail: s20160034@s.upc.edu.cn；李忠伟(1978—)，通信作者，男，教授，研究方向：大数据与人工智能、多源遥感数据融合与智能信息处理 E-mail: li.zhongwei@vip.163.com

(本文编辑: 康亦兼)