结合改进Laplacian能量和参数自适应双通道ULPCNN的遥感影像融合方法

龚循强,侯昭阳,吕开云,鲁铁定,夏元平,李威俊

1.东华理工大学自然资源部环鄱阳湖区域矿山环境监测与治理重点实验室,江西 南昌 330013; 2.东华理工大学测绘与空间信息工程学院,江西 南昌 330013; 3.江西省地质局第六地质大队,江西 鹰潭 335000

随着传感器成像技术的迅速发展,可获得的影像信息也日益丰富[1]。单一传感器的遥感影像受限于光谱带宽和储存空间等因素的约束,无法同时满足高空间分辨率和高光谱分辨率。遥感影像融合技术能够较好地实现不同类型数据之间的优势互补和冗余控制,可有效服务于对地观测领域。合成孔径雷达(synthetic aperture radar,SAR)是一种主动式的微波成像传感器,具有全天时、全天候工作的优势。此外,SAR影像的后向散射能量直接反映土地覆盖的含水量、粗糙度和介电特性等信息,能够较好地表征各种土地覆盖类型的结构特征,有利于不同土地覆盖类型的识别[2]。然而,SAR影像通常会受到严重的相干斑噪声干扰,可解释性差。多光谱(multi-spectral,MS)影像包含丰富的光谱信息,具有较好的可解释性,可根据不同地物的光谱特性进行分类,但其成像过程依赖于地球表面物体的太阳光照射,同时较差的空间分辨率使其无法有效体现各种地物的结构特征[3]。因此,多光谱和SAR影像可以提供同一区域不同模态的互补信息,两者优势的有效结合有助于对影像区域的解译和理解。

遥感影像融合方法主要包括成分替换方法、多尺度变换方法、基于模型方法和混合方法4大类[4]。其中经典的成分替换方法有亮度-色度-饱和度变换(intensity-hue-saturation,IHS)[5]、主成分分析(principal component analysis,PCA)[6]和GS(Gram-Schmidt)[7]等。该类方法具有较好的空间表达能力,但是存在较严重的光谱扭曲现象[8]。小波变换(wavelet transform,WT)[9]、曲波变换(curvelet transform,CVT)[10]、双树复小波变换(dual tree complex wavelet transform,DTCWT)[11]、非下采样轮廓波变换(non-subsampled contourlet transform,NSCT)[12]和非下采样剪切波变换(non-subsampled shearlet transform,NSST)[13]等都是较常用的多尺度变换方法。该类融合方法能够较好地抑制光谱扭曲现象,但是其融合性能除了受多尺度分解结构影响外,很大程度上依赖于不同子带融合规则的设计。基于模型方法主要有变分模型和稀疏表示模型,其中稀疏表示模型的稀疏编码和字典创建是一个复杂的过程,同时稀疏字典的高冗余性会导致运算成本过大。混合方法通常为前几类融合方法的结合形式,综合利用各类融合方法的优势。因此,本文将成分替换方法和多尺度变换方法混合,综合利用IHS变换的空间保留能力和NSST的光谱保真优势,其中NSST虽然能够有效地抑制光谱信息的丢失,但是获得优秀的融合结果还需对不同子带的融合规则进行合理设计。目前,多尺度变换方法的融合规则通常根据局部特征信息进行设计,例如局部能量、局部空间频率和局部拉普拉斯等。这些局部特征信息关注的影像特征单一,无法有效兼顾影像结构信息的保持和细节信息的提取。同时,脉冲耦合神经网络(pulse coupled neural network,PCNN)由于具有脉冲同步、全局耦合等特性被广泛用于高频子带融合规则的设计,但是该模型存在参数设置复杂和空间相关性差等问题。

综合考虑以上问题,本文提出一种结合改进Laplacian能量和参数自适应双通道单位连接PCNN(Unit-linking PCNN,ULPCNN)的遥感影像融合方法。该方法在NSST的基础上重点对低频和高频子带的融合规则进行设计,这也是多尺度变换方法提高融合性能的关键。其中对低频子带采用结合加权局部能量(weighted local energy,WLE)和八邻域修正拉普拉斯加权和(weighted sum of eight-neighborhood-based modified Laplacian,WSEML)的规则,综合考虑结构信息和细节信息的提取,减少由于融合规则设置的单一性造成的信息丢失现象。高频子带则采用参数自适应双通道ULPCNN模型进行融合,根据高频子带的多尺度形态梯度(multi-scale morphological gradient,MSMG)调制链接强度,再利用OTSU阈值和影像强度来实现其他参数的自适应选择,从而解决传统PCNN中参数设置复杂的问题,同时提高融合影像的空间相关性。选择两个区域的数据对本文方法和其他13种融合方法进行对比试验,使用11种评价指标对融合结果进行定量评价。选择随机森林(random forest,RF)分类器对原多光谱影像、14种融合方法分别得到的融合影像进行土地覆盖分类,并根据总体精度(overall accuracy,OA)和Kappa系数比较它们的分类结果。

1 本文方法

由于本文方法重点对低频和高频子带的融合规则进行设计,因此有必要对低频和高频子带的融合规则进行介绍。

1.1 WLE和WSEML

低频子带体现了影像的整体结构,包含了影像的大部分能量。传统的低频子带融合方法中通常根据能量信息对影像的活动水平进行度量,往往会忽略低频子带中的部分细节信息。虽然NSST可以将绝大多数的细节信息分到高频子带,但是由于受NSST的分解层数限制,无法将细节信息完全归入高频子带。为了保证原始影像结构信息的保留和细节信息的提取,低频子带系数采用WLE和WSEML进行融合,其中,WSEML是对Laplacian能量进行改进,WLE辅助WSEML进行信息提取,WLE主要度量影像的结构信息,WSEML主要度量影像的细节信息。WLE的表达式为

IX(i+m,j+n)2

(1)

八邻域修正拉普拉斯算子(eight-neighborhood-based modified Laplacian,EML)考虑到了对角系数的影响,可以充分利用邻域信息。WSEML是对EML的加权表示,表达式为

(2)

1.2 参数自适应双通道单位连接PCNN

高频子带系数包含大量的纹理细节和边缘信息,直接体现影像的清晰度。PCNN常用于高频子带融合规则的设计,主要由感受域、调制域和脉冲发生器3个部分组成。ULPCNN是PCNN的改进模型,简化了模型结构,减少了参数设置,使得整个模型的脉冲传播行为易于分析和控制。由于遥感影像融合是对两幅影像进行处理,单一通道的PCNN需要对每幅影像分别进行一次处理,结构复杂,效率低下。然而双通道PCNN可以很好地解决这一问题,故在ULPCNN的基础上改进得到双通道ULPCNN,其模型的架构如图1所示,数学表达式为

图1 双通道ULPCNN模型

(3)

由式(3)可知双通道ULPCNN主要存在4个参数,即βA、βB、αη和VE。较之SF和SML等活动度量,MSMG具有更大的离散度,因此能够更好地表达影像的清晰度。此外MSMG可以为影像提供更高的归一化值,因此比其他活动度量具有更高的预测率[14]。选择高频子带的MSMG作为模型的链接强度,可以更好地量化影像的清晰度,增强影像的空间相关性。其表达式为

(4)

(5)

1.3 方法步骤

本文方法将成分替换方法的IHS变换和多尺度变换方法的NSST相结合,综合两种方法分别在空间信息和光谱信息方面的优势。再对NSST不同子带的融合规则进行设计,提高能量保持能力和细节提取能力,并优化PCNN模型,解决PCNN模型参数设置复杂和空间相关性差等问题。试验步骤主要包括IHS变换、NSST分解、低频子带融合、高频子带融合、NSST重建和IHS逆变换6个部分。本文方法流程如图2所示,主要实现步骤如下。

图2 本文方法流程

(1) IHS变换。对多光谱影像IMS进行IHS变换,得到3个分量:亮度I、色度H和饱和度S。

(3) 低频子带融合。根据式(1)和式(2),结合WLE和WSEML对低频子带系数LSAR和LMS进行融合,得到融合低频子带系数LF(i,j),表达式为

(6)

(7)

(5) NSST重建。对融合后的低频和高频融合系数进行NSST逆变换,得到新的亮度分量I′。

(6) IHS逆变换。将融合得到的新亮度分量I′和其他2个分量H和S进行IHS逆变换,最终获得融合影像。

2 试验设计

2.1 试验数据

本文选取2个区域的数据进行试验分析,区域1为内蒙古某机场的多光谱和SAR影像的试验数据,该数据来源于航空遥感系统,主要包括道路、建筑物、林地、草地和裸地5种土地覆盖类型。区域2的多光谱影像从谷歌地球获得,SAR影像为高分三号卫星影像,主要包括道路、建筑物、林地、草地和水域5种土地覆盖类型。多光谱和SAR影像经过降噪和配准等预处理操作后,具有相同的空间位置和像素大小,其中区域1的影像像素大小为400×600,数据如图3(a)和图3(b)所示,区域2的影像像素大小为500×500,数据如图4(a)和图4(b)所示。5种土地覆盖类型的样本分别选取了100个,均匀地分布于整个研究区域,其中每种土地覆盖类型中随机选取50个作为训练样本,剩余50个作为验证样本。

图4 区域2的原始影像和14种融合影像

2.2 对比方法

为了更好地说明试验效果,将本文方法与13种其他方法进行比较,其中包括3种经典的多尺度变换方法,即曲波变换(curvelet)、双树复小波变换(dual tree complex wavelet transform,DTCWT)和NSCT[18]。3种基于稀疏表示理论的融合方法,即自适应稀疏表示(adaptive sparse representation,ASR)[19]、卷积稀疏表示(convolutional sparse representation,CSR)[20]和卷积稀疏性形态分量分析方法(convolution sparsity and morphological component analysis,CSMCA)[21]。3种基于边缘保持滤波的融合方法,即交叉双边滤波(cross bilateral filtering,CBF)[22]、滚动导向滤波(rolling guidance filtering,RGF)[23]和梯度转移滤波(gradient transfer filtering,GTF)[24]。4种结合多尺度变换和PCNN模型的融合方法,即结合能量属性(energy attribute,EA)和参数自适应PCNN(parameter adaptive PCNN,PAPCNN)的NSST域融合方法(EA-PAPCNN)[25],结合WLE和PAPCNN的NSST域融合方法(WLE-PAPCNN)[16],结合EA和双通道PCNN的NSST域融合方法(EA-DCPCNN)[26],以及结合低级视觉特征和PAPCNN的NSST域融合方法(low-level visual features-PAPCNN,LLVF-PAPCNN)[13]。为了保证试验的严谨性,本文方法与对比方法选择相同的试验环境。同时,这些对比方法中的所有参数都按照其默认值进行设置。本文方法中的分解滤波器为maxflat,分解程度为4级,参数自适应双通道ULPCNN的迭代次数设置为110[16,25,27]。

2.3 评价指标

定性评价主要是通过人眼的视觉系统进行观测,依据专家知识库对融合后影像目视效果、纹理细节、色彩信息及空间结构等方面进行比较分析,对每组融合结果做出主观性的评价。定量评价是通过评价指标对试验结果进行客观性的评价,试验中选取了信息熵(information entropy,IE)、互信息量(mutual information,MI)、平均梯度(average gradient,AG)、空间频率(spatial frequency,SF)、空间相关系数(spatial correlation coefficient,SCC)、光谱扭曲度(spectral distortion,SD)、光谱角制图(spectral angle mapper,SAM)、相对整体维数综合误差(ERGAS,源于法语“erreur relative globale adimensionnelle de synthèse”)、结构相似性(structural similarity,SSIM)、峰值信噪比(peak signal-to-ratio,PSNR)和无参考质量指标(quality with no reference,QNR)11个评价指标。

2.4 土地覆盖分类器

随着对生态环境和土地资源的保护力度增大,土地覆盖分类研究也得到广泛关注。其中,分类器的研究主要集中于支持向量机(support vector machine,SVM)、RF和深度学习等模型。深度学习模型需要根据深度网络对大量训练样本进行学习,参数设置复杂,计算效率较低,通常有限的遥感地物样本很难满足高质量的深度学习[28]。SVM和RF则能够以较小的计算成本得到高精度的分类结果,其中SVM对参数和核函数选择敏感,针对不同的研究需要选择相应的核函数和参数,同时核函数和参数的选择通常依赖于经验[29]。相比之下,RF则具有训练速度快、参数易控制、不易过拟合和准确率高等特点,且得到广泛的认可[30]。

3 试验结果与分析

为了对试验结果进行全面地评价,分别从主观定性和客观定量2个方面对所有融合结果进行对比分析,接着根据分类结果图和分类精度对土地覆盖分类结果进行分析。

3.1 定性评价

图3(c)—(p)和图4(c)—(p)依次显示了13种对比方法和本文方法的融合结果。图5(a)—(n)和图6(a)—(n)依次显示了所有融合结果对应的误差图像,其中误差图像是根据SAM指标计算得到。通过目视分析可以看出,在3种经典的多尺度变换方法中,curvelet和DTCWT 2种方法的空间分辨率得到了明显的提高,清晰度较好,但是存在较为严重的光谱失真现象,较原多光谱影像明显偏暗。NSCT由于融合规则设计简单,对空间细节的描述和光谱信息的保留效果都不理想。基于稀疏表示理论的3种方法中,ASR和CSR 2种方法的空间分辨率和光谱分辨率都很低,特别是道路和建筑物的边缘出现明显的模糊现象,影像整体颜色偏灰偏红;CSMCA的形态分量分析有助于空间信息和光谱信息的提取,较ASR和CSR的融合质量有明显的提高,但是融合质量提高的能力有限,还有较大提升空间。3种基于边缘保持滤波的方法中,CBF和GTF的细节表达不佳,光谱扭曲严重,部分区域的细节和光谱信息丢失严重,几乎无法正确反映该区域的实际特征。RGF通过滚动滤波的形式提高了融合影像的细节信息和边缘信息的保留能力,但是在光谱保真方面的改善并不明显。在4种基于结合多尺度变换和PCNN模型的融合方法中,EA-PAPCNN在细节表达和光谱保真上都没有优势,WLE-PAPCNN和EA-DCPCNN在空间和光谱信息提取上优势不大,LLVF-PAPCNN对空间分辨率和光谱分辨率的提升能力较强,光谱信息表达准确。总体分析,本文方法的清晰度最高,能够清晰地表现出道路边缘和建筑物结构等特征,同时与原多光谱影像的光谱信息最接近,融合效果最好。根据误差图像可以看出,在区域1中EA-DCPCNN和本文方法相对于其他对比方法的误差较小,区域2中WLE-PAPCNN、LLVF-PAPCNN和本文方法的误差相对不明显。

图6 区域2中14种融合影像对应的误差图像

3.2 定量评价

定性评价是一种依据专家知识库的主观性评价方式,受限于人眼视觉感知,主观性较大,因此还需结合定量评价指标进行客观、全面的评价,其中定量评价主要根据信息量、空间信息和光谱信息等几个方面展开。表1和表2分别列出了所有方法对区域1和区域2的定量评价结果。其中“↑”表示数值越大越好,“↓”表示数值越小越好,粗体表示最优值,下划线表示次优值,“—”表示无实际意义。

表1 区域1融合影像的定量评价结果

表2 区域2融合影像的定量评价结果

由表1中区域1融合影像定量评价结果可知,在基于影像信息量的评价指标IE和MI上,排名前三的方法依次是本文方法、LLVF-PAPCNN和WLE-PAPCNN,其中本文方法较排名第二的LLVF-PAPCNN分别提高0.013和0.060,较排名第三的WLE-PAPCNN分别提高0.111和0.228,体现出本文方法具有保留更多有用信息的能力。本文方法在AG、SF和SCC 3个评价影像空间质量的指标上都表现为最优,次优值则分别出现于curvelet和DTCWT,相比于次优值,本文方法分别提高了1.421、3.343和0.003,表明本文方法能够较好地提取影像纹理细节信息和边缘轮廓信息。SD、SAM和ERGAS是衡量融合影像与原多光谱影像之间光谱扭曲程度的指标,值越小扭曲程度越小,融合效果就越好。在这3个指标中,本文方法的表现较其他13种方法具有明显的优势,其中本文方法较LLVF-PAPCNN分别降低了2.080、0.092和0.943,说明本文方法的光谱保真度高。SSIM指标评价了融合影像与原始影像之间的结构相关性,除RGF外所有方法都表现出不错的效果,其中本文方法最为突出。评价指标PSNR上,只有本文方法、LLVF-PAPCNN和EA-DCPCNN超过了20,其他方法则大部分都分布在16～19之间,较之LLVF-PAPCNN,本文方法提高了1.209。对于评价指标QNR,本文方法略次于LLVF-PAPCNN。总体来看,本文方法在所有指标上都表现为最优,且在多数指标上具有明显优势。

区域2和区域1的总体评价结果相似。由表2的定量评价结果可知,本文方法仅在QNR评价指标上表现为次优,在其他10个评价指标上均表现为最优,较其他13种对比方法具有明显的优势。相较于所有评价指标上的次优值,本文方法在IE、MI、AG、SF、SCC、SD、SAM、ERGAS、SSIM和PSNR 10个评价指标上分别优化了0.008、0.082、1.183、0.920、0.001、6.023、0.065、2.014、0.004和1.693,表明本文方法含有丰富的信息,具有较高的空间分辨率和光谱分辨率,与原始影像的结构相似度高。

3.3 土地覆盖分类结果分析

区域1的土地覆盖类型主要有道路、建筑物、林地、草地和裸地,分别由红色、黄色、深绿色、浅绿色和深褐色表示。区域2的土地覆盖类型主要有道路、建筑物、林地、草地和水域,分别由红色、黄色、深绿色、浅绿色和青色表示。选择RF分类器对原多光谱影像、所有方法的融合影像进行土地覆盖分类,并根据OA和Kappa系数对分类结果进行评价。为了保证试验的严谨性,所有融合影像在进行土地覆盖分类时都选择相同的训练样本和试验环境。区域1和区域2中各种融合影像的土地覆盖分类结果分别见图7和图8,土地覆盖分类精度分别见表3和表4。

表3 区域1的土地覆盖分类精度

表4 区域2的土地覆盖分类精度

由图7和图8可知,原始多光谱影像由于具有较高的光谱特性,使得分类结果中同一地物覆盖类型相对聚集,但是较低的空间分辨率使得分类结果的细节区分不佳,特别是建筑物的边缘结构显得比较粗糙。各种融合影像的分类结果由于结合了SAR影像的空间信息,对细节特征的刻画都较原多光谱信息突出,但是SAR影像中不可避免的相干斑噪声使分类结果出现了不同程度的斑点现象。其中本文方法融合影像的分类结果较精细地区分出不同土地覆盖类型的边缘,同时斑点现象最弱,较好地区分出不同的土地覆盖类型。

由表3可知,GTF和curvelet的光谱信息丢失严重,表1中基于光谱信息的评价指标SD和ERGAS也体现了这一点。同时这两种方法在空间分辨率上也表现不佳,所以在OA和Kappa系数两个评价指标上都低于原多光谱影像的85.911%和0.819。CBF虽然保持了较好的光谱特性,但是较差的清晰度导致其分类精度也低于原始多光谱影像。DTCWT、CSR、CSMCA、RGF和EA-PAPCNN的光谱保真能力不突出,在所有方法中排名居中,在一定程度上限制了土地覆盖的分类效果,特别是道路和林地、道路和草地之间的混淆现象较为明显,其OA均分布于86%～87%之间。NSCT、WLE-PAPCNN、EA-DCPCNN、LLVF-PAPCNN和ASR在提高空间分辨率的同时也较好地保留了光谱信息,其分类精度相较于其他8种对比方法具有较大的优势,具体在OA上提高都超过了1.5%,Kappa系数上也有超过0.02的提升表现。本文方法具有较强的空间增强和光谱保真能力,极大地提高了土地覆盖分类精度,分类结果的OA和Kappa系数较原多光谱影像分别提高了8.350%和0.107,较13种其他方法中最好方法分别提高了1.377%和0.023。

由表4可知,所有融合影像的土地覆盖分类精度都高于原始多光谱影像。GTF、EA-PAPCNN和EA-PADCPCNN的土地覆盖分类精度略高于原始多光谱影像,这是由于这3种方法在信息量、清晰度、光谱保真和结构相似性等方面都没有明显的优势,且在光谱保真上都表现出较差的效果。CBF、DTCWT、CSMCA、RGF和curvelet的OA都分布于85%至86%之间,分类效果一般。这5种方法都无法较好地兼顾空间信息和光谱信息,不能有效地平衡原始影像的互补信息。NSCT、ASR、CSR、WLE-PAPCNN和LLVF-PAPCNN能够较好地提取原始影像中的特征信息,较于其他对比方法能够得到更高的分类精度,所以在OA和Kappa系数两个指标上都分别超过了86%和0.82。所有对比方法都具有一定的局限性,无法较好地整合SAR影像的后向散射信息和多光谱影像的光谱信息,使得土地覆盖分类精度无法有效提高。本文方法在信息量、清晰度、光谱信息和结构相似性等几个方面都表现出了较好的效果,分类结果的OA和Kappa系数较原多光谱影像分别提高了6.896%和0.091,较13种其他方法中最好方法分别提高了0.169%和0.001。

4 结 论

在基于多尺度变换的多光谱和SAR影像融合中,如何有效提高结构信息和细节信息的提取能力,同时增强PCNN模型的参数自适应性和空间相关性,对增强融合方法的性能非常重要。为此,本文提出一种结合改进Laplacian能量和参数自适应双通道ULPCNN的遥感影像融合方法,将IHS与NSST相结合,并重点对NSST不同子带的融合规则进行优化设计。其中,通过结合WLE和WSEML两个活动度量解决了低频分量中细节信息提取能力差的问题,提出参数自适应双通道ULPCNN模型来解决高频分量中PCNN参数设置复杂和空间相关性差等问题。选取2组数据和11种评价指标对本文方法和其他13种方法进行试验和对比评价,分析融合方法的空间增强和光谱保真性能,再通过RF分类器进行土地覆盖分类,分析融合影像的分类效果。试验结果表明,本文方法在定性评价和定量评价上总体表现最好,表明本文方法能够在较大程度上兼顾空间信息和光谱信息的保留。在土地覆盖分类评价指标OA和Kappa系数上较原始多光谱影像和其他融合影像都得到了明显提高,说明本文方法的融合结果能够提高土地覆盖分类精度,有助于对研究区域的解译和分析。