基于全局自适应处理的分块影像增强方法

左斌，许强，庞冉，谢金龙，翟雨微，高放

（1 北京市遥感信息研究所，北京 100192）

（2 长光卫星技术股份有限公司，长春 130000）

0 引言

全色遥感影像蕴含着丰富的地物目标信息，通常指遥感器获取0.45～0.7 μm 左右波长范围的单波段影像。然而，受到传感器老化和云雾笼罩等因素的影响，许多全色遥感影像内的目标地物与背景难以区分。对全色遥感影像内的目标地物进行增强是遥感图像处理的一项关键技术，可以改善后续用于目标检测、变化检测的影像质量。

国内外学者提出许多能显著改善遥感图像质量的增强方法。空间域方法直接对原始影像的像素值进行变换，直方图均衡化、伽马变换、灰度线性变换都是其中较为经典的方法［1］。近年来，也有部分学者研究基于直方图频率加权的影像增强方法［2］。HUANG Z 等利用伽马系数改进累积分布函数，然后基于累积直方图实现图像增强，该方法在亮度保持、对比度增强等方面都取得较好的效果［3］。然而，在高动态范围遥感影像中，地物种类繁多、分布状况复杂，同一类别的目标地物也可能会有差异较大的灰度值，对影像采用统一的增强方式往往会导致影像内部分地物的细节损失。局部增强可以有效解决上述问题。HUANG Z 等在限制对比度的自适应直方图均衡化（Contrast Limited Adaptive Histogram Equalization， CLAHE）这一局部增强方法的基础上提出限制对比度的四分直方图均衡化算法，该方法可以在保持亮度和结构的同时一定程度上防止过度增强［4］；DHAREJO F A 等提出一种基于暗通道先验和分段线性变换的图像增强方法，能显著改善较暗的遥感影像［5］。但是现存的局部增强算法往往基于直方图均衡法改进，无法较好地保留原始影像中小范围区域内的灰度信息，还会增加图像内的噪声。

变换域方法先将遥感影像变换到频率域或者梯度域等变换域，然后通过对不同频率或者梯度的分量采用不同处理，以突出原始图像的细节［6］。BHARDWAJ A 使用提升小波变换处理图像，首先利用低频子带进行自适应阈值分割，然后基于奇异值分解对其处理，并利用人工蜂群算法优化阈值，最终改善了图像的质量［7］。然而，该类方法对于不同分量的最佳增强参数难以确定，由于遥感影像包含地物分布的复杂性，感兴趣地物所处的分量往往是不确定的，许多方法在突出显示地物的同时会放大噪声，模糊化降噪处理往往又会损失部分感兴趣地物的细节。

近年来，基于深度学习对影像进行增强的研究逐渐增多［8-10］。CHEN X 等将深度学习与Retinex 理论结合，提出一种新的基于注意力的网络，该网络能自适应调整光照的亮度信息，实现对弱光的增强［11］。WANG D 等提出目标注意力深度神经网络，采用联合卷积单元法对多尺度空间进行完全选取，并利用目标注意单元进一步细化目标相关特征［12］。然而，目前的深度学习方法较为依赖人工标注的数据集，训练周期长，训练得到的模型对多源影像的处理不具备通用性。此外，部分增强方法的耗时较多，也会影响实时应用。

为了更好地突出影像中目标地物细节并减弱背景噪声，本文提出一种基于全局自适应处理的分块影像增强方法，该方法基于局部灰度自适应变换实现，能在保留小范围区域内灰度相对差异的同时尽可能地突出目标地物的细节。为了避免对噪声的过度增强，基于块差异因子对相邻影像块进行合并，将影像块归类为细节块与噪声块，然后使用全局自适应增强对局部增强的参数进行修正，进而对全色遥感影像进行增强，最终得到目标地物信息增强后的全色遥感影像。

1 算法原理

本文算法主要包含局部影像增强、基于灰度直方图的全局自适应增强参数估算、影像块多维指标的估计和基于邻近块的块参数纠正四个部分，其流程如图1。首先，进行分块处理并分别计算图像中每个影像块的影像增强参数；然后，基于影像的灰度直方图进行全局自适应增强参数估算；接着，估算影像块的多维指标；最后，基于块差异因子对邻近影像块进行合并，将影像划分为细节块与噪声块，将噪声块的增强参数替换为全局自适应增强参数，基于影像块的增强参数进行插值以获取每个像元处的参数，根据这些参数对全色遥感影像进行增强，最终得到增强后的全色遥感影像。

图1 算法流程Fig.1 The framework of the algorithm

1.1 局部影像增强

相比于直方图均衡等灰度非线性变换的处理，灰度线性变换能在不改变原始影像中部分纹理特征的情况下增强影像中的地物细节。假设存在一张影像A，影像A内地物目标α的特征α1与x1、x2、x3这三个像元相关，该特征满足

式中，Dx1、Dx2、Dx3分别表示三个像元处的灰度值，使用灰度线性变换f(D)=k×D+b后三个像元处的灰度值分别是f(Dx1)、f(Dx2）、f(Dx3)，其中k为变换的斜率，b为变换的截距，则有

由式（2）可知，灰度线性变换不会改变比值相关的纹理特征，即使对影像使用不同的灰度线性变换参数，增强后影像内的这些纹理特征也具有可比性。而当f(D)不是线性函数时，式（2）不一定成立。因此，采用非线性变换处理不同影像内的同一类目标可能会改变增强前较相似的纹理特征。相比于灰度非线性变换，使用灰度线性变换对上述影像进行处理，上述纹理特征更容易被目标检测等应用的卷积神经网络所提取。

遥感影像内包含的地物种类较多，不同地物间的灰度差异往往较大，如果采用统一的增强参数对整幅影像进行增强处理，部分地物的增强效果往往不理想。局部增强可以较好地解决上述问题，该方法主要作用于目标地物附近的较小范围，可以充分利用变换后影像的动态范围表示影像的灰度变化情况。因此，本研究提出的算法将局部增强作为基础。研究使用的局部增强通过分块后增强实现，在确定合适的影像块大小后将原始影像划分为W×H个尺寸相同、空间上不重叠的影像块，如图2，其中W是原始影像横向上的分块数量，H是原始影像纵向上的分块数量。研究发现将影像块的尺寸确定为112×112 像元后影像内舰船等目标的尺寸和影像块的尺寸较为接近，此时提出的增强方法对舰船等目标地物的增强效果较好。在确定影像块的尺寸后，获取原始影像横向和纵向的像元数目，在横向和纵向上分别将原始影像的像元数目除以影像块的尺寸即可得到W和H。

对原始影像进行分块操作后，对于每个影像块计算其块内像元的最大灰度值Dmax和最小灰度值Dmin并将其作为影像灰度变换的参数，对于影像块内的每个像元xi（其灰度值为Dxi），计算其变换后的灰度值Oxi，即

式中，Omax和Omin分别是输出影像的最高灰度值和最低灰度值，通常确定为255 和0，这是由于图像的增强结果需要被目标检测等领域的深度学习模型处理，这些模型接收的通常是8 位影像，该类影像灰度值范围为0至255。经过局部增强后的影像如图3，可以看出只进行局部分块增强会导致较明显的斑块效应和噪声块现象，但是影像包含地物的细节与反差在地物所处影像块内得到较大程度的增强。通过对每个影像块的增强参数进行双线性内插以求出每个像元处的增强参数，斑块效应可以得到较好解决。为了消除噪声含量较高的块（噪声块）的影响，先识别噪声块，再对其进行去除。具体地，噪声块与包含地物细节的块（细节块）的灰度、纹理等有较大差异，可以根据影像块边缘处的灰度均值等特征将噪声块识别出来，然后，使用基于灰度直方图的全局自适应增强参数对噪声块所在区域进行补值。图3 中标识了细节块和噪声块的例子，其中A块是细节块，B 块是噪声块。

1.2 基于灰度直方图的全局自适应增强参数估算

灰度线性变换能在保留原始影像中部分纹理特征的同时增强目标地物的细节，因此，算法的全局自适应增强也使用灰度线性变换作为基础，并对其进行改进。对于影像块内的每个像元xi，计算其灰度线性变换后的灰度值Oxi，即

原始图像中灰度介于Dlow和Dup之间的灰度被线性映射至Omin和Omax，部分地物的灰度值属于该区间，这些地物的细节得到增强；在灰度低于Dlow或者高于Dup的区域，影像的纹理信息和灰度信息减少。在Omax和Omin确定的前提下，根据影像的具体情况，自适应地选择合适的Dup和Dlow参数是全局自适应增强的关键。

传统的局部增强对目标有较好的增强效果，然而这类方法会对背景噪声过度增强，需要使用全局增强等方法对噪声较多的区域进行补值。在本文提出的基于全局自适应处理的分块影像增强方法中，全局自适应处理的目的就是补值。灰度线性变换可以对局部增强的结果进行补值，其能在保留原始影像中部分纹理特征的同时增强影像中目标地物的细节。根据影像的具体情况，自适应地选择合适的灰度线性变换参数即全局自适应参数，可以实现全局自适应增强。结合增强算法的应用场景来分析全局自适应参数的选取，增强结果面向的应用场景以舰船目标检测为例，用作增强的影像源于吉林一号卫星星座，选用的影像是全色遥感影像。研究的影像增强算法主要针对基于可见光影像的目标检测、变化检测等解译相关的领域，旨在服务针对海量遥感数据的智能解译，海洋、云等地物在这些应用领域通常是背景像元，并不是研究者感兴趣的目标地物。然而，在舰船等目标的检测过程中，影像中的海洋、云等有时与目标地物难以区分，会造成对目标地物的错检和漏检现象。在输出影像中，应该增加目标地物所处灰度值范围的反差，并压缩海洋、云等背景所处的灰度值范围。

然而，遥感影像内的地物分布情况较为复杂，舰船等目标在部分影像内是灰度最高的区域，在影像内有云遮挡时，云往往成为其中最亮的区域，部分港口舰船的灰度有时高于陆地上的建筑，有时则相反；在部分情况下，海面的灰度可能高于舰船。而现有的部分增强方法，如最大最小值拉伸法、标准差拉伸法等，必然会舍弃影像内一定比例的较暗或者较亮地物的信息，难以在多数应用场景中保证地物目标的清晰度。因此，这些方法的适用场景有限，难以仅依靠某一种传统增强方法清晰显示出所有影像内的目标地物。

提出基于灰度直方图的全局自适应增强技术用于对局部增强后的影像进行全局自适应处理，能获取影像内背景地物的灰度值分布情况，有助于确定目标相对于背景的明暗情况，进而确定增强效果较好的增强参数。结合使用多光谱等多源遥感数据可以较准确地识别海洋和云等背景地物，然而，由于遥感数据有时源自多种传感器，每种传感器获取的波段范围不一定相同，使用的影像常常缺少同一时空条件下获取的多光谱信息用于对云和海洋的识别。因此，本方法基于全色遥感影像直接识别出影像内云和海洋等地物的信息，然后根据这些信息确定不同的增强参数，有助于完善基于全局自适应处理的分块影像增强技术并改善对全色遥感影像的增强效果。

全局自适应增强技术从全色遥感影像的灰度直方图出发，计算每个灰度值j对应的像元个数nj。根据最小百分比阈值Pmin和式（5），确定灰度直方图主体的灰度下限Hdown。同理，依据最大百分比阈值Pmax和式（6）确定灰度直方图主体的灰度上限Hup。

基于灰度直方图主体的灰度上下限确定灰度直方图主体的宽度Hwidth，即

Hwidth能反映影像内包含的几类主要地物所处的灰度值范围，根据Hwidth与直方图宽度阈值Wthres间的关系，将含有舰船目标的影像分为宽直方图主体类和窄直方图主体类。当灰度直方图主体的宽度大于直方图宽度阈值时，将其判定为宽直方图主体类；否则，将其判定为窄直方图主体类。以不同场景的典型影像为例阐述算法的细节。

图4 为宽直方图主体类影像及其灰度直方图，当影像内存在云和陆地等地物时，这些地物的灰度与海面灰度差异较大。此时，影像的灰度直方图主体的宽度较大，由于陆地某些建筑的光谱特性与舰船类似，船的亮度通常低于部分陆地和云而高于海面区域（在海面辉光的情况下，舰船的亮度可能低于海面而高于部分陆地），舰船所处区域不会包含图像中最亮或者最暗的像元。对于这种情况，通过百分比截断线性拉伸法压缩异常高亮、异常低亮的离群像元的灰度值，这能在保留目标地物细节的同时显著压缩原始影像的动态范围，进而提升后续舰船检测的精度，百分比截断线性拉伸法表示为

图4 宽直方图主体类影像及其灰度直方图Fig.4 One wide-histogram-body-class image and its grayscale histogram

图5 为窄直方图主体影像及其灰度直方图，当影像内只含有海面、舰船和较薄的云等地物时，舰船所在像元的灰度往往是影像内灰度的最高值或者最低值。在海面辉光等情况下，舰船处的灰度通常是整幅影像的最低灰度值；在其他情况下，舰船处的灰度值通常是整幅影像的最高灰度值。此时如果仍采用百分比截断线性拉伸法进行增强，舰船等目标地物对应的灰度值范围会被压缩。此时应采用最大最小值拉伸法进行增强，表达式为

图5 窄直方图主体影像及其灰度直方图Fig.5 One narrow-histogram-body-class image and its grayscale histogram

式中，Tmax是原始影像的最高灰度值，Tmin是原始影像的最低灰度值。

1.3 影像块多维指标的估计

局部分块增强会导致部分影像块内有较多高亮噪声，为了对这些影像块进行准确识别并在后续使用基于灰度直方图的全局自适应增强参数对噪声块进行修正，计算相邻影像块间的块差异因子，并根据其判别相邻影像块间的纹理、亮度等信息是否在块的边界处发生突变。

局部增强导致部分区域内噪声的过度增强，这通常是由于部分影像块内的灰度分布较为集中、影像块内每个像元包含地物的光谱特性较为接近引起的，进行局部增强后，这些影像块内本来不明显的噪声被异常放大，与此同时，细节块内背景像元的噪声被抑制，如图3 中的影像块A 和影像块B。因此基于影像块边缘处的平均灰度Emean可以有效检测出噪声块，计算方法为

式中，Enum是影像块边缘处的像元数量，根据参与指标计算的邻近块与当前块的相对位置，Emean所涉及的像元可能出现在影像块的上、下、左、右四个方位。

影像块边缘处的信息熵En能衡量影像块边缘附近的平均信息量，其计算公式为

式中，dmax和dmin分别是影像块边缘处最高和最低灰度值，p(i)是当前影像块内灰度级i的出现频率。相邻影像块地物相近往往会导致相邻影像块边缘处的信息熵接近；相邻块边缘处的信息熵发生较大变化可能是由于其中一块包含较多噪声。

相比于单一指标，综合信息熵、影像灰度在相邻块间的变化情况能较好地捕捉影像块内存在噪声的情况，因此，构建块差异因子dc1，c2来评价影像的任意两个相邻子块c1与c2间的关系，表达式为

式中，w1、w2分别是信息熵、影像灰度在相邻块间的差值对应的权重。

1.4 基于邻近块的块参数纠正

经过局部增强处理的影像能清晰显示影像块内目标的细节，对于噪声含量较高的影像块，将其增强参数替换为全局自适应增强参数，能在增强目标地物细节的同时减少背景噪声。结合块差异因子识别噪声块是提出算法结合局部增强和全局自适应增强的关键。

1）相似块合并

遍历所有的影像块，基于每一影像块与邻近影像块间的相似关系，将块差异因子小于阈值dThres的多个相邻影像块合并为复合影像块（复合块），最终，将原始影像划分产生的W×H个影像块合并为若干个复合块，如图6。图6（b）中A～E 是经过合并影像块后形成的复合块，白色代表该块被判定为噪声块，灰色表示该块被判定为细节块。对于块差异因子超过dThres的情况，基于当前影像块相对于邻近块的明暗情况，计算块明度指数LC1，C2，即

图6 经过分块局部增强处理后的影像及结合邻近块判别得到的噪声块分布Fig.6 The block enhanced image and noise block distribution obtained by adjacent block identification

式中，C1是当前影像块，C2是当前影像块的相邻块。求得一个复合块Mci包含的所有影像块的块明度指数之和，将该值作为当前复合块的复合块明度指数MMci。

2）噪声所在块的识别

如果MMci大于0，将当前复合块包含的所有影像块判定为潜在的噪声块，将其增强参数替换为全局自适应增强参数，反之，认为当前复合块包含的所有影像块不属于噪声块，保留每个影像块局部增强得到的参数，作为该块的增强参数。

3）全局自适应增强和局部增强结果的融合

在局部增强的基础上计算每个影像块的增强参数，使用全局自适应增强参数修正噪声块的增强参数，实现全局自适应增强和局部增强结果的融合，该方法能在避免对背景噪声过度增强的同时增强目标地物的细节。

对于每一个影像块Ci，计算其增强参数：最高灰度值Dmax(Ci)和最低灰度值Dmin(Ci)。为了在增强目标地物对比度的同时避免斑块效应，使用双线性内插求出每个像元处的增强参数Dmax，xi和Dmin，xi，计算每个像元处增强后的灰度值Mxi，即

2 实验结果

实验平台为CPU Intel（R）Core（TM）i7-11700 8 核2.50 GHz、内存为32 GB，在Win10 系统中使用Visual Studio 2019 软件运行。为了验证增强算法能否有效用于舰船目标检测等解译领域，将舰船作为着重关注的地物，将吉林一号卫星星座获取的多场景全色舰船遥感影像数据作为数据集，选取几种典型的且包含舰船目标的遥感图像作为实验样本。选择5 种适用于全色遥感影像增强的先进算法POSHE［13］、IPRH［14］、CLAHE［15］、AHPBC［16］、DEBTHE［17］进行对比实验，分别使用定量和定性的方法评估不同方法的增强效果来验证本文算法的有效性。

提出的方法关注对感兴趣目标地物的增强效果，因此在质量评估时需要对参与计算的影像进行筛选，使用感兴趣目标地物（本实验中为舰船）附近的像元参与定量评价指标的计算。原始影像是16 位，而本方法的增强结果是8 位影像。评价过程中针对原始影像中目标地物附近较小范围的像元进行最大最小值拉伸，得到代替原始影像参与质量评估的参考影像，这些参考影像尽可能多地保留了原始影像内的地物细节。

2.1 定性分析

图7 给出包含舰船目标信息的港口附近全色遥感影像，以及不同算法对该影像的增强结果。图7（a）中原始影像的动态范围较高，影像内地物的对比度较低；图7（b）、（f）中较多陆地区域出现了过曝情况；图7（c）、（d）中舰船与海面背景间的灰度差异较小；图7（e）中舰船与海面背景间的灰度较接近，且在部分陆地存在过曝现象；图7（g）本文算法的结果中过曝区域较少，且舰船与海面背景间灰度差异较大，舰船的轮廓清晰可见。本文算法采用了基于灰度直方图的全局自适应增强技术，增强结果中海面区域的噪声没有被增强，说明全局自适应处理能对局部增强的参数进行有效修正。对比结果可以看出，该算法能在降低影像动态范围的同时有效增强影像中目标地物的细节，改善港口附近遥感图像中舰船目标的清晰程度。

图7 不同算法对港口影像的增强效果对比Fig.7 Comparison of enhanced effects of the port image by different methods

图8 分别给出包含舰船目标信息的海面全色遥感影像和不同算法对该影像的增强结果。图8（b）中整景影像内的较多区域出现了过曝现象；图8（c）中海面的亮度较高，与舰船的对比度较低；图8（d）中舰船周围出现了较明显的伪影；图8（e）和（f）中部分舰船所在区域发生过曝，损失了部分纹理信息；图8（g）本文算法的结果中海面与舰船对比明显，且在较大程度上保留了舰船的纹理信息。通过对比增强结果可以看出，提出的算法能有效增强海面遥感影像中的舰船目标。

图9 分别给出包含较多云的海面全色遥感影像和不同算法对该影像进行增强的结果。通过对比增强结果可以看出，提出的算法有效地抑制云对影像中舰船目标的干扰，即使部分舰船被云覆盖，也能尽可能增大目标周围像元的灰度反差，克服了以往方法处理受云覆盖的影像时容易过度增强或者增强不足的缺点，有效解决现有全色遥感影像增强算法在增强影像中目标地物细节时对背景噪声过度增强的问题。

图9 不同算法对含云影像的增强效果对比Fig.9 Comparison of enhanced effects of the cloud image by different methods

2.2 定量分析

采用均方误差（Mean Squared Error， MSE）、峰值信噪比（Peak Signal to Noise Rate， PSNR）和结构相似性（Structural Similarity， SSIM）三个指标来客观评价不同影像增强方法对于全色遥感影像增强的效果。

均方误差可以反映增强前后影像的差异大小，该指标以像素间的误差为基础。均方误差越小，增强后图像内原有地物的纹理等信息损失越少，增强方法的效果越好。计算公式为

式中，pnum是参与计算的像元总数，xi是参考图像x参与指标计算的第i个像元的灰度值，yi是增强后图像y参与指标计算的第i个像元的灰度值。

峰值信噪比常用于图像压缩、图像增强等领域，可以反映增强后影像的失真程度。峰值信噪比越高，增强后图像的质量往往越好，计算公式为

式中，My是影像可能的最大像素值。

结构相似性衡量增强前后影像间的相似度，反映结构特征的保留情况。结构相似性的值越大，说明增强后的影像更好地保留参考影像内的地物特征。计算公式为

式中，μx是参考图像x的平均值，μy是增强后图像y的平均值，σ2x是x的方差，σ2y是y的方差，σxy是x与y的协方差，q1和q2这两个常数用来维持公式的稳定。

表1 给出了对比算法POSHE、IPRH、CLAHE、AHPBC、DEBTHE 和本文算法增强效果的客观指标MSE、PSNR 和SSIM 的值，可知这些算法在压缩原始影像动态范围的同时增强地物的细节，增强后的影像质量都较好，但本文算法的增强效果最好。

表1 不同算法的增强指标对比Table 1 Comparison of enhancement evaluation index of different methods

表2 给出不同算法的运行平均时间，可以看出本文算法的运行平均时间为0.14 s，略小于DEBTHE 法的运行时间，远小于IPRH 法的运行时间。

表2 不同算法的运行平均时间Table 2 The running average time of different methods

3 结论

本文针对现有全色遥感影像增强算法在增强影像中目标地物时对背景噪声过度增强的问题，提出一种基于全局自适应处理的分块影像增强方法。首先，进行分块处理并分别计算图像中每个影像块的影像增强参数，实现对影像细节信息的保留；然后，基于影像的灰度直方图进行全局自适应增强参数估算，在防止影像内噪声被过度放大的同时增加背景和地物间的反差；接着，估算影像块的多维指标，便于后续基于全局自适应处理进行局部增强；最后，基于块差异因子对邻近影像块进行合并，将噪声块的增强参数替换为全局自适应增强参数，基于影像块的增强参数进行插值以获取每个像元处的参数，最终得到增强后的全色遥感影像。使用该方法对多组不同场景的全色遥感影像进行仿真实验，并基于多种指标对多种增强方法的效果进行评估，发现提出的增强方法对于多种场景均有较好的性能。该方法基于局部增强对目标地物及其邻域的灰度变化范围进行调整，能在一定程度上消除现有辐射校正处理残留的误差并使得不同影像内的同一类目标可比，处理结果可用于舰船检测等领域。