“泰景四号01星”遥感影像条带噪声去除方法

赵可,钟若飞,杨灿坤,李清扬

(1.首都师范大学 资源环境与旅游学院,北京 100048;2.首都师范大学 三维信息获取与应用教育部重点实验室,北京 100048)

0 引言

泰景四号01星是搭载X波段商业SAR和光学动目标检测相机的商业卫星。可用于全天时、全天候地获取高分辨率地表图像,其搭载的动目标检测相机以及AI智能载荷,可对成像数据在轨处理,实现从预处理到动目标检测和识别的全过程。在资源详查、城市规划、环境保护、商业数据搜集等领域有广泛应用前景。卫星利用互补金属氧化物半导体(complementary metal oxide semiconductor,CMOS)灵活读取特性,实现了具有可控时间差的全色双条带推扫成像,通过帧差法便可以实现在推扫视场内进行大范围低速运动目标检测。利用这一成像特性,可以同时获取运动目标的速度和方向,结合地理信息数据库,有望提高目标监测的时间分辨率,实现面向实时应用的遥感服务,为应急减灾、交通运输、船舶监测等场景提供技术支撑。

CMOS相比较于传统电荷耦合元件传感器(charge-coupled device,CCD)具有读取灵活的特性,可以较为灵活地实现开窗成像,但同时受其读出放大器的限制,像素间不均匀状况较为常见,导致各探测元件之间的响应并不完全一致。因此在利用CMOS进行推扫成像时,在图像上表现为沿轨道方向的非周期性条状噪声。条带噪声的存在不仅降低了图像的目视效果,在应用中也直接导致了精度的损失。因此,条带噪声的去除是提升数据应用效能的基础。

现有的去条带方法主要分为三类:基于统计分析的方法、基于滤波的方法和基于变分正则化的方法。统计分析方法假定图像灰度的空间分布是均匀的,利用条带区域与图像区域灰度统计特征的差异性,将其灰度直方图调整在某个规定范围内,如直方图匹配法[1]、矩匹配法[2]、改进的矩匹配算法[3-5]。这类算法实现简单快速,但对于地表复杂度较高区域并不适用。基于滤波的方法是将影像变换到频率域,通过设置一定的滤波器对噪声信号进行处理,如小波滤波器[6]、自适应滤波器[7]、改进的陷波滤波器[8]等。这类方法能够有效消除图像中的周期性噪声,但一般遥感影像中的条带噪声并非周期性分布,以上方法无法将影像中的非周期性噪声完全滤除,并且容易丢失图像细节。基于变分的方法在图像去噪领域一直是研究的热点,常见的有单向变分模型[9]、结合矩匹配和变分法的去条带模型[10-11]、低秩单图像分解模型[12]等。

虽然上述方法在条带噪声去除的问题上取得了一定的效果,但对于泰景四号01星动目标检测应用场景来说,现有的去条带方法均未考虑到其成像特点,导致帧差后除了运动目标外,仍会残留部分条状离散噪点,对后续进一步的目标检测影响较大。为了解决上述问题,本文提出了一种顾及帧间一致性的条带噪声去除方法,即理想情况下,配准后的两个条带影像同一列灰度均值应是近似一致的。该方法算法复杂度低,对图像造成的灰度畸变较小,并且在各种地物复杂度较高的场景下均取得了较好的效果。

1 数据分析

泰景四号01星利用双CMOS拼接实现20 km成像幅宽,其中,每片CMOS可采集全色双条带推扫影像。该数据是由CMOS器件上两个不同区域开窗成像实现数据采集,模拟了双线阵异步推扫模式。每个开窗区域对应一个全色通道,在通道内实现时间延迟积分(time delayed integration,TDI)功能。数据采集时,沿卫星飞行方向,在1～2 s的时间间隔内先后对同一区域曝光成像。理想情况下,针对同名地物的像素读出信号应该是相同的,但实际在对地推扫过程中,受卫星姿态、CMOS制做工艺等因素限制,探测元件不同区域像素之间的响应并不完全一致,最终得到的数据依然受条带噪声影响,其不同谱段上的条带噪声具有不同的表现形式。图1为两个CMOS在两个时刻利用各自开窗区域获取的海面原始影像。

图1 泰景四号01星海面原始影像

可以看出,该卫星影像条带噪声主要沿轨道轨道方向分布,多为暗条纹,一般呈多列聚集出现,且不具备周期性,不同谱段上条带噪声的分布不具备相关性,CMOS1成像模组的条带噪声较多且分散,CMOS2成像模组条带噪声较少且聚集。

这些微弱的条带噪声不易通过目视发现,但在基于帧差法的动目标检测应用场景中,由于不同通道间条带噪声强度、分布的不同,会在帧差后的显著性图中得到保留,导致帧差结果中存在大量的条状离散噪点,进一步影响运动目标与背景分离时的阈值选择,严重影响检测精度。假设没有条带噪声参与图形计算,两个通道的差分结果应是一幅只包含目标区域灰度值差异,且其他区域灰度值为0,不存在明暗条纹的平整图像。但是由于条带噪声的客观存在,细小条纹在差分后也会显现出来。图2分别为两个CMOS成像模组间分别配准后进行差分的效果,可以更加直观反映出影像上的条带情况。

图2 原始谱段差分效果

2 方法设计

理想情况下,对各CMOS两个谱段间进行配准后,由于地物一致,整体像素差异理论上分布在一个波动性较弱的区间范围内,但是由于条带噪声的存在,条带所在列的谱段间灰度差异明显大于其他理想位置。基于此,本文从帧间一致性角度考虑,提出了一种对条带位置按照灰度权重进行像素补偿的相对辐射校正方法。首先,通过相对辐射定标方法去除大部分微弱条带,将条带噪声抑制在较小的范围内。然后,将配准后的两个谱段整体亮度均值调整为一致。最后,以配准后两个谱段间同一列上的均值差异作为条带定位原则,并依据像素权重对条带所在位置进行像素补偿。

2.1 相对辐射定标

将相机推扫方向定义为列向,垂直推扫方向定义为行向,忽略随机噪点的影响,在同一相机积分级数下,各探元响应可近似表示为式(1)[13]。

y(r,c)=k(c)x(r,c)+b(c)

(1)

式中:y(r,c)为校正后的像素值;x(r,c)为原始像素值;b(c)为传感器c的增益,该值一般近似为1;k(c)为传感器c的偏移量。这些参数可以通过实验室辐射定标获取。图3为分别经过相对辐射定标后的谱段间帧差效果图像,相比较于图2,通过上述相对辐射定标过程,可以去除图像中的部分细小条带噪声,有效将条带噪声抑制在较小的范围内,但对于一些较为严重的宽条带,该方法并不能彻底将其消除。

图3 辐射定标后谱段差分效果

2.2 图像亮度调整

由于同一积分级数下相机两谱影像之间响应线性度差异的存在,造成两幅影像总体亮度值存在细微差异。如泰景四号01星影像两个CMOS成像模组中谱段1的灰度均值总是低于谱段2,对两个谱段影像进行配准后,我们以对应列均值差值的正负为依据对暗条带噪声进行定位时,会出现差值均为负数的情况,无法准确判断条带位于哪个谱段影像上。因此,需要将两幅影像亮度尽可能地调整到一致范围,以便准确定位条带位置。本文选择将经过配准后的谱段1影像均值调整到与谱段2影像均值一致大小,传统方法对所有像素统一做一个简单的加或减操作,以将待调整影像均值调整为参考影像均值。该方法不能反映真实图像列的均值变化,改变了图像的实际灰度分布。为了不破坏原始图像灰度的空间分布情况,本文以各像素在整幅图像中的灰度权重为依据进行亮度的调整(式(2))。

(2)

(3)

D=Sum(2)-Sum(1)

(4)

(5)

式中:Sum(n)代表谱段n的像素值之和,n∈[1,2]。

2.3 条带补偿

调整亮度值后的两谱影像之间每一列都对应同名地物。理论上,若CMOS各探元之间不存在响应差异,相同地物的灰度值则是严格一致的。因此,本文对两谱影像之间的列均值进行统计,以均值差值的正负作为条带位置补偿依据。

经过相对辐射校正后,影像中残留条带噪声普遍为暗条带。因此,若第1谱段和第2谱段某列像素均值之差为正数,即谱段1该列灰度均值大于谱段2,则认为谱段2该列存在暗条带并对其进行像素补偿。若某列像素均值之差为负数,即谱段1该列灰度均值小于谱段2,则认为谱段1该列存在暗条带并对其进行像素补偿。若两列像素均值相等,则认为两幅图在该列均不存在条带,不需要进行像素补偿。

考虑到同一列上存在不同的地物,在进行像素补偿时不能够直接对一列整体进行简单的灰度加减操作。本文通过计算该列上每个像素与相应列均值之间的比值作为补偿权重,逐列对条带进行补偿,从而将两谱影像每列均值调整至一致(式(6)～式(8))。

(6)

(7)

(8)

3 实验与分析

为了验证该算法的有效性,本文选取了“泰景四号01星”两个CMOS成像模组在1级相机积分下推扫成像得到的4幅影像作为实验数据。为了充分证明算法的场景普适性,实验场景内具有建筑、海面、沙滩等多种地物类型。选取的影像大小为5 000像素×5 000像素。矩匹配方法通过对影像列均值与方差的调整,使其与标准参考值一致,以实现相对辐射校正目的;双边滤波方法结合图像的空间邻近度和像素值相似度对图像进行平滑去噪处理;单向变分方法利用梯度下降思想,通过建立最优化能量泛函来获取干净的图像效果。将本文方法与矩匹配、双边滤波器、单向变分3种不同类型的去条带方法进行比较,并根据主观和客观质量评价标准对实验结果进行评价。定性质量评价标准主要包括:图像视觉效果、图像列均值曲线、帧差效果。定量评价标准包括:信息熵、变异逆系数、结构相似度、峰值信噪比。

3.1 定性质量评价

图4～图7分别为使用不同方法分别对CMOS1、CMOS2成像模组的两个谱段进行去条带实验的图像视觉效果,除了CMOS2的第2谱段外,其他谱段原始影像上都存在明显的条带噪声。可以看出,矩匹配方法校正后的影像视觉效果最差。使用双边滤波器进行相对辐射校正后,影像上的条带噪声并没有明显消除,而对图像纹理细节进行了平滑。使用单向变分模型校正后效果有所提升,但仍存在部分不易观察到的细小条带噪声。本文方法去条带效果相对较好,能够去除大部分肉眼可见的明显条带噪声,且对原图像的特征保留度较高。

图4 CMOS1第1谱段校正结果

图5 CMOS1第2谱段校正结果

图6 CMOS2第1谱段校正结果

图8、图9为使用不同方法对各成像模组的两个谱段进行去条带实验后的图像差分效果。理想情况下,没有条带噪声的影响,两幅图差分后应是一幅灰度均匀,不存在明暗条纹的平整图像,但由于条带去除的不彻底性,肉眼不易察觉的细小条纹在差分后也会显现出来。相较于其他方法,本文方法在两个成像模组中都得到了良好的帧差效果。

图10～图13为使用不同方法对各个CMOS成像模组的两个谱段进行去条带实验后的图像列均值曲线,绿色表示原始图像列均值,红色表示校正后图像列均值。可以看出,CMOS2成像模组的原始图像列均值变化较CMOS1更加剧烈。由于双边滤波器的算法局限,本文选择在8位灰度空间进行实验。使用矩匹配方法校正后的影像列均值近似为一条直线,改变了图像真实灰度分布,图像细节损失较大。使用双边滤波器进行校正后,影像列均值比校正前略微平滑,但变化幅度不大,并不能有效消除条带。单向全变分方法对原始影像列均值分布保留的比较完好,但对图像进行了过度平滑,会导致校正后影像出现阶梯效应。本文方法校正前后列均值曲线拟合程度较好,如图10(d)所示,在第2 800列左右,校正后的图像列均值呈现一个明显的升高区间,该区间与原图CMOS1谱段1上的条带位置吻合。如图11(d)所示,在第300、1 700、2 300、3 800列左右,校正后的图像列均值呈现一个明显的升高区间,该区间与原图CMOS1谱段2上的条带位置吻合。如图12(d)所示,在第4 800列左右,校正后的图像列均值呈现一个较大幅度的升高区间,该区间与原图CMOS2谱段1上的条带位置吻合。相比较于其他两种方法,本文方法能够有效针对条带所在位置进行校正,并保留图像原始灰度空间分布特征不被破坏。

图10 CMOS1第1谱段列均值曲线

图11 CMOS1第2谱段列均值曲线

图12 CMOS2第1谱段列均值曲线

图13 CMOS2第2谱段列均值曲线

3.2 定量质量评价

使用客观指标对实验效果进行评价时,必须综合考虑多个指标,不能由单一指标确定结果好坏。本文选用信息熵、变异逆系数、结构相似度、峰值信噪比4种定量指标对相对辐射校正效果进行分析评价。

信息熵是图像信息丰富度高低的定量评价指标,信息熵越大,图像信息量越大;变异逆系数定义为近似各向同性区域上的均值与标准差之比,其值越大,代表去条带效果越好;结构相似度是衡量校正前后两幅图像相似度的评价指标,从影像的亮度、对比度和结构3个层次比较影像变化,其值越大,图像细节信息保留能力越强;峰值信噪比是最大信号与噪声之间的比值,用于评价去噪后图像与原始图像的近似程度,数值越大,说明近似程度越高。

由于双边滤波器处理效果较差,没有计算其定量评价指标。表1、表2为不同去条带方法定量评价结果。

表1 CMOS1相对辐射校正定量评价结果

表2 CMOS2相对辐射校正定量评价结果

由于原始图像中条带噪声较弱,校正前后各项指标波动并不强烈,CMOS1谱段2校正前后在各项指标上都取得了最好的效果,CMOS1谱段1由于在校正前对影像均值做了调整,校正前后影像灰度会有细小的差别,因此,在定量评价指标上不如单向全变分方法,但二者差别极小,对影像总体质量的影响不大。总体来说,基于以上评价指标,与其他不同算法相比,本文算法能够在信息保持与条带去除中使定量指标达到相对较好的平衡效果,且取得了更优的条带去除结果。

4 结束语

针对泰景四号01星遥感影像数据在动目标检测应用场景中受条带噪声影响,致使精度损失的问题,本文提出了一种顾及帧间一致性的条带噪声去除方法。首先,通过相对辐射定标方法去除影像上大部分微弱条带,将条带噪声抑制在较小的范围内。然后,对配准后的两个谱段整体灰度均值进行调整。最后,以配准后两个谱段间同一列上的均值差异作为条带定位原则,并依据像素权重对条带所在位置进行像素补偿。

实验结果表明,本文算法在主观和客观评价指标上都取得了良好的效果,在有效去除图像中微弱条带的同时能够最大限度保留图像灰度信息。此外,本文算法复杂度低,不需要设置初始参数,能够在提高影像质量的同时兼顾算法处理效率。但是,本文方法仅适用于两个及以上谱段图像的去噪任务,如珠海一号等高光谱影像去噪。对于单波段影像,本文方法并不适用。其次,本文算法依赖于图像的配准,配准精度对本文算法结果的好坏有决定性作用,所以在后续的研究中,我们将考虑如何最大限度地减少配准精度对结果的影响。