HY-1C/D海岸带成像仪全视场整体相对辐射校正方法研究
2023-06-12戴荣凡韩静雨王密陈儒彭涛张昊楠
戴荣凡,韩静雨,王密,陈儒,彭涛,张昊楠
1.武汉大学国家网络安全学院,武汉 430079;
2.国家卫星海洋应用中心,北京 100081;
3.武汉大学 测绘遥感信息工程国家重点实验室,武汉 430079
1 引言
海洋一号C/D卫星搭载有海岸带成像仪、水温水色扫描仪、紫外成像仪等,为全球海洋水色要素反演、近海岸环境监测提供重要数据支持(刘建强 等,2023)。其中海岸带成像仪采用推扫成像体制,幅宽950 km,分辨率50 m,具有高信噪比、优良的辐射质量,为海洋环境监测、海洋防灾减灾、江河湖生态环境监测提供重要数据支撑(刘锦超 等,2022)。海岸带成像仪相机分系统安装在卫星上,探测器以推扫方式对地面景物成像,地物目标的辐射信号经过主光学系统和中继光学系统,最终聚焦在焦平面上探测器上,探测器将光信号转换成电信号,经过成像电路处理和模数转换后,最后通过数传分系统传送到地面站。
0 级数据是地面站接收后经过解码后的原始数据,包含着卫星平台和相机载荷最原始最完整的全部信息,是后续所有产品处理的基础。卫星在成像过程中,由于受到传感器性能、地形差异、光照条件变化、大气散射和吸收等因素的影响,输出的辐射能量中会存在各种噪声,不同探元对于相同地物辐射能量也存在响应不一致现象,掩盖了影像的真实辐射信息,直接降低了影像质量,给遥感数据的应用带来了困难。因此,高质量相对辐射校正是后续产品处理的基础和关键,具有重要意义。如图1,对同一目标地物成像时,不同探元的DN 值会有所差异,导致遥感影像不均匀、条带噪声等图像问题。
图1 传感器探元级辐射响应差异Fig.1 Radiation response difference of sensor probe level
相对辐射校正就是尽可能的消除探元级噪声的干扰,来实现相机对地物成像的均匀性响应。影像的非均匀性噪声主要来源于成像器件的不均匀、通道间电路噪声和太阳、大气及地形等外部环境的影响(王密和潘俊,2004)。这些影响因素可以被整体归纳为乘性噪声与加性噪声。对于空间相机而言,有:
式中,Y为噪声信号,X为无噪信号,K为乘性噪声矩阵,B为加性噪声矩阵,⊙为哈达玛积。显然,如果有两组已知X和Y的不相关方程,就可以解算得到K和B。由于噪声信号Y已知,而无噪信号X未知,因此相对辐射定标的关键就在于如何构造与模拟无噪信号(标准信号)。对于线阵相机而言,X和Y是1×N的向量,其中N是探测器探元数量。
对于超大幅宽光学线阵卫星,单片CCD 影像的地表覆盖范围有限,为满足大范围成像视场的需求,普遍采用多CCD 拼接成像。各相机由于安装结构和成像条件的差异,影像间难免存在几何关系与色彩特征的不一致。上述常规的相对辐射校正方法一般难以消除多相机间的辐射差异。
全视场影像的色彩一致性处理实际上是对测区内各影像进行相对辐射校正,并消除影像间的色彩差异(韩宇韬,2014)。目前,国内外学者对多CCD 影像片间色彩一致性研究也做了大量工作,分为直接法、传递法和全局优化法3大类。直接法通过调整各影像的色彩信息使其与参考影像尽量保持一致,常见的有直方图匹配法、Wallis变换法等。直方图匹配法(王密和潘俊,2006)通过计算参考图像和待处理影像直方图,并根据概率累计分布曲线来建立参考图像和待处理影像之间的映射关系,来消除影像间色彩差异。Wallis 变换(余磊,2017;李德仁 等,2006)从整体上考虑区域不同影像间的色彩一致性处理,把辐射信息差异看作是一种线性关系,通过构建线性回归模型,恢复不同影像间的色差,但缺点是局部区域色差依然存在,在复杂场景容易出现颜色畸变。直接法虽简单有效,但当影像内部差异特征较大时,会改变原有图像灰度值之间的距离,影像的地物辐射特性会被破坏。路径传递法通过影像间的重叠信息来确定传递路径,将各影像的色彩信息调整成与参考影像一致。基于Voronoi 图的辐射均衡方法来消除影像之间的辐射差异,通过构建有效镶嵌多边形(EMPs)来定义每个影像的像素,以此构建网络的拓扑关系确定影像间的传递路径(Pan 等,2009,2010)。路径传递法在距离参考影像较远区域时会有偏色问题,导致色彩累计误差,且计算过程复杂。全局优化法(Xie 等,2018;Li等,2020)利用影像间的重叠区色彩信息具有一致性作为约束条件,构建各影像的色彩校正模型,将色彩均衡问题转换为数学意义上的最优解,避免了路径传递中色彩误差的传播和累计。基于最小二乘平差的全局优化法求解最优模型参数,但分布假设的方程构建,在平差解算时可能出现秩亏,导致色彩校正模型的不稳定(Sun 和Zhang,2008);基于岭回归和牛顿法的全局优化方法,标定出渐晕和色差的固定校正参数,在中国的高分1 号、高分2 号等系列卫星上取得了较好的效果(Liu等,2022)。
总的来看,目前影像间色彩一致性校正方法中还存在不少局限性:(1)直接法和路径传递法均需参考影像;(2)目前尚未建立参考影像选择标准,过分依赖于专业人员主观选择;(3)全局优化法可以不依赖参考影像,但在模型的稳定性、鲁棒性上还有待优化,且存在一定的局限性,主要应用于高分率遥感卫星影像上。
本文针对海洋一号C/D卫星海岸带成像仪,提出全视场自适应均衡的相对辐射校正方法,顾及了全局和局部的色彩效果,能适用于超大幅宽影像的色彩一致性处理,具有如下优势:(1)通过在轨统计法有效改善了片内拼接处的渐晕问题;(2)解决了超大视场下多片CCD 影像因路径传递带来的色差累积和拼接缝问题;(3)在全局优化法基础上,引入处理前后影像色彩差异最小的约束条件,构建全局自适应色彩均衡模型,使得最优参数解算稳定;(4)在云、雪、水体、沙漠、陆地等多种复杂场景下,均能生成高质量的大视场相对辐射校正产品。
2 海岸带成像仪成像特点
海岸带成像仪为了满足大视场成像需求,搭载有2 台相机4 片CCD 进行组合成像,如图2 所示。两台相机间采用“非共线”视场光学拼接,将中间两片CCD 在焦平面上装配成上下交错的两行,形成不连续的像面。不同片CCD 同一时刻不同波段对应不同地区成像,原始影像会有错位现象。每台相机内部2 片CCD 采用“共线”光学拼接,通过分光棱镜形成一对光程相等的共轭面,将位于透射面和反射面的多片CCD 首尾搭接以形成连续像面。
图2 海岸带成像仪多片CCD拼接成像示意图Fig.2 Multiple CCDs of CZI splicing imaging diagram
全反全透光学拼接中,反射镜会对反射区域和透射区域的重叠区形成遮挡,焦面上的光线不是从全照明突变成全挡光,而是逐渐过渡,是一个渐变过程,在影像的边缘出现能量衰减形成渐晕。多片CCD 焦面结构安装差异和成像条件的不同,导致不同片CCD 尤其相机间响应差异较大,影像间地物动态明暗变化大,存在明显的色差。如图3 所示,海洋一号C/D 卫星0 级原始图像普遍存在渐晕和色差等现象。
图3 HY−1C/D卫星CZI 0级图像存在渐晕色差现象Fig.3 Accretion aberration in HY−1C/D CZI level 0 images
3 理论与方法
本文采用一种自适应的全局色彩一致性处理方法,通过全局优化策略,在片内辐射校正的基础上,无需指定参考影像,可自适应对影像进行色彩一致性校正处理,处理流程如图4所示。全局优化策略,即以单片CCD 影像为单位将所有影像的色彩校正模型统一处理,取得全局意义的最优解,消除影像间整体的色彩差异。
图4 多片CCD影像色彩一致性校正流程Fig.4 Color consistency correction process of multiple CCDs images
3.1 片内相对辐射校正
在卫星成像过程中,由于探元感光特性的差异,使影像上会出现系统条带噪声、坏线、死像元、渐晕等辐射不均匀现象,严重影响了地物真实辐射特性,在应用过程中必须对其采取一定的处理措施,这也是全局色彩校正的基础。片内相对辐射校正就是利用相对辐射校正系数消除影像中的系统噪声,其原理如下式所示。
式中,DN(i)为相对辐射校正后第i号探元的灰度值,DN(i)raw为原始图像第i号探元的灰度值,B(i)为第i号探元的偏移值,NG(i)为第i号探元的归一化増益,保证定标后的灰度值范围与原始数值的范围基本一致。
由于实际在轨环境的差异,实验室积分球定标数据不能很好的去除系统噪声,本文采用在轨影像统计法进行片内影像相对辐射校正。对不同相机档位类别的影像进行分类统计,通过直方图统计和匹配来生成相对辐射校正查找表,提高影像质量。对样本中每个探元相同灰度值出现的次数进行统计,从而获得每个探元的综合直方图,并转换成累计概率密度分布(累积概率为小于或等于某一灰度值的像素数目占所有像素的比例)。将每个探元的综合直方图进行合并就可以获得所有探元的综合直方图即期望直方图。在理想状态下,经过直方图匹配后,所有探元的直方图分布和期望直方图分布一致,两者之间的累计概率分布也一致,探元之间的响应呈现均匀性分布。用Ps表示探元s直方图的各个灰度的累计概率分布,用Qs表示探元s匹配后的直方图各个灰度级累计概率,M表示原始图像灰度值上限,则原图像中探元s灰度值p映射成q的条件:
具体步骤包括以下4个方面:(1)选取若干轨原始0级数据,根据辅助数据中的相机增益和积分级数把条带影像划分为不同的类别,保证每个档位都有覆盖;(2)分档位统计所有样本的每个探元的直方图,并将每个探元直方图进行合并生成所有探元的综合直方图,即期望直方图;(3)直方图匹配处理,使每个探元的综合直方图的概率密度函数和期望直方图的概率密度函数相同为准则来建立查找表;(4)对各档位样本数据,重复步骤(2)、(3),生成得到各谱段各CCD片辐射系数。
3.2 高精度几何拼接
通过构建原始分片影像的严格成像模型和虚拟大相机严格成像模型,建立原始单片影像到虚拟相机的转换关系如图5所示。通过有理函数RPC模型,在像方点和地理坐标的基础上,依次完成各片像素点的灰度值重采样,形成无缝大视场拼接影像(杨威 等,2021)。
图5 虚拟大相机无缝几何拼接Fig.5 Seamless geometric stitching of virtual large camera
(1)对各片CCD 原始影像像 点(sample,line)而言,根据探元号sample可确定内定向元素,行号line可确定外定向元素。再结合DEM 高程H,通过各片传感器严格成像模型,可准确得到物方坐标将物方坐标(B,L,H);
(2)将物方坐标(B,L,H)代入虚拟大视场影像的有理函数模型,计算出像方坐标(sample',line');
(3)在确定各片CCD 原始影像像点坐标(sample,line)在虚拟大相机影像坐标(sample',line')的映射关系后,采用灰度内插的方法对所有像素点进行重采样进而得到无缝拼接影像。
3.3 全视场整体相对辐射校正
CCD 片内探元辐射校正处理只能消除片内探元响应度不一致的现象,CCD 片间探元的响应度差异是无法通过CCD 片内探元辐射校正处理消除的,所以需要在CCD 片内探元辐射校正处理后通过CCD 片间辐射校正处理消除CCD 片间的差异。本文采用片间自适应均衡法,即基于改进的全局最优色彩一致性校正方法,在通过统计所有相邻片CCD 影像重叠区色彩信息来消除片间辐射差异。如图6 所示,其基本原理是多片CCD 影像在经过色彩一致性处理后,重叠区域的色彩信息具有一致性,在此基础上构建色彩变化模型,完成全局色彩均衡校正处理。
图6 CCD片间自适应均衡算法流程Fig.6 Flow of inter−CCD adaptive equalization algorithm
3.3.1 重叠区色彩信息计算
在几何处理后的单片CCD 影像中,通过几何地理位置关系可以确定各片CCD 影像的重叠区位置和大小。如图7所示,斜线区域表示重叠区。
图7 CZI各CCD片影像重叠区分布Fig.7 Overlapping area distribution of CZI CCD images
重叠区影像的色彩信息可以用均值和方差来进行描述,如式(4)和(5)所示。
式中,M和V为重叠区的均值和方差,m为像元序号,N为像元总数,hm为像元m的灰度值。
在相对辐射校正处理中,线性变化模型有着广泛用。
式中,h(i,j)'是校正后的结果,h(i,j)是校正前的灰度值,k,b为校正系数,i,j为影像的行列坐标。
在经过片间自适应均衡校正后,重叠区的均值和方差分别可以表示为
两片CCD 影像重叠区色差差异信息可以用色差偏离度进行评价:
3.3.2 构建色彩校正模型
影像i,j是具有重叠关系的两张影像,重叠区域的均值与标准差为分别Mi,Vi,Mj,Vj。影像i,j的调整参数分别为ki,bi,kj,bj,经色彩调整后重叠区域的均值与方差为分别M'i,V'i,M'j,V'j。
在经过片间均衡处理后,重叠区具有相同的色彩信息,理论上Mi和M'i、Vi和V'i值相等,但是实际情况片间重叠区色彩信息还略有差异,用式(11)来描述片间色彩差异信息:
CCD片间影像色彩差异模型:
式中,δ为校正前后色彩差异模型矩阵,A为重叠区影像色彩信息组成的观测矩阵,X=[… …kibikjbj… …]为待求解系数矩阵,P=[… …piipjj… …]为权重矩阵,pii,pjj分别是影像i,j的权。
3.3.3 全局色彩参数解算
直接解算时由于重叠片个数总是小于CCD 片数,导致待解算参数小于观测方程个数出现秩亏问题,因而需要增加必要观测数,如式(13)—(15)所示。
注意到,在消除影像间色彩差异处理的同时,应保证校正前后影像自身的色彩差异应尽量小,也就是说在保持原始影像光谱特性的基础上消除影像间的色彩差异。
构建全局色彩校正模型,如式(17):
式中,L为附加约束条件矩阵,P为权重矩阵:
利用最小二乘对式(17)进行全局参数解算:
利用解算出的全局参数修正所有片重叠区影像的均值和方差:
计算影像的整体色彩偏离度Dmean和Vmean,若Dmean<0.5&&Vmean<0.1 或达到最大迭代次数,则认为收敛结束得到全局解算参数,否则重新计算色彩偏离度,重复式(16)—式(22)。
4 实验与分析
多片CCD 影像色彩一致性处理需要高质量的几何拼接处理为基础,本文采用基于虚拟化重成像大视场拼接方法,如图8为亚像素的几何拼接效果。在经过高精度几何定标处理后,海岸带成像仪影像内部精度几何精度可以达到0.8 个像素。以此建立等效长线阵CCD 和原始多片CCD 的精确几何映射,最终实现4片CCD影像亚像素拼接。
图8 多片CCD影像亚像素几何拼接效果(左边为第二片CCD影像,右边为第三片CCD影像)Fig.8 Sub−pixel geometric Mosaic effect of multiple CCDs images(CCD2 image on the left,CCD3 image on the right)
4.1 片内相对辐射校正实验
本文统计了50 天的海洋一号C/D 卫星海岸带成像仪0级原始条带影像,通过直方图匹配算法得到了各档位的辐射系数查找表。利用辐射系数对各片CCD 影像进行了逐探元校正,生成片内辐射校正后的拼接影像。同时采用灰度共生矩阵GLCM(Gray−level Co−occurrence Matrices)方法(Wang 等,2018;Liu等,2022)校正每片CCD影像中的晕影,进行对比实验。
从图9中可以看出经过在轨统计相对辐射校正后,渐晕区得到了明显改善,CCD 片内影像条带噪声也得到了有效去除,但不同片影像间还存在明显的辐射响应不均匀性。图10 展示了典型场景局部的CCD 片内影像辐射校正结果,GLCM 算法对片内渐晕区有一定的提升,但还存在有系统性条带噪声、在过渡区域有非均匀现象,而基于统计的片内辐射算法能得到高质量的辐射影像。
图10 渐晕区CCD片间辐射校正局部效果Fig.10 Local effect of CCD interslice radiometric correction in corona area
4.2 片间自适应均衡校正实验
图11 是对0C 影像(0 级图像几何处理后)在片内辐射校正后,进行全局自适应均衡校正后的局部效果。可以看出在经片间辐射均匀性处理后,相邻片影像色彩信息基本保持一致,但路径传递算法在过渡区域存在锐利的拼接缝,尤其是在水域等复杂场景中。本文片间自适应片间均衡算法,能适应多种场景,在过渡区处理和片间色彩差异优化上均有一定优势。
图11 过渡区CCD片间色彩均衡校正局部效果Fig.11 Local effect of CCD chip color equalization correction in transition region
4.3 相对辐射质量评价
条纹系数Strk(Streaking Metrics)、平均行标准差RA(Root−Mean−Square Deviation of the Mean Line)、广义噪声法GN(Generalized Noise method)是用来评价相对辐射质量的重要指标(胡永富和张宇烽,2007),本文通过定量比较相对辐射校正校正前后这些指标变化情况来分析影像相对辐射质量。假设传感器探元个数为s,影像行数为l,cols为探元s在影像行l上的列均值,为影像的平均DN值。
(1)条纹系数。遥感影像地物一般都是连续变化的,若某些探元列均值发生明显变化,很可能是存在条带噪声或者不均匀性响应,条纹系数值明显变大。因此,条纹系数越小影像的均匀性也越好。
式中,coli−1、coli、coli+1别为图像的第i−1、i、i+1探元的平均DN值,Strki为探元i的条纹系数。
(2)平均行标准差。平均行标准差可以用来有效评估相对辐射质量,但一般适用于局部范围的均匀场。一般来说,平均行标准差越小,相对辐射质量一般较高。
(3)广义噪声法。广义噪声法和平均行标准差算法类似,一般也只适用局部范围的质量评价,广义噪声值越小,相对辐射质量一般较高。
图12 可以看出,在经过片内辐射校正以后,原始影像的渐晕问题得到了有效改善,但列均值在一些探元区间还存在明显跳变,说明片间影像还有明显色差。在经过本文片内辐射校正和片间均衡处理后,列均值突变区域分布更为缓和,条纹系数也分布在了更低的区间,影像的渐晕条带噪声和片间色差得到了明显改善。如图13 所示,实验选取了部分典型场景对相对辐射质量进行定量分析和评价。经本文方法校正处理后,如表1所示,各区域场景中平均行标准差和广义噪声法计算出的相对辐射质量优于3%,平均条纹系数优于0.04%,优于GLCM和路径传递算法校正结果。
表1 不同相对辐射校正方法结果定量评价Table1 Quantitative evaluation of results of different relative radiometric correction methods
图12 不同相对辐射校正方法整景影像列均值分布情况Fig.12 Mean distribution of the whole image column with different relative radiometric correction methods
图13 不同相对辐射校正方法整景影像条纹系数分布情况Fig.13 Distribution of fringe coefficients of whole image with different relative radiometric correction methods
5 结论
本文根据海岸带成像仪双相机间视场拼接和相机内部光学拼接的成像特点,构建了超大幅宽影像的全视场整体相对辐射校正方法。首先,在片内影像上采用统计法进行相对辐射校正,来消除条带噪声和渐晕区。然后,通过高精度几何拼接来统计重叠区色彩信息,并根据相邻片重叠区色彩一致性约束,用最小二乘算法解算出片间辐射均衡调整参数,最终实现所有片影像色彩信息校正,得到具有高辐射质量的无缝拼接影像。选取了海洋一号C/D 卫星几何处理后的0 级影像进行了实验与分析:
(1)CCD 影像在光学拼接处辐射能量显著降低,存在渐晕等辐射问题。采用了GLCM渐晕校正算法和本文的在轨统计法行了对比分析,在轨统计法平均行标准差和广义噪声系数更低,列均值在渐晕区分布更优,明显改善了片内辐射质量;
(2)双相机间受到光照和辐射能量差异,不同CCD 片影像存在明显色彩差异。利用路径传递法和本文的片间自适应均衡法进行了对比分析,片间自适应均衡的方法列均值分布更优,条纹系数分布更低,在片间过渡区域不存在突变,相对辐射质量优于3%,明显改善了海岸带成像仪相对辐射质量。