基于各向异性的遥感影像匀光匀色算法

张卫龙

(中铁第一勘察设计院集团有限公司测绘地理信息工程技术研究院， 西安 710043)

遥感影像作为三维地理实景空间信息获取的主要载体，其承载了特定时刻与方向的时空辐射片段，为计算机视觉、摄影测量学科的主要研究对象，也是目标识别、灾害监测等应用领域的主要数据来源。然而受到获取时刻不同光照条件、方向等参数的影响，使得具有重叠区的不同影像间存在不可忽视的色彩差异性，严重影响到影像集合在广域范围内的镶嵌，如大场景影像的生成、正射影像(digital orthophoto map，DOM)的生产以及三维重建模型的精度与质量。故如何解决遥感影像间的色差问题成为相关领域学者和从业者关注的问题。

影像的色差一致性约束处理即为解决影像间色差问题的技术，影像的色差一致性约束处理需要同时处理亮度与色调域的差异，故影像的一致性处理方法统称为匀光匀色或匀色方法，遥感影像的匀光匀色处理方法大致可以分为4种主要方法：单幅影像自适应匀色法、参考影像匀色法、相邻区域拼接方法、多幅影像匀色法。单幅影像自适应匀色法多建立在某种假设之上，如场景亮度域高斯分布、色彩对比度平衡等，故其容易产生非自然色泽，如暗通道处理[1]，所以这类方法只是解决特定问题，很难在不考虑相邻影像约束情况下达到理论效果；单幅影像自适应匀色法可以理解为一种虚拟参考影像的匀光匀色方法，而参考影像匀色法则需要指定场景中特定影像为色调匹配基准，代表方法有直方图匹配算法[2]、Wallis(沃利斯)方法[1-3]等，待处理影像通过建立与基准影像的彩色统计信息映射函数，实现辐射亮度与色调的统一，此类方法直接与统计信息相关，不能体现同名内容信息的一致性，效果与统计量对应的窗口大小有关；相邻区域拼接方法多用于拼接影像当中，通过提取拼接线缓冲封闭区域的色差作为观测值，构建区域改正模型，如泊松(poisson)影像匀色方法[4]，把区域界线上的封闭观测值作为一阶边界约束，最终使用拉普拉斯方程求解，这类方法为局部改正方法，可以有很大的自由度，符合自然规律，但其整体性的过渡约束较弱，容易产生花斑，运算量大，多用于人工影像编辑；多幅影像匀色法，则是利用重叠信息、同名区域信息改正场景中所有影像色彩分布，如任中杰等[5]针对传统的wallis方法中缺乏局部约束条件，提出分块局部区域加权处理方法，使得该像元点变换参数由邻域方块范围共同加权确定，仍然需要选择特定的参考影像。

除此之外中外学者在色差一致性方面也做了大量的研究工作。Huang等[6]通过加权自适应伽马校正直方图，当具有亮度集中分布时容易出现细节丢失。常高等[7]基于密度大的地方透光量减少，密度小的地方透光量增多的原理，提出图形显卡加速器(GPU)加速的掩膜(Mask)匀色方法，以加速卫星影像的匀色过程。范新南等[8]针对传统匀色方法在处理影像信息的时候，会削弱纹理信息，提出一种具有纹理保持功能的匀光处理。杨宇航[9]提出一种在两个异色彩空间的最小化方差的最优线性映射关系，以提高拼接线重叠区域附近的色彩一致性，另外为了在HSV(hue， saturation， value)空间提升其自动化程度，实现了基于Haar-like(哈尔)的边缘特征的支持向量机(support vector machine，SVM)接缝检测器，但是其只是针对大尺度多源光学遥感图像。魏文杰等[10]针对卫星影像不同时间、成像条件、传感器等因素所产生的较大色彩差异，研究基于色彩平衡原理的技术方法，采样低频色彩匹配的方式，整体效果不错，但不具备局部约束，局部差异性明显。夏孟涵[11]提出了兼顾最小化色差与保留影像对比度的方法，使用直方图统计的方法代替同名点的提取，为了避免变化区域的影响，事先需要剔除内容不一致的区域，但其只是为每张影像求取一个映射曲线模型，缺乏局部各向异性的特性。薛鹏[12]提出一种局部与全局相结合的匀色方法，总结了传统直方图匹配、wallis方法、双边滤波的匀色方法，本质还是统计量信息的改正。高小旭等[13]提出一种基于最大标准差基准的Wallis匀光匀色方法，但此方法只适用于大场景无云雾影像，对噪声敏感。杨元维等[14]通过增强补偿强度系数及拉伸系数，对阴影部分进行匀色处理，需邻域相似区域约束。李烁等[15]为了控制区域整体的匀色质量，解决Wallis全局问题，使用Voronoi图(维诺图)和Dijkstra(迪杰斯特拉)算法约束影像处理的顺序，操作起来复杂且解不唯一。张荞等[16]提出一种基于改进的直方图匹配方法，用于解决直方图匹配过程中灰度级合并的问题，使其保留较高的对比度值。杜神斌[17]针对影像残留的光晕与白平衡失调问题，提出一种改进的非线性相机响应函数，试图量化相机采集过程的系统误差，然而其需要建立在假设条件之上，时间差与环境光变化是此方法待解决的致命问题。

针对以上问题，现研究一种基于虚拟参考影像的多重叠影像匀色方法，且具有局部与全局约束的各向异性的匀光匀色方法。尝试通过具有环境变化抵抗性的局部特征，代替传统方法统计变量，使色差局部量化，然后建立具有各向异性的色彩改正模型，通过正则化与空间约束获取最优解，拟达到使重叠区域不同影像间色彩差异最小化的效果。

1 色差理论研究

(1)

对影像的匀光匀色处理本质就是消除辐射混沌场和噪声影响场的影响，由影像的获取过程可知，在影像中任意一点(u，v)对应的辐射影响值都不同，但在局部足够小的范围内呈现可线性的特性，这得益于传输介质的散射与物质表面的漫反射性质。因此由辐射混沌场和噪声影响场所产生的色差既具有全局的整体性也具有局部的差异性，以及定向传播方向的平滑性。而现有的色彩空间拉伸匀光匀色算法多通过全局或者半全局的统计量来匹配拉伸待匹配影像中的每一个像素值，使用的拉伸函数形式以线性为主，如Wallis方法[1-3]，不具备局部差异性，会使影像灰度向最大最小值靠拢，损失影像的对比度；直接使用统计量配准的方式又缺乏内容相关的约束，在内容差异较大的环境下出现严重的色偏[11]。因此现有的方法从消除色差的原理上分析，出现严重的欠拟合的问题，无法满足辐射混沌场和噪声影响场自身的特性。本文研究在匀光匀色的改正过程中既保留了影像空间关系的改正量又基于影像的内容特征，以局部特征引导的辐射改正，因此具有各向异性的特点，可看作为在辐射混沌场和噪声影响场组成的干扰场D(u，v)中的采样，从理论层次上是完备的，既解决了传统统计量匹配方法缺乏空间分布的问题，又弥补了色彩拉伸方法中缺乏内容特征的问题，结合式(1)和式(2)把式(1)改造为式(3)。

D(u，v)=m(u，v)+e(u，v)

(2)

(3)

2 局部特征提取

本文处理的影像为具有重叠区影像集合，如不同时期的观测数据，可以为航空影像或者航天影像数据。针对干扰场D(u，v)对辐射值的影响，同名点在不同影像中的辐射值差异明显，同名毗邻也存在透视变换的差异性，因此局部同名特征点的提取需要选取具有抗局部几何变形和辐射值变化的影响，得益于SIFT[18]家族算法的强大，可以胜任大部分场景，提供丰富的同名采样点。

2.1 局部特征关联

(4)

2.2 局部特征预处理

通过局部特征关联之后获取的特征点还存在以下问题误匹配点和局部分布不均匀的特征点的现象。误匹配点是由于匹配算法非完全透视不变性和辐射变化不变性导致的，误匹配点的存在会使得特征观测值链接失败，出现异匹配点串联现象，影响了对辐射干扰场的正确性观测。局部分布不均匀的特征点会影响不必要的计算消耗与观测采样不充分。针对以上3种情况，可以从特征提取前期、后期分别采用不同的策略。针对误匹配的问题可以在任意匹配影像对中进行随机一致性检测或者引入匹配再生空间[19]把误匹配与正确匹配的对应关系线性分割，然后通过特征关联关系剔除这些异常采样值。针对特征分布不均匀问题，可以采用grid(格网)分块策略，使得影像在每一个分块区域中具有等量的特征点，释放传统特征提取过程中通过整体响应值大小排序阈值机制，抑制低响应值的现象。另外如果影像中存在弱纹理现象，也会导致特征不均匀，但不会影响本文方法的效果，由于弱纹理区域的辐射变化是线性连续的，否则此弱纹理区域具有辐射明显变化点，不符合弱纹理的定义。

3 构建各向异性能量函数

3.1 虚拟辐射场景的概念模型

(5)

因此在此虚拟辐射场景的概念模型的支持下，便可通过多个观测形成超定最小二乘方程寻找最接近真实辐射场的解。而匀光匀色即为寻找观测方程的逆过程，即对逆变换函数的量化。

3.2 各向异性能量函数模型

(6)

式(6)中：Ev为能量项，代表改正期望为场景同名点在不同影像中经过改正之后具有相同辐射值，以达到匀光匀色的目的，因此使用改正后的同名点在不同影像中的像素值差异衡量。但此时发现当同名观测值数量为n<3，辐射改正量数量也为n，观测方程个数为n(n-1)/2，会出现秩亏的问题n(n-1)/2>n。因此需要增加额外的正则约束En，当期望观测方程数量小于改正值未知量数量时，使得最优解为模最小的解，另一个方面此正则约束项也是构成全局平滑现象的主要约束性。vq∈Nk(vp)为vq在影像k中的邻域点，用来约束相邻点位的改正量的平滑特性。式(6)为附有约束条件的间接最小二乘平差形式，可以使用凸优化理论，构建与之对应的矩阵形式，如式(7)所示，完成改正量的求解。

‖Bg-f‖+‖Cg‖=gT(BTB+CTC)g-

2fTBg+fTf

(7)

式(7)中：B为辐射改正量的稀疏系数矩阵；C为辐射改正量约束项稀疏系数矩阵；f为影像观测值稀疏矩阵；g为辐射改正量列向量。

3.3 恢复影像辐射改正场

(8)

为了加速影像改正过程，无须逐像素空间搜索邻域改值，可通过网格锚点的方式，在影像中设置有限个网格点M×N，M、N分别为行列采样个数，每一个网格顶点为一个锚点，依次求取每个锚点的辐射改正量，然后双线性上采样至与原始影像等尺寸大小，及获取得到每张影像的扰动场D(u，v)，完成了对逆变换函数的量化。

4 实验与分析

首先从空三工程中提取特征同名点坐标信息；然后过滤掉误匹配点，利用特征同名点信息提取不同影像中的同名色彩信息，这些同名色彩信息由于摄影姿态、时间差、传输误差等的存在，使得存在严重的色彩差异；接着不同同名特征色差组成本文算法的观测值，观测值中包含同名点在不同影像中坐标信息、邻接拓扑信息、色彩信息；最后使用本文提出的各向异性的匀色匀光算法，可以利用同名信息的方位各异性与局部色彩差异性，构建凸优化能量函数，在能量项中体现同名相似约束，在约束项中体现邻域位置约束，同时顾及全局色彩值的平滑过渡。

本文研究用于体现算法优越性的定性指标为同名区域的视觉感官效果，对比匀色匀光处理之后同名区域色彩差异性和相似性。定量指标为同名特征点在不同影像中残留的色差，同名色差越小说明色彩辐射量改正越有效，同时使用同名色差残留统计量中误差来整体衡量，避免样本偏差问题。为了测试本文算法的有效性，分别从航空影像与航天影像两个数据集作为测试数据集，测试数据集详细信息如表1所示，分布包含数据集数量、采集规格等。

表1 数据集信息表Table 1 Data set information table

数据集1为通过设置模拟出相机在不同白平衡、雾霾、光晕等环境下拍摄出的影像数据集合，可以代表影像在极大的色差条件下的情况，以测试本文算法的有效性。测试数据集中包含同名点个数为1 059个，同名点信息是从空三数据工程中直接提取出来的。如图1所示，该数据集中有影像9张，通过设置拍摄不同参数(感光、快门、时间等参数)所获取的，出现了较大的白平衡与亮度差异。

数据集2为航天影像数据，由于航天影像相对于航空影像在时间分辨率方面具有很大的劣势，重叠影像之间存在较大的时间差异，再加地物的辐射变化影响，使得同名点色差明显，以测试本文算法的有效性。测试数据集中包含同名点个数为67 730个，同名点信息是从空三工程数据中直接提取出来的。如图2所示，由于航天影像自带有理多项式函数模型(rational polynomial coefficient，RPC)参数，可以直接使用地理信息平台软件(geographic information system， GIS)软件打开，展示其初始方位的同时，也凸显出不同同名辐射区域导致的鲜明拼接线问题，使得整体色彩、亮度过渡不平滑。

图1 航空数据集1Fig.1 Airborne dataset 1

图2 航天数据集2Fig.2 Space dataset 2

本文提出的匀光匀色算法具有局部的各向异性的特点，且具有整体光滑特性，为了充分说明此特点，分别从匀光匀色前后的同名特征点灰度差异性和整体差异性两个方面对比。选取直方图匹配方法作为对比算法，由于其在环境适应能力和效果上都高于基于一般线性拉伸的算法，且是最经典的统计量处理方法之一。

数据集1效果对比如图3和图4所示。由图3和图4可见使用直方图匹配的方法会使得局部色彩出现严重的失真，如图3中草地(如影像2、影像5、影像8中同名区域所示)、楼顶(如影像1、影像2左上角同名区域所示)、地面(如影像3、影像6、影像9中广场地面同名区域所示)出现了严重的色偏，这是由于基于统计量的匀光匀色方法都忽略了局部特征的约束，强行进行匹配拉伸导致的，体现了统计量的位置不确定性，无法做局部精细化匀色处理。反观本文提出的算法在草地、楼顶、地面等位置未出现色彩失真情况，无论是色彩饱和度、整体色彩平滑性都保留了原始真实理想场景影像的色调，同时又削弱了色差的影响，如图4所示。

图5和图6为影像集合的拼接效果图，使用拼接影像可以最大程度地反映出不同影像间的色差，且拼接过程不改变色差变化。使用直方图匹配方法处理之后的影像，进行拼接成的整体影像表现出色彩过渡差，残留色差大，图5(b)为局部放大图，其中红色框内的为对比同名对象区域，其是色差处理之后的不同影像拼接而成的，与其中图5(c)处理之后的另外一张同名影像对比，明显发现是使用直方图匹配方法生成的色差匀色效果差，具体表现在同名对象区域车辆颜色、草地等颜色反差明显，出现色彩严重偏差(同名区域使用红色框框出)。而使用本文提出的方法，处理的效果如图6所示，同名对象区域内明显不存在色差，不同重叠影像间色差处理之后色泽相似，这也是本文利用同名特征点进行局部约束特殊功能。为了从定量上分析本文算法的优越性，通过统计匀光匀色后的色彩差残留异大小标准差来衡量。原始影像在同名点处的色差标准差σ=36.502，使用直方图匹配方法的色差标准差σ=19.081，本文方法对应的色差标准差为σ= 16.663。图7为两种方法同名点残余色差统计图，只统计色差残余值大于0的同名点，可见本文方法明显降低了大色差所产生的概率。

图3 数据集1直方图匹配法效果Fig.3 Effect of Histogram matching method in dataset 1

图4 数据集1本文方法效果Fig.4 Effect of the proposed method in dataset 1

图5 数据集1直方图匹配法整体效果Fig.5 Overall effect of histogram matching method in dataset 1

图6 数据集1本文方法整体效果Fig.6 Overall effect of the proposed method in dataset 1

图7 数据集1同名点残余色差统计Fig.7 Residual chromatic aberration statistics of homonymous point of dataset 1

图8为数据集2的整体效果图，从图8可见两种对比算法都可以使得影像间的整体色调一致，然而最大差异在于局部拼接线附近，使用直方图匹配方法存在明显的拼接痕迹，反映在数值方面，原始影像在特征同名点处的色差标准差σ= 32.443，使用直方图匹配方法的色差标准差σ= 78.082，本文方法对应的色差标准差为σ= 5.872 91。图8为两种方法同名点色差统计，只统计色差残余值大于0的同名点，本文方法使得色差集中到低色差范围，这也是使用最小二乘优化方法的特性，得益于本文构建的匀光匀色能量函数。而对比方法直方图匹配算法，则其无法顾及局部骤变的情况，因此在图9高色差范围内有凸起，故色差匀色匀光处理不佳。

图8 数据集2直方图匹配法整体效果Fig.8 Overall effect of histogram matching method in dataset 2

图9 数据集2同名点残余色差统计Fig.9 Residual chromatic aberration statistics of homonymous point of dataset 2

5 结论

提出了虚拟场景辐射参考的概念，通过特征同名点多余观测值构建能量函数，使色彩改正拉伸不再依靠统计量完成，弥补了辐射改正的观测值模糊的特性，实现辐射改正理论的完备性，并顾及平滑约束的正则表达，以此达到各向异性的匀光匀色的效果。通过实验数据的对比，从定量和定性两个方法衡量本文算法的优越性，提出了以同名特征点为驱动的各向异性匀光匀色算法，既能保留局部特征色调又能具有良好的整体色彩平滑性。为匀色匀光算法提供一条新的理论尝试，为相关研究探索新的思路，具有参考意义。