无人机图像去雾与特征匹配算法研究

邬春学，万志港

（上海理工大学 光电信息与计算机工程学院，上海 200093）

0 引言

无人机遥感以其低成本，灵活性有效的弥补了卫星遥感的周期长、成本高的缺点，现已广泛应用于应急救险、海岸线巡检、军事探查等领域［1］。尤其在应急救险场景中，无人机发挥着十分重要的作用，但无人机在高空飞行时易受雾气影响，获取的图像存在能见度低、颜色信息明显衰弱的问题，使得图像在特征匹配过程中出现了较大的配准误差，甚至无法进行特征匹配，极大的影响着后续图像拼接的流程。因此，如何消除雾气对无人机图片的影响，提高特征匹配正确率成为图像拼接技术研究的热点问题。

1 相关工作

目前，比较成熟的图像去雾算法分为两类：一类是基于图像复原的图像去雾算法，如：He［2］在大气散射模型的基础上引入了暗通道先验理论对图像的大气光值与折射率进行预估，能够快速高效的去除雾气，该算法在图像去雾领域具有里程碑意义，对后续研究影响巨大；赵［3］等使用支持向量机的方法对大气光进行校验，并基于块偏移方法计算折射率，提高了大气光预测的准确性并消除了光晕现象；Li［4］等提出的基于阈值的天空分割算法，弥补了暗通道算法在大面积白色区域，如天空区域算法失效的缺陷。另一类是基于图像增强的图像去雾算法，如：基于Retinex 理论中的SSR 算法，该算法使用高斯模糊来评估入射光，容易产生光晕现象；Jobson［5］提出一种选取多尺度所得观测点值的加权均值作为最终值的MSR（Multi-Scale Retinex）算法，降低了图像产生光晕的机率；此外，随着深度学习网络的发展，出现了基于卷积神经网络的Dehaze-Net 与AOD-Net等去雾网络，在去雾效果方面具有良好的性能，但深度学习使用的训练数据是人工增雾生成的图像，在真实有雾图像中性能有限。

基于特征点匹配的图像拼接技术是使用最为广泛的方案，目前常用的特征匹配算法SIFT、SURF、ORB、KAZE 和AKAZE 算法。其中，SIFT、SURF、KAZE 使用的是浮点型描述符，ORB 与AKAZE 使用的是二进制描述符，二进制描述符在特征匹配时速度快，但配准的准确率较低。近期，Suarez［6］提出Belid 二进制描述子，使用Belid 与替代ORB 算法中的brief 特征描述子，能够提高10%以上的配准率，但配准的准确率始终低于SIFT 算法。SIFT 算法是现有特征匹配算法中鲁棒性最高的，并具有良好的尺度不变性，但在匹配中仍存在着一定的错误匹配点，对图像配准具有不良的影响。

针对无人机图像受雾气干扰导致的能见度低、颜色衰减与特征匹配过程中存在错误点干扰的问题，本文首先对暗通道先验算法进行改进，消除雾气对无人机图像的干扰；其次，提出一种基于几何相似性的特征匹配算法，提高特征点的匹配率；最后，将两种算法结合，拼接出去雾后的全景图像。

2 图像去雾算法

2.1 大气散射模型

现有的雾退化模型中，大气散射模型在图像去雾领域是广泛认可的一种模型，其表达式为

其中，I（x）表示有雾图片；J（x）表示要恢复的原无雾图像；J（x）t（x）是直接衰减项，表示光线在大气中进行散射而衰减；A（1-t（x））代表大气光模型；A是全球大气光成分；t（x）是大气折射率。

2.2 暗通道先验去雾算法

暗通道先验理论是对大量的清晰无雾的图像进行深入研究，统计其无雾特征的规律，得出的一种理论，暗通道理论可以描述为

其中，JC（y）为J的某一颜色通道；Ω（x）代表以x为中心的矩形窗口；Jdark（x）为图像的暗通道；min（c∈r，g，b）代表像素x在r、g、b3 个颜色通道的最小值分量；min（y∈Ω（x））代表使用半径为15×15 的窗口对最小值分量进行滤波操作。

暗通道先验理论认为，在非天空区域，总存在一些像素点，其至少在一个颜色通道上具有非常低的像素值，并且像素值约等于0。该理论可描述为

暗通道先验理论假设大气光已知，利用大气光对大气光散射模型进行归一化处理，并假设在局部范围内透射率是不变的，则根据暗通道先验理论得出透射率t（x）

其中，w设定为0.95，根据大气散射模型，选取前0.1%的像素值最大的作为候选点，选取其中的最大值作为大气光A，并设置透射率的阈值t0为0.1。

将大气光与透射率代入式（1），最终生成无雾图像J（x）可描述为

因此，基于暗通道先验的图像去雾算法具体内容为：

（1）根据暗通道先验理论计算出有雾图像对应的暗通道图Jdark；

（2）根据暗通道图Jdark估算大气光与透射率；

（3）通过大气散射模型复原生成无雾图像J（x）。

暗通道算法能够快速稳定的消除雾气对图像的干扰，但仍存在以下缺陷：

（1）大气光值在天空区域与浓雾区域的取值单一，这些区域不适用于暗通道理论，使用暗通道理论进行图像复原时，图像容易出现块效应甚至失真现象［7］；

（2）图像复原后生成的无雾图像颜色偏暗，对比度低，可视性差［8］。

2.3 改进的图像去雾算法

本文针对暗通道去雾算法处理大面积天空区域具有光晕效应以及去雾后颜色偏暗的问题，在暗通道的基础上，引入了亮通道的概念，通过对图像的亮通道进行加权得到加权亮通道图，进而估算出大气光值，并对图像进行伽马变换用以增强图像亮度。

亮通道先验思想与暗通道思想正好相反，在RGB 任意一个通道中，总会存在一个通道的值比较大，并且此时的像素x近似于无雾图像的大气光，亮通道理论可描述为

则亮暗通道加权公式可描述为

其中，Adark代表暗通道的大气光，Alight代表亮通道的大气光。

伽马变换是图像处理领域中常用的技术手段，能够较好的解决图像存在的曝光不足或过足的问题，通过对输入图像灰度值进行伽马变换，能够解决暗通道去雾造成的图像亮度过低的问题［9］。伽马变换对图像的非线性操作，本质上是对图像进行增强操作，使得图像的曝光符合人类视觉系统的感受，伽马变换可描述为

其中，r代表归一化后的图像像素；c代表像素的原始值；γ代表对归一化的像素进行指数变换；s为最终的像素值。

基于现有的亮通道与暗通道理论，本文提出了一种结合暗通道先验理论的亮通道先验加权的图像去雾算法，并对去雾后的图像进行图像增强操作，具体流程为：

（1）计算有雾图像对应的暗通道与亮通道，并选取前0.1%的最大像素值作为大气光Adark与Alight；

（2）根据亮暗通道加权估计出大气光值A并基于暗通道去雾算法计算出透射率t（x）；

（3）使用伽马变换进行图像增强操作，提升图像亮度；

（4）生成无雾图像。

3 误匹配筛除算法

3.1 KNN 特征匹配算法

KNN（K-Nearest Neighbor）算法是一种理论成熟的机器学习算法。该算法的主要思想：假定一个样本在其特征空间的k个临近的样本都属于同一分类领域，并具有该领域的相近的特征，因此可以通过临近的样本之间的距离对目标样本进行分类［10］。

KNN 算法的主要步骤：首先，计算样本点之间的距离；其次，对每个待测样本点到其他样本点之间的距离排序，选取k个距离最小的样本点；最后，对k个样本点的类别进行比较，将测试样本点放入k个点中占比最高的那一类中。

在图像配准过程中，由于特征点数目较多，通常采用KNN 算法获取正确匹配点对，比较特征点的最近邻与次近邻之间的距离比例是否超过预定阈值t，超过就剔出此点对，否则就保留此点对。因此，KNN算法具有易理解，易实现的优点，但是KNN 算法在一定程度上属于近似解算法，算法选取的是近似的答案，在一定程度上存在着固定误差。

3.2 改进的特征匹配算法

传统的KNN 算法将最近邻与次近邻的距离比例作为考量指标进行误匹配筛除，通常情况下，仍然会存在一些误匹配点未配筛除。如图1 所示，使用SIFT 特征算法进行特征提取与匹配，存在着误匹配情况，很明显最左边的特征点所在区域在右边图中不存在，因此这个点匹配结果是错误的，但基于KNN 的图像匹配算法未能筛除。因此，需要提升误匹配点筛除的精度。

图1 基于KNN 的匹配结果图Fig.1 Matching results based on KNN

本文基于几何相似性原理，提出了一种图像误匹配筛除改进算法，几何相似性原理认为在两个待拼接图像重合区域，存在两个多边形在几何上相似，则基准图像I0必存在某些点构成的几何图形，在待配准的图像I1中，对应的匹配点存在相似的几何关系，即I0与I1中对应点构成的边的缩放比例值r0几乎相等，此外，其他点到几何图形顶点的距离也应该符合一定的比例。基于这一原理，提出了一种改进的误匹配筛除算法，具体内容如下：

（1）从SIFT 特征匹配点中，选取3 对可以构成两对相似三角形的特征点对，选取3 对特征点中的任意一对作为基准点对（p1，p2）；

（2）计算出相似三角形点对之间的缩放比例r0；

（3）选取未筛除过的SIFT 匹配点对（q1，q2），计算其到基准点（p1，p2）的距离，并计算出距离之间的比例r。如果r等于r0，则保留该匹配对，否则删除该匹配对并重复执行（3），直到所有的点对都被标记。

4 实验结果与分析

本文做了两个实验，分别为图像去雾实验与改进的特征匹配错误点筛除实验，两个实验都在一台操作系统为win10，开发平台为matlab2016a，处理器为Intel Core i7-10750H CPU 2.60 GHz，8 G 内存的笔记本电脑上进行。

4.1 图像去雾实验

根据本文提出的基于亮通道加权的去雾算法进行实验。在通用的数据集上进行实验，在取得良好的实验效果时，应用于无人机图像中，本文的无人机有雾图像均为实景拍摄，拍摄地点为上海理工大学，在真实数据集上进行去雾实验，使得算法的效果更为直观、公正。

首先，本文挑选了一些公用数据集中的有雾图像，以及无人机实际拍摄的图像，如图2 和图3 所示。

图2 公开有雾图像集Fig.2 Public image set with fog

图3 无人机有雾图像Fig.3 Fog image of UAV

4.1.1 公开数据集去雾结果

为了体现本文改进算法的优越性，在公开数据集上分别采用暗通道去雾算法和本文改进的去雾算法进行去雾效果对比，对比结果如图4 所示。

图4 公开数据集去雾结果Fig.4 Public data set defogging results

通过图4 能够清晰的发现，在基于公开的数据集中，暗通道去雾算法生成的图片具有颜色偏暗，对比不明显，且在天空区域存在光晕现象，本文的改进算法，消除了天空区域的光晕显著，并使得图像颜色信息更加丰富，对比度更加明显，更符合人类视觉系统的感知。

4.1.2 无人机图像去雾结果

为了证明本文改进算法的优越性与鲁棒性，本文在真实获取的无人机图像数据集上分别采用暗通道去雾算法和本文去雾算法进行去雾效果对比，对比结果如图5 所示。

图5 无人机数据集去雾结果Fig.5 UAV data set defogging results

通过对比，能够清晰的发现：暗通道去雾后图像整体偏暗，尤其是在河流区域最为明显，而本文算法颜色、亮度更为符合视觉系统感知，能够缓解暗通道去雾算法颜色偏暗的问题。

4.2 改进误筛除特征匹配算法实验

4.2.1 特征匹配实验数据

特征匹配实验分别采用公开数据集图像与无人机拍摄图片进行特征点误筛除实验，如图6 和图7所示。

图6 公开数据集Fig.6 Public data set

图7 无人机图像数据集Fig.7 UAV image data set

4.2.2 特征匹配实验视觉评价

为了证明本文改进特征匹配算法的优越性与鲁棒性，本文在公共数据集与无人机图像数据集上分别采用KNN 算法和改进的误筛除算法进行特征匹配对比，对比结果如图8～图11 所示。

图8 基于KNN 的特征匹配图Fig.8 Feature matching diagram based on KNN

图9 改进的误筛除算法效果图Fig.9 Effect diagram of improved error screening

图10 基于KNN 的特征匹配图Fig.10 Feature matching diagram based on KNN

图11 改进的误筛除算法效果图Fig.11 Effect diagram of improved error screening

通过对比特征匹配效果图发现：在基于KNN 算法进行匹配的算法，在图8 左侧的天空区域有明显的误匹配点对；在图7 中，左图下侧房屋在右侧图像是不存在的，但是在图10 中却存在匹配点，而本文改进的算法剔出了这些误匹配点。实验证明，改进后的匹配算法，能够有效的消除这些误匹配点，提高配准质量。

5 结束语

为了解决无人机图像受雾气干扰导致的能见度低、颜色衰减与特征匹配过程中存在错误点干扰的问题，本文对两个流程进行优化。去雾方面，本文从传统的暗通道去雾算法入手，剖析了暗通道先验算法存在的一些问题，采用结合亮通道先验信息消除暗通道去雾算法遗留的光晕问题，并使用伽马变换解决去雾图像颜色偏黑的问题，做到了尽最大可能去消除雾气对无人机图像的干扰；特征匹配方面，针对传统的KNN 算法错误点筛除时精度较低的问题，本文提出一种基于几何相似性的特征匹配算法，经过实验对比证明，本文提出的特征匹配算法能够有效消除误匹配点，提高特征点的匹配质量。