基于特征匹配的低照度图像增强评价方法研究

王一波，梁伟鄯

（柳州工学院 信息科学与工程学院，广西 柳州 545616）

0 引 言

当前机器视觉已得到广泛应用，较多应用场景的光照、气候条件变化较大，如自动驾驶、遥感成像、无人机等，给视觉成像质量带来诸多影响，其中低照度成像是在各应用领域中需重点解决的问题。为此，广大研究人员针对各自的需求提出了较多的低照度图像增强算法，可归纳为3类：基于分布映射的方法、基于模型优化的方法和基于深度学习的方法[1-5]。如何评价这些方法的性能是首先需要关注的问题，这对于图像筛选、算法参数选择、模型优化有着重要的参考价值。低照度图像增强评价属于图像质量评价的范畴，多年来图像质量评价都是图像处理领域的研究热点，不断有新的优秀评价数据集和评价方法出现，很多方法对于低照度图像增强评价具有借鉴和参考意义。黄宝庆[6]通过有效融合人眼的单目和双目视觉特征，创建了一种基于单双目特征融合的NR-SIQA方法；鹿婷等[7]提出了一种新的与主观感知密切相关的无参考水下图像质量评价方法，融合了色度特征、基于人类大脑视觉皮层的对比度特征、反映图像信息丰富程度的清晰度特征；韩昊男等[8]结合清晰度相关特征和现有的客观质量评价，针对性地提出了一种由图像可视性、结构相似性和颜色恢复度相互融合的去雾方法质量评价。但目前较少有专门进行低照度图像增强评价研究的文献，可供低照度图像增强算法研究的专门评价方法也较少，研究人员普遍参考通用图像评价方法提出新算法。例如，郑爽爽等人[9]在提出了一种融合变分低照度图像增强算法后，使用了自然图像质量评估器（Natural Image Quality Evaluator,NIQE），分别从亮度、对比度、结构组成等方面与经典算法进行了比较；万方等人[10]通过将图像分解为基本层和细节层增强低照度图像，并基于主观和信息熵的方法对所提算法进行了评价。由于缺少专门针对低照度图像增强的评价方法，所以各种增强算法缺少相对统一的衡量依据，这将制约着该领域的进一步发展。为此，本文将通过研究低照度图像增强的共性特点，提出一种可供参考的评价方法。

1 低照度图像增强评价理论基础

1.1 Retinex理论

Retinex理论认为图像I(x,y)是由照度图像与反射图像组成，模型如图1所示。前者指的是物体的入射分量的信息，用L(x,y)表示；后者指的是物体的反射部分，用R(x,y)表示。公式为：

图1 Retinex模型

同时，由于对数形式能够较好地反映人类感受亮度的过程，因此将上述过程转换到对数域进行处理，这样做也将复杂的乘法转换为加法，表达式为：

ln(I(x,y))=ln(R(x,y))+ln(L(x,y))

以上理论未考虑干扰对于图像的影响，一般在低照度条件下，图像噪声N(x,y)不能忽略，为此将以上模型修正为：

1.2 理想评价指标

按照Marr计算理论，图像中的信息即图像中颜色或亮度的变化，呈现出的是物体和物体的关系以及物体与人的关系的要素。低照度图像增强的终极目标即剔除与所采集事物无关信息，保留能够反映本身特性的一切有用信息。图像I(x,y)的信息完全集中于反射图像R(x,y)，因此理想的低照度增强即通过有效的滤波算法，从I(x,y)中提取R(x,y)。当然前提是建立在对于L(x,y)、N(x,y)的精确估计基础上，但这在现实问题中是无法实现的。

2 面向应用图像评价算法

2.1 监督式评价方法

监督式评价是建立在“真值”已知的前提下，如前节所述，如果已知R(x,y)，就可以将增强后图像与R(x,y)进行定量比较，从而精确评价低照度增强算法的性能。但通常情况下，R(x,y)难以预先得到。为此，可将人的主观评价作为参考真值。本文将低照度图像增强质量划分为对比度、曝光现象、伪影、细节丢失、噪声5个方面。按照赋分制，由相关专家分别对上述指标进行评分，则算法质量综合得分为：

式中：Qc、Qe、Qa、Qd、Qn分别为对比度、曝光、伪影、细节、噪声指标评分；λc、λe、λa、λd、λn依次为颜色、曝光、伪影、细节、噪声权重系数，其应满足λc+λe+λa+λd+λn=1，在此λc、λe、λa、λd、λn取值根据实际应用需要进行调整，如应用对于细节保留特别敏感，则λd取值应明显高于其他权重，一般情况下，如无特别要求，则各权重可取值相同。

选取一幅低照度图像运用直方图均衡和同态滤波算法对其进行处理，结果如图2所示。

图2 直方图均衡与同态滤波比较

由5位受访者（编号1～5）按照上述指标分别进行打分，每项指标最高10分，最低0分，在此各指标权重相同，结果见表1所列。

表1 监督式评价评分

由表1可以看出，直方图均衡平均得分6.2，同态滤波平均得分6.96，两种算法在不同指标上表现略有不同，但整体效果同态滤波要优于直方图均衡。

2.2 非监督式评价方法

监督式评测的难度在于获取准确的真值，而人为主观评价存在着较大的不确定性，如果不能对此种不确定性进行定量描述，则在实际应用中会造成不可预知的结果，但目前尚无较好方法进行主观不确定性建模。同时主观评价对于专家数量有较强依赖，专家人数越多，则评价结果越准确，但这会造成较大的人力、时间消耗。为此，本文将重点研究低照度图像增强质量的非监督式评价方法。

方法一：将增强后图像与均匀光照条件下拍摄图像对比，进行一致性评价。二者一致性越好，则增强质量越高，在此须根据实际应用定义一致性。

通常情况下，增强后图像不可能与光照均匀图像完全一致，二者的一致性应主要体现为对应像素灰度值比例一致性，为此做如下定义：图像I1(x,y)、I2(x,y)对应位置的像素灰度值分别为p1(x,y)、p2(x,y)，将p=p1(x,y)/p2(x,y)看作一随机变量，则其方差σp=E{[p-E(p)]2}表示两图像的比例一致性。σp越高，则图像间的一致性越高。

以同一场景分别在均匀光照和低照度条件下进行采集，对低照度图像分别采用伽马校正和同态滤波算法进行处理，其结果如图3所示。

图3 伽马校正与同态滤波比较

对伽马校正与同态滤波两种算法的结果进行一致性评价，直方图均衡一致性为0.05，同态滤波一致性为0.03，后者一致性好于前者，与主观评价一致。但该种方法需采集均匀光照图像，同时两种光照条件下图像应严格配准，这给图像采集提出了特别高的要求。为此，该种方法并非首选。

方法二：以特征提取精度为依据。提取场景的特征对测试图像进行测试，一般以检测特征点为主，如果特征检测精度越高，则说明低照度图像增强质量越好。为定量评价算法性能，可以采用连续采集空间相邻帧，以2帧图像特征点正确匹配对数为评价依据，具体如下：

式中：CT为正确匹配对数；CF错误匹配对数；Q表示正确匹配率，其值越高，则增强质量越好。如果错误匹配数为0，则不论正确匹配对数为多少，Q始终为1。这样将无法区分匹配对数多和少的算法的性能，为此进行如下修正：

补充1/CT后，如果CT越大，则1/CT越小，从而Q得分将越高，则正确匹配对数越高的算法，得分也将越高。

从图4可以看出，经同态滤波算法增强后的图像分别运用ORB算法检测特征点，对2幅图像进行特征点匹配，则Q值为9.93。

图4 低照度增强特征匹配

3 实验分析

3.1 照度影响分析评价

采集由D50标准光源提供0.1 lx、5 lx、20 lx三种照度条件下的图像，分别采用直方图均衡、同态滤波、深度学习算法进行增强处理，再检测相邻帧的ORB特征点，结果如图5所示。

图5 照度对增强算法影响比较

按照处理结果，分别采用特征匹配评价方法进行评分，0.1 lx、5 lx、20 lx经增强后Q值分别为0、9.9、9.95。据此，照度对图像增强算法的结果有显著影响，在不同环境光亮度下，Q值都随着照度变化呈现规律性变化。当照度低于可接受范围时，增强算法将失效。

3.2 评价方法比较实验

选取结构特征丰富的场景，分别在均匀光照和低照度条件连续采集2帧图像，分别运用直方图均衡、同态滤波算法对低照度图像进行处理，提取ORB特征点，结果如图6所示。

图6 算法处理评价

这里使用主观评价方法、一致性评价方法、自然图像质量评估器（Natural Image Quality Evaluator,NIQE）和特征匹配方法分别对直方图均衡、同态滤波算法的增强效果进行评价，其结果见表2所列。根据表2，监督式评价与非监督式评价结果一致，进而说明在一般的应用场景下，可以使用非监督式评价替代监督式评价。

表2 低照度增强评价方法比较

4 结 语

本文通过研究低照度图像增强的共性特点，提出了可供参考的评价方法。主要在两方面取得了进展：一是探索了低照度图像评价的理论模型，并提出了理想评价指标；二是有针对性地提出了低照度图像增强主观和客观评价方法，具有一定的体系性。通过与其他已有的评价方法进行比较，本文提出的基于特征匹配的评价方法总体性能更好，基本解决了主观与客观评价的一致性问题，对于低照度图像算法改进、图像筛选及模型优化等应用具有较好的参考价值。今后，将继续围绕优化低照度图像增强评价方法展开研究。