基于导向滤波的多聚焦图像多阶特征融合算法

蒋德勇，李 俊，赵新胜，陈舒娅

(1.江西应用科技学院人工智能学院，江西南昌330100;2.赣南师范大学数学与计算机科学学院，江西赣州341000)

1 引言

信息融合已经成为当前一大亮点，也是当今社会急需创新攻克的难题[1-2]。目前相关学者对于图像方面的研究取得了较大的成就，其中图像融合这一技术已经相对成熟，图像融合简单来讲，就是将两个或多个具有同种目标元素的图像进行融合，突出特征点和区别点，这样极大方便了研究人员的观察与研究，使图像更加全面和准确[3]。图像融合已经广泛应用于医学，航天，工业，军事等领域，在社会各个领域有着极其重要的意义。在医学方面，图像融合技术可以使医师们更好地检查病人的病灶特点、形状、严重程度等；在航天领域，其着重应用于遥感技术，对航空路线的选择与躲避空障提供了极大的支持；在军事领域，引用遥感技术后观察地形地貌，规避风险更加方便[4]。其中，多聚焦图像融合算法是图像融合的重要算法之一。

目前运用较多的摄像机镜头都是光学镜头，光学镜头的景深很浅，不能全面地、清晰地将实物景中距离差距较大的物体全部还原，目前提出的空间域方法、手动控制、基于分块方法等方法，都是以分割为基础，融合效果相对较差。为此相关邻域的研究学者对此进行了研究，取得了一定的进展。陈清江等人提出一种基于深度学习的多聚焦图像融合算法[5]，利用AlexNet网络模型实现卷积核分类，通过校正矩阵进行图像块校正，利用图像聚焦和散焦方法实现边界区域处理，此方法能够较好的保留边缘信息，但是平均梯度值不佳。白晨帅等人提出基于稀疏表示的遥感图像融合方法[6]，通过PCA变换实现图像信息处理，利用分块稀疏表示方法实现融合图像重构，此方法能够有效均匀图像光照度，但是边缘信息保持度不佳。

本文基于前人研究经验，提出了多聚焦图像融合算法，这种方法不但可以明显的改良以上不足之处，算法还更容易理解，而且RGF 基于迭代实现具有更快收敛的特性。

2 基于导向滤波的多聚焦图像多阶特征分解

在进行图像融合之前，先进行特征分解，将一组需要整合的图像P输入到数据库中，在数据库中加入引导图像I，将输入的图像P进行滤波合成，最终得到一个输出图像q，这种可以变化为算法的输入和输出。通过引导滤波技术对线性滤波过程进行定义，分析像素点所在位置，探索滤波输出结果，根据输出结果实现加权计算，进而得到平均值[5-6]。加权平均值的计算公式如式(1)所示

qi=Wij(I)*pj

(1)

其中，i和j分别表示像素下标；Wij(I)是只和引导图像I相关的滤波核，该滤波器相对于P是线性的。经过多层次的深入研究，发现这个滤波器与输入图像P是线性相关的[7]。

导向滤波在确定局部线性关系的条件与研究对象，输出图像q和引导图像I在Wk上存在局部线性关系，表示公式如下

qi=akIi+bk，∀i∈wk

(2)

其中，Wk表示滤波窗口值。为提高信息的严谨性，本文选取的Wk为精确设定的以r为半径的窗口，(ak，bk)为常量系数。Wk的设置可以有效降低错误率，极大地保证了不变性。

假定引导图像I有一个边缘，则输出图像q也保持边缘不变，设像素点变化为∇I，此时存在∇q=a∇I0，因此计算q值时，就只需要求出上个式子中的a和b即可。在计算过程中，将输入图像中远离边缘区的不平滑的细分为n个小块，选择最小目标，求出qi。计算公式如式(3)所示

(3)

引入一个相对正则化参数ε避免ak过大，结合式(3)得到的Wk损失函数，计算公式如下

(4)

3 基于导向滤波的多聚焦图像多阶特征预处理

高斯滤波是一种线性平滑滤波，可以使滤波后的图像在细节特征上与聚焦模糊的图像相似，高斯滤波图如图1所示。

图1 高斯滤波图

如图1所示，在确定高斯滤波图后，本文通过高斯滤波器提取样本，从而选择纹理清晰、多样的聚焦图像，高斯滤波器可以对图像做平滑处理，使图像的细微之处与聚焦模糊的图像更加相似，还同时可以自主对图像采取清晰处理，保证了图像的清晰度，节省人力物力。为了使图像更加自然化，本文选用单相高斯滤波器。

图1中的滤波器可以通过多次重复叠加，得到最好的滤波结果。图像选取完成后，还要考虑数据的选取，由于工作量较大，因此要选取多种不同图像进行比对，最终选出数据集[8-9]。

对小结果的处理，采用图像的原则，利用处理好的滤波融合图像，将训练好的网络模型逐条计算且进行前后赋值，分别为0，1，高的记为1，低的记为0。设定非边界点e(i，j)，可以根据其临近的8个点数为1的个数进行判断。矫正矩阵如图2所示。

图2 矫正矩阵

由图2可知，虽然得到的网络模型精度较高，但是得到的0、1矩阵还是有可能存在误判情况，根据其临近8个点为1的个数进行判断。判断公式为

(5)

其中，ζ是临近点为1的个数，若判断该点为1，则认为ζ大于4，若判定其对应点为0，则认为ζ小于等于4[10]。为了提高实验的准确度，要像其它实验一样多做几次实验，得到的最终结果是两次或多次的平均值[11-12]。

若顶点d(i，j)=0，则要选取顶点对应的四个对角线的四个点进行矫正顶点。由图3可知，若矫正矩阵4个点中非零点个数大于2，则判定d(i，j)=1，反之则认为d(i，j)=0。

由于矫正矩阵得到的结论并不能完全符合要求，因此需要进行再次矫正，但并不是多次，只需要一次即可。

4 基于导向滤波的多聚焦图像多阶特征融合

在完成特征预处理后，进行特征融合，在融合过程中同时考虑清晰度、边角保留度、对比度三要素，通过分析上述三要素实现多聚焦图像多阶特征融合。基于导向滤波的多聚焦图像多阶特征融合过程如图3所示。

图3 基于导向滤波的多聚焦图像多阶特征融合

4.1 边角信息

边角信息对视觉系统有着重要的吸引作用，受局部光线的影响，边角信息可能会出现明暗变化，因此在这一过程中，可以更好地提取出底层特征，利用相位一致性来分析图像内部的边角信息。边角信息计算公式如式(6)所示

(6)

其中，光线图像点为(x,y)，设定研究的网络为傅里叶网络，则在θ方向的局部能量为Er，θ(x，y)，Av，n，θ(x，y)表示在θ方向的局部振幅；ε表示常数项分量，ε能够有效防止分母为0。

4.2 对比度

图像融合的最终目的就是为了让人眼更清晰的辨认出图像中特殊的点及面，而人类的视觉对独立的像素并不敏感，人眼比较敏感的区域是像素的邻域变化，根据这一特点，本文对局部与整体的对比度加强。局部对比度计算公式如式(7)所示

(7)

通过滑动串口技术计算局部对比度，其中，p，q表示窗口大小；Lv(x，y)表示通过局部加权后，得到的局部对比值。

4.3 清晰度

清晰度在图像视觉感知中占据重要位置，本文引用拉普拉斯能量和离散形式来表示图像的清晰度，计算公式为

(8)

4.4 权重优化

当图像噪音很重时，需要进行权重优化，以实现降噪工作，将其的边缘与物体尽可能的对齐，使用导向滤波方法，对其不断进行滤波干扰，最终选出最优图像。

本文研究的决策图避免了边界坏点的情况，采用上文多次提到的引导滤波器进行干扰，这种引导滤波器可以更容易修复边界，使得到的最终决策图更加自然化，适合人眼观测。

5 实验研究

为了验证本文提出的基于导向滤波的多聚焦图像多阶段特征融合算法的有效性，与传统方法进行实验对比。

选用的三种方法分别是本文提出的基于导向滤波的多聚焦图像多阶段特征融合算法，目前应用较多的基于稀疏表示的多聚焦图像多阶段特征融合算法以及基于深度学习的多聚焦图像多阶段特征融合算法。

设定实验参数如下表1所示：

表1 实验参数

根据上述实验参数，确定网络模型，从模型中提取相关的数据参数，选用sobel算子进行滤波处理，根据矫正矩阵判断内部是否存在误判图像，如果存在误判图像，则要进行矫正。分析图像的清晰度，使用三取二机制细分像素级，通过滤波处理实现边界信息修复。利用叠加法将被修复的边界与图像叠加到一起，形成融合的最终结果。

使用本文提出的方法与传统方法提取原始高频信息，并分析保持能力，得到的实验结果如图4所示。

图4 高频信息保持结果

通过图4可知，本实验选用的原始图像为小男孩图像，被融合的两个图像分别是小男孩和背景。本文提出的方法对于高频信息保持能力更好，所以融合后的图像更加清晰，且小男孩和背景的边缘信息边界处理效果更好。基于稀疏表示的多聚焦图像多阶段特征融合算法对于小男孩和玩具人的处理效果较好，但是对边界信息保留效率不佳，因此在视觉上，小男孩和玩具人的清晰度更高，边界则更加模糊；而基于深度学习的多聚焦图像多阶段特征融合算法具有较好的关键信息挖掘能力，所以能够提取背景中的女孩与小男孩信息，而背景信息的清晰度较低。

由此可见，本文提出的基于导向滤波的多聚焦图像多阶段特征融合算法在主观视觉上效果更好，能够更加清晰地保持图像内部的高频信息，尤其是在细节处理上，具有极好的效果，对于散焦分界处，使用导向滤波进行处理，从而提高整体的视觉效果。

同时选用三种方法获取图6中的边缘信息保持度、平均梯度、清晰度三项指标，得到的评估指标结果如下表2所示：

表2 评估指标结果分析

根据上表可知，本文提出的基于导向滤波的多聚焦图像多阶段特征融合算法对边缘信息保持度、平均梯度、清晰度三项指标的都高于传统方法。由此可见，本文研究的方法携带的信息量和图像层次相对较多，得到的图像清晰度更高，而传统的方法为了保护高频信息，忽略了对融合结果的优化，所以客观指标保持能力较差。

综上所述，本文提出的基于导向滤波的多聚焦图像多阶段特征融合算法在高频信息保持能力和指标评分上都优于传统方法，处理信息的能力更强，同时具备降噪处理能力，不仅能够有效抑制外界信息干扰，同时可以保留图像的原有信息。在分析边角信息、对比度等方面，本文提出的方法融合后的图像更能吸引视觉注意，内部有用信息更加充实。导向滤波具有很强的定性能力，可以针对某一个模糊点进行分析，从而提高算法的处理能力。

6 结束语

本文提出的基于导向滤波的多聚焦图像多阶特征融合算法，能够使图像分解的更加细致化，而这种细致化，不但可以使原图像更加清晰，还避免了边缘模糊的根本缺点，可以使研究者或是操作者，更简洁更直观的观测到需要的特征。这种算法还避免了噪音的影响，集合了多重算法的优点，从边角点、清晰度、对比度三种因素里分别进行检测提高。实验验证了这种算法在实际操作中的可实施性和简便性，多种标准化测试显示，这种算法在各个性能指标中优于其它算法，该方法具有极其广泛的应用空间。