基于VO图像分解模型的多聚焦图像融合

高冬梅

（重庆师范大学计算机与信息科学学院，重庆 401331）

0 引言

在一个信息呈现越来越繁杂的二十一世纪，图像作为信息传达的主要载体之一，有着比其他信息载体更高的关注度，相比于文字,人们更愿意从图像中获取信息。正因为如此，人们对于图像的质量有更高的要求，例如清晰度、承载信息的多少、所需存储空间的大小等，理想的状态是在消耗低存储空间的前提下能对场景全面描述，显示更多的细节信息，图像中的目标全部聚焦清晰。但由于大部分光学镜头难以将同一场景中的多个目标同时聚焦，因此图像有局部失焦模糊现象的产生，通过对多个光学镜头获取的聚焦图像进行处理，得到一幅有着丰富信息的图像的过程叫做多聚焦图像融合，融合后的图像多个目标均更加清晰。图像融合作为图像处理的一个分支，越来越多地被应用在医学、军事、目标识别、数码相机等领域。

空间域和变换域主要是基于图像像素级的融合算法。基于空间域的图像抠图、向导滤波融合、多尺度加权梯度等算法，空域图像融合算法简单易懂、容易操作，但精度不高，相邻图像子块交界处易产生块效应；变换域主要采用多尺度几何变换进行图像融合，如金字塔分解、离散小波变换（Discrete Wavelet Transform，DWT）[1]、双树复小波变换（Dual Tree-Complex Wavelet Transform，DT-CWT）[2]、非下采样轮廓波变换（Non-Subsampled Contorulet Transform，NSCT）[3]等，但变换域的方法忽略了图像的方向性特征，导致融合图像信息不够丰富，使得结果在视觉上清晰度不高、层次感不强，学者们不断地对变换域图像融合算法进行研究改进。

近年来，有学者提出基于图像分解的多聚焦图像融合算法。文献[4]中Jiang Yong、Wang Minghui首次根据一张图像是包含了不同空间形态结构的形态学成分分析（MCA）理论，用分解算法重点将图像结构、纹理这两种形态分解出来，然后用稀疏表示方式对结构、纹理两部分的表示系数进行本质融合，通过融合结果的主观视觉感知和客观评价，与其他单分量融合相比，作者提出的方法可以产生更好的融合图像。文献[5]中Zhang Yongxin、Chen Li等人为了有效、完整地表示待融合图像，提出了一种多分量融合方法，即将源图像分解成动画和纹理组件两部分，然后利用清晰度函数构造出了最后的融合图像。与传统的融合方法相对，基于图像分解的融合方法更新颖，它把待融合图像转化到一个单尺度特征空间，把有着复杂结构的图像分解成多个单分量图像，进一步对分解后的图像做融合处理，能达到更好的融合效果，并且时间效率也更高。

1 图像分解模型（Vese-Osher，VO）

将包含多分量的一张图像分解成几个单分量图像的技术在图像处理领域是一个比较难的问题，等同于对图像进行逆操作。将原来的一张图分解成两张甚至几张不同的图像，每张图像上包含源图的部分信息，例如：f=u+v,源图像f通过分解算法被分解成u和v两部分，u展现的是源图像框架部分，即纹理-结构中的结构部分。同样，表示了源图的重要细节信息和噪声信息部分称作源图分解后的纹理部分。经典的图像分解模型有 Rudin-Osher-Faltemi、Mumford-Shah、Perona-Malik、Aubert-Vese等。2001年Meyer[6]为纹理图像的函数空间建立了振荡函数空间，称作G空间，是基于（Total Variation，TV）模型和有界变差（Bounded Variation，BV）函数空间上提出的。但是Meyer只是提出了模型，没有给出模型的求解方法。2003年Vese、Osher[7]将Meyer在2001年提出的理论和TV模型结合，用LP逼近||∙||G范数，尝试结合用另一种方法——变分法成功求出了模型的数值解，由此提出了新的图像纹理-结构分解模型，即VO模型[7-8]。新模型进一步提升了图像分解效果。

VO模型的能量泛函表示如公式（1）[9]：

式中，Gp代表源图，u是分解结果中的结构部分，，再根据（1）式得出纹理层v公式v(x,y)=∂xg1(x,y)+∂yg2(x,y),g1,g2∈L∞(R2)，公式中λ、μ的作用是调节能量泛函比重，满足λ＞0,μ＞0。Vese、Osher实验发现p∈[1,10]的区间时，p的任何取值对应的分解结果没有过多的差别，且p取值为1时得到模型结果的速度最快。因此，为了在最短的时间得到最好的分解结果，利用该模型时直接将p的值设为1，故针对公式（1）（当p=1时）使用变分法求解得到相应的欧拉-拉格朗日方程（The Euler-Lagrange Equation）方程为[10]：

约束图像区域边界条件表示为：

（3）式中n满足n=(nx,ny)，通过采用差分运算求偏导的方法对Euler-Lagrange方程（2）和约束条件方程（3）进行求解[11]，得到结构部分 u和纹理部分v=∂xg1+∂yg2。基于此，本文选用分解效果优于其他分解模型的VO模型首先分解待融合源图像，将两幅或者多幅待融合图像全部分解成结构和纹理部分，再根据相应的规则去进行图像融合处理，因为分解模型的优越性，使得各部分融合变得简单，达到消除图像局部失焦模糊现象，提升多聚焦图像融合效果。

图1 图像分解结果

2 多聚焦图像融合过程

基于偏微分方程的VO图像分解模型，具有既快又简单的计算方法，还能显式地表达图像的纹理部分，基于以上特点，它能更好地从源图中同时提取纹理和结构部分，为后续的图像处理操作（融合、识别等）顺利进行提供良好的基础条件。选择从同一场景中获取，并经过严格配准的源图像，并且场景中任意目标物体至少有一幅图像是清晰的。基于VO图像模型的多聚焦图像融合框架如图2所示。

其具体步骤为：

Step1：将经过严格配准的源图1和源图2分别通过VO模型分解成结构部分U1、U2，纹理部分V1、V2；其中，源图1=U1+V1，源图2=U2+V2；

Step2：用滑动窗口技术结合改进的拉普拉斯能量和（NSML）[12]聚焦评价函数识别结构部分和纹理部分的聚焦区域；分别得到源图1、2的聚焦区域A、B；

Step3：利用融合规则找出初始融合图像的二值决策图；

Step4：将得到的初始二值决策图通过形态学处理（腐蚀、膨胀）以增强聚焦区域的连续性，最终得到一个场景中所有目标物体都清晰的聚焦图像。

图2 基于图像分解的融合框架

3 结果评价

3.1 主观评价方法

主观评价方法是指观测者通过肉眼和主观直觉去观察感受经融合处理后的图像，主观地根据个人感受给出评价的过程。但由于观测者对图像信息的敏感性各不相同，主观评价方法存在一定的弊端，环境、人数、情绪等都会影响评价结果。近年来，学者提出了许多客观的评价方法，这一方面评价算法本身的性能，另一方面也将融合质量通过量化的方式表示出来，使评价更直观。

3.2 客观评价方法

（1）标准差（Standard Deviation，SD）[13]：通常使用标准差来检测一幅图像的对比度。得到的值越大表示图像涵盖了越丰富的细节，其公式定义如下：

（2）信息熵（Information Entropy，IE）[14]：熵本质上展示的是图像中像素体系的混乱情况，对焦好的图像区域，熵值越大，反之越小。其公式定义如下：

L：图像的灰度级，Pi：灰度级为i的像素在图像中的概率。

（3）空间频率（Spatial Frequency，SF）[15]：是图像中有效信息的直观反映，按行、列不同方向计算。RF：行频率；CF：列频率。

本文使用以上三种方法做图像融合质量评价。此外，边缘信息保留量指标、方差、梯度能量[13-15]等算法都是图像融合的客观评价指标。

4 实验与分析

本实验在MATLAB 2016软件平台上进行，微机配置为 Windows 7，Intel Core i5-4590S CPU@3.00GHz，RAM 4.00GB；为了对比算法的有效性，与文献[16]结合小波变换和自适应分块的多聚焦图像快速融合算法进行比较，分别对两组配准图像进行融合（“clock”像素大小为 512×512。“lab”像素大小为 640×480）。运行结果如图3所示。

图3 实验1-lab图实验结果

图4 实验2-clock图实验结果

实验结果显示，对比算法得到的融合图像整体偏模糊，实验1-lab图像融合结果右聚焦区域部分，人物头像处有明显的模糊像素存在，本文算法的融合图像无明显多余像素，主观视觉显示上更平滑。同时在实验2-clock图像的对比算法融合结果在左聚焦区域小闹钟logo没有比较清晰的展现出，但本文算法的融合结果可以清楚的看出闹钟logo；并且从算法得到融合图像用时情况来看，本文用时相对较短。因此从实验结果可以对比出，本文的方法在图像融合的细节部分更具有优越性。

5 结语

多尺度的复杂图像经分解模型分解后转化到一个单尺度的特征空间，使得后续的融合处理更加方便简单，本文利用这一特点结合VO图像分解模型做多聚焦图像的融合，实验结果也显示，该方法在细节处理上更具有优越性。但本文末找到一种更好的聚焦评价函数，今后的研究方向将主要侧重于聚焦评价函数和融合规则的改进，以得到更优的融合图像。