基于马尔科夫随机场模型的图像融合
2017-04-26江之洋
江之洋
摘要：图像融合的融合规则传统的算法是加权平均法与取最大值法。取最大值法保留了图像边缘信息，但缺乏噪声抵抗力；加权平均法弱化了噪声的影响，同时会丢失部分高频信息。目前，基于区域的融合规则发展起来，融合以块为单位，同时考虑像素之间的关系，但是图像的正确分割以及区域权值之间的不平滑过渡依然成为问题。该文建立马尔科夫随机场融合模型，以像素点的显著性及像素点与周边像素点的关系为约束，对像素点的权值做了优化估计。实验表明该算法效果显著。
关键词：图像融合；马尔科夫随机场；融合规则；显著性；多分辨率融合
中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2017）06-0204-03
Abstract：Traditional fusion rules in image fusion are max rules and weighted average rule pixel by pixel. The former is able to preserve the textures while irresistance to noises； the latter is advantage to process the image with noises， but loses the high frequency information. Recently rules based on region have been improved. The fusion take the neighboring pixels account and fuse image segment by segment. However the correct segmentation and the inconsistent fusion weights between regions become problems. This paper designed a model based on MRF， making optimal estimation of pixels weight， with the saliency of the pixels and the connection among pixels as constraint. The experiment performs well.
Key words：image fusion； Markov random field； fusion rules； saliency； multi-resolution fusion
1 概述
图像融合是将同一个场景的多张图像中的信息联系起来，组合成更适合人类视觉，或者更有利于进行进一步处理的图像[1]。从层级上分类，图像融合分为像素级、特征级、决策级，其中像素级融合是最基础最重要的一层。现有的像素级图像融合算法分為基于变换域的和传统的基于空间域的方法。传统的融合算法简单快速，弊端明显，因而基于变换域的融合算法被广泛使用。在基于变换域的融合算法中，融合规则在其中起着重要作用。传统的融合规则是基于像素点的，常见的基于像素的图像融合规则有加权平均法和取最大值法[2]，字面意思理解，都是对像素做简单的处理或者取舍。虽然拥有运算速度快，易实现等优点，但融合效果并不理想。随后出现的基于窗口的融合规则与基于区域的融合规则弥补了仅考虑像素点，忽略周边信息的短处，但是区域的正确划分本身是一个不能完美解决的问题。另外区域间的像素点所取权值被统一，区域间的权值没有联系，即使一致性检验[3]用于提高局部融合一致性，融合过后的人工痕迹明显。
本文针对该问题提出一种基于马尔科夫随机场的融合模型，该模型对源图像像素点进行显著性表达，并以周边像素点的显著性作为约束，优化像素点的权值。该模型的重点在于模拟图像的显著性或者纹理，并将其对应为权值，图像的梯度幅值可以有效地反映图像的高频信息，因此像素点的显著性通过计算局部梯度幅值来表达。
2 相关工作
图像融合建立在配准完成的车情况下，本文基于配准图像warp后的结果图像做图像融合，所用到的融合算法是离散小波变换。基于离散小波变换的图像融合是常用的图像融合算法，本文使用的模型建立在该融合算法基础上。该算法步骤如下：
1） 将图像分别进行高通和低通滤波，并分别进行二元降采样。
2） 高低通图像分别进行同样的高低通滤波及二元降采样，一共得到四组图像[4]。
3） 为了满足多分辨率融合，将进行了两次低通处理的图像重复进行1）2）步骤[5]，得到第2，3……n层的信息，具体的层数依据不同的场景和需求不同。
4） 对最后一层的分解图像进行融合处理，融合规则自定。
5） 进行逆离散小波变换，重建图像。
融合过程如图1所示：
步骤4）即是融合规则的选用，作为对比，首先使用传统的取最大值法：
这样做的好处是，融合过程对应离散小波变换分解结果中的高频部分，高频部分表达的是图像的边缘纹理，取最大值意味着取边缘明显的像素点作为融合结果，但是不可避免造成像素丢失。
3 马尔科夫随机场融合模型
马尔科夫随机场模型用于对像素点权值优化，进而使用像素融合规则对离散小波变换分解结果进行融合。这里首先介绍融合规则，然后介绍马尔科夫随机场模型。
3.1 像素融合规则
图像的结构突出表现为图像的纹理和边缘，融合的目的就是将锐度大、结构显著的区域更有效的融合。本文拟使用对图像的梯度强度进行高斯平滑来模拟像素的显著性，并消除噪声点。
其中f（a，b）是关于a，b的softmax函数，显然，当a-b取值从+∞到-∞，f的取值相应为从1到0。WA代表权值，WA的值越大，代表该像素点的权值应该更多地赋给图像A。然后，图像B的权值将被设为1-WA。这可以被看做传统取最大值法的又一版本。
如果圖像i的重要性远大于其他图像，那么在分母中，它会占主要部分，因而得到的是最大的权值。
3.2 马尔科夫随机场模型
基于区域的权重，需要同一个区域共享权值，区域之间没有任何过度，这就导致了融合的人工痕迹。传统过程中这里需要做一致性检验。本文使用马尔科夫随机场（MRF）确定区域权值，并在最优框架下，做一致性检测。
MRF模型定义为图G=（V，E），V是图的节点集合，这里表示的是像素点；E代表图的边。这里值像素点的相邻性。对任意像素点（x，y）∈V，定义随机变量t（x，y）表示该像素点的权值。t=i（i=1，2……N），i代表第i幅拥有该像素点的图像。这里表达的是，若纹理出现在其中一张源图像上，并不需要混合纹理信息，直接采用该图像的信息作为融合结果。
设T={t（x，y）；（x.y）∈V}，作为图像像素点的随机场集合，那么他们在MRF中的联合分布为：
这里N（x，y）代表像素（x，y）的周边像素点，这里取最临近的4个像素点。Ed和Eb表示像素点与其周边两个像素点权值的可能函数，最大化这个概率相当于最小化其的负对数，这是一个能量函数。
λ用作平衡参数。这里第一个能量式定义为：
这个式子要服从之前的权值方程（2）。要使得该式最小，如果在（x，y）处，图像i的权值最大，t（x，y）将趋近于i。第二个能量式用于使周边像素点的权值更平滑，定义如下：
如果值为0，代表t（x，y）=t（p，q），相反，如果等于1，则代表t（x，y）与t（p，q）相差巨大。要使得该式最小，则对相邻间像素点的权值有要求，这对于像素点取权值有了一个约束，使得区域之间的过渡平滑。
根据条件随机场模型方程，随机变量T当T=argminE（t）时最优，这里既考虑了像素点的权值，也考虑了相邻点权值的平滑过渡。这里可以计算出T集合，进而可以求出所有像素点的权值。式（5）中的能量方程是图的标号问题，可以用图切割算法最小化[6]。
4 实验
本文使用的图像来源于敦煌壁画。本文敦煌壁画拼接项目的子项目。拼接的前置工作包括图像配准、光束法平差已处理妥当。这里对图像融合进行优化，目的是去除普通融合算法带来的像素点丢失、色差、重影等问题。实验采用离散小波变换的普通融合规则作为对比实验，实验结合matlab平台及c++ opencv库，均在搭载win 8系统，配置16G内存，8核CPU处理器的硬件环境下运行。实验的结果评价除了主观评价外，也借用了客观评价指标，其中所用指标是从一系列指标经过相关度分析及正确率分析挑选而出。
4.1 图像融合实验结果
本文只挑选部分图像。图2是两张源图像：
为方便观察，图3是局部放大的源图像：
图4是对比实验图：
4.2 图像融合质量评价
本文选用4个客观图像质量评价指标：相关系数（CC）、互信息（MI）、结构相似性（SSIM）、Piella指标（Q）。其中CC表达的是变量间的相关程度，相关系数越高，变量间的相关程度越高；MI衡量两个变量间的依赖性，可以看作一个随机变量包含另一个随机变量的信息量，值越大代表信息保留越多；SSIM描述图像的亮度、对比度及结构的相似性，脱离了像素比较的传统方法；Q是考虑了图像显著性的改进的SSIM。
表1是评价结果：
从表中不难看出，除了SSIM指标，本文算法在其中3个指标上要优于使用取最大值法作为融合规则的离散小波变换融合算法。同时表明本文算法依然有缺陷。另外，客观评价指标的不完善性也是需要考虑的问题。
5 结论
本文针对像素级融合规则做出改进，设计了基于马尔科夫随机场的融合模型。该模型对图像进行梯度幅值的高斯平滑来模拟像素的显著性，同时将像素点周边的点作为约束，避免了融合的人工痕迹过于明显。通过实验结果可以看出，本文使用的融合规则对于解决像素点丢失有一定效果，但是质量评价指标的数据表明，该算法依然有不足之处，这是今后工作的方向。
参考文献：
[1] Li S T，Yang B，Hu J W. Performance comparison of different multi-resolution transforms for image fusion[J]. Information Fusion， 2011，12（2）：74-84.
[2] Rockinger O. Pixel-level fusion of image sequences using wavelet frames[M]. Proceedings of the 16th Leeds Applied Shape Research Workshop， Leeds University Press，1996.
[3] Zhang Z，Blum R. A categorization and study of multi-scale-decomposition based image fusion schemes[J]. Proceedings of the IEEE，1999， 87 （8）：1315–1328.
[4] Mitra Jalili-Moghaddam. Real-time multi-focus image fusion using discrete wavelet transform and Laplasican pyramid transform[D]. Chalmess University of Technology， Goteborg， Sweden，2005.
[5] Gonzalo Pajares， Jesus Manuel， de la Cruz. A wavelet-based image fusion tutorial[J]. Pattern Recognition， 2004， 37， 1855-872.
[6] Boykov Y，Veksler O， Zabih R. Fast approximate energy minimization via graph cuts[J]. IEEE Transactions on PAMI ，2001，23 （11）：1222–1239.
