基于高阶奇异值分解的多聚焦图像融合新方法

张翠英，高瑞超

(1.天津大学仁爱学院 计算机科学与技术系，天津 301636；2.中交第一航务工程勘察设计院有限公司 勘察岩土事业部,天津 300222)

基于高阶奇异值分解的多聚焦图像融合新方法

张翠英1，高瑞超2

(1.天津大学仁爱学院 计算机科学与技术系，天津 301636；2.中交第一航务工程勘察设计院有限公司 勘察岩土事业部,天津 300222)

针对传统多聚焦图像融合方法不能有效度量图像中聚焦区域的问题，提出一种基于高阶奇异值分解的图像融合新方法。高阶奇异值分解可以精确提取图像纹理特征，并对源图像进行分解。充分考虑像素间的区域相关性，提取分解系数的空间频率、平均梯度和区域能量等区域特征，并提出一种新颖的基于区域特征的多活动测度融合策略，该策略可有效度量图像中的聚焦区域。实验结果表明，该融合方法能够更好地保留图像的边缘细节信息。

图像融合；多聚焦图像；高阶奇异值分解；空间频率；平均梯度；区域能量

0 引言

随着多传感器技术的迅猛发展，图像融合成为图像处理领域的研究热点。图像融合是把两个或多个来自不同传感器的图像通过一定算法融合到一幅图像的过程[1]。图像融合已广泛应用于遥感、军事、计算机视觉等领域。多聚焦图像融合是图像融合的一个重要分支。由于受到光学成像系统景深的限制，只有在一定距离范围内的物体可以清晰成像，因此需要参考多幅不同聚焦的图像来对场景进行描述。多聚焦图像融合的目的是精确提取图像中的清晰区域，将这些清晰区域组成一幅各目标都清晰的图像。如何精确识别、提取图像中的清晰区域直接决定了多聚焦图像的融合质量。传统的多聚焦图像融合方法大体可以分为两类：基于空间域和基于变换域。基于空间域的方法如加权平均、PCA等，该类方法计算简单，但容易降低图像对比度；基于变换域的融合方法在融合中占有重要地位。常用的变换工具如拉普拉斯金字塔变换、小波变换[2]、轮廓波变换[3]、剪切波变换[4]等。尽管该类变换的系数能够表示图像特征，但每一种变换都依赖于具体的场景和应用，很难选择一个最优的变换基，不能有效度量图像中的清晰区域。

高阶奇异值分解(Higher Order Singular Value Decomposition,HOSVD)是张量最有效的分解工具之一，具有完全数据驱动的优势，不需要使用者设置阈值和参数，其分解的特征系数能够提供更丰富的纹理信息，已经应用于许多领域，如人脸识别、彩色图像复原、纹理分析[5]等。本文利用HOSVD这一有效工具对融合源图像进行分解。

在图像融合中，除了有效的分解工具外，融合策略的选取也会很大程度影响融合图像的质量。大多数研究者利用单一的活动测度选取融合系数：Kong W[6]采用局部方向对比度作为活动测度；Yang B[7]利用绝对值作为活动测度。但是单一的活动测度不能很好地保持图像的边缘和细节信息。因此，本文提出一种新颖的基于空间频率、平均梯度和区域能量的多活动测度融合策略，采用该融合策略可以综合考虑区域特征的贡献，有效度量图像中的清晰区域与模糊区域。实验结果表明，本文方法与传统方法相比，能更好地保持图像的边缘与细节信息。

1 张量与HOSVD

1.1 张量

在多线性代数中，张量是一个N维数组。张量的阶数是指数组的维数，一阶张量是向量，二阶张量是矩阵，三阶或更高阶的张量是高阶张量。张量中使用最多的操作是张量的模n积。给定一个N阶张量A∈RI1×I2×…×IN和一个Jn×In的矩阵U，则A与U的模n积A×nU定义为[8]：

(1)

1.2 三阶张量图像

给定待融合的I3个灰度源图像数据集{θ1,θ2,…θI3}，其中每个图像的大小均为I1×I2，则可以形成一个I1×I2×I3的三阶张量A，A的三阶分别表示行、列以及标记源图像。

1.3 HOSVD

HOSVD是矩阵奇异值分解的高阶推广，张量A∈RI1×I2×…×IN的HOSVD可以表示为一个核张量与N个正交矩阵模n积的形式，即：

(2)

其中，S∈RI1×I2×…×IN是核张量，与张量A维数相同；UN为正交矩阵，维数分别为I1×I1，I2×I2，…，IN×IN；×n表示张量与矩阵的模n积。

由式(2)可知，三阶张量的HOSVD为A=S×1U1×2U2×3U3，图1是三阶张量图像A∈RI1×I2×I3的HOSVD。

图1 三阶张量A∈RI1×I2×I3的HOSVD

2 基于HOSVD的多聚焦图像融合

2.1 区域特征

对于一个M×N的图像F，其空间频率、平均梯度和区域能量如下。其中，F(i,j)是图像在(i,j)处的灰度值，CA(x,y)、CB(x,y)是源图像A、B在(x,y)处的分解系数。

2.1.1 空间频率

空间频率反映图像在空间域的总体活跃程度，包含行频率和列频率。其值越大，图像包含越多的细节信息。行频率为：

(3)

列频率为：

(4)

则空间频率为：

(5)

基于空间频率取大的融合规则为：

(6)

其中，SFA(x,y)、SFB(x,y)分别是源图像A、B在(x,y)处的空间频率。

2.1.2 平均梯度

平均梯度反映图像的整体清晰度，其值越大，图像越清晰。平均梯度为：

(7)

基于平均梯度取大的融合规则为：

(8)

其中，GA(x,y)、GB(x,y)分别是源图像A、B在(x,y)处的平均梯度。

2.1.3 区域能量

区域能量能够测量系数之间的相关性，其公式为：

(9)

基于区域能量取大的融合规则为：

(10)

其中，EA(x,y)、EB(x,y)分别是源图像A、B在(x,y)处的区域能量。

2.2 融合方法

本文方法具体描述如下：

(2)Fori=1,2,…,I。

对Ai进行HOSVD得到分解系数Si，其公式为：

Ai=Si×1Ui×2Vi×3Wi

(11)

(12)

对于每一个图像块Bi(k)，k=1,2，都可用公式表示为：

(13)

根据融合系数矩阵Di，融合图像块Fi通过如下公式得到：

(14)

(3)根据图像块Fi获得融合图像的过程为：①首先初始化矩阵G(M×N)和R(M×N)为两个零矩阵；②将Fi叠加到G的对应块位置上，用R保存叠加次数；③叠加的像素值G除以叠加次数R得到融合图像。

2.3 融合策略选取

(2) 计算整个图像的空间频率SFA、SFB，平均梯度GA、GB，以及区域能量EA、EB。

(3) 如果SFA≠0，SFB≠0，GA≠0，GB≠0，EA≠0，EB≠0，则计算两幅源图像的相对空间频率、相对平均梯度以及相对区域能量的比率：

(15)

(16)

(17)

其中，K1(i,j)是源图像在点(i,j)处相对空间频率的比率，如果K1(i,j)>1，则图像A在(i,j)点的相对空间频率大于图像B，表明图像A整体空间活动情况比图像B更活跃，K2(i,j)、K3(i,j)同理。转到(5)。

(4) 如果全局空间频率(SFA或SFB)、平均梯度(GA或GB)、区域能量(EA或EB)任何一个为0，表明对应特征的表达能力在3个特征中最弱，则计算另外两个特征比率，选择比率最大值对应特征的融合规则；如果两个不同的特征为0，则融合规则将由第3个特征确定；如果3个特征都为0，则把该点源图像分解系数的最大值作为融合系数。转到(6)。

(5) 通过比较以下3个比率确定活动测度：

(18)

(19)

(20)

对于任意一点，选取对应比率最大值对应的融合规则。例如，对于点(i,j)，如果R1(i,j)比率值最大，则选取基于空间频率取大的融合规则。R2(i,j)和R3(i,j)同理。

(6) 对于源图像中的所有点，重复(1)～(6)。

3 实验结果与分析

对于本文中的融合结果，采用均值(M)、熵(EN)、互信息(MI)、相关系数(COR)、平均交叉熵(OCE)[10]客观评价指标定量估计。

首先对第一组多聚焦图像进行融合实验。图2(a)是近聚焦图像，“花豹”的前爪清晰，“头和身体”模糊；图2(b)恰好相反；图2(c)～图2(g)分别是本文方法和对比方法的融合结果。从融合结果中可以看出，本文方法和对比方法都能将“花豹”的前爪部分、“头和身体”部分融合为一幅两者均清晰的图像。为了定量估计融合结果，表1给出了本文方法和对比方法的客观评价指标(加粗部分为最优指标)。通过表1可以看出，本文方法具有最优的均值(M)、相关系数(COR)和平均交叉熵(OCE)。表明本文方法的融合图像具有更好的平均亮度，图像的相关性更好，图像间的差异更小，因而具有更好的融合效果。

图2 融合源图像及不同方法的融合结果

表1 第一组实验图像客观评价指标

融合方法MMIENCOROCE本文方法92．650619．25957．42551．98190．0087DWT92．069219．07547．42701．97870．0103LAP92．059619．10867．42091．98020．0098SR92．279819．31987．42131．97950．0100HOSVD92．282719．25067．42091．97950．0098

第二组实验源图像如图3(a)、3(b)所示。图3(a)是左聚焦图像，左侧的热气球比较清晰，右侧的热气球比较模糊，图3(b)正好相反。图3(c)～图3(g)是本文方法和对比方法的融合结果。通过观察融合结果，本文方法和对比方法都能把源图像融合成所有热气球都清晰的图像。表2是不同融合结果的客观评价指标。通过对比表2中的数据可以看出，本文方法具有最优的均值(M)、相关系数(COR)和平均交叉熵(OCE)。表明本文方法的融合图像在平均亮度、图像的相关性以及图像间的差异性方面均优于对比方法，能获得最高质量的融合图像。

图3 融合源图像及不同方法的融合结果

表2 第二组实验图像客观评价指标

融合方法MMIENCOROCE本文方法114．060316．32067．47651．97240．0112DWT113．481116．28337．48031．96740．0150LAP113．490216．34017．47641．96960．0162SR113．738716．16507．47251．96910．0126HOSVD113．745316．33677．45631．96920．0169

4 结语

本文提出了一种基于HOSVD的图像融合新方法。HOSVD具有高效表示高维数据的能力，并能够精确提取图像信息。充分考虑图像的区域相关性，利用空间频率、平均梯度、区域能量等多个活动测度综合考量确定融合系数。实验结果表明，本文方法的融合图像包含了更多细节信息，证明了该融合方法的有效性。

[1] 郭雷,李晖晖,鲍永生.图像融合[M].北京:电子工业出版社,2008.

[2] LI S，YANG B.Multifocus image fusion by combining curvelet and wavelet transform[J].Pattern Recognition Letters,2008,29(9):1295-1301.

[3] ZHANG Q,GUO B.Multifocus image fusion using the nonsubsampled contourlet transform[J].Signal Processing,2009,89(7):1334-1346.

[4] LIU X,ZHOU Y,WANG J.Image fusion based on shearlet transform and regional features[J].AEU-International Journal of Electronics and Communications,2014,68(6): 471-477.

[5] COSTANTINI R,SBAIZ L,SÜSSTRUNK S.Higher order SVD analysis for dynamic texture synthesis[J].Image Processing,IEEE Transactions on,2008,17(1): 42-52.

[6] KONG W.Technique for gray-scale visual light and infrared image fusion based on non-subsampled shearlet transform[J].Infrared Physics & Technology,2014(63):110-118.

[7] YANG B,LI S.Multifocus image fusion and restoration with sparse representation[J].Instrumentation and Measurement,IEEE Transactions on,2010,59(4): 884-892.

[8] LIANG J,HE Y,LIU D,et al.Image fusion using higher order singular value decomposition[J].Image Processing,IEEE Transactions on,2012,21(5): 2898-2909.

[9] Image fusion toolbox[EB/OL].http://www.metapix.de/toolbox.htm.

[10] 宋乐.异源图像融合及其评价方法的研究[D].天津: 天津大学,2008.

(责任编辑：黄 健)

A New Multi-focus Image Fusion Method Based on Higher Order Singular Value Decomposition

For the problem of traditional multi-focus image fusion methods can not effectively measure the focus regions in images,a new multi-focus image fusion method is proposed based on higher order singular value decomposition.As higher order singular value decomposition (HOSVD) can exactly extract features in images,HOSVD is used as an effective decomposition tool.Considering the regional correlation between pixels,space frequency,average gradient and regional energy are extracted.And a novel fusion strategy on comprehensive consideration of multiple regional features is applied to decomposition coefficients.Experimental results show that the proposed method performs better than traditional image fusion methods.

Image Fusion; Multi-focus Image; Higher Order Singular Value Decomposition; Space Frequency; Average Gradient; Regional Energy

中国博士后科学基金项目(2013M541601)

张翠英(1988-)，女，河北邢台人，硕士，天津大学仁爱学院计算机科学与技术系助理实验师，研究方向为图像处理、模式识别；高瑞超(1988-)，男，河北邢台人，硕士，中交第一航务工程勘察设计院有限公司勘察岩土事业部助理工程师，研究方向为遥感图像处理。

10.11907/rjdk.162607

TP317.4

A

1672-7800(2017)003-0163-04