图像显著性启发的傅里叶频域变密度压缩采样

黄 海 肖 亮 印 佳 王光亮

图像显著性启发的傅里叶频域变密度压缩采样

黄 海 肖 亮 印 佳 王光亮

(南京理工大学计算机科学与工程学院 江苏 南京 210094)

考虑到在传统的傅里叶频域中星形采样方法的采样区域针对性不强、重建效果不佳等缺点，提出一种基于傅里叶频域中图像显著性信息的变密度压缩采样方法。在传统星形采样的基础上，通过变化密度，在傅里叶频域中显著性区域相对密集采样，同时在非显著性区域相对稀疏采样，以达到更好地恢复图像显著特征信息的目的。实验结果表明，基于相同的信号重构算法，在采样率相同的条件下，该方法重建图像的结构相似度(SSIM)、峰值信噪比(PSNR)，以及相对误差(ReErr)均优于传统的星形采样方法。

显著性信息 变密度 傅里叶频域 压缩采样

0 引 言

传统的信号获取和处理过程主要包括采样、压缩、传输和解压缩四个部分。其中采样过程必须遵循奈奎斯特采样定律，而这种采样方式数据量大，且先采样后压缩的过程会浪费大量的传感元、存储空间和时间。为了解决这种缺点，Donoho、Candes等人在2006年提出一种新的信号处理理论——压缩感知(CS)理论[1,2]，该理论基于信号的稀疏表示，将数据采集和数据压缩合二为一，突破了奈奎斯特采样定律的限制，有效缓解了信号采集的压力。

目前，基于傅里叶频域的采样方法主要有星形、双星形和环星形采样，其中星型采样方法在压缩感知采样阶段被广泛应用[3,4]。该方法利用傅里叶频域中图像频谱能量集中分布的特点，采用等角度间距的星型采样模式。然而，该星形均匀采样模式仅仅考虑了图像频谱能量分布特性，没有考虑到图像本身所包含的特征信息。针对这种缺点，文献[5,6]已经分别提出了两种不同的针对图像显著性信息进行压缩采样的方法。另外，文献[7]中已经讨论并得出了基于傅里叶频域中双星形采样模式的重构图像效果优于星形采样模式的结论。

为了更加有效地突出图像本身包含的重要显著特征信息，弥补传统星形采样方法的针对性不足，根据文献[7]中得出的结论，本文提出一种新的基于傅里叶频域中图像显著性信息的变密度压缩采样VDCS(Variable Density Compressive Sampling)方法。利用已有的图像显著性算法，在原始图像信号显著图的傅里叶频域中，根据频谱图亮度的变化，即梯度模的大小变化，区分显著性与非显著性区域。根据划分的有效区域，对显著性区域和非显著性区域分别进行针对性信号采样，即在显著性区域相对密集采样，非显著性区域相对稀疏采样。通过一系列对比实验，表明了该方法的合理性及有效性。

1 压缩感知理论

压缩感知理论就是在已知测量值y和测量矩阵Φ∈CM×N(M

y=Φx

(1)

从而得到原始信号x。而对于任意离散信号x∈RN，在一般情况下，信号本身含有重要特征信息的数量是远远小于信号本身信息的数量，且含有大量重复性信息，这就意味着这些信号是可以压缩的，或是在某种稀疏基上是可以进行稀疏表示的。因此我们设x在正交基 Ψ=[ψ1,ψ2,…,ψN]∈CN×N下可线性表示为：

x=Ψu

(2)

那么就存在唯一u，使得满足式(2)，其中Ψ为稀疏基矩阵，u为线性表示系数，u=ΨTx为x的Ψ域表示。若‖u‖0=K≪N，我们称原始信号x在Ψ域中具有K稀疏性。

将式(2)代入式(1)中后，则可以得到：

y=ΦΨu=Au

(3)

式中A=ΦΨ∈CM×N称为传感矩阵。对于压缩感知问题，我们需要在编码端设计一个很好的传感矩阵A，以确保测量值y能够包含信号x中足够多的有效信息。然后在解码端通过一个有效的重构算法，求解出系数向量u，进而得到重构信号x。

为保证重构出可靠的原始信号，Candes等人指出[8]，矩阵Φ必须满足约束等距性(RIP)条件，但是为满足约束等距性，直接构造一个矩阵Φ是不容易的。在文献[9]中提到了随机独立同分布的高斯矩阵在很大的概率上是满足RIP条件的。

由于式(3)是欠定的，所以在求解u时会得到无数个解。因此，由测量值y来计算系数向量u，可转化为如下有约束的l0范数最小化问题，即：

minu‖u‖0s.tAu=y

(4)

然而最小l0范数是一个NP难问题，通常是将该问题进行凸化，将l0范数转化为l1范数问题，即基追踪问题[10]:

minu‖u‖1s.tAu=y

(5)

目前很多重构算法都能对于式(5)进行有效地求解，且能达到一个比较好的重建效果，如性能较好的正交匹配追踪算法(OMP)[11]、RecPF[3]等。

2 图像显著性傅里叶频域中压缩采样

2.1 图像视觉的显著性

从信息理论的角度出发，可以将图像信息H(Image)分为两个部分：

H(Image)=H(Innovation)+H(Prior_Knowledge)

其中H(Innovation)表示信息变化的部分，H(Prior_Knowledge)表示应该抑制的冗余信息部分。一幅图像中包含的大部分重要信息即为图像显著变化的部分，并且根据人类视觉对图像中特征变化明显的部分更为敏感的这一特性，图像信号中显著变化的区域更显出其重要性。

目前图像显著性检测的方法有很多，其中应用较为广泛的有Itti[12，13]模型等。文献[12]中提出了一种实现模拟人类视觉注意机制的方法，利用图像像素点在亮度、方向、颜色等多尺度图像特征与其周边背景之间的对比，组合为一个点的显著值，得到的单一视觉显著图，即由所有像素点的显著值构成。

但是Itti模型是一种基于空域的图像显著性检测模型，相对于频域方法，运算速度相对比较慢。2007年Hou等人[14]提出了一种基于频域的方法，即谱残差SR(Spectral Residual)方法。该方法利用图像振幅谱的自然对数减去振幅谱的自然对数平均值，得到图像的显著性部分。SR模型具有运算式简洁、复杂度低等优点，能够快速计算出显著区域。因此本文采用SR方法生成图像的显著图。

给定一幅图像I(x)：

Am(f)=R(F[I(x)])

(6)

P(f)=J(F[I(x)])

(7)

L(f)=log(Am(f))

(8)

R(f)=L(f)-hn(f)×L(f)

(9)

其中F表示傅里叶变换，Am(f)表示图像振幅谱，P(f)对应为图像相位谱，hn是一个n×n均值滤波的卷积核，R(f)为残差谱。

基于上述分析，本文使用SR方法生成图像的显著图。这里我们以CameraMan图像为例，如图1(a)所示。其采用SR方法得到的显著图如图1(b)所示。

图1 SR方法生成的显著图

2.2 傅里叶频域中显著性区域变密度压缩采样

文献[3]中提出的RecPF算法是一种比较经典的重构算法。其采样过程是在傅里叶频域中，采用星型即从中心点向四周均匀发散一定数量的径向射线方法，如图2所示。由此构成测量矩阵ΦT:

(10)

其中：

T表示径向射线的个数，u，v为矩阵Φ的横纵坐标值，lθi表示过中心点的水平射线逆时针旋转θi角度得到的射线。这种采样方法在频域的中心点区域采样密度相对于周边较大，但此方法仅考虑原始图像傅里叶频域中心点区域，忽略了图像频域信号中其他重要区域。

图2 传统傅里叶域中采样

由式(9)得到的残差谱R(f)以及式(7)所得的相位谱P(f)，我们可以得到图像显著图傅里叶变换后的振幅谱：

O(u,v)=R(F(G)× [exp(R(f)+P(f))]2)

(11)其中G为2维高斯低通滤波器。为了便于观察，我们对振幅谱O(u,v)使用对数变换进行视觉增强。图3为CameraMan图像显著图傅里叶变换视觉增强后的频谱图。其中高亮部分为高频区域，即梯度幅值较大的点，反映出显著图中某一点与邻域点的差异比较大。这部分区域保存了原图像中大量显著变化的信息，即视觉敏感部分。为了更好地重建图像，增加对该频谱图中高亮部分的采样点的个数是有一定必要性的，因此对于此部分区域采样率的设置应相对高于其他区域。

图3 使用对数变换进行视觉增强后的显著图频谱

TaoWan等人在文献[7]中讨论了基于傅里叶变换域内三种采样方法：星形、双星形和环星形采样，并得出双星形采样方法重建图像效果最佳的结论。基于此，我们在傅里叶频域中提出一种变密度采样方法。选取采样点满足不等式:

(12)

其中M为掩码矩阵，

图4 傅里叶域中变密度采样

因此，对于这种叠加方式的选取，我们设定一种图像显著性信息变密度压缩采样(VDCS)的算法,流程如图5所示。

图5 图像显著性傅里叶频域中变密度采样流程图

具体算法步骤如下：

1) 以原始图像信号生成显著图的频谱图像为基础，即图3，计算该频谱图中平均幅度值:

(13)

其中Aij为大小M×N的频谱图像中第i行j列的值，并设置图像频谱幅度阈值T=t·Aavg，其中t为变动系数。

2) 判断频谱图像中幅度值是否大于阈值T，并构成掩码矩阵M，其中大于阈值T的点设置为1，否则为0。

3) 设置式(11)中径向射线的个数T。

4) 为保证采样率一致，计算变密度ρ∈(0,1)，使之满足式(12)。

上述算法中1)设定阈值的变动系数t可根据实际情况进行合理设置。为了能够得到4)中合适的变密度ρ，我们选定ρ∈(0,1)，使得保证在显著性区域能够选取足够多的点，并使变密度ρ以步长0.01递增或递减，直至满足式(12)。

3 实验结果及分析

为了更好地验证本文变密度压缩采样方法的合理性与有效性，本文设计两组对比实验。第一组实验为分别使用传统星形采样和本文所提出的变密度采样方法进行信号采样，然后均使用RecPF算法进行图像压缩感知重建，并比较重构后图像质量；第二组实验在保证采样率相同的前提下，调整图像频谱幅度阈值中的变动系数t，观察重构图像的质量变化。实验编程软件采用Matlab 2010b，计算机为Intel(R) Xeon(R) CPU 2.79 GHz，内存4 GB。

本文选择Cameraman、Lena、Barbara和Mandrill四幅大小为256×256像素的标准灰度图进行对比实验，并以相对误差(ReErr)、峰值信噪比(PSNR)及结构相似度(SSIM)作为评价标准,比较重构图像的质量。其中ReErr、PSNR定义为：

(14)

(15)

表1显示了在径向射线个数T为49，采样率低于20%的前提下，使用传统星形采样与本文变密度采样重构图像信号质量的对比。

表1 实验数据对比

由表中数据可以看出变密度频域采样在PSNR、ReErr、SSIM等三个方面都优于传统星形采样，上述实验结果证实了变密度采样的有效性及优越性。

为了进一步体现出显著图频谱中显著性区域的采样数对重构图像质量的影响，针对本文所提出的方法，在满足低于特定采样率的前提下，调整图像频谱幅度阈值中的变动系数t。以图像CameraMan、Lena为测试图像，为了更加方便与传统星形采样模型作对比，用星形模型分别取CameraMan、Lena、Boat测试图像的采样点个数为13258、11217、13501。重构后图像PSNR分别为29.45、32.77、31.21，SSIM分别为0.8723、0.9017、0.8659。采用本文方法实验结果如表2所示。

表2 不同阈值下的实验数据

续表2

根据表2中的数据，绘制PSNR、SSIM随阈值系数增加而变动的折线图，如图6所示。

图6 PSNR、SSIM随阈值系数变动曲线

由表2以及图6所示，Boat图像在阈值系数为0.5、0.6时，采样点个数过大，这是由于没有找到变密度ρ满足式(12)所致，因此我们需要忽略上述两点。综上，我们发现实验的采样点个数均少于传统星形采样点的个数，但图像重构的质量从PSNR、SSIM评价标准上却均优于星形采样模型，由此更加说明对傅里叶域中显著性区域的变密度采样的有效性。

由表中数据以及折线图可以看出，重构图像的PSNR、SSIM均随着阈值系数的增加而增加，达到一定峰值后呈下降趋势，这说明阈值的选取对实验结果的影响比较大。当阈值越大，显著区域点的选取越少，重构图像的质量就相对越低。但当阈值越小时，选取显著区域的点越多，非显著区域点越少，而重构图像的质量反而有所下降，这说明过少的选取非显著性区域的采样点，对重构图像的质量也有一定的消极影响。因此，合理地选取阈值对图像重构的质量有很大的影响，其直接关系到显著区域中采样点所占总采样点个数的比例，从而关系到图像重构后的质量。

4 结 语

对于传统的傅里叶域中星形采样方法，由于其采样点位置针对性不强，重建质量不佳的问题，本文提出了一种新的改进方法：基于傅里叶频域中图像显著性区域变密度采样。该方法在傅里叶域中采样时，通过调整阈值，合理地选取显著性区域，并利用变动密度ρ，根据式(12)在该区域中相对密集采样，而在非显著性区域相对稀疏采样。对于压缩感知问题，分别使用传统星形采样和本文提出的变密度采样方法，并使用相同的压缩感知重建算法进行实验比较。从仿真实验结果分析，在不高于传统方法采样率的情况下，本文方法在PSNR、ReErr以及SSIM等评价标准上都是优于传统星形采样方法。

[1] Donoho D L. Compressed sensing[J].Information Theory,IEEE Transactions on,2006,52(4):1289-1306.

[2] Candès E J. Compressive sampling[C]//Proceedings of the International Congress of Mathematicians:Madrid,August 22-30,2006: invited lectures. 2006:1433-1452.

[3] Yang J,Zhang Y,Yin W. A fast TVL1-L2 minimization algorithm for signal reconstruction from partial Fourier data[J].IEEE Journal of Selected Topics in Signal Processing,2009,4(2):288-297.

[4] Guo W,Yin W.Edgecs: Edge guided compressive sensing reconstruction[C]//Proc. of SPIE Vol. 2010,7744:77440L-1.

[5] Yu Y,Wang B,Zhang L.Saliency-based compressive sampling for image signal[J].IEEE Signal Processing Letters,2010,12(11):973-976.

[6] 王瑞，余宗鑫，杜林峰,等.结合图像信号显著性的自适应分块压缩采样[J]. 中国图象图形学报，2013,18(10)：1255-1260.

[7] Wan T,Canagarajah N,Achim A. Compressive image fusion[C]//Image Processing,2008. ICIP 2008 15th IEEE International Conference on, IEEE,2008:1308-1311.

[8] Candes E J,Tao T. Decoding by linear programming[J].Information Theory,IEEE Transactions on,2005,51(12):4203-4215.

[9] Candès E J,Romberg J,Tao T. Robust uncertainty principles: Exact signal reconstruction from highly incomplete frequency information[J].Information Theory,IEEE Transactions on,2006,52(2):489-509.

[10] Chen S S,Donoho D L,Saunders M A. Atomic decomposition by basis pursuit[J].SIAM journal on scientific computing,1998,20(1):33-61.

[11] Tropp J A,Gilbert A C. Signal recovery from random measurements via orthogonal matching pursuit[J].Information Theory,IEEE Transactions on,2007,53(12):4655-4666.

[12] Itti L,Koch C,Niebur E. A model of saliency-based visual attention for rapid scene analysis[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,1998,20(11):1254-1259.

[13] Itti L,Koch C. Computational modelling of visual attention[J]. Nature reviews neuroscience,2001,2(3):194-203.

[14] Hou X,Zhang L. Saliency detection: A spectral residual approach[C]//Computer Vision and Pattern Recognition,2007 CVPR’07 IEEE Conference on， IEEE,2007:1-8.

[15] Wang Z,Bovik A C,Sheikh H R,et al. Image quality assessment: From error visibility to structural similarity[J]. Image Processing,IEEE Transactions on,2004,13(4):600-612.

VARIABLE DENSITY COMPRESSIVE SAMPLING INSPIRED BY IMAGE SALIENCY IN FOURIER FREQUENCY DOMAIN

Huang Hai Xiao Liang Yin Jia Wang Guangliang

(SchoolofComputerScience,NanjingUniversityofScienceandTechnology,Nanjing210094,Jiangsu,China)

Considering the shortcomings of traditional star shape sampling method in Fourier frequency domain,for example,the sampling region is not targeted,the quality of reconstruction effect is not well,etc.,we propose a new variable density compressive sampling method which is based on the image salient information in Fourier frequency domain. Based on traditional star shape sampling method,by changing the density we sample relatively densely in saliency region of Fourier frequency domain while relatively sparse in non-saliency region,so as to achieve the goal of better restoring the salient feature information of image. Experimental results show that based on the same signal reconstruction algorithm and under the condition of same sampling rate,the structural similarity (SSIM),peak signal-to-noise ratio (PSNR) and the relative error (ReErr) of the reconstructed image using the proposed method are all superior to the traditional star shape sampling method.

Saliency information Variable density Fourier frequency domain Compressed sensing

2014-08-20。国家自然科学基金项目(61171165)。黄海，硕士生，主研领域：压缩感知。肖亮，教授。印佳，硕士生。王光亮，硕士生。

TP391

A

10.3969/j.issn.1000-386x.2016.04.039