基于视觉注意机制的图像压缩感知复原

赵 帅，曾卫明

(上海海事大学 信息工程学院，上海 201306)

基于视觉注意机制的图像压缩感知复原

赵 帅，曾卫明

(上海海事大学 信息工程学院，上海 201306)

对于低采样、低质航运图像的复原问题，提出了一种新的图像压缩感知复原算法。首先对图像进行预处理，然后由人眼视觉注意机制模型确定注意点位置，并采用自适应遗传算法对注意点像素值进行寻优，最后复原获得复原图像。实验结果表明，所提出的基于视觉注意机制的图像压缩感知复原算法不仅提高了图像的复原质量，同时很好地保存了图像的细节信息。

采样；人眼视觉注意机制；自适应；遗传算法；压缩感知

0 引言

所谓的“压缩感知”，即直接感知压缩了的信息[1]。压缩感知(Compressed Sensing, CS)理论[2]由DONOHO D、CANDES、E华裔科学家TAO T等人提出，其作为新兴的方法表现出了强大的生命力和活力。CS理论不同于传统的“先采样、后压缩”，而是采用“边采样、边压缩”的方式，可以显著减少采样资源的浪费。

基于低质图像的复原状况研究，目前主流的复原算法是将其转换为次优化问题,如匹配追踪问题、迭代阈值法等，就是将多峰值问题转换为一个凸优化的问题来进行解决，使问题简单化，但是该类做法使得复原结果不够准确，其中大部分是将L0范数问题转换为L1范数或者L2范数来进行求解，从数学角度来看问题得到了简化，但是从科学角度上并没有实际解决压缩感知的根本问题[3]。

本文从压缩感知的根本出发提出了在L0范数[4]下的基于视觉注意机制的自适应遗传算法与压缩感知相结合的算法(Human visual attention mechanism Genetic algorithm Compressed Sensing, HGCS)，并进行了相关实验。

1 压缩感知理论

图像要进行压缩感知恢复首先应该满足图像是可稀疏的。图像稀疏就是图像二维表示的非零元素的个数远远小于零元素的个数[5-6]。在编码测试过程中，需要用到满足RIP[7](约束等距性)条件的两个矩阵(稀疏矩阵和测量矩阵)，测量矩阵由稀疏矩阵和RIP条件共同决定并不唯一。用测量矩阵与图像矩阵的乘积来得到原始图像在测量矩阵下的投影值，然后通过投影值和测量矩阵利用重构算法恢复出原始信号的近似值[2]。

图像的自然信号一般是不稀疏的，但是通过一些变换(如小波变换等)可以使大多数的图像像素值变为零，达到稀疏。

稀疏的数学表示[8]：x=Ψs，设信号x为N维，即x=[x1,x2,…,xN]T，则ψ为N×N维稀疏表达矩阵，s即是将x进行稀疏表示后的Nx1维向量，其中大部分元素值为0。稀疏表示的原理就是通过线性空间映射，将信号在稀疏空间进行表示。

感知测量的数学表示：y=Φx，其中x就是稀疏表示中的信号，为M×N维的感知矩阵，y则表示M(M远小于N才有意义)个传感器的直接测量，因此维度为M×1。

压缩感知的原信号恢复问题描述为：

(1) y=Φψs+e=Θs+e，其中测量值y为已知条件，e为噪声引入；

(2) s为k-Sparse信号(k未知)。

求解目标：k尽可能小的稀疏表示信号s及对应的 ψ。用数学形式描述：

(1)

2 视觉注意机制理论

人眼的生理结构决定人眼成像是一个复杂的过程，且人类接触外界的环境并从中取得的信息有70%以上来源于人眼，理论上人眼摄入的信息远远大于人们感知的信息，但是由于如此庞大的信息大脑根本无法承受，因而在人体生理上为克服这一问题视觉系统的视觉选择注意机制[9]就发挥了重要的作用，其有强大的数据筛选能力，不停地抛弃不重要的信息。

引导视觉注意的初级特征有很多，像亮度、颜色、方向、形状、运动等[10]都是，而其中颜色、亮度、方向是最主要的三个基本的视觉特征。基本特征的提取[11]如下：

(1)亮度特征提取：若图像为灰度图像可以直接得到其亮度信息，若为彩色图像只需要将其转换为灰度图像即可。假设图r、g、b为图像中的三原色通道，那么亮度I就可以用I=(r+g+b)/3进行表示。

(2)颜色特征提取：在视觉皮层中存在颜色拮抗现象，入射光进入人眼由人眼锥状细胞转换为神经信号，再将这些神经信号传递到感受野[10]上，形成3个对立颜色通道，在这3个通道中红-绿和黄-蓝通道对视觉注意模型影响较大是研究的重点。经过近年的研究，确立了广义上的红、绿、蓝和黄4个通道及红-绿和蓝-黄通道的计算公式[12]：

(2)

(3)方向特征提取：本文采用的是将图像直接带入Gabor滤波器[13]进行方向特征的提取。

g(x,y,λ,θ,σ,γ)=

(3)

其中，λ为波长；θ为方向；ψ为相位偏移；γ为长宽比；b为带宽。

3 本文方法

为了解决低质图像的复原问题本文提出了HGCS方法，主要思想是利用视觉注意机制模型和自适应遗传算法相结合的方法对注意点进行定位和寻优，然后将注意点与未注意点进行组合复原。

3.1 图像的稀疏

本文采用小波变换[14]的方法对图像进行稀疏处理，确定本文压缩感知中的稀疏基为小波基。

3.2 待处理像素点位置确定

本文采用视觉注意机制模型对待处理像素点位置进行确定，选取颜色、亮度、方向3个视觉特征作为核心特征进行操作，用全局加强法[12]将3个特征图信息进行整合：将各特征图的特征值归一化到[1-255]，然后查找各图的全局最大值M，并求出所有值的平均值m，将M与m之差的平方作为该特征值的权值。

3.3 遗传算法寻优

五六十年代，济宁林业遭受很大破坏，森林资源持续减少。随后全国迎来了改革开放，济宁开始大规模推进国土绿化，通过完善造林绿化政策、签订绿化目标责任状、实施工程造林等多种措施，造林绿化稳步推进，森林资源持续增长，截至目前，全市林木绿化覆盖率达到32.21%。

为了解决压缩感知多峰值优化问题并构造适应度函数引入遗传算法[15]，本文将式(1)变化为[3]：

(4)

为了使自适应遗传算法能够快速收敛到全局最优得到各个像素点的最优解[16]，并借鉴文献[17]的算法，将式(4)的倒数作为适应度函数(定义为式(5))：

(5)

其中λ为调节因子用来调节前后两项，使其保持同样的数量级。

自适应遗传算法的详细步骤如下：

(1)初始化进化代数n为1，初始一个种群大小pop_size为10;

(2)计算种群各个体适应度、适应度函数总值、各个体适应度比例、个体适应度平均值；

(3)选择操作，选用轮盘赌方式；

(4)交叉操作，交叉概率采用自定义的交叉概率函数计算：cross_rate(j)表示各个体变异概率值，c(j)表示各个体适应度值，x是种群个体适应度最大值，当种群个体为适应度最大个体时其cross_rate赋值为0，达到保留效果，其余个体将其交叉概率定义为：corss_rate(j)=c(j)/x；

(5)变异操作，变异概率采用自定义的交叉概率函数计算：mutate_rate(j)表示各个体变异概率值，a_sum表示种群个体适应度总和，a_every(j)表示种群中各个体适应度值在种群个体总适应度中的占比，定义自适应交叉概率公式：mutate_rate(j)=a_every(j)×0.2,0.2为一般变异概率变换基值；

(6)如果满足进化结束条件则进化结束，否则跳转至第(2)步重复进行该步骤。

综上所述，具体实现步骤为：

(1)前期处理:对图像进行前期处理，近似补齐较明显的像素点缺失；

(2)图像稀疏并构建观测矩:图像小波变换得到高频部分和低频部分，低频部分保留，高频部分按阈值变化[19]。得到原始图像高频部分，并根据RIP准则生成高斯测量矩阵Φ；

(3)图像的复原:①确定注意点:对于给定采样率下的小波高频系数在测量矩阵下的投影值Y，采用人眼视觉注意机制模型，确定各投影图像需要处理的像素点位置(即注意点)，剩余部分为未注意点；②注意点寻优:对该步骤中查找到的注意点位置初始化种群，然后运用上面提到的自适应遗传算法，对每个确定的像素点位置处数据进行寻优，生成适应该点的最优个体，并替换原注意点处的值；将寻优的新注意点值与未注意点值组成新的高频矩阵；将新高频矩阵与保留的低频矩阵组合；③复原图像:将新高频矩阵与保留低频矩阵的组合进行小波逆变换得到复原图像。

4 仿真实验及结果分析

为了验证本文所提出的HGCS方法的实用性，对两组数据进行了实验，一组数据是普通图像数据，另一组数据是航运图像数据。同时为了进行比较，基于自适应遗传算法的压缩感知复原方法(Genetic Algorithm Compressed Sensing, GCS)也应用于实验中。为了保证实验结果的稳定性，分别对上述两种方法进行了多次运算，并且利用多次运算的PSNR(峰值信噪比)的平均值作为定量化指标，对实验结果进行比较分析。PSNR的数学计算公式为：

(6)

MSE是原图与处理图像之间的均方误差。

实验中使用最大迭代代数作为自适应遗传算法的终止条件，将终止条件设置为迭代100代。种群规模设置为10。

4.1 普通图像

实验选取128×128的Lena图像作为普通图像，从图1的实验数据可以看出(c)图的GCS方法和(d)图的HGCS方法都可以对图像进行复原，但是(d)图细节信息恢复得更好。进一步通过计算可以得到(c)的平均PSNR为32.487，(d)的平均PSNR为34.364，一般PSNR值越大说明图像质量越高，因此上述计算结果进一步证明了加入视觉注意机制模型的HGCS方法能够取得更好的图像复原效果，并且能够保留更完整的细节信息。

图1 Lena图像破坏恢复比较

4.2 海运图像

选取216×132的boat图作为航运图像进行实验，从图2的实验数据可以看出(c)图GCS方法和(d)图HGCS方法都可以对图像进行复原，但是(d)图复原效果明显优于(c)图，进一步通过计算可以得到(c)的平均PSNR为15.46，(d)的平均PSNR为30.468，因此上述计算结果进一步验证了对低质航运图的复原效果，HGCS方法较之GCS方法有了巨大提升，加入视觉注意机制模型后航船等注意点信息得到明显提高。

图2 boat图像破坏恢复比较

综合上述图1、图2仿真结果,证明了HGCS方法在零范数问题上的有效性和其解决多峰值优化问题的实用性。本文的算法在保持图像细节信息和纹理上效果明显，特别是航运图像因水纹等噪音影响，GCS算法要处理的信息比HGCS方法多出好几倍，所以HGCS方法在效率上大大优于GCS算法。

5 结论

本文简要介绍了一种从压缩感知的根本出发，在视觉注意机制模型辅助下的、自适应遗传算法寻优的、基于L0范数的图像压缩感知复原方法，并通过实验证明了该方法是一种可靠的、有效的图像复原方法。且通过实验数据可以验证得出HGCS较之普通未加入视觉注意机制模型的自适应遗传寻优的压缩感知算法效果更好，运算时间更短。

[1] 任越美，张艳宁，李映.压缩感知及其图像处理应用研究进展与展望[J].自动化学报，2014,40(8):1563-1575.

[3] 徐静.基于遗传算法的零范数压缩感知图像重构方法研究[J]. 现代电子技术，2011,34(16):52-54

[4] 王爱齐.图像去模糊的I_0范数最小化方法[J].信号处理，2012,28(11): 1493-1497.

[5] Liu Dongxin, Wu Zhihao,Wu Fan,et al.Compressive sensing based costefficient indoor white space exploration[D]. Shanghai Key Laboratory of Scalable Computingand Systems, Shanghai Jiao Tong University，2014.

[6] Xu Liwen,Hao Xiaohong,LANE N D,et al.More with less: lowering user burden in mobile crowdsourcing through compressive sensing[D]. Tsinghua University, Bell Lab-s，2014.

[7] 路畅，刘玉红.压缩感知理论中的RIP准则[J].自动化与仪器仪表，2015(8): 211-213.

[8] 周宇. 基于压缩感知的图像重构方法研究[D].西安：西安电子科技大学，2012.

[9] LI C Y，PEI X，ZHOW Y X,et al.Role of the extensive area outside the X-cell receptive field in brightness information transmission[J]. Vision Research,1991,31(9):1529-1540.

[10] RODIECK R W. Quantitative analysis of cat retinal ganglion cell response to visual stimuli[J]. Vision Research, 1965,5(11):538-601.

[11] 杨雪.基于视觉感知的图像显著区域的提取[J].微型机与应用,2015,34(2):47-48.

[12] 王延龙,吴青.视觉注意机制的计算模型及其应用研究[D]. 天津：河北工业大学，2010.

[13] JONES J P,PALMER L A.An evaluation of the two-dimensional Gabor filter model of simple receptive fields in cat striate cortex[J].Journal of Neurophysiology,1987,58(6):1233-1258.

[14] 张健.基于稀疏表示模型的图像复原技术研究[D]. 哈尔滨：哈尔滨工业大学,2014.

[15] 殷铭，张兴华，戴先中.基于MATLAB的遗传算法实现[J]. 电子技术应用,2000，26(1)：9-11.

[16] SIVANANDAM S N, DEEPA S N. Introduction to genetic algorithms[M]. Springer Berlin Heidelberg, 2008.

[17] 李国.改进的自适应遗传算法在图像模糊增强中的应用[J]. 测绘科学,2012,37(3): 77-79.

[18] MA J W. Improved iterative curvelet thresholding for compressed sensing and measurement[J]. IEEE Transactions on Instrumentation and Measurement, 2011, 60(1): 126-136.

Image compression sensing restoration based on visual attention mechanism

Zhao Shuai, Zeng Weiming

(College of Information Engineering, Shanghai Maritime Univeristy, Shanghai 201306, China)

For the low-sampling and low-quality navigation images restoration problem, this paper proposed a new image compression perception recovery algorithm.Firstly,the image is preprocessed. Then the attention point is determined by the human visual attention mechanism model, followed by using the adaptive genetic algorithm(GA) to find the pixel values of the attention point. Finally,a restored image is obtained.The experimental results show that the image compressed sensing recovery algorithm based on visual attention mechanism proposed in this paper,not only can improve the quality of reconstructed image,but also can better preserve the detail information of image.

sampling; human visual attention mechanism; adaptive; genetic algorithm(GA); compressed sensing

TP391

A

10.19358/j.issn.1674- 7720.2017.15.015

赵帅，曾卫明.基于视觉注意机制的图像压缩感知复原[J].微型机与应用，2017,36(15)：53-55,58.

2017-02-15)

赵帅(1990-),通信作者，男,硕士研究生，主要研究方向：图像处理，机器学习。E-mail:363629582@qq.com。

曾卫明(1971-),男,博士后,教授，博士生导师，主要研究方向：计算机图像处理与模式识别, 功能磁共振成像与磁共振波谱信息处理, 脑功能网络连通与神经认知等。