基于梯度下降法与QR分解的观测矩阵优化

兰明然，王友国，郑丹青，翟其清

(1.南京邮电大学 理学院，江苏 南京 210046；2.南京邮电大学 通信与信息工程学院，江苏 南京 210003)

基于梯度下降法与QR分解的观测矩阵优化

兰明然1，王友国1，郑丹青1，翟其清2

(1.南京邮电大学 理学院，江苏 南京 210046；2.南京邮电大学 通信与信息工程学院，江苏 南京 210003)

观测矩阵的设计是压缩感知(CS)理论的核心问题。基于压缩感知理论,可通过降低观测矩阵同稀疏变换基间的相关性和增大观测矩阵独立性的方式来优化观测矩阵。基于此提出一种新的优化方法。用梯度下降法处理Gram矩阵，降低其非对角线元素;对得到的观测矩阵进行QR分解。对所得到的观测矩阵进行仿真实验,以此来检验该算法的有效性。仿真实验结果表明，该方法在提高峰值信噪比和重构稳定性方面较为理想，尤其当压缩比取0.30左右时，相对比未经优化的观测矩阵，峰值信噪比有相当显著的提高，约提升67%。

压缩感知；观测矩阵；梯度下降法；QR分解

0 引 言

以Donoho为首的研究人员在前人研究基础上，于2003年提出一种信号采样与压缩同时进行的理论—压缩感知(Compressive Sensing,CS)[1-2]。该理论的信息处理方式将会大幅降低信息采集量、缩短信息采集时间和节约信息存储空间。由于诸多优点，该理论迅速引起了各科研和实用机构的重视，并不断发展。CS理论的重点是信号的准确采样及其精确重构。因此观测矩阵的合理构造就成为研究重点。

依据CS理论，观测矩阵应满足以下两方面性质：

(1)列向量必须具备一定的独立性，且独立性越大越好[1]；

(2)约束等距性[3]，即观测矩阵与稀疏变换基的非相关性[4]，这与信号能够重构的精确程度有很大关系。

有研究表明，当观测矩阵同稀疏矩阵相关性足够小时，信号测量值数目逐渐逼近理论值，且同时满足重构原始信号的精确性要求[5]。故国内外关于优化观测矩阵的研究重点是增大观测矩阵列向量独立性和降低观测矩阵同稀疏矩阵间的相关性。

目前关于增大测量矩阵列向量独立性的研究有QR分解法[6]和基于奇异值分解法[7-8]。文献[9]引入相关系数μ这一概念，以此表示观测矩阵列向量与稀疏字典列向量之间内积的最大值(即两矩阵的最大相关性)。

关于减小观测矩阵同稀疏矩阵间相关性的主要方法有：特征值分解法减小相关系数或使Gram矩阵逼近单位矩阵[10-11]；有效投影法构建观测矩阵[12]；阈值缩放处理减小非对角线元素[13]；梯度下降迭代法处理Gram矩阵，使其逼近单位矩阵[14-15]等。

为获得压缩比较小且信号重构更精确的观测矩阵，文中将用于降低观测矩阵与稀疏矩阵相关性的梯度下降法和用于增加观测矩阵列独立性的QR分解相结合，进一步优化，并在实验上对该方法可行性进行验证。

1 压缩感知理论简介

压缩感知，是给定一个可压缩或稀疏的原始信号，通过某个特定矩阵将其投影到一个低维空间上，再利用一定的重建算法重构出原始信号[1]。具体如下：

(1)

常见的稀疏变换有离散余弦变换、小波变换及傅里叶变换等。文中采取小波变换。

y=Φx

(2)

将式(1)代入到式(2)中，整理得：

y=Φx=ΦΨλ=Dλ

(3)

其中，矩阵Φ和D=ΦΨ均是M×N矩阵，分别称为观测矩阵和传感矩阵。

2 观测矩阵优化设计

目前，现有的观测矩阵均有一定缺陷，如随机矩阵具有不确定性且不容易硬件实现，托普利兹矩阵和轮换矩阵列向量之间有很大相关性等等。观测矩阵的研究热点在于:寻求具有更小压缩比且稳定性较好的观测矩阵。

为得到更加稳定的重构效果，文中为满足观测矩阵与稀疏基间相关性和观测矩阵列向量独立性的要求，提出一种基于梯度下降法与QR分解结合的优化方法。

2.1 基于梯度下降法降低相关性

(4)

由于梯度下降法处理矩阵能得到更优结果，故再继续使用该方法来处理Gram矩阵，以此达到降低Gram矩阵非对角线的元素大小、使其逐渐逼近单位矩阵的目的。理想情况下，当矩阵除对角线元素外所有元素全为零时，相干系数为0。采取以下方法优化Gram矩阵，使其逼近单位矩阵。

(5)

(6)

由推导知，当矩阵满足式(6)时，μ最小。

定义误差函数：

(7)

根据文献[15]：

(8)

(9)

2.2 QR分解增大列独立性

根据CS理论，信号重构所需的测量数目与重构矩阵的列独立性有很大关联—其列独立性越大，所需测量数目越少。同时，观测矩阵的列独立性又与其最小奇异值也有很强的关联性。具体关系为：矩阵的最小奇异值越大，矩阵的列独立性越大，但同时最小奇异值必须满足大于一个非负常数的条件[1,14]。因此，是否能在不改变测量矩阵其他性质的条件下增大测量矩阵的最小奇异值就成了提高重构矩阵性能的关键。

2.3 矩阵优化

为得到一个与稀疏矩阵相关性较小且列独立性较大的观测矩阵，文中以高斯矩阵为原始矩阵，对其做优化处理。具体过程如下：利用高斯矩阵构造Gram矩阵，用梯度下降法对得到的Gram矩阵做进一步处理使其逼近单位矩阵，把通过迭代优化后的矩阵进行反向求解，得到初始观测矩阵，再用QR分解法处理该矩阵得到性能更优的矩阵；以上述步骤得到的矩阵为初始矩阵重复上述过程，当迭代次数达到一个界值时，得到最终观测矩阵，并输出。具体的矩阵优化步骤如下所示：

输入：稀疏矩阵Ψ，迭代步长η，迭代次数K；

初始化：Φ为一个任意的随机矩阵，D=ΦΨ；

循环：k=1∶K；

对Φ1进行近似QR分解优化：即先对Φ1进行QR分解，得到Φ1=QR。其中，Q为正交阵，R为上三角矩阵。然后将R中的非对角线元素设置为零，得到R1；最后根据Φ2=QR1求得进一步更新的矩阵Φ2。再根据D=Φ2Ψ，依次循环

3 仿真结果与分析

为证实提出优化方法的优越性，采用Matlab标准图像库中256*256Lena图像进行仿真实验。得到的实验结果分别与未经任何处理的原始高斯矩阵、仅进行梯度下降法处理的高斯矩阵[15]和仅进行QR分解处理的高斯矩阵[6]的仿真实验结果进行对比。在文中所进行的压缩感知算法中，取高斯矩阵为初始矩阵，选取小波变换为稀疏变换，以正交匹配追踪(OrthogonalMatchingPursuit，OMP)算法作为重构算法，文中压缩比取0.30、0.35、0.40、0.45、0.50、0.55、0.60，经仿真实验后，得到不同压缩比下的峰值信噪比，与前述三种算法所得峰值信噪比进行比较。仿真结果检验共分为两个部分：(1)不同压缩比下，4种观测矩阵所得重构结果的精度比较;(2)相同压缩比下，4种观测矩阵所得重构结果的精度比较。

3.1 不同压缩比的比较

由于重构精度可以用峰值信噪比来表示，故通过比较在不同压缩比下、经不同优化方法处理所得观测矩阵的峰值信噪比来检验文中所提优化方法的优化效果。由于观测矩阵的选取具有随机性，故在相同压缩比下同一种优化方法所得峰值信噪比存在差异，所以文中取30次平均统计的结果为最后结果。4种观测矩阵在不同压缩比时的Lena图像重构峰值信噪比如表1所示。

表1 不同压缩比下的PSNR

由表1可知，文中优化相比于梯度下降法优化的峰值信噪比有明显提高，与QR优化相比，平均每次提高约0.5 dB，尤其当压缩比为0.30、0.40、0.50、0.60时,Lena的PSNR比未优化方法的PSNR提高情况分别约为10.5 dB、3.8 dB、3.8 dB和2.9 dB。通过比较可知，随着压缩比的增大，文中优化方法优势越来越弱，即压缩比越小,文中优化方法优势越明显。图1为4种观测矩阵在不同压缩比下的峰值信噪比(Peak Signal Noise Ratio，PSNR)。

图1 不同压缩比下4种观测矩阵的重构信号信噪比

由图1可知，将采取文中方法优化后的观测矩阵用于图像重构，所得PSNR值均大于只进行QR优化处理和梯度下降优化处理的观测矩阵所得到的PSNR值，同时，相比于原始观测矩阵，其提升效果更加明显。这表明文中优化方法可提高重构精度，改善重构质量。

3.2 算法重构稳定性

因为文中所采取的优化算法不仅降低了稀疏矩阵与观测矩阵间的相关性，而且同时增大了观测矩阵的列独立性，所以相对于其他3种算法，该算法具有更好的稳定性。如前文所述，相同压缩比下同一种优化方法所得峰值信噪比存在差异，故文中将同种压缩比下重构精度随着观测次数变化而变化的规律用折线图形式呈现。图2和图3分别为压缩比取0.30和0.60时对Lena图像进行观测重构后，峰值信噪比随观测次数变化而变化的折线图。

图2 压缩比为0.30的PSNR图

图3 压缩比为0.60的PSNR图

由图2、图3可看出，文中优化方法PSNR始终大于其他3种方法，且其波动性相比其他3种方法的波动性较小，稳定性较好。另外，随着压缩比的增大，其他方法的仿真稳定性也会有所提高，比较接近于文中优化方法的稳定性。由上述分析可知：在压缩比较小的情况下，相对于其他算法，文中提出的优化处理方法不仅信号重构具有更高精度，而且信号重构更加稳定。图4展示了Lena在0.50压缩比的情况下，不同算法的信号重构效果。

图4 4种不同优化方法的重构图

从图4可以看出，图(b)和(c)比较模糊，图(e)相对于图(d)在嘴巴和鼻子细节上重构效果较好，图(e)的重构效果最好。同时，再加上峰值信噪比的对比结果，文中所采用的优化方法具有最高峰值信噪比。综上所述，在相同压缩比的情况下，所提优化方法信号重构质量最好。

4 结束语

文中给出一种基于梯度下降法的QR分解优化方法，得到较优的观测矩阵。该矩阵具有较大的列独立性，同时与稀疏矩阵间相关性较低。通过仿真检验可知：当压缩比取0.50时相对于仅进行QR优化和仅进行梯度下降优化的观测矩阵，采取所提优化方法用于图像重构的峰值信噪比分别提高了1.5 dB和3.1 dB,而相对未优化的观测矩阵，其提升幅度更大；尤其当压缩比较小时，提出的优化方法在信号重构方面具有更加明显的提升效果。另外，该方法在稳定性方面也有较大优势。文中的研究工作还有许多待改进的地方，例如进一步减小观测矩阵与稀疏矩阵间的相关性，采用更少的观测数目以及减少重构时间得到更精确的重构效果等。

[1] Donoho D.Compressed sensing[J].IEEE Transactions on Information Theory,2006,52(4):1289-1306.

[2] Candes E.Compressive sampling[C]//Proceedings of the international congress of mathematicians.Madrid,Spin:[s.n.],2006:1433-1452.

[3] Candes E J,Tao T.Near optimal signal recovery form random projections:universal encoding strategies?[J].IEEE Transactions on Information Theory,2006,52(12):5406-5425.

[4] Baraniuk R G.A lecture on compressive sensing[J].IEEE Signal Processing Magazine,2007,24(4):118-121.

[5] 徐 静,王彩云.压缩感知测量矩阵优化混合方法[J].深圳大学学报:理工版,2014,31(1):58-62.

[6] 傅迎华.可压缩传感重构算法与近似QR分解[J].计算机应用,2008,28(9):2300-2302.

[7] 彭玉楼,何怡刚,林 斌.基于奇异值分解的压缩感知噪声信号重构算法[J].仪器仪表学报,2012,33(12):2655-2660.

[8] 郑 晓,薄 华,孙 强.QR分解与特征值优化观测矩阵的算法研究[J].智能系统学报,2015,10(1):149-155.

[9] Donoho D L,Stark P B.Uncertainty principles and signal recovery[J].SIAM Journal on Mathematical Analysis,1989,49(3):906-931.

[10] 赵瑞珍,秦 周,胡绍海.一种特征值分解的测量矩阵优化方法[J].信号处理,2012,28(5):653-658.

[11] Duarte-Cavajalino J M,Sapiro G.Learning to sense sparse signals:simultaneous sensing matrix and sparsifying dictionary optimization[J].IEEE Transactions on Image Processing,2009,18(7):1395-1408.

[12] Nhat V D M,Vo D,Challa S,et al.Efficient projection for compressed sensing[C]//Proceedings of the computer and information science.[s.l.]:IEEE,2008:322-327.

[13] Elad M.Optimized projections for compressed sensing[J].IEEE Transactions on Signal Processing,2008,55(12):5695-5702.

[14] Abolghasemin V,Ferdowsi S,Makkiabadi B,et al.A robust approach for optimization of the measurement matrix in compressed sensing[C]//International workshop on cognitive information processing.Elba Island:IEEE Press,2010:388-392.

[15] Abolghasemin V,Ferdowsi S,Makkiabadi B,et al.On optimization of the measurement matrix for compressive sensing[C]//Signal processing conference.[s.l.]:IEEE,2010:427-431.

Optimization of Measurement Matrix Based on Gradient Descent Method and QR Decomposition

LAN Ming-ran1,WANG You-guo1,ZHENG Dan-qing1,ZHAI Qi-qing2

(1.College of Science,Nanjing University of Posts and Telecommunications,Nanjing 210046,China; 2.College of Telecommunications & Information Engineering,Nanjing University of Posts and Telecommunications,Nanjing 210003,China)

The design of the measurement matrix is the core of the theory of Compressive Sensing (CS).Based on the CS,the performance of the measurement matrix is improved by the way which is that the correlation between the measurement matrix and sparse transformed matrix is reduced and that the column independence of the measured matrix is increased.Depending on this,a method to improve the performance of the observation matrix is proposed.The Gram matrix is processed by the gradient descent method to reduce non-diagonal elements and the matrix obtained from the last step is dealt by the QR decomposition.The simulation experiment is carried out on the measurement matrix to test the validity of the algorithm.The result shows that the measurement matrix dealt by this method has better performance in Peak Signal-Noise Ratio (PSNR) and stability of reconstruction especially when the compression ratio is 0.30,and the PSNR of this matrix is 67% higher than the matrix without any treatments.

compressive sensing;measurement matrix;gradient descent method;QR decomposition

2016-03-12

2016-06-15

时间：2017-01-04

国家自然科学基金资助项目(61179027)

兰明然(1992-)，女，硕士研究生，研究方向为信号处理理论与应用；王友国，教授，博士生导师，研究方向为信息理论及应用、编码理论与应用、随机共振理论与研究。

http://www.cnki.net/kcms/detail/61.1450.TP.20170104.1028.058.html

TP301

A

1673-629X(2017)01-0190-05

10.3969/j.issn.1673-629X.2017.01.043