基于生成模型的块稀疏偏差建模①

2023-01-17斯那雨追余鹏彬王建军

西南师范大学学报（自然科学版） 2023年1期

斯那雨追，余鹏彬，王建军

西南大学数学与统计学院，重庆 400715

传统的信号采样方式是基于Nyquist采样框架实现的，根据香农采样定理，若要从采样的离散信号中无失真地恢复模拟信号，则要求采样速率必须达到信号带宽的两倍以上[1-2]. 然而，在现实世界中，信号采集的成本很高. 为了解决这一问题，文献[3]提出了压缩感知理论，其核心思想是将压缩与采样相结合，突破了香农采样定理的瓶颈，使得高分辨率信号的采集成为可能. 从数学角度出发，压缩感知的核心思想为一个线性测量过程. 选取测量矩阵A∈Rm×n(m≪n)，可以得到信号x的测量信号y. 数学表达式如下：

y=Ax+ε

(1)

为了使得欠定方程有唯一解，即便是在无噪声的情况下，通常需要对未知向量x进行一些结构性假设，最常见的结构性假设是x是稀疏的. 如果信号在某一个正交空间具有稀疏性，就能以较低的频率采样该信号，并可能以高概率精确重建该信号. 经典的变换方法包括离散余弦变换(DCT)[8]、傅里叶变换(FFT)[9]、离散小波变换(DWT)[10]等. 在上述环境中，如果矩阵A满足某些条件，如限制等距性质(RIP)[11]或限制特征值条件(REC)[12]，则可以保证x从y中有效恢复.

s.t.A(G(z)+ω)=y

(2)

在本文中，我们研究了基于生成模型的压缩感知块稀疏偏差模型. 在该方法中，我们使用2.1范数来约束偏差向量，其中G： RkRn是生成函数，ω∈Rn，A∈Rm×n是测量矩阵，y∈Rm是观测向量. 本文关心的模型是

s.t.A(G(z)+ω)=y

(3)

(4)

其中λ是拉格朗日常数. 我们给出了理论结果和仿真，在理论上，本文首先提出了针对块稀疏信号的块约束等距性质(B-RIP)和块有限等距性质(B-S-REC)，如果测量矩阵具有这两个性质，则最优解码的重构误差存在上界. 最后推导出在生成函数条件下以高概率成功恢复所需的测量次数. 在实验方面，为了进一步验证本文提出的Block Sparse-Gen的有效性和优越性，使用两个数据集(MNIST和CelebA)和两个生成模型(VAE和DCGAN)进行了一系列实验. 在测量次数相对较少的情况下，该方法的重建误差远小于基于LASSO的恢复、基于生成模型的恢复和稀疏生成.

1 相关定义

定义1BS(0)={x： ‖x-0‖2.0≤l}，其中

定义2(Block-RIP)对于参数α∈(0， 1) 和一个给定的分块τ={τ1，τ2， …，τN}，如果对于所有的x∈BS(0)满足下面的不等式，则我们说矩阵A∈Rm×n满足B-RIP(，α)，

(5)

定义3(Block-REC)对于参数γ>0和一个给定的分块τ={τ1，τ2， …，τN}，如果对于所有的x∈BS(0)满足下面的不等式，则我们说矩阵A∈Rm×n满足B-REC(，γ)，

‖Ax‖2≥γ‖x‖2

(6)

定义4(Block-S-REC)令S⊆Rn，对于参数γ>0，δ≥0和一个给定的分块τ={τ1，τ2， …，τN}，如果对于所有的x1，x2∈S满足下面的不等式，则我们说矩阵A∈Rm×n满足B-S-REC(S，γ，δ)，

‖A(x1-x2)‖2≥γ‖x1-x2‖2-δ

(7)

2 主要结论及证明

(8)

为了证明引理1，首先定义如下记号. 考虑到要在我们的分析中考虑测量噪声，我们将矩阵A的ε型管集定义为

TA(ε)={ω： ‖Aω‖2≤ε}

(9)

(10)

记

(11)

为了证明引理1，我们先陈述并证明下面的引理2和引理3.

(12)

对于某些给定的常数C0，τ，t≥0. 这样的解码器存在的充分条件由下式给出

(13)

(14)

(15)

这意味着

x-Δ(Ax+ε)∈TA(2εmax)

结合混合范数空间属性，我们有

(16)

(17)

(18)

可以将η写为η=ηT+ηT2+…+ηTs. 再根据η∈TA(ε)，将AηT表达为AηT=-A(ηT2+…+ηTs)+γ，其中‖γ‖2≤ε. 因此，

(19)

根据(18)，(19)两个不等式可以得到

(20)

在两边加上‖η′Tc‖2并根据三角不等式可以得到

(21)

(22)

结合(21)式可得

(23)

引理1的证明结合引理2和引理3，令a=2，b=1，我们可以直接推导出引理1.

(24)

为了证明引理4，我们先阐述下面的引理5和引理6.

(25)

则A至少以1-e-Ω(δ2m)的概率满足B-RIP(l，δ) .

(26)

则A至少以1-e-Ω(δ2m)的概率满足B-S-REC(G(Bk(r))，1-δ，τ) .

(27)

‖G(z1)-G(z′1)‖2≤τ

‖G(z2)-G(z′2)‖2≤τ

(28)

再次由三角不等式，可以得到

(29)

由文献[13]引理8.3，我们有以概率1-e-Ω(m)满足

‖AG(z′1)-AG(z1)‖2=O(τ)

‖AG(z2)-AG(z′2)‖2=O(τ)

将这一事实应用于(29)式，则可以得到

‖AG(z′1)-AG(z′2)+Aυ‖2≤‖AG(z1)-AG(z2)+Aυ‖2+O(τ)

(30)

(1-δ)‖G(z′1)-G(z′2)+υ‖2≤‖AG(z′1)-AG(z′2)+Aυ‖2

(31)

(32)

(33)

以下不等式

(1-δ)‖G(z1)-G(z2)+υ‖2≤‖A(G(z1)-G(z2)+υ)‖2+O(τ)

(34)

至少以1-e-Ω(δ2m)的概率成立. 引理4得证.

结合引理1和引理4，我们可以得到如下所述定理1的结果.

(35)

假设Δ是满足引理1的解码器，则我们至少以1-e-Ω(δ2m)的概率有

(36)

对于任意的x∈Rn， ‖ε‖2≤εmax，其中C0，C1，γ，τ′的定义参见引理1.

3 实验

3.1 实验设置

MNIST数据集中每个图像的大小为28×28像素，并且每个像素值为0或者1. 对于这个数据集，我们根据Block Sparse-Gen 来训练VAE，以恢复原始图像. 由于图像包含单个通道，因此输入尺寸为28×28=784，学习率为0.1，λ=0.1. 在CelebA数据集中，将人脸图像裁剪为64×64像素大小，使每个图像输入的尺寸为64×64×3=12 288，并将每个像素值缩放为[-1， 1]. 对于这个数据集，考虑根据Block Sparse-Gen模型训练一个DCGAN来恢复原始图像，同时会将结果与其他模型和算法进行比较. 对于Block Sparse-VAE，使用LASSO作为基准，并将其与基于生成模型的算法(VAE)和添加了稀疏偏差的生成模型(Sparse-VAE)进行比较. 对于Block Sparse-DCGAN，我们将结果与LASSO的结果进行了比较， LASSO的结果包含两个变换域：二维离散余弦变换和小波变换. 类似地，还将结果与基于生成模型的算法(DCGAN)和添加了稀疏偏差的生成模型(Sparse-DCGAN)进行比较.

3.2 重建结果

为了探索每种算法的重建效果，对于MNIST数据集，我们在图1展示重建的均方误差结果. 可以看出，与理论结果类似，随着采样数的增加，均方误差明显减少，并且Block Sparse-VAE模型相比其他的模型能够更可靠地重构未知样本. 类似地，我们给出了CelebA数据集的恢复结果，如图2所示. 与MNIST数据集类似，本文算法明显优于LASSO等模型. 尤其是当测量次数较少时，具有独到的优势. 图3和图4展示了MNIST数据集在测量次数为80时的恢复效果以及CelebA数据集在测量次数为1 000时的恢复效果. 我们发现除LASSO外，其他方法恢复效果明显较好. 这足以说明一个与理论一致的结果，即在测量次数较少的情况下，基于生成模型的恢复方法的强先验完全优于基于LASSO的稀疏向量恢复方法. 另外可以发现我们提出模型的恢复效果优于其他的模型，显示了所提分块方法的有效性和优越性.