基于变采样率压缩感知的视频压缩研究*

李如春，李　林，常丽萍

（浙江工业大学 信息工程学院，浙江 杭州 310023）

基于变采样率压缩感知的视频压缩研究*

李如春，李林，常丽萍

（浙江工业大学 信息工程学院，浙江 杭州 310023）

业界分块视频压缩感知通常对所有图像块均采用相同的测量矩阵进行测量，这种方式未考虑到视频中不同区域的变化程度不同的事实。在视频帧间相关性的基础上提出一种自适应分配采样率的方法，即在编码端根据图像块的帧间相关性大小分类并分配不同的采样率；在解码端使用全变差算法以充分利用帧间相关性。为减小网络环境影响，此算法不区分参考帧与非参考帧，并对每一帧作相同处理。实验结果表明，该方法能够在较低采样率下重构出较高质量的视频图像，并且缩短计算时间。

压缩感知；视频编码；全变差算法；变采样率；分块

0　引言

压缩感知理论（Compressed Sensing，CS）于2004年由Candès，Donoho和 Tao等人提出，2006年 Candès等人从数学上证明压缩传感可以从部分傅里叶变换系数中精确重构出原始信号,奠定了压缩感知的理论基础[1-2]。压缩感知理论的基本思想为，如果某个变换域下信号是稀疏的,那么使用与该变换算子不相关的测量矩阵对原始信号投影,就可以通过稀疏优化算法从少量测量值中高概率地重构出原始信号。

基于压缩感知的视频压缩，通常把整帧图像作为一个整体进行处理，由此使得测量矩阵需要非常大的存储空间，并且增加了重构过程的复杂度。为此，Gan于2007年提出一种分块采样模式，将单帧图像分块并对每一块采用相同的测量矩阵采样[3]，但这种采用相同采样率的分块模式忽略了每个块具有不同复杂度的事实，为了克服这一缺陷，文献[4-5]提出了率失真优化法、像素熵方法对块进行分类并分配不同的采样率的方法，文献[6]又提出一种易于用硬件实现的自适应测量率方法。但这些方法在处理过程中需要获取图像原始数据，违背了压缩感知中采样与压缩同步进行的基本精神。

综上，本文提出一种简便且有效的基于变采样率的分块视频压缩感知方法，使用全变差(Total Variation，TV)算法重构压缩视频，并且不区分关键帧与非关键帧，避免因网络环境不稳定造成参考帧的丢失，造成无法重构视频的后果。

1　分块自适应测量率压缩感知算法

由于视频的不同区域具有不同场景复杂度和变化强度，据此，本文根据分块视频帧间的变化程度合理分配采样率，即变化程度较小的块分配较低的采样率，变化程度较大的块分配较高的采样率，并将视频块分成近似静止块、缓慢变化块和快速变化块3类，这样保证了在较低的总采样率下仍能较高质量地重构视频图像[7]。具体处理流程如图1所示。

图1　基于变采样率压缩感知的视频处理流程

进行自适应测量率设定时，首先选取合适的块大小B，将视频帧不重叠分块得到K个B×B大小的块，然后利用相同的测量矩阵进行预采样，得到每个图像块的测量向量。由于视频场景复杂度和变化强度与帧间像素的差值直接相关，因此，可以根据残差能量进行视频块的分类，即分类判别标准设定为：

上述方法需要在采集端获得原始数字图像，这在实际的压缩成像设备中无法实现。为了克服这一缺陷，采用测量域的残差能量密度作为判别标准，具体如式(3)所示。

为确保式(3)能够准确分类，需要对块进行预采样得到测量向量，保证测量向量能够提供足够的信息量，使得其能够正确反映当前块的变化程度，但预采样率太高会影响采样速度，加大存储硬件的实现难度[9]以及采样时间。因此，要选择合适的预采样率，保证能够实现准确分类，并且避免影响采样速度。

2　重构算法

压缩感知的重构算法很多，主要有贪婪迭代算法和凸优化算法两大类，其中全变差(TV)算法[10]是凸优化算法中较为典型的一种，虽然重构速度较慢，但重构效果好，其基本思想是基于梯度的二维信号重构。TV算法以信号的稀疏性为基础，对粗糙的初值图像进行连续迭代，逐步减小误差直至恢复出最小误差信号。定义大小为n×n的图像数据用U表示，i和j分别表示图像的行坐标与列坐标，则可以用 Ui，j表示坐标点的像素值，图像的水平与垂直一阶微分算子表示如下：

由于TV算法是以梯度算法为基础，图像中的导数可以用相邻像素间的差值表示，因此要求出图像在水平与竖直方向的导数，并以这两个方向的导数判断图像的最快变化方向，并以最快变化的反方向作为梯度的搜索方向，从而最快逼近原始图像，结束迭代过程。

由式(4)、(5)得出离散梯度向量，可表示如下：

由全变差的定义以及以上3个公式，可得知全变差值为所有像素离散梯度向量模的总和，如下式：

二维图像信号每个像素的总变差梯度为：

迭代过程中，迭代阈值可以设为全变差的值，当迭代值低于阈值时可认为重构出原始图像[11－12]。

基于上述TV重构算法的思想，利用其进行图像重构时，像素梯度即为帧间残差，可以无需选取关键帧，对每一帧做相同的处理，更适合无线视频的压缩处理。

3　实验结果

本文基于MATLAB软件平台，在傅里叶域下测试提出基于自适应采样率的压缩感知方法，采用TV重构算法，对视频序列进行压缩。使用4组标准视频序列测试文中提出的方法性能：Football、Foreman、News、Suzie。Foreman的分辨率为176×144，其余3个序列的分辨率都为352×288。其中Football序列的场景变化较剧烈，其余3个序列变化较缓慢，并且选取每个序列的前50帧图像作为测试对象。

（1）预采样率设定

采用32×32大小的块，由于变采样率方法中需要进行预采样，下面对预采样率的选取进行试验。选用上述4种视频序列作为测试对象，分别设置预采样率从10%～30%，计算视频帧的峰值信噪比PSNR和重构得平均时间，测试结果如表1～表4所示。

从表1中可以看出，采用的预采样率越高，重建效果越好，但是重建所用时间也越多，综合图像 PSNR以及编码时间，本文选取预采样率25%。

（2）变采样率视频压缩

表1　预采样率大小对重建效果与平均时间对比(Football)

表2　预采样率大小对重建效果与平均时间对比(Foreman)

表3　预采样率大小对重建效果与平均时间对比(News)

表4　预采样率大小对重建效果与平均时间对比(Suzie)

视频帧的块大小设置为32×32，固定采样率取45%；关于自适应采样率大小，通过对视频序列进行多次试验选择了一组通用性较强的参数，既可以保证采样率较低，又可以保证重构质量较好，3种类别的块采样率分别设为S1＝10%，S2＝20%，S3＝45%。针对表1～表4所列的测试序列，对固定采样率和变采样率分别基于压缩感知进行视频压缩测试，其迭代次数及PSNR变化结果如图2所示。

观察图2可知，本文提出的自适应采样率方法比固定采样率处理的图像PSNR值提高约3～4 dB，而趋于收敛的重构迭代次数并没有增加。

关于两种方法处理视频图像所消耗的时间，以Foreman前 50帧图像为例，使用固定采样率方法处理所用的平均时间为 264.2 s，自适应采样率方法所需时间略低，约为253.4 s。这是由于自适应变采样率虽然增加了计算能量残差的步骤，但是可以根据不同场景的变化程度和结构复杂度，自适应分配采样率，减少了运算时间。由此可见，在重构质量和时间上，自适应采样率方法性能均较优。

对于内容变化较简单的测试序列，如Foreman序列，自适应采样率方法可以降低采样率，获得较好的重构效果。而对于内容变化较复杂的测试序列，如 Football序列，自适应采样率方法可以提高采样率，在所用时间不会大幅增加的前提下，使得重构效果可以接受。总之，本文提出的自适应采样率方法可以根据视频内容与变化程度自适应地调整采样率，使本文方法应用于不同视频时可以获得较好的重构质量。

图2　固定采样率与自适应采样率压缩效果对比图

4　结论

本文基于压缩感知思想提出一种自适应分配测量采样率的视频压缩方法。在编码端，选取合适的块大小，将图像分成不重叠的相同大小块，按照帧间相关性对图像块进行分类并分配不同的采样率。在解码端采用全变差算法以充分利用帧间相关性，使得视频压缩时不需要参考帧与非参考帧，更适合于无线网络的传输。实验结果表明，本文提出的方法能够在总采样率较低的情况下，重构出较高质量的视频图像，而且重构时间缩短。

[1]CANDES E J，ROMBERG J，TAO T.Robust uncertainty principles：exact signal reconstruction from highly incomplete frequency information[J].IEEE Transactions on Information Theory，2006，52(2)：489－509.

[2]DONOHO D L.Compressed sensing[J].IEEE Transaction on Information Theory，2006，52(4)：1289－1306.

[3]GAN L.Block compressed sensing of natural images[C]. Proceedings of the 15th International Conference on DigitalSignal Processing，Cardiff，UK，2007：403-406.

[4]VIJAYANAGAR K R，LIU Y，KIM J.Adaptive measurement rate allocation for block-based compressed sensing of depth maps[C].Image Processing(ICIP)，2014 IEEE International Conference on.IEEE，2014：1307-1311.

[5]BAI H，ZHANG M，LIU M，et al.Depth image coding using entropy-based adaptive measurement allocation[J]. Entropy，2014，16(12)：6590-6601.

[6]李然，干宗良，崔子冠，等.图像分块压缩感知中的自适应测量率设定方法[J].通信学报，2014，35(7)：77-85.

[7]张秋余，孙媛，晏燕.基于分块自适应压缩感知的可逆水印算法[J].电子与信息学报，2013，35(4)：797-804.

[8]田天.基于帧间相关性的视频压缩感知算法[D].秦皇岛：燕山大学，2013.

[9]练秋生，田天，陈书贞，等.基于变采样率的多假设预测分块视频压缩感知[J].电子与信息学报，2013，35(1)：203-208.

[10]LI C，JIANG H，ZHANG Y.Video coding using compressive sensing for wireless communications[C].IEEE Wireless Communications and Networking Conference.2011：2077-2082.

[11]王田川.压缩感知算法改进及其在图像和视频编码中的应用[D].南京：南京邮电大学，2013.

[12]赵彦孟，宋建新.一种基于压缩感知全变差算法的图像去噪方法[J].电视技术，2014，38(5)：5-8.

Block compressed sensing of video based on variable sampling rates

Li Ruchun，Li Lin，Chang Liping
(School of Information and Engineering，Zhejiang University of Technology，Hangzhou 310023，China)

The current block compressed sensing of video usually uses the same measurement matrix to all image block,this method ignores the fact that the structural complexity and the movement varies from different regions in video.Therefore,an adaptive allocation of sampling rate compressed sensing method is proposed according to the distribution feature of the correlations between neighboring frames.It classified blocks into different types depending on the inter-frame correlation,and adjusted different sampling rate to different blocks,total variation algorithm was used to reconstruct the videos to make fully use of the inter-frame correlation.In order to overcome the network environment,this algorithm didn′t distinguish the reference frame and the non-reference frame,each frame was treated equally.The experimental results show that the method can reconstruct high quality video image under low sampling rate,and with the variable sampling rate measurement method,a higher reconstruction quality can be achieved for the regions containing relatively fast movement.

compressed sensing；video coding；total variation algorithm；variable sampling rates；block

TN911.73

A

10.16157/j.issn.0258-7998.2015.10.040

2013年青年科学基金项目（61304124）

2015-05-10)

李如春（1968-），女，博士，副教授，主要研究方向：微型传感器设计、视频信号处理等。

李林（1990-），通信作者，女，硕士研究生，主要研究方向：基于压缩感知的视频信号处理等，E-mail：270299417@qq.com。

常丽萍（1980-），女，博士，副教授，主要研究方向：通信与信号处理、光纤传感技术等。

中文引用格式：李如春，李林，常丽萍.基于变采样率压缩感知的视频压缩研究[J].电子技术应用，2015，41(10)：147-149，153.

英文引用格式：Li Ruchun，Li Lin，Chang Liping.Block compressed sensing of video based on variable sampling rates[J].Application of Electronic Technique，2015，41(10)：147-149，153.