基于帧间相关性的自适应采样率分块视频压缩感知*
2016-01-27左觅文,常侃,施静兰等
基于帧间相关性的自适应采样率分块视频压缩感知*
左觅文，常侃**，施静兰，覃团发
(广西大学 计算机与电子信息学院，南宁 530004)
摘要：针对现有基于自适应采样率的分块视频压缩感知方案的单帧总采样率不可控的问题，提出了一种新的自适应采样率分配方案。首先，对当前帧图像块进行固定预采样；然后，根据预采样的测量值来估计图像块的变化程度，并计算该图像块与当前帧图像的复杂度比例；接下来，根据复杂度比例分配图像块自适应采样率，并将固定预采样及自适应采样的测量值合并为最终测量值。实验结果表明，与固定采样率算法相比，提出的方案在相同采样率下可获得1 dB左右的峰值信噪比增益。所提方案可获得高质量的重构图像，且总采样率可控，因此增强了自适应采样分块视频压缩感知方案的有效性和实用性。
关键词：视频压缩感知；自适应采样率；帧间相关性
1引言
由Candès和Donoho等人提出的压缩感知(CompressiveSensing,CS)理论[1]突破了香农(Shannon)采样定理的瓶颈。该理论可用远低于奈奎斯特采样定理要求的速率采样信号，并且又能完美恢复信号[2]。压缩感知理论被提出后在信号获取、遥感成像、超分辨率、图像复原、人脸识别、医学图像处理等许多领域得到了应用并受到了广泛的关注。
近年来，视频压缩感知(CompressiveVideoSensing,CVS)技术的出现，使得低复杂度视频信号获取成为可能。同时，一些较为实用的方案，例如分块压缩感知[3]、残差重构方案[4-5]等，则有效地推进了CVS技术的应用进程。CVS方案主要分为视频信号压缩感知测量和视频信号重构两部分。一般测量过程运算量较低，而重构过程则需要迭代求解复杂度相对较高的最优化问题。为了获得更高的重构质量，许多学者都致力于重构算法的研究，许多的重构算法被提出，常见的有迭代阈值法、贪婪算法、凸优化算法等。然而，在测量过程中能否合理地分配采样率也会影响到重构质量。基于此，自适应采样率视频压缩感知系统被提出，目前国内外已有学者提出了不同的自适应采样率方案，例如GarrettWarnell[6]提出的自适应采样率方案将图像分为前景和背景，根据关注度的不同分配不同的采样率，但是这种方案牺牲背景的重构质量，对整个视频重构质量的提高没有起到太大的作用。武明虎等[7]提出的自适应方案根据视频信号本身的局部稀疏度和远程稀疏度自适应分配采样率，但是该算法重构得到的质量不是很理想。基于帧间相关性，练秋生等[8]提出了新的自适应采样率方案，通过阈值将视频图像分为三种不同的块：近似变化块、缓慢变化块、快速变化块，并给它们分配不同的采样率。此方案在提高了图像重构质量的同时并未明显增加算法复杂度，算法有效性有了明显的提升。但是，该方案的阈值不能根据序列自适应调整，在一定程度上影响了算法的性能。我们在文献[8]的基础上，通过综合应用序列内的空间、时间相关性，实现了不同种类图像块的自适应分类[9]。但是，上述所有自适应采样方案，均无法在给定的目标采样率下实现各图像块的自适应采样率分配，也即总采样率不可控。因此，在实际传输带宽受限的情况下上述变采样率方案是不实用的。
为了进一步提升变采样率方案的实用性，本文提出了一种基于帧间相关性的自适应采样率分配方案，将图像块采样分为固定预采样部分与基于图像块复杂度比列的自适应采样部分，能够在给定总采样率的条件下实现各图像块的采样率自适应分配，以适应各类实际传输环境。
2自适应采样率分配视频压缩感知方案
2.1算法总体框架
为实现总采样率可控，本文提出一种基于帧间相关性的两级自适应CVS框架，如图1所示。该框架中，对参考帧采用固定采样率测量，对非参考帧采用变采样率测量。对于某给定非参考帧，总的测量值包括固定采样率测量值以及自适应采样率测量值。假设非参考帧图像块的平均采样率为S，则有S=F+A，其中F为固定采样率，A为平均自适应采样率。
图1 基于帧间相关性的自适应采样率分块视频压缩感知方案
2.2参考帧的测量
Yt=ΦBXt。
(1)
式中，Xt∈Rn×N、Yt∈Rm×N的每一列向量分别代表各个块的像素向量和测量向量，m/n是采样率。
参考帧将用于后续非参考帧的估计，因此其重建质量影响着整个视频序列的有效重建。在提出方案中，对参考帧采用固定高采样率进行测量，以保证其重建质量。
2.3非参考帧的自适应测量
2.3.1衡量图像块的变化程度
(2)
但是在实际的视频压缩感知系统中，仅已知视频像素的测量值而未知原始的视频像素值，因此不能采用公式(2)来判断帧间相关性大小。借鉴文献[8]的方案，采用前后帧相同位置图像块的测量值的残差能量大小来判断图像块的变化程度：
(3)
2.3.2图像块采样率的自适应分配
在固定预采样阶段，给各图像块分配固定采样率F来获得预测量值。固定采样率不仅能确保最低视频帧重构质量，还可以用于估计图像块的变化程度。自适应采样率分配如下:
Ai=Wi×N×A。
(4)
非参考帧的重构质量不仅跟测量值的多少成正比，而且还受到它与参考帧之间差别的影响。基于此考虑，本文提出如下公式来计算Wi的值：
(5)
2.3.3总测量向量的生成
本文设定固定采样率和自适应采样率如下：
F=C×S，
(6)
A=(1-C)×S。
(7)
式中，C是分割参数。为了确保固定采样部分的测量值能够真实地反应非参考帧与参考帧的差异，C值不应该设定过小。当整个采样率S较大时，可将参数C设置小值；反之，应将参数C设置大值以保证最基本的重构质量。
(8)
(9)
可以发现，固定预采样率测量值是最终测量值中的一部分，并且这部分测量值用于重构图像，这样可以避免造成测量值的浪费，同时也降低了整个系统的计算复杂度。
3视频压缩感知实施流程
在发送端，对单个非参考帧的自适应采样流程如图2所示。
图2非参考帧的自适应采样流程
Fig.2Adaptivesamplingalgorithmfornon-referenceframes
流程具体描述如下：
步骤1：将图像分成N个B×B大小的图像块，并且令i=1；
步骤2：对第i块图像块进行固定预采样率F采样；
步骤3：根据公式(3)计算测量值的残差能量作为判断该块的变化程度的依据；
步骤4：根据公式(4)和公式(5)来分配自适应部分的采样率Ai；
步骤6：如果 i≥N 则结束整个压缩采样过程；否则，令 i=i+1，重新执行步骤2。
在接收端，对参考帧各图像块进行直接重构，对非参考帧中各图像块采用多假设预测重构算法[5]进行重构。
4实验结果
我们对CIF格式的container、news、flower、city、football、bus这6组标准视频序列进行仿真实验。对于每一组序列，分块的大小B为8，参考帧的采样率为0.5，非参考帧的采样率S取值0.1、0.2、0.3、0.4、0.5，阈值C为0.5，残差重构采用离散小波域(DiscreteWaveletTransform,DWT)下基于块的SPL方法(Block-BasedCSwithSmoothedPLReconstruction，BCS_SPL)[10]。
将本文算法简称为ASIFC(AdaptiveSamplingbasedonInter-FrameCorrelation)，图3展示了ASIFC针对6个测试序列在5个采样率下非参考帧重建图像的平均峰值信噪比(PeakSignaltoNoiseRatio，PSNR)，作为比较基准，在图中也同时列出了文献[5]提出的多假设预测固定采样率(简称MH-SPL)的性能。从图中可知,与固定采样率MH-SPL相比，本文方案加入了帧间相关性，根据图像块不同的变化程度合理分配采样率，在相同采样率下获得比MH-SPL更高的PSNR。
(a)container
(c)flower
(e)football
图4为container序列部分主观质量重构效果图，可以看到本文方案中该序列主要运动的船体部分重构质量明显提高，船体边缘的块效应明显降低。从图5中我们可以看到本文方案ASIFC有效提高了news序列的主要运动区域的重构质量。可见本文方案根据图像块的变化程度来分配采样率的方案是有效的，能够在一定程度上抑制块效应的产生，提高视频的重构质量。
图4 0.1采样率下“container”序列重构结果
图5 0.2采样率下“news”序列重构结果
为了进一步验证提出的自适应方案的性能，本文还与文献[8]提出的方案VS-MHFP1作比较。其中本文方案ASIFC与VS-MHFP1中的各个参数与前述实验参数设置保持一致。此外，VS-MHFP1的5个阈值参数按照文献[8]设定为l1=0.003、l2=0.15，S1=0.05、S2=0.2、S3=0.5，其中l1、l2为判定非参考帧图像块的阈值，小于l1的图像块为近似不变块，大于l2的图像块为快速变化块，介于l1与 l2之间的图像块为缓慢变化块，S1、S2、S3分别为近似不变块、缓慢变化块、快速变化块的采样率。
表1为两种方案下非参考帧重构质量对比。从表1中可以观察到：
(1)本文方案ASIFC中，变化比较缓慢的序列container、news、flower的重构质量差于VS-MHFP1，原因在于，VS-MHFP1方案不考虑总采样率是否可控，针对不同序列，由VS-MHFP1算法生成的总采样率差异很大(例如container和bus)；但是，带来的好处是，给予各图像块自适应分配采样率的自由度较高。相比之下，本文算法虽无需事先设定多个阈值，但是各帧采样率可控，且为了保证最低重建质量而设置了固定采样率部分，因此在一定程度上限制了各图像块分配采样率的自由度。特别是在测试变换缓慢的序列时，由于固定采样率部分的存在，使得自适应部分的可调整空间较为有限；
(2)针对变化比较快的序列city、football、bus，本文方案的重构质量相对VS-MHFP1 有0.5dB左右的峰值信噪比增益，原因在于，VS-MHFP1根据阈值强制性地将图像块分为近似不变块、缓慢变化块、快速变化块3类，并分配不同的采样率。由于阈值不能根据序列特性自适应分配，在本实验给定的阈值下，VS-MHFP1方案对city、football、bus序列的采样率分配不够合理。另一方面，本文算法的固定采样率部分保证了各图像块的最低重构质量，且各图像块的复杂度计算自适应进行，无需通过阈值判定，因此获得了更好的重建质量。
表1 非参考帧重构PSNR比较
5结束语
本文提出了一种基于帧间相关性的自适应采样率分块视频压缩感知方案，通过帧间相关性的大小自适应分配图像块的采样率。根据实验结果可知，本文提出的方案能够获得比现有固定采样率方案MH-SPL更高的重构质量，而跟现有的自适应采样率方案VS-MHFP1相比，虽然在较低的单帧总采样率下，重构质量会受到视频图像块的自适应采样自由度的影响而降低，但是在较高的单帧总采样率下能够提高视频的重构质量。另外，本文方案解决了现有自适应采样率方案中总采样率不可控这一问题，在算法实用性上强于已有的其他算法。下一步工作的重点将研究视频压缩感知重构方案。
参考文献：
[1]Candes E,Rober J，Tao T.Roubust uncertainty principles: exact signalreconstru-ction from highly incomplete frequencyinformation[J].IEEE Transactions on Information Theory,2006,52(2): 489-509.
[2]石光明,刘丹华,高大化，等.压缩感知理论及其研究进展[J].电子学报，2009，37(5): 1070-1081.
SHI Guangming，LIU Dahua，GAO Dahua，et al,Advances in Theory and Application of Compressed Sensing[J].Acta Electronica Sinica,2009,37(5):1070-1081.(in Chinese)
[3]Gan L.Block compressed sensing of natural images[C]//Proceedings of the 15th International Conference on Digital Signal Processing.Cardiff,UK：IEEE,2007: 403- 406.
[4]常侃，覃团发，唐振华.基于多重假设的视频压缩感知分层重建[J].数据采集与处理，2013，28(6):732-738.
CHANG Kan,QIN Tuanfa,TANG Zhenhua.Multi-hypothesis Based Hierarchical Reconstruction for Compressed Video Sensing[J].Journal of Data Acquisition and Processing，2013，28(6):732-738.(in Chinese)
[5]Tramel E W,Fowler J E.Video compressed sensing with multihypothesis[C]//Proceedings of the IEEE Data CompressionConference.Snowbird,UT:IEEE,2011: 193-202.
[6]Warnell G,Reddy D, Chellappa R.Adaptive rate compressive sensing for ba-ckground subtraction [C]//Proceedings of 2012 IEEE International Conference on Acoustics,Speech,and Signal Processing. Kyoto:IEEE,2012:1477-1480.
[7]武明虎,朱秀昌.自适应采样率分配的分布式压缩感知视频编码[J].南京邮电大学学报,2013,33(1): 62-67.
WU Minghu,ZHU Xiuchang.Dynamic Measurement Rate Allocation for Distributed Compressive Video Sensing[J].Journal of Nanjing University of Posts and Telecommunications,2013,33(1):62-67.(in Chinese)
[8]练秋生，田天，陈书贞，等.基于变采样率的多假设预测分块视频压缩感知[J].电子与信息学报，2013，35(1):203-208.
LIAN Qiusheng,TIAN Tian,CHEN Shuzhen,et al.Block Compressed Sensing of Video Based on Variable Sampling Rates and Multihypothesis Predictions[J].Journal of Electronics & Information Technology,2013,35(1):203-208.(in Chinese)
[9]左觅文，常侃，施静兰，等.基于空时相关性的变采样率分块视频压缩感知[J].电讯技术，2013，53(11):1489-1493.
ZUO Miwen,CHANG Kan,SHI Jinglan,et al.Adaptive block compressive video sensing scheme based on spatial-temporal correlation[J].Telecommunication Engineering,2013,53(11) :1489-1493.(in Chinese)
[10]Mun S,Fowler J E.Block compressedsensing of images using directional tra-nsforms[C]//Proceedings of 2009 International Conference on Image Processing.Cairo,Egypt:IEEE,2009: 3021-3024.
左觅文(1991—)，女，湖北孝感人，广西大学硕士研究生，主要研究方向为压缩感知、视频编码；
ZUO Miwen was born in Xiaogan,Hubei Province，in 1991.She is now a graduate student.Her research concerns compressed sensing and video coding.
Email：miwenzuo@163.com
常侃(1983—)，男，广西南宁人，2010年于北京邮电大学获博士学位，现为广西大学计算机与电子信息学院副教授，主要研究方向为压缩感知和视频编码与传输；
CHANG Kan was born in Nanning,Guangxi Zhuangzu Autonomous Region，in 1983.He received the Ph.D. degree from Beijing University of Posts and Telecommunications in 2010.He is now an associate professor.His research interests include compressed sensing,video coding and transmission.
Email：pandack0619@163.com
施静兰(1990—)，女，广西南宁人，广西大学硕士研究生，主要研究方向为压缩感知和稀疏表示；
SHI Jinglan was born in Nanning,Guangxi Zhuangzu Autonomous Region,in 1990.She is now a graduate student.Her research concerns compressed sensing and sparse representation.
Email：hui7154@163.com
覃团发(1966—)，男，广西宾阳人，1997年于南京大学获博士学位，现为广西大学计算机与电子信息学院副院长、教授、中国电子学会高级会员、中国通信学会高级会员，主要研究方向为无线多媒体通信、网络编码、视频编码和图像检索。
QIN Tuanfa was born in Binyang,Guangxi Zhuangzu Autonomous Region,in 1966.He received the Ph.D. degree from Nanjing University in 1977.He is now a professor and vice Dean of School of Computer and Electronic Information,Guangxi University.He is also a senior member of China Institute of Electronics and China Communication Institute.His research interests include wireless multimedia communications,network coding,video encoding and image retrieval.
Email：tfqin@gxu.edu.cn
引用格式：左觅文，常侃，施静兰，等.基于帧间相关性的自适应采样率分块视频压缩感知[J].电讯技术，2015,55(4):360-365.[ZUOMiwen,CHANGKan,SHIJinglan,etal.AdaptiveRateBlockCompressiveVideoSensingBasedonInter-frameCorrelation[J].TelecommunicationEngineering,2015,55(4):360-365.]
AdaptiveRateBlockCompressiveVideoSensingBased
onInter-frameCorrelation
ZUOMiwen,CHANGKan,SHIJinglan,QINTuanfa
(SchoolofComputerandElectronicInformation,GuangxiUniversity,Nanning530004,China)
Abstract：The existing adaptive block compressive video sensing(CVS) schemes can not adaptively allocate sampling rate for each image block under a given target sampling rate for the whole frame. Therefore, a new adaptive sampling scheme is proposed. Firstly, a fixed part of sampling rate is allocated to every block in a frame. Secondly, the variation of a block is estimated according to the pre-sampled measurements, and the complexity ratio of this block is also calculated. Afterwards, the adaptive part of sampling rate is allocated according to the complexity ratio of a block, and the final measurements are formed by combining the fixed part and the adaptive part of measurements. Experimental result shows that compared with non-adaptive scheme, the proposed method can get about 1 dB peak signal to noise ratio(PSNR) increment. Since the proposed method can achieve high quality of reconstructed images under any given target sampling rates, it increases the effectiveness and the practicality of the adaptive rate-based block CVS schemes.
Key words：compressive video sensing (CVS)；adaptive sampling rate；inter-frame correlation
作者简介：
中图分类号：TN919.8
文献标志码：A
文章编号：1001-893X(2015)04-0360-06
通讯作者：**pandack0619@163.comCorresponding author：pandack0619@163.com
收稿日期：*2014-10-13；修回日期：2015-04-08Received date:2014-10-13；Revised date：2015-04-08基金项目：国家自然科学基金资助项目(61261023，61401108);广西自然科学基金资助项目(2013GXNSFBA019272);广西教育厅科学研究项目(201203YB001)Foundation Item:The National Natural Science Foundation of China(No.61401108);The Natural Science Foundation of Guangxi(2013GXNSFBA019272); The Foundation of Education Commission of Guangxi(2013YB001)
doi:10.3969/j.issn.1001-893x.2015.04.002
