基于空时相关性的变采样率分块视频压缩感知*

2013-06-27左觅文施静兰覃团发

电讯技术 2013年11期

关键词：分块空域时域

左觅文,常侃,施静兰,覃团发

(广西大学计算机与电子信息学院,南宁530004)

基于空时相关性的变采样率分块视频压缩感知*

左觅文,常侃**,施静兰,覃团发

(广西大学计算机与电子信息学院,南宁530004)

现有的基于自适应采样率的分块视频压缩感知方案通常根据时域相关性大小将图像块分为不同种类块,并分别分配不同采样率。这种采样率分配方式对分类判决阈值较为敏感,导致图像分类判决结果不可靠。针对此问题,在对图像块分类判决中综合运用空域-时域相关性,以提高图像块分类判决结果的可靠性。首先根据时域相关性利用阈值对当前图像块进行初次分类;其次利用空域相关性对初次分类结果进行校正,确定最终分类判决结果。与现有变采样率方案相比,提出的方案可获得2 dB左右的峰值信噪比增益。

视频图像处理;压缩感知;时域相关性;空域相关性;变采样率

1 引言

传统的信号采样过程遵循香农(Shannon)采样定理,即采样速率必须大于等于原始信号带宽的2倍。近年来,Donoho和Candes等人提出了压缩感知(Compressive Sensing,CS)理论,以随机采样的方式用远低于香农采样定理要求的速率进行采样,同时在接收端利用信号的先验信息辅助重建信号。压缩感知理论主要有3个组成部分:信号的稀疏变换、稀疏信号的测量及稀疏信号的重建算法[1-2]。

近年来出现了许多视频压缩感知(Compressive video Sensing,CVS)方案,在这类方案中,发送端通常为简单的逐帧独立采样,复杂度较低;收端通常需要利用视频内的空域-时域相关性以及信号的先验信息进行重建。常用的信号重建算法有贪婪算法、凸优化方法、全变差(Total Variation,TV)范数法等。为了在相同的采样率下获取更高质量的重构图像,除了在接收端使用先进的重建算法外,还可以根据图像内容合理分配采样率。目前已有一些学者提出了自适应采样方法,如:武明虎等人提出的自适应方法根据视频信号本身的局部稀疏度和远程稀疏度自适应分配采样率[3],但是,该算法重构质量较低; Akshay Soni和Jarvis Haupt提出的自适应采样方法利用自适应的稀疏信号CS树来自适应进行采样测量[4],但是,该算法的复杂度较高;Garrett Warnell提出的自适应方法,利用了前景与背景关注度不同自适应分配采样率[5],但该方法牺牲了背景的采样率,导致背景的重构质量偏低;练秋生等人提出的自适应方法利用时域相关性大小不同获得自适应采样率[6],但是该方法忽视了单帧图像中图像块间的空域相关性,对分类判决阈值较为敏感,导致图像分类判决结果不可靠。

本文在文献[6]的基础上提出一种基于空时相关性的图像块分类判决方法。该方法在分类判决的过程中首先根据时域相关性利用阈值对当前图像块进行初次分类;其次利用空域相关性对初次分类结果进行校正,确定最终分类判决结果。实验仿真证明,在相同或更低的采样率下,本文提出的方法能够比文献[6]中的方法获得更高质量的重构图像。

2 现有的变采样率分块CVS算法

基于时域的相关性,文献[6]提出了一种基于变采样率的多假设预测分块视频压缩感知。在其方案中,采用分块测量方式[7]对参考帧采用固定的高采样率S3进行测量;对非参考帧根据时域相关性的大小划分为3类图像块:近似不变块、缓慢变化块和快速变化块。其中,时域相关性的大小通过计算测量域的残差能量与参考块能量的比值来确定:

分别为3类图像块分配由低到高的采样率S1、S2、S3,对应的采样点数为M1、M2、M。当前帧总的采样率计算如下:

其中,n2表示非参考帧总像素数点,K表示分块的总个数,K1、K2、K3分别为近似不变块、缓慢变化块以及快速变化块的总数,且K=K1+K2+K3。

在接收端,对参考帧进行独立重构。在重构非参考帧时,首先进行预处理——采用参考帧中相同位置块的测量值补齐非参考帧近似块的测量值至M个采样点;其次,对非参考帧进行多假设预测[8],并对预测测量值与真实测量值的残差进行重构。

上述方法利用时域相关性进行分类判决,从分类判决过程可知,分类判决的结果对阈值l1和l2较为敏感,容易出现不合理的判决。针对该问题,本文提出了一种基于空时相关性的变采样率分块视频压缩感知方法。

3 基于空时相关性的变采样率分块CVS方案

视频信号中,相同帧内的图像块之间具有较强的空域相关性。通常而言,变化程度较小的块的相邻块变化程度也可能较小,反之,变化程度较大的块的相邻块变化程度也很有可能较大。利用空域相关性辅助进行块分类判决操作,可以更为合理地分配采样率。基于该思想,本文提出一种基于空时相关性的变采样率分块CVS方案,如图1所示。

图1 基于空时相关性的变采样率分块视频压缩感知框图Fig.1 Block diagram of adaptive block CVS scheme based on spatial-temporal correlation

可见,与练秋生等人的方法不同,本文在文献[6]方案的图像块分类判决操作(图1中虚线框部分)中加入了空域相关性,将原本仅需根据时域相关性这一个步骤来判断图像块分类增加至两个步骤进行:在第一个步骤中,仍然按照时域相关性进行图像块分类判决;在第二个步骤中,采用空域相关性进行分类判决校正以确保分类的合理性。

在空域相关性分类判决校正步骤中,遍历所有图像块,根据当前图像块的类型对其上、下、左、右4个相邻块进行分类校正。相邻块的位置示意图如图2所示。分类校正过程分为4类情况,下面分别叙述。

(1)当前块为缓慢变化块,其相邻块为缓慢变化块或近似不变块。在此情况下,将该相邻块校正为缓慢变化块。

(2)当前块为快速变化块。在此情况下,将当前块的所有相邻块校正为快速变化块。

(3)在遍历其他图像块时,当前块已由近似不变块校正为缓慢变化块。此情况下,跳过当前块不处理。

(4)其他情况。跳过当前块不处理。

图2 相邻块示意图Fig.2 Diagram of neigboring blocks

在接收端,对视频帧的重构的方法与文献[6]中的方法保持一致。

4 实验结果

为了验证本文提出的基于空域-时域相关性的自适应采样率的重构效果,我们分别利用本文算法(简称为VS-MH-ST)与文献[6]的算法VS-MH对CIF格式的susie、foreman、coastguard、city、football这5组标准视频序列进行仿真比较实验,同时列出了原始MH算法[8]的结果作为比较基准。由于本文的块分类判决结果是经过阈值和帧内相关性两轮判决得出的,所以在时域相关性判决过程中阈值l1不需要选得很小。本文通过对多组视频帧序列进行试验将参数设定为l1=0.02、l2=0.15,S1=5%、S2= 20%、S3=30%,既保证了低采样率,又保证了较高的重构质量。在所有算法的块大小均为8×8。为了获取相近的采样率,文献[6]中方法VS-MH的阈值为l1=0.003、l2=0.15,S1、S2、S3分别为5%、20%、50%。公平起见,VS-MH-ST以及VS-MH中,参考帧和残差的重构均用离散小波域(Discrete Wavelet Transform,DWT)下基于块的SPL方法(Block-Based CS with Smoothed PL Reconstruction,BCS_ SPL)[9]。

表1给出了VS-MH-ST和VS-MH这两种方法的块分类结果。由表1可知:对于快速变化块,在序列susie、foreman、coastguard、city、football中,VS-MH -ST方法判决比VS-MH方法判决的结果依次多0.2%、4.8%、19%、37.3%和24.3%。从序列内容来看,city序列中存在摄像机的整体移动,图像细节变化较大;而football序列中存在大量快速、复杂的运动,因此采用VS-MH-ST方法后,在这2个序列中判决出了更多的快速变化块,与客观事实相符。coastguard序列也存在摄像机的整体平移,因此采用VS-MH-ST后快速变化块明显增多。对于susie、foreman序列而言,前后帧之间的变化不大,因此采用VS-MH-ST后快速变化块没有明显增加。此外,还可观察到,采用VS-MH-ST后部分序列的近似不变块增多,主要是本文为生成相近采样率,令判决阈值l1=0.02所致。

表1 VS-MH与VS-MH-ST中判决块分类的结果Table 1 Result comparison for block classification in VS-MH and VS-MH-ST%

表2给出了两种方法的重构质量的比较。实验结果表明,在参考帧采样率相同的条件下,VS-MHST算法的当前帧采样率比VS-MH更低,却获取了更高的重构质量,说明本文方法的图像块分类判决更为合理。对于运动变化很小的susie、foreman序列,VS-MH-ST方法在比VS-MH低0.02和相等的采样率下,重构质量高出2.2 dB和1.58 dB;对于运动变化中等的coastguard序列,本文方法也将重构质量相对提高了2.02 dB;而对于运动变化比较大的序列city与football,VS-MH-ST方法分别提高了2.06 dB和0.07 dB。图3和图4分别为foreman、coastguard序列的重构效果图。可见本文算法可以显著提升重建图像质量,极大程度地抑制了块效应的产生。

表2 非参考帧重构质量比较Table 2Reconstruction quality comparison for non-reference framesdB

图3 “foreman”序列的局部重构结果Fig.3 Partial reconstruction results for sequence“foreman”

图4 “coastguard”序列的局部重构结果Fig.4 Partial reconstruction results for sequence“coastguard”

为了验证阈值对VS-MH-ST方法实验结果的影响,将VS-MH方法的阈值调整为与本文方法相同,即l1=0.02、l2=0.15,再次对5个序列进行仿真,并将不同参数下的实验结果展示于表3。

表3 不同阈值下VS-MH的非参考帧重构质量比较Table 3 Reconstruction quality comparision for non-reference frames in VS-MH with different thresholdsdB

由表3可知,当调整VS-MH方法阈值l1=0.02时,5个序列的采样率和重构结果均有不同程度的下降。由此可知,改变阈值并不能有效提升重构图像质量,其更多的作用是调整当前帧采样率。这也从侧面印证了表2中数据显示的本文方法较文献[6]方法获得的峰值信噪比增益,是由于本文在对图像块进行分类中加入了空域相关性,从而证明了本文空时联合判决方法的有效性。

本文方案在文献[6]方案中加入了空域相关性,能够更准确地将图像块分类从而更合理地分配采样率。由表1数据可知,对于5个测试序列的分类判决中,本文算法判决的快速变化块数量较文献[6]算法均有提高,说明了本文算法能够更合理地确定快速变化块的数量以及位置,从而能够进一步提升视频帧的重构质量;而近似不变块的数量增长,以及缓慢变化块的减少主要是令判决阈值l1=0.02所致,这也使得本文算法快速变化块增多,但是整体采样率却降低。综上所述,本文算法能在更低的采样率下获得更高的重构质量是在情理之中的事。

5 结论

本文将空域相关性引入自适应采样率的分块视频压缩感知方案。根据实验结果可知,空时相关性方案可以获得比现有变采样率算法更高的重构图像质量,从而证明了本文方案的有效性。需要注意的是,本文方案中分配给视频帧的采样率是自适应的,在视频帧采样前是未知的,不可控制的。因此,下一步的工作重点是进一步改进本文方案,使其在对视频帧进行采样之前就能够控制视频帧采样率的范围,以进一步推进基于空时相关性的分块视频压缩感知方案的实用化。

[1] 焦李成,杨淑媛,刘芳,等.压缩感知回顾与展望[J].电子学报,2011,39(5):1651-1622. JIAO Li-cheng,YANG Shu-yuan,LIU Fang,et al. Development and Prospect of Compressive Sensing[J]. Acta Electronica Sinica,2011,39(5):1651-1622. (in Chinese)

[2] 石光明,刘丹华,高大化,等.压缩感知理论及其研究进展[J].电子学报,2009,37(5):1070-1081. SHI Guang-ming,LIU Dan-hua,GAO Da-hua,et al. Advances in theory and application of compressed sensing [J].Acta Electronica Sinica,2009,37(5):1070-1081.(in Chinese)

[3] 武明虎,朱秀昌.自适应采样率分配的分布式压缩感知视频编码[J].南京邮电大学学报,2013,33(1):62-67. WU Ming-hu,ZHU Xiu-chang.Dynamic Measurement Rate Allocation for Distributed Compressive Video Sensing[J].Jounal of Nanjing University of Posts and Telecommunications,2013,33(1):62-67.(in Chinese)

[4] Soni A,Haupt J.Efcient adaptive compressive sensing using sparse hierarchical learned dictionaries[C]//Proceedings of 2011 Conference Record of the Forty Fifth Asilomar Conference on Signals,Systems and Computers. Pacific Grove,CA:IEEE,2011:1250-1254.

[5] Warnell G,Reddy D,Chellappa R.Adaptive rate compressive sensing for background subtraction[C]//Proceedings of 2012 IEEE International Conference on A-coustics,Speech,and Signal Processing.Kyoto:IEEE, 2012:1477-1480.

[6] 练秋生,田天,陈书贞,等.基于变采样率的多假设预测分块视频压缩感知[J].电子与信息学报,2013,35 (1):203-208. LIAN Qiu-sheng,TIAN Tian,CHEN Shu-zhen,et al. Block Compressed Sensing of Video Based on Variable Sampling Rates and Multihypothesis Predictions[J]. Jounal of Electronics&Information Technology,2013,35 (1):203-208.(in Chinese)

[7] Gan L.Block compressed sensing of natural images [C]//Proceedings of the 15th International Conference on Digital Signal Processing.Cardiff,UK:IEEE,2007: 403-406.

[8] Tramel E W,Fowler J E.Video compressed Sensing with multihypothesis[C]//Proceedings of the IEEE Data Compression Conference.Snowbird,UT:IEEE,2011:193-202.

[9] Mun S,Fowler J E.Block compressed sensing of images using directional transforms[C]//Proceedings of the International Conference on Image Processing.Cairo,E-gypt:IEEE,2009:3021-3024.

ZUO Mi-wen was born in Xiaogan,Hubei Province,in 1991.She is now a graduate student.Herresearchconcernscompressed sensing and video coding.

Email:miwenzuo@163.com

常侃(1983—),男,广西南宁人,2010年于北京邮电大学获博士学位,现为广西大学计算机与电子信息学院副教授,主要研究方向为压缩感知、视频编码与传输;

CHANG Kan was born in Nanning,Guangxi Zhuang Autonomous Region,in 1983.He received the Ph.D.degree from Beijing University of Posts and Telecommunications in 2010.He is now an associate professor.His research concerns compressed sensing,video coding and transmission.

Email:pandack0619@163.com

施静兰(1990—),女,广西南宁人,广西大学研究生,研究方向为压缩感知、稀疏表示;

SHI Jing-lan was born in Nanning,Guangxi Zhuang Autonomous Region,in 1990.She is now a graduate student.Her research concerns compressed sensing and sparse representation.

Email:hui7154@163.com

覃团发(1966—),男,广西宾阳人,1997年于南京大学获博士学位,现为广西大学计算机与电子信息学院副院长、教授、中国电子学会高级会员、中国通信学会高级会员,主要研究方向为无线多媒体通信、网络编码、视频编码和图像检索。

QIN Tuan-fa was born in Binyang,Guangxi Zhuang Autonomous Region,in 1966.He received the Ph.D.degree from-Nanjing University in 1997.He is now a professor and vice Dean of School of Computer and Electronic Information,Guangxi University.He is also the senior member of China Institute of Electronics and China Communication Institute.His research interests include wireless multimedia communications,network coding,video encoding and image retrieval.

Email:tfqin@gxu.edu.cn

Adaptive Block Compressive Video Sensing Scheme Based on Spatial-Temporal Correlation

ZUO Mi-wen,CHANG Kan,SHI Jing-lan,QIN Tuan-fa
(School of Computer and Electronic Information,Guangxi University,Nanning 53004,China)

For most existing block compressed video sensing schemes with adaptive sampling rate,image blocks are divided into different types of block with different allocated sampling rate according to temporal correlation.However,the classification procedure is sensitive to the judgment threshold,which leads to unreliable result.In order to solve this problem,spatial correlation and temporal correlation are jointly considered in this paper to improve the reliability of the block classification procedure.Fist,image blocks are divided into different types according to threshold.Then the initial classification is corrected accroding to spatial correlation to determin final classification decision.Compared with the existing algorithms,the proposed one can get about 2 dB Peak Signal to Noise Ratio(PSNR)incerement at the same sampling rate. Key words:video image processing;compressed sensing(CS);temporal correlation;spatial correlation; variable sampling rate

The National Natural Science Foundation of China(No.61261023);The Natural Science Foundation of Guangxi (2011GXNSFD018024,2013GXNSFBA019272);The Foundation of Education Commission of Guangxi(201203YB001)

date:2013-07-03;Revised date:2013-09-16

国家自然科学基金资助项目(61261023);广西自然科学基金资助项目(2011GXNSFD018024,2013GXNSFBA019272);广西教育厅科学研究项目(201203YB001)

**通讯作者:pandack0619@163.com Corresponding author:pandack0619@163.com

TN919.8

1001-893X(2013)11-1482-05