基于自适应采样的多假设预测残差重构算法研究

安文 刘昆 王杰

基于自适应采样的多假设预测残差重构算法研究

安文1刘昆1王杰2

为保证遥感视频序列的高质量重构,本文结合视频序列的高时空冗余特点,在基于块的分布式视频压缩感知(Distributed video compressed sensing,DVCS)框架的基础上提出了一种基于自适应采样的多假设预测残差重构模型及基于变采样率的多假设预测残差重构算法.首先对目标帧进行预测,根据各块预测精度的不同自适应地分配采样率;然后用变采样率多假设预测残差重构算法重构出目标帧;最后利用双向运动估计对重构结果进行修正.仿真结果表明该算法能够在降低采样率的同时保证良好的主客观重构质量;相同采样率条件下,重构精度比MC-BCS-SPL算法提高大约7dB,比MH-BCS-SPL算法提高大约1dB.

遥感视频成像,压缩感知,自适应采样,多假设预测,双向运动估计

目前,遥感视频成像卫星对图像分辨率的要求日益提高,使得遥感传输的数据量剧增,为了降低存储、处理和传输的成本,需要在编码端对信源信号进行压缩处理,并在解码端对原信号解压缩重构.压缩感知(Compressed sensing,CS)理论[1−2]能够打破Shannon-Nyquist采样定理的限制,自2006年由Donoho、Cand´es及Tao等提出以来,得到了国内外众多学者的广泛关注[3−4].该理论的核心是采样和压缩同时进行,当信号稀疏或在某一组基下稀疏时,可以利用维数远小于信号的测量值和稀疏性或低秩性等先验信息高概率地重构原信号[4−6].

遥感视频信号可以视为在时间维度上连续的图像信号,视频压缩感知(Compressed video sensing,CVS)框架分为视频信号的压缩测量和视频信号的重构两个过程.卫星上的测量资源,信号发射功率有限,因此要求测量过程尽可能简单,压缩率尽量高;而遥感信号重构时能够利用大量的计算资源,可以通过迭代求解高复杂度的优化问题.这种“编码简单,解码复杂”的特点使得CS理论与分布式视频编码(Distributed video ceding,DVC)相结合,形成了一种新的视频压缩技术— 分布式视频压缩感知(Distributed video compressed sensing,DVCS)[7−11].文献[7−8]提出的差分重构模型是利用两帧的测量值和它们的差分信息进行联合重构.考虑到相邻两帧间的差别通常是由运动引起的,文献[12]提出了残差重构模型,首先使用CS重构算法进行独立帧内重构,再联合前后参考帧采用运动估计和运动补偿预测出边信息(Side information,SI),最后复原残差,但该模型对待重构帧（CS帧）的估计不够准确,为了保证重构效果,必须在运动估计和补偿环节进行大量迭代,重构效率极低.文献[13−14]利用传统视频编码中的多假设(Multiple hypotheses,MH)概念构造出各块的候选块集合,并利用Tikhonov正则化求解病态优化问题,得到多假设预测的稀疏权重,预测出非关键帧的SI,有效地提高了预测精度.上述模型对所有块分配同样的采样率,忽略了视频场景中不同区域的运动和纹理特征,对视频帧的相关性利用不够充分.为克服该缺陷,文献[15]将帧内区域划分为前景和背景,根据关注度的不同自适应地分配测量率.文献[16]提出的自适应测量策略目的在于减少测量硬件数量,但重构效果不够理想.文献[17−18]能够根据视频帧间相关度的不同自适应地分配测量率,但这些自适应测量方案的总测量率是不可控的,不能在给定目标采样率的条件下实现测量率的自适应分配,由于现实遥感数据传输的带宽有限,因此这种总测量率不可控的测量方案并不实用.文献[19]虽然意识到了该问题,但测量率的舍入误差使得图像块采样率分配的自适应性不强.

为了在固定测量率下,尽可能提高视频信号的重构质量,本文提出了一种总测量率可控的自适应采样多假设预测视频压缩感知模型.首先对目标帧进行预测,根据各块预测精度的不同自适应地分配测量率.预测精度高的块分配低测量率,预测精度低的块分配高测量率.然后利用参考帧和测量值对目标帧进行变采样率下的多假设预测,得到边信息,并用SPL(Smoothed projected landweber)算法[20]重构自适应采样预测的残差以得到目标帧.由于帧间运动的存在,在参考帧内的平行位置附近直接抽取参考块进行多假设预测并不能一直保持与待重构块的高度相关性,尤其是在帧间包含复杂快速运动的情形中.为了进一步利用视频帧间的时空相关性,通过双向运动估计修正已重构的目标帧.利用已重构的相邻关键帧对目标帧进行双向运动估计[21],并将估计结果和已重构的目标帧作为帧间多假设预测的参考帧,对目标帧再次进行变采样率下的多假设预测,得到边信息,并进行变采样率残差重构以得到高质量的目标帧.Matlab环境下的仿真结果表明,本文提出的运动估计修正的变采样率多假设预测视频压缩重构模型能够在降低采样率的同时保证良好的重构效果.

1 多假设预测

多假设预测的核心思想是对当前待重构块的大量近似块进行线性组合,通过优化算法找到最佳线性组合,并将其作为待重构块的预测.多假设预测的算法模型可以写为

其中,xt,i∈RB2×1表示第t帧图像xt中第i块的矢量表示;Ht,i∈RB2×K是参考帧中搜索窗内的所有参考块按列排成的矩阵;wt,i∈RK×1表示Ht,i各列的最佳线性组合系数.该问题可以视为一个简单的Least-squares(LSQ)问题来优化求解,但事实上 xt,i是不可知的,解码端只能获取 xt,i的测量值yt,i,将问题(1)转化到测量域

其中,Φ∈RM×B2表示随机测量矩阵.JL引理(Johnson-Lindenstrauss Lemma)表明问题(3)与问题(1)的解一致.由于M≪B2,为保证式(3)的正确求解,必须进行正则化,最常用的是Tikhonov正则化,在式(3)中引入wt,i的2惩罚项,即

其中,λ为衡量正则化效果的尺度因子,Γ为Tikhonov 矩阵,Γ=diag{‖yt,i− Φ h1‖2,‖yt,i−Φh2‖2, ···, ‖yt,i− ΦhK‖2}, h1, h2,···, hK表示Ht,i的列.Γ的含义是对近似程度高的参考块赋予大的组合系数,对近似程度低的参考块赋予相对较小的组合系数.最优线性组合系数为

目前常用的多假设预测模型包括帧内多假设预测模型和帧间多假设预测模型.帧内多假设预测模型利用待预测块附近2wd×2wd的搜索窗口内所有B×B的图像块作为候选块,如图1,因此需要先重构出当前目标帧,并将初始重构帧作为参考帧.帧间多假设预测模型将已重构的两个相邻关键帧作为参考帧,在参考帧中以与待预测块相同位置的块为中心,在其附近设置2wd×2wd的搜索窗口,并将窗口范围内所有B×B的图像块作为候选块,如图2所示.

图1 帧内多假设预测的候选块示意图Fig.1 Sketch map of candidates in intraframe multi-hypothesis prediction

图2 帧间多假设预测的候选块示意图Fig.2 Sketch map of candidates in interframe multi-hypothesis prediction

2 自适应采样率多假设预测DCVS

2.1 框架描述

本文提出的自适应采样多假设预测残差重构系统的框架如图3所示.其中表示重构的关键帧,表示重构的非关键帧.

1)编码端

将原始视频分为关键帧(K帧)和非关键帧(NK帧),每个图像组(GOP)包含一个K帧和一个NK帧.为简化编码过程,所有帧均使用基于块的测量矩阵进行采样.关键帧用高采样率进行压缩采样.非关键帧要先进行帧间多假设预测,然后根据各个块的预测结果自适应地分配采样率:预测精度高的块分配低采样率,预测精度低的块分配高采样率.

2)解码端

关键帧利用帧内多假设预测残差重构算法独立地进行重构;非关键帧利用变采样率下的帧间多假设预测残差重构算法进行联合重构,并用双向运动估计修正已重构的非关键帧.

2.2 自适应采样

视频帧中不同的块具有不同的运动、纹理特征,因此在同样的采样率下不同块的多假设预测精度也各不相同,给所有的块分配同样的采样率不能充分利用采样资源和传输带宽.为此这里使用了一种根据多假设预测精度自适应分配采样率的采样方案.

将非关键帧xt∈RH×W的采样率SRNK划分成固定采样率SRNK0部分和自适应采样率SRNKa部分.其中,预采样系数0＜C≤1,当C=1时表示非自适应采样.然后对xt进行分块,每块大小为B×B,那么一帧图像可以被分为P块.

图3 本文提出的自适应采样多假设预测残差重构系统的框架Fig.3 The multi-hypothesis residual reconstruction framework based on adaptive sampling

对各图像块xt,i(i=1,2,···,P)以采样率SRNK0进行预采样

预采样矩阵Φ0为全维随机采样矩阵的前q0行,q0=[SRNK0×B2],这里[·]表示四舍五入的取整算子.整帧图像xt的预采样的数据量为

能够进行自适应分配的采样数为

则块xt,i的采样数据量为

相应的采样率SRt,i=qt,i/B2.根据相邻关键帧和预采样进行初步的多假设预测,预测结果为在测量域衡量预测精度

et,i越大,说明该块的预测误差越大,需要的自适应采样率更高,因此可以把预测精度et,i作为xt,i的自适应采样系数,即at,i=et,i.

这种基于采样数的自适应采样有效削弱了采样率分配时的舍入误差,且不会对整帧的采样率造成太大影响,整帧采样率被约束在[SRNK−1/B2,SRNK+1/B2]范围内.

2.3 变采样率多假设残差重构

本文所用的单帧重构算法以文献[12]中的BCS-SPL算法为基础,为削弱块效应(Blocking artifacts),该算法在重构目标帧时将测量矢量按顺序排列成测量矩阵,一次性完成对整帧图像的重构.该算法并不能直接用于变采样率下的残差重构,这是因为各个块的测量率不同,测量矢量长度不等,不能作为一个测量矩阵直接完成对整帧图像的重构.如果对各个块进行独立的残差重构,无疑会割裂图像的空间相关性(Spacial correlation),不能充分利用帧内的相关信息,并且不可避免地会出现块效应.为解决该问题,本文提出了一种变采样率下的残差重构模型.

首先根据相邻关键帧和采样矢量yyyt,i对块xxt,i进行多假设预测,预测结果为由第2.2节可知yyt,i长度越短说明xxt,i的预测越准确,xxt,i与间的差异越小,可以将预测的一部分测量值作为xxt,i的测量值,这相当于增加了xxxt,i的测量率,能够有效提高其重构质量.设长度最长的测量为 yyt,max,其长度qmax=max{qt,i},对应的测量矩阵Φt,max为全维随机采样矩阵的前qmax行.用对进行采样,并用最后qmax−i个测量值将yyy补长到qmax,即t,i

这样就保证了各个图像块具有相同长度的测量矢量和相同维度的测量矢量,能够用BCS-SPL算法进行残差重构,提高目标帧的重构质量.

2.4 双向运动估计

在对非关键目标帧进行帧间多假设预测时仅仅在参考帧中以待预测块为中心的附近小范围内进行了搜索,并不能一直保证候选块与待预测块间的高度相关,尤其是视频中含有大量剧烈运动时.为了充分利用视频序列的时空相关性,将运动估计帧作为参考帧,参与到非关键帧的多假设预测重构过程,为了提高运动估计精度,使用双向运动估计和补偿算法[21].首先利用前后相邻关键帧xt−1,xt+1对xt进行双向运动估计,块xt,i的运动矢量为

其中,µ为运动估计中的权重系数.块xt,i中像素点s处的像素预测值为

3 实验设计与性能分析

本文选用4组CIF格式的标准测试序列foreman、stefan、bus和 fl ower的前31帧测试本文提出的自适应采样多假设预测残差重构模型,其中奇数帧为关键帧(K帧),偶数帧为非关键帧(NK帧).分块测量矩阵选用Gauss随机测量矩阵,且分块大小为16×16;稀疏表示字典选用DCT完备字典;进行多假设预测时,搜索窗口为7;进行双向运动估计时,匹配块大小为16×16,搜索窗口为8,运动估计的权重系数为0.005;使用SPL算法[15]进行重构,λ=6.重构效果的评价指标有反映客观重构质量的峰值信噪比(Peak signal to noise ratio,PSNR),反映主观视觉质量的结构相似性指数(Structural similarity,SSIM)和反映计算复杂度的重构时间(Time).实验的硬件平台为主频2.8GHz的Intel i5-2300 CPU计算机,软件平台为Windows XP2002,32位操作系统和MATLAB7.7.0仿真实验软件.

3.1 确定预采样系数C

在对NK帧进行预采样时,预采样系数C越小,初步多假设预测就越不准确,非关键帧采样率的自适应分配误差越大,重构精度下降;但预采样系数C越大,用于自适应分配的采样率越小,不能充分反映不同块之间预测精度的差异,也不能充分利用采样资源以体现自适应采样的优势,重构精度也会下降,因此需要在预测精度和块间精度差异之间进行折衷.为了获取合适的预采样系数,本文对4组序列在C∈{0.3,0.4,0.5,0.6,0.7,0.8,0.9,1.0}时进行了测试,采样率为SRK=0.6,SRNK=0.2.表1给出了不同预采样系数下,各个测试序列NK帧的平均重构PSNR和SSIM.从表1可以看出,C=0.8或0.9时能够获得最好的重构效果;C＜0.8时,随着C减小,重构效果变差;C＞0.9时,重构效果也变差,实验结果与分析结果一致.在下面的仿真实验中取C=0.8,以保证自适应采样对采样资源和传输带宽的最佳利用.

3.2 采样率的帧间配置

K帧进行独立的帧内多假设残差重构,并作为NK帧多假设预测的参考帧,必须获取足够的采样数据量才能保证整个序列的重构质量.然而仅仅通过K帧或NK帧的采样率并不能说明整个序列的压缩率,因此本文用平均采样率SRa来衡量序列的压缩率.设每个图像组(GOP)包含P帧图像,其中1帧关键帧,P−1帧非关键帧.

关键帧和非关键帧的采样率可以写为

表2给出了P=2,SRa∈{0.3,0.4,0.5,0.6},ΔSR∈{0,0.05,0.1,0.15,0.2,0.25}时关键帧和非关键帧的采样率.从表2可以看出,在同样的平均采样率下,ΔSR越大,SRK越大,SRNK越小.SRK越大意味着关键帧的重构越准确,越能保证非关键帧的预测精度,但SRNK的减小会削弱非关键帧的预测精度,因此整个序列的重构结果还需要进一步讨论.

在P=2,SRa∈{0.3,0.4,0.5,0.6},ΔSR∈{0,0.05,0.1,0.15,0.2,0.25}时测试4个序列的重构效果,如表3所示.从表3可以看出,在相同的平均采样率下,ΔSR越大,序列的平均重构效果越好,这也说明了为什么关键帧需要更高的采样率以保证序列的重构质量.值得注意的是,当SRa=0.3时,ΔSR=0.25并不能获得最佳的重构效果,这是因为此时NK帧的采样率过低,固定采样率部分SRNK0更低,初步多假设预测精度不够,采样率的分配不合理,重构误差大,所以视频序列的平均重构质量下降.这与第3.1节的分析一致.

表1 各测试序列在不同C下NK帧的平均重构PSNR(dB)和SSIMTable 1 Average PSNR(dB)and SSIM of each video with diあerent C

表2 不同SRa和ΔSR下K帧和NK帧的采样率Table 2 Sampling rates of K frames and NK frames with diあerent SRaand ΔSR

表3 测试序列在不同ΔSR下的平均重构性能比较:PSNR(dB);SSIMTable 3 Average reconstruction quality of each video using diあerent ΔSR:PSNR(dB);SSIM

3.3 算法性能分析

在视频序列的重构中,关键帧采用文献[14]提出的BCS框架下基于帧内多假设预测的SPL算法进行独立的帧内重构;非关键帧分别选用本文提出的自适应采样多假设预测残差重构算法(ASR-MHBCS-SPL)、文献[20]提出的基于运动估计的残差重构算法(MC-BCS-SPL)和文献[13]提出的基于帧间多假设预测的残差重构算法(MH-BCS-SPL)进行重构.表4(a)和表4(b)给出了4组测试序列的NK帧在上述3种重构算法下的PSNR值、SSIM值和平均单帧重构时间T.

由表4(a)可以看出,ΔSR=0,SRK=SRNK时,不论是在高平均采样率还是低平均采样率下,本文提出的算法ASR-MH-BCS-SPL在主、客观评价标准下的重构质量都优于MC-BCS-SPL算法和MH-BCS-SPL算法.ASR-MH-BCS-SPL算法重构的平均PSNR值比MH-BCS-SPL算法高大约1.1dB,最多高1.963dB;比MC-BCS-SPL算法高1.5∼6dB,平均高大约6dB,最多高5.981dB.而且随着平均采样率SRa增大,本文提出算法的优势更为明显,这是因为SRa增大意味着K帧的采样率增加,重构精度更高,能够为NK帧提供更准确的参考;而且NK帧的采样率更高,使得多假设预测更准确,测量率的分配更合理.

当ΔSR=0.25,SRK＞SRNK时,可以得出类似的结论.ASR-MH-BCS-SPL算法重构的平均PSNR值比MH-BCS-SPL算法高大约0.6dB,最多高1.624dB;比MC-BCS-SPL算法高4∼9dB,平均高大约7.6dB,最多高9.895dB.值得注意的是,当SRa=0.3时,ASR-MH-BCS-SPL算法的重构效果比MH-BCS-SPL算法差,这是因为NK帧的采样率太低,固定采样率部分SRNK0更低,初步多假设预测精度不够,采样率的分配不合理,所以ASR-MH-BCS-SPL算法的性能弱于MH-BCSSPL算法.

本文所提出算法ASR-MH-BCS-SPL在重构效率上存在明显不足,单帧平均耗时225s,约是MCBCS-SPL算法的7倍,MH-BCS-SPL算法的3倍,这是因为算法使用了多次多假设预测算法来提高重构精度.

图4给出了Foreman序列第30帧图像在SRK=0.5,SRNK=0.1时3种重构算法下的重构结果对比.可以看出在相同采样的采样率下,本文提出的算法有更好的主客观重构质量,尤其是在一些细节(如眼睛)和运动部分(如嘴巴)的重构上.

表4 (a)ΔSR=0时不同测量率下各视频重构算法的性能比较:PSNR(dB);SSIM;T(s)Table 4(a) Reconstruction performance of each video using diあerent algorithms when ΔSR=0:PSNR(dB);SSIM;T(s)

表4 (b)ΔSR=0.25时不同测量率下各视频重构算法的性能比较:PSNR(dB);SSIM;T(s)Table 4(b) Reconstruction performance of each video using diあerent algorithms when ΔSR=0.25:PSNR(dB);SSIM;T(s)

3.4 算法应用于遥感视频重构

遥感凝视成像卫星在对目标区域进行观测时,会在卫星相对于目标的过顶时间窗口内进行姿态调整,使目标始终处于卫星视频相机的视场中心,以获取该区域内的序列图像,故图像各帧之间的相关性非常强.为检验算法在遥感视频序列上的适用性,对一段avi格式的海港遥感视频(单帧分辨率为480像素×480像素)进行自适应采样,并利用本文提出的自适应采样多假设预测残差重构算法(ASR-MHBCS-SPL)、文献[20]提出的基于运动估计的残差重构算法(MC-BCS-SPL)和文献[13]提出的基于帧间多假设预测的残差重构算法(MH-BCS-SPL)分别进行重构,仿真参数保持不变.

表5给出了不同采样率下,该视频序列前30帧的平均重构PSNR值,SSIM值和平均时耗T,可以看出不管ΔSR是否等于零,ASR-MH-BCS-SPL算法的主客观重构性能都优于MC-BCS-SPL算法和MH-BCS-SPL算法,但重构时间较长.比较表5和表4(a),表4(b)可以发现遥感序列的平均单帧重构时间长于测试序列,这是因为遥感视频帧的像素点数大于测试序列的缘故.

图5显示了SRa=0.3,ΔSR=0.25时第10帧图像在不同算法下的重构结果,目标舰船用圆圈标出.仿真结果表明本文提出的算法适用于遥感视频序列的重构,而且重构效果优于MC-BCS-SPL算法和MH-BCS-SPL算法,减弱了边缘模糊现象并消除了块效应,即使在平均采样率为0.3的低采样率下,PSNR值仍高达35dB以上.

3.5 算法复杂度分析

通过上述仿真实验可以看出,本文提出的基于自适应采样的多假设预测残差重构算法在主客观评价标准下优于MC-BCS-SPL算法和MH-BCSSPL算法,但耗时过久,本节将细致分析三种算法各个环节的重构质量和时耗.

仿真序列使用Foreman序列的前31帧,采样率为SRK=0.6,SRNK=0.2.其余仿真参数同第3节的初始设置.根据算法的关键环节、将ASRMH-BCS-SPL算法分成自适应采样环节,变采样率下的多假设预测残差重构环节,双向运动估计环节、用双向运动估计进行补偿的环节、分别记为A1,A2,A3,A4;将MC-BCS-SPL算法分成采样环节、帧内多假设预测残差重构环节、运动估计环节、基于运动估计的残差重构环节,分别记为C1,C2,C3,C4;将MH-BCS-SPL算法分成采样环节、帧间多假设预测残差重构环节,分别记为H1,H2.表6给出了三种算法各个环节的平均时耗T和涉及到重构环节的平均重构PSNR,SSIM.

图4 不同算法对foreman序列第30帧图像的恢复效果Fig.4 Reconstruction of the 30th frame in the foreman video using diあerent algorithms

表5 遥感视频在不同算法,不同采样率下的重构性能:PSNR(dB);SSIM;T(s)Table 5 Reconstruction performance of the remote sensing video using diあerent algorithms and diあerent sampling rates:PSNR(dB);SSIM;T(s)

图5 遥感视频序列中第10帧图像的恢复效果Fig.5 Reconstruction of the 10th frame in the remote sensing video

表6 三种算法各个环节的时耗和重构性能:T(s);PSNR(dB);SSIMTable 6 Time and reconstruction quality of three algorithms in every step:T(s);PSNR(dB);SSIM

比较C2和C4可以看出,多假设预测残差重构环节比残差重构环节耗时,时耗约是残差重构环节的3.5倍;比较A2,A4和H2与C2可以看出,帧间多假设预测残差重构环节的时耗远大于帧内多假设预测残差重构环节;比较A3和C3可以看出,双向运动估计环节的耗时远大于文献[20]中的运动估计环节,这是因为双向运动估计算法需要对图像块进行多次遍历匹配.ASR-MH-BCS-SPL算法比较耗时的根本原因是三次帧间多假设预测,每个涉及帧间多假设预测的环节时耗都在68s左右;由于自适应采样过程中也进行了帧间多假设预测,因此编码阶段时耗会远大于其他两种算法,比较A1和C1,H1可以看出,A1环节时耗的数量级远高于C1,H1.

比较C2和H2可以看出,帧间多假设预测残差重构的重构效果远远优于帧内多假设预测残差重构;比较A2和H2可以看出基于自适应采样的帧间多假设预测残差重构算法的重构效果优于恒定采样率下的帧间多假设预测残差重构算法,平均PSNR值比后者高1.267dB;比较A2和A4可以看出,虽然用双向运动估计可以改善算法的性能,但时耗会增大,为降低算法复杂度,也可以不用双向运动估计算法进行补偿,或者换用简单的、效率较高的运动估计算法进行补偿.更有效的降低算法时耗的方法是研究一种不用帧间多假设预测就能把运动估计用于重构结果补偿的算法,这也是以后的研究方向之一.

4 结论

本文以基于块的分布式视频压缩感知框架为基础,提出了一种自适应采样的多假设预测残差重构模型及相关算法.首先将视频流拆分为关键帧和非关键帧,均采用基于块的压缩测量方式进行测量,关键帧以高测量率直接采样,并利用帧内多假设预测残差重构模型进行独立重构;然后将非关键帧的测量率分成固定部分和自适应部分,并用已重构的相邻关键帧和预采样对待重构非关键帧进行帧间多假设预测,并根据各块的预测精度自适应地分配测量率:预测精度高的块分配低测量率,预测精度低的块分配高测量率;接着利用相邻关键帧和自适应测量值进行变采样帧间多假设预测,得到边信息并进行残差重构;最后利用双向运动估计修正重构结果,以获得高质量的重构帧.仿真结果表明,该算法能够在降低采样率的同时保证良好的重构效果,不论是在主观评价标准还是客观评价标准下,重构质量都优于MC-BCS-SPL算法和MH-BCS-SPL算法;并且该算法适用于遥感视频的压缩重构;然而由于使用了多次多假设预测算法,本文提出的算法花费的时间代价较高,文中细致分析了三种算法各个环节的重构质量和时耗,虽然在拥有巨大运算力的解码端,重构时间能够进行大量缩减,但如何在保证重构精度的同时提高算法的重构速度仍然是下一阶段重点研究的问题.

1 Donoho D L.Compressed sensing.IEEE Transactions on Information Theory,2006,52(4):1289−1306

2 Candes E J,Wakin M B.An introduction to compressive sampling.IEEE Signal Processing Magazine,2008,25(2):21−30

3 Ren Yue-Mei,Zhang Yan-Ning,Li Ying.Advances and perspective on compressed sensing and application on image processing.Acta Automatica Sinica,2014,40(8):1563−1575(任越美,张艳宁,李映.压缩感知及其图像处理应用研究进展与展望.自动化学报,2014,40(8):1563−1575)

4 Shen Yan-Fei,Li Jin-Tao,Zhu Zhen-Min,Zhang Yong-Dong,Dai Feng.Image reconstruction algorithm of compressed sensing based on nonlocal similarity model.Acta Automatica Sinica,2015,41(2):261−272(沈燕飞,李锦涛,朱珍民,张勇东,代锋.基于非局部相似模型的压缩感知图像恢复算法.自动化学报,2015,41(2):261−272)

5 Waters A E,Sankaranarayanan A C,Baraniuk R G.SpaRCS:recovering low-rank and sparse matrices from compressive measurements.In:Proceedings of the 2011 Neural Information Processing Systems(NIPS).Barcelona,Spain:IEEE,2011.1089−1097

6 Fowler J E,Mun S,Tramel E W.Multiscale block com

pressed sensing with smoothed projected landweber reconstruction.In:Proceedings of the 19th European Signal Processing Conference.Barcelona,Spain:IEEE,2011.564−568

7 Willett R M,Marcia R F,Nichols J M.Compressed sensing for practical optical imaging systems:a tutorial.Optical Engineering,2011,50(7):1−13,Article No.72601

8 Thompson D,Harmany Z,Marcia R.Sparse video recovery using linearly constrained gradient projection.In:Proceedings of the 2011 IEEE International Conference on Acoustics,Speech,and Signal Processing(ICASSP).Prague,Czech Republic:IEEE,2011.1329−1332

9 Baron D,Duarte M F,Wakin M B,Sarvotham S,Baraniuk R G.Distributed compressive sensing[Online],available:http://www.arxiv.org/abs/0901.3403,February 17,2016

10 Zhang B J,Lei Q,Wang W,Mu J S.Distributed video coding of secure compressed sensing.Security and Communication Networks,2015,8(14):2416−2419

11 Liu H X,Song B,Tian F,Qin H,Liu X.Optimal-correlationbased reconstruction for distributed compressed video sensing.Journal of Visual Communication and Image Representation,2015,31:197−207

12 Chen J,Su K X,Wang W X,Lan C D.Residual distributed compressive video sensing based on double side information.Acta Automatica Sinica,2014,40(10):2316−2323

13 Tramel E W,Fowler J E.Video compressed sensing with multihypothesis.In:Proceedings of the 2011 Data Compression Conference(DCC).Snowbird,UT,USA:IEEE,2011.193−202

14 Chen C,Tramel E W,Fowler J E.Compressed sensing recovery of images and video using multihypothesis predictions.In:Proceedings of Conference Record of the 46th Asilomar Conference on Signals,Systems,and Computers(ASILOMAR).Praci fi c Grove,CA,USA:IEEE,2011.1193−1198

15 Warnell G,Reddy D,Chellappa R.Adaptive rate compressive sensing for background subtraction.In:Proceedings of the 2012 IEEE International Conference on Acoustics,Speech,and Signal Processing(ICASSP).Kyoto,Japan:IEEE,2012.1477−1480

16 Srinivasarao B K N,Gogineni V C,Mula S,Chakrabarti I.VLSI friendly framework for scalable video coding based on compressed sensing[Online],available:arxiv.org/abs/1602.07453,April 5,2016

17 Lian Qiu-Sheng,Tian Tian,Chen Shu-Zhen,Guo Wei.Block compressed sensing of video based on variable sampling rates and multihypothesis predictions.Journal of Electronics and Information Technology,2013,35(1):203−208(练秋生,田天,陈书贞,郭伟.基于变采样率的多假设预测分块视频压缩感知.电子与信息学报,2013,35(1):203−208)

18 Li Ru-Chun,Li Lin,Chang Li-Ping.Block compressed sensing of video based on variable sampling rates.Application of Electronic Technique,2015,41(10):147−149,153(李如春,李林,常丽萍,基于变采样率压缩感知的视频压缩研究.电子技术应用,2015,41(10):147−149,153)

19 Zuo Mi-Wen,Chang Kan,Shi Jing-Lan,Qin Tuan-Fa.Adaptive rate compressed video sensing scheme.Video Engineering,2015,39(2):66−70(左觅文,常侃,施静兰,覃团发.一种自适应采样率视频压缩感知方案.电视技术,2015,39(2):66−70)

20 Mun S,Fowler J E.Residual reconstruction for block-based compressed sensing of video.In:Proceedings of the 2011 Data Compression Conference(DCC).Snowbird,UT,USA:IEEE,2011.183−192

21 Choi B D,Han J W,Kim C S,Ko S J.Motion-compensated frame interpolation using bilateral motion estimation and adaptive overlapped block motion compensation.IEEE Transactions on Circuits and Systems for Video Technology,2007,17(4):407−416

Research on Multi-hypothesis Residual Reconstruction Algorithm Based on Adaptive Sampling

AN Wen1LIU Kun1WANG Jie2

To guarantee an adequate quality reconstruction of remote sensing video and to make use of the character of mass information redundancy in video,this paper proposes a kind of adaptive sampling and multi-hypothesis residual reconstruction model and algorithm based on the framework called distributed video compressed sensing(DVCS).Firstly,the current frame is predicted,then sampling rates are adaptively allocated according to the precise degrees of the blocks in the predicted frame.Afterwards,the current frame is reconstructed using the variable sampling rates multi-hypothesis residual reconstruction algorithm.Finally,the reconstructed frame is revised by bilateral motion estimation technic.Simulation shows that the proposed model and algorithm can assure low sampling rate and high reconstruction quality simultaneously,and that the model can oあer a PSNR gain of around 7dB higher the MC-BCS-SPL algorithm,and a gain of around 1dB than higher the MH-BCS-SPL algorithm when the sampling rates are same.

Remote sensing video,compressed sensing(CS),adaptive sampling,multi-hypothesis prediction,bilateral motion estimation

An Wen,Liu Kun,Wang Jie.Research on multi-hypothesis residual reconstruction algorithm based on adaptive sampling.Acta Automatica Sinica,2017,43(12):2190−2201

2016-05-10 录用日期2016-12-10

May 10,2016;accepted December 10,2016国家自然科学基金(61271440)资助

Supported by National Natural Science Foundation of China(61271440)

本文责任编委杨健

Recommended by Associate Editor YANG Jian

1.国防科学技术大学航天科学与工程学院 长沙 410073 2.63810部队文昌571300

1.College of Aerospace Science and Engineering,National University of Defense Technology,Changsha 410073 2.PLA 63810 Unit,Wenchang 571300

安文,刘昆,王杰.基于自适应采样的多假设预测残差重构算法研究.自动化学报,2017,43(12):2190−2201

DOI10.16383/j.aas.2017.c160376

安 文 国防科技大学航天科学与工程学院硕士研究生.主要研究方向为压缩感知遥感成像．本文通信作者.

E-mail:anven91@sina.com

(AN Wen Master student at the College of Aerospace Science and Engineering,National University of Defense Technology.Her main research interest is remote sensing imaging based on compressed sensing.Corresponding author of this paper.)

刘 昆 国防科学技术大学航天科学与工程学院教授.主要研究方向为飞行器设计与控制,微小卫星光学有效载荷.

E-mail:liukun-open@163.com

(LIU Kun Professor at the College of Aerospace Science and Engineering,National University of Defense Technology. His research interest covers fl ight vehicle design and control,optical payload of microsatellite.)

王 杰 国防科学技术大学硕士研究生.主要研究方向为压缩感知遥感成像.

E-mail:18670387476@163.com

(WANG Jie Master student at National University of Defense Technology.His main research interest is remote sensing imaging based on compressed sensing.)