一种视频分布式压缩感知技术的相关性模型与实现算法*

赵慧民，裴真真，才争野，戴青云，魏文国，王晨

(广东技术师范学院电子与信息学院//广州市数字内容处理及其安全性技术重点实验室，广东 广州 510665)

一种视频分布式压缩感知技术的相关性模型与实现算法*

赵慧民，裴真真，才争野，戴青云，魏文国，王晨

(广东技术师范学院电子与信息学院//广州市数字内容处理及其安全性技术重点实验室，广东 广州 510665)

视频采集和重构需要进行大量的数据处理，且精度有限。为此，基于基追踪(BasisPursuit,BP)原理，提出一种新的相关性模型视频分布式压缩感知算法。通过运用稀疏滤波器进行相关性建模，该算法在编译码端为分布式压缩视频感知建立了完整的实现结构，并且在保证高质量重建原始信号的前提下, 可以减少测量值的数目。实验结果验证了提出模型下算法的有效性。

分布式压缩感知；视频；相关性；重构

分布式压缩感知(Distributed Compressive Sensing, DCS)提供了一种低复杂度的次奈奎斯特信号采集方法，可以利用更少的随机线性投影进行信号重建，为分布式视频场景和目标监控系统提供了新的应用途径。目前，如何将DCS技术应用到实际中，并能在较低复杂度的运算下进行编码传输，成为了信息技术研究发展的焦点。

DCS是CS理论与分布式系统相结合的理论。该理论主要研究怎样利用信号之间的自相关性和互相关性实现对多个信号的联合稀疏表示(Joint Sparsity Model, JSM)及其重构。因此，DCS适合视频帧在时间轴与空间轴的特征分析与提取，满足“独立编码-联合解码”的云计算、互联网+的应用需求。目前，DCS理论针对相关信源，依据不同的视频应用场景，通过帧内的统计性与帧间的互相关性对多个关联信号的采样和重构问题进行了一系列的研究。Duarte等[1]根据信源的相关性不同提出了 JSM-1/-2/-3联合稀疏信号模型,并且从信息论的角度分析了精确重建所需测量值的数目。在此基础上，Roy等[2]提出了一种新的DCS关联模型,即将信号之间的相关性建模为虚拟的稀疏滤波器。Davies等[3]利用信号本身的自相关性和信号间的互相关性结构对信源执行新的分布式编码算法，建立了一个与Slepian-Wolf相似的信息理论框架，并利用联合稀疏模型在编码端实现独立的编码，而在解码端实现联合稀疏解码。文献[4]首先在压缩感知理论和DCS框架下，研究与Wyner-Ziv编码类似的分布式视频压缩感知编码方案。随后，文献[5-6]提出了基于正交基和全局字典库的分布式视频压缩感知编码系统，文献[7-8]提出了无反馈信道和利用差值视频重建的分布式视频压缩感知编码系统。上述研究尽管基于离散余弦变换(DCT)、离散小波变换(DWT)、正交Grouplet变换、紧框架Grouplet变换及其因果多尺度“关联域(Association Field)等等方法，在信源端解决了视频信号关键帧(I帧)与非关键帧(P/B帧)的冗余稀疏表示问题，但这些模型尚需进一步研究非关键帧在时间轴的各向异性及其与稀疏函数的最佳基处理。因此，如何根据视频信号的时间和空间相关性特征对视频信号进行稀疏描述并建立有效的编解码模型，已成为实现VDCS的共性问题。

本文首先利用稀疏滤波器对视频信号的相关性进行建模，基于CS-BP原理[9]，在编译码端提出了一种VDCS-BP算法。VDCS-BP为分布式压缩视频感知提出了完整的结构并且在保证重建质量的前提下, 算法可以大大减少测量值的数目。

1 JSM1相关性模型

在CS原理中[10-11],如果把视频图像N×N的分成若干d×d大小的图像块,并对每个图像块使用相同大小的md×d2(md∈M)维随机投影矩阵Φd进行采样,则对于第i个图像块xi的可压缩信号α，在稀疏基函数ψi作用下,其观测向量可表示为

i=1,…,N×N/d×d

(1)

基于(1)式分块观测后，当Y={yi,i=1,..,M},X={xi,i=1,…,n2/d2}，Ψ=[ψ1,…,ψN]时，整幅图像帧的采样过程可表示为

Y=Φ·X

(2)

其中，Φ是Φd形成的对角矩阵。对于分布式视频场景，我们的目标是时间帧的采样压缩由相关性模型关联的多个稀疏信号组成。在文献[12]中，DCS定理是基于稀疏相关性模型JSMs提出的，其中，JSM1模型将两个相关信号之间的相关性建模为一个加性噪声。

在JSM1模型下，对于序列中的两个连续视频帧x1和x2,他们都由一个共同部分和一个特有部分组成，即

x1=xc+x1_i

(3)

x2=xc+x2_i

(4)

其中xc为基Ψ上稀疏度为Kc的相关图像块的稀疏共同部分；而x1_i和x2_i为在相同基上的特有部分，稀疏度分别为K1_i和K2_i。这样，(3)-(4)式可以写为

x1=Ψθc+Ψθ1_iθ1_i0=K1_i

(5)

x2=Ψθc+Ψθ2_iθ2_i0=K2_i

(6)

其中θc为共同部分xc的稀疏表示，稀疏度为Kc，即θc0=Kc，θ1_i和θ2_i分别为x1_i和x2_i的稀疏表示，稀疏度分别为K1_i和K2_i。若将x1看做x2的边信息，则两个相关信号需要测量的信息将减少为xc，x1_i和x2_i。因此，在VDCS系统的解码端，联合重建所需要的测量值的数目要小于独立重建的数目。

JSM1模型要求信号本身在某一域中是稀疏的，时空域中变化缓慢，并且信号之间相关性很高。但是，在视频信号处理时，物体可能快速移动，这种情况下，JSM1并不适用。文献[9]提出了一种CS-BP相关性模型，即将两个连续信号分别看作稀疏滤波器的输入和输出进行关联。不同于对信号强制性的稀疏性假设,CS-BP可以通过乘法运算提供了一种更加精确的相关性模型。对于CS-BP，Needell等[13]给出了信号完全重建和近似重建所需抽样的数目的可达界。尽管如此,如何利用相关性模型进行精确视频信号重建的算法和细节还需要深入研究。

2 提出的相关性模型

基于文献[9]，我们结构中的相关性模型也包括一个稀疏滤波器,不同的是我们将滤波器扩展到了小波域,使之对应通过离散小波变换进行处理的视频帧。

假设针对相同场景的两个视频帧x1和x2,它们之间的相关性可以由稀疏滤波器表示。即

x1_D=DWT(x1)

(7)

x2_D=DWT(x2)

(8)

x2_D=x1_D⊗h

(9)

其中h是一个稀疏度为Kh的稀疏滤波器，即h0=Kh。而x1_D和x2_D之间由循环卷积运算进行相关。x1_D和x2_D之间的稀疏滤波器可以通过离散小波变换训练得到，其训练过程如下。

将x1_D和x2_D的离散傅里叶变换(DFTs)分别记作X1和X2，则上面的循环卷积运算可以表示为

X2=X1*H

(10)

其中H为滤波器h的离散傅里叶变换。根据DFT的性质可知，卷积运算可以映射为变换域的乘法运算。因此，我们可以计算得到H为

(11)

x1_D和x2_D之间的相关滤波器可以表示为式(10)并且通过式(11)计算。在译码端，x1和稀疏滤波器共同作为x2的参考帧。通过联合重建时为x2提供边信息以保证x2的重建质量的同时减少所需的测量值数目。

3 VDCS-BP在相关性模型的实现过程

基于部分2提出的相关性模型，我们将视频序列中的帧被分成两种类型：关键帧和CS帧。其中关键帧在译码时作为CS帧的边信息。视频序列被分成图片组(GroupofPictures,GOPs)，每一组帧由1帧关键帧和2帧CS帧组成。在编码端，每一帧通过DCS技术独立编码；在译码端，所有测量值采用VDCS-BP译码算法进行联合译码。相较传统的MPEG视频译码，我们的机制通过关键帧和稀疏滤波器来得到边信息，不需要运动估计和运动补偿，因此更加简单。

我们将视频感知问题描述为两个传感器分别独立的测量两个相邻帧。假设第ith(i∈{1,2})个传感器获得图像帧的信号为xi∈RN，其Mi个测量值用yi来表示，即满足：

yi=Φixi

(12)

其中Φi∈RMi×N表示测量矩阵。为了测量xi，我们通过矩阵向量乘法来计算Mi≪N个关于xi的线性投影。另外，在我们的框架中，由于边信息的有效作用，在编码端对关键帧x1和CS帧x2采用了不同的测量速率来进一步的压缩。整个分布式视频压缩感知的处理过程如下图1所示。

在联合译码端，VDCS-BP由测量值y1和y2联合重建原始视频信号。为了达到高概率重构信号且

图1 相关性模型的VDCS-BP实现过程Fig.1 Schematic Processing of VDCS-BP

减少数据量的目的，我们通过在二部图2模型上迭代传递消息来有效解决贝叶斯推论问题。在此图中，连接变量节点和校验节点之间的边由X2的观测矩阵Φ2确定。译码时在边上传递的消息可以是信号概率分布的参数(适用于高斯等特殊分布的信号)，也可以是对信号的采样值。将从变量节点v发送到约束节点c的消息用mv→c表示，而相反方向的从约束节点c传递到变量节点v的消息表示为mc→v。在迭代的过程中通过计算下式对它们的值进行更新：

mv→c=∏mn(v)/{c}→v

(13)

(14)

其中n(v)/{c}和n(c)/{v}分别表示变量节点和约束节点c的相邻节点集合并且不包括节点c或者v，con(n(c))表示对变量节点集合n(c)的约束条件。

基于上述定义，VDCS-BP算法在相关性模型的主要实现如下：

第1步：初始化计算变量节点的初始信息mv→c。然后对于CS帧，利用先验信息和边信息对其进行初始化。发送初始信息给约束节点。

第4步：校验迭代次数是否已经能够达到最大次数。如果没有。则继续第二步。

图2 VDCS-BP算法中x1和x2之间的实现关系Fig.2 Relationships of x1andx2 in VDCS-BP

(15)

SI=IDFT(SI_DFT)

(16)

VDCS-BP算法用于CS帧重建过程中，我们利用边信息对传递信息进行初始化。我们对边信息的概率密度函数进行采样然后将抽样作为因子图中变量节点和约束节点之间传递的初始化信息，如图2所示。通过修改初始化信息，BP算法可以有一个更精确的开始，因此可以以更少的测量值输入得到更精确的重建结果。

4 实现结果

为了验证提出模型和VDCS-BP算法的性能，我们分别对两个85帧的CIF视频序列Forman和Coastguard进行仿真实现，并通过提出的VDCS-BP与文献[9]的CS-BP算法以及经典的JSM1模型

进行对比实验。参数设置如下：视频帧格式为352×288像素/帧的视频序列(只考虑Y帧)；每图像组由3帧组成1帧关键帧和2帧CS帧；关键帧和CS帧的测量速率(MeasurementRates,MRs)不同，例如关键帧的测量速率为0.6时CS帧的测量速率为0.3。每一帧视频分辨率被分成大小为32×32像素的块[14]。

图3 显示了在测量速率MR=0.6下，应用VDCS-BP、CS-BP和JSM1译码算法得到的平均峰值信噪比PSNR性能。尽管使用JSM1和CS-BP得到的关键帧的性能相近，而应用VDCS-BP算法的性能要优于JSM1和CS-BP模型。图4是对coastguardcif序列的仿真结果，当平均测量速率为MR=0.4时，VDCS-BPJSM1和CS-BP关键帧的平均峰值信噪比(PSNR)分别为5134.39和36.25dB，而CS帧的PSNR为48.3.31.26和33.05。结果显示关键帧之间的性能差距要大于CS帧。

5 结 论

围绕分布式视频压缩感知场景下的编译码结构和重建方法进行研究，提出了一种新的VDCS-BP实现算法。首先,我们将视频信号之间的相关性通过稀疏滤波器进行建模,然后建立一种分布式压缩视频感知的完整框架,并且将VDCS-BP算法应用到框架中。最后, 通过仿真证明提出的VDCS-BP实现算法比CS-BP算法和传统的JSM1算法重构的PSNR性能更优越。未来，我们对VDCS在噪声环境下的测量数据及其重构的性能进一步分析和优化。

图3 视频序列Forman的重构结果Fig.3 Recovery results for Forman video 关键帧MR=0.6,CS帧MR=0.3

图4 视频序列Coastguard的重构结果Fig.4 Recovery results for Coastguard video 关键帧MR=0.4,CS帧MR=0.2

[1]DUARTEMF，SARVOTHAMS，BAROND,etal.Distributedcompressedsensingofjointlysparsesignals[C]//Proceedingsof39thAsilomarConferenceonSignals,SystemandComputer, 2005: 1537-1541.

[2]ROYO,HORMATIA,LUA,etal.Distributedsensingofsignalslinkedbysparsefiltering[C]//IEEEInternationalConferenceonAcousties,SpeechandSignalProcessing(ICASSP), 2009: 2409-2412.

[3]DAVIESME,ELDARYC.Rankawarenessinjointsparserecovery[J].IEEETransactionsonInformationTheory, 2012, 58(2): 1135-1146.

[4]STANKOVICV,STANKOVICL,HENGS.Compressivevideosampling[C]//ProceedingsoftheEuropeanConferenceonSignalProcessing, 2008: 2-6.

[5]KANGLW,LUCS.Distributedcompressivevideosensing[C]//ProceedingsofIEEEInternationalConferenceonAcoustics,Speech,andSignalProcessing, 2009: 1169-1172.

[6]CHENHW,KANGLW,LUCS.Dynamicmeasurementrateallocationfordistributedcompressivevideosensing[C]//VisualCommunicationsandImageProcessing2010.InternationalSocietyforOpticsandPhotonics, 2010: 77440I-774410.

[7]DOTT,CHENY,NGUYENDT,etal.Robustvideotransmissionuslayeredcompressedsensing[C]//IEEEInternationalWorkshoponMultimediaSignalProcessing, 2009: 1-4.

[8]DOTT,CHENY,NGUYENDT,etal.Distributedcompressedvideosensing[C]//ProceedingsofIEEEInternationalConferenceonImageProcessing, 2009: 1393-1396.

[9]HORMATIA，ROYO,LUYM,etal.Distributedsamplingofsignalslinkedbysparsefiltering:TheoryandApplications[J].IEEETransactionsonSignalProcessing, 2010, 58(3): 1095-1109.

[10]DONOHODL,TSAIGY.Extensionsofcompressedsensing[J].SignalProcessing, 2006，86(3) :533-548.

[11]CANDESE,ROMBERGJ.Quantitativerobustuncertaintyprinciplesandoptimallysparsedecompositions[J].FoundationsofComputerMath，2006,6(2): 227-254.

[12]MASOUMAN,MERANAN,HAVINGAP.Adistributedcompressivesensingtechniquefordatagatheringinwirelesssensornetwork[J].ProcediaComputerScience, 2013,21:207-216.

[13]NEEDELLD,TROPPJA.CoSaMP:Iterativesignalrecoveryfromincompleteandinaccuratesamples[J].AppliedandComputationalHarmonicAnalysis, 2008, 26(3): 301-321.

[14] 周燕,曾凡智,卢炎生,等.面向制造领域的三视图模型组件快速检索方法研究[J].中山大学学报(自然科学版),2014,53(4):62-68.ZHAOYan,ZENGFanzhi,LUYansheng,etal.Fastretrievalmethodofthree-dimensionviewformanufacturingfield[J].ActaScientiarumNaturaliumUniversitatisSunyatseni, 2014, 53(4): 62-68.

Video distributed compressive sensing research based on correlation model

ZHAOHuimin，PEIZhenzhen,CAIZhengye,DAIQingyun,WEIWenguo,WANGChen

(School of Electronic and Information //Guangzhou Key Laboratory of Digital Content Processing and Security Technology, Guangdong Polytechnic Normal University, Guangzhou 510665,China)

Video sampling and reconstruction need to process a huge amount of data. In order to solve the problem, a novel video distributed compressive sensing based-BP (VDCS-BP) is proposed in the paper. Based on correlation model established by sparse filter, VDCS-BP can achieve distributed video sensing at encoder-decoder, and reduce numbers of measurement by DCS. Experimental results show that the VDCS-BP is effective.

distributed compressive sensing; video; correlation; recovery

10.13471/j.cnki.acta.snus.2017.01.006

2016-08-31 基金项目：国家自然科学基金(61672008);广东省自然科学基金(2016A030311013, 2015A030313672);广东省应用型科技研发专项项目(2016B010127006, 2015B010131017)；广东省教育厅国际科技合作项目(2015KGJHZ021)；广东省科技计划项目(2014A010103032, 2014A010103032)

赵慧民(1966年生)，男；研究方向：信号与信息处理；E-mail:zhaohuimin@tom.com

TP

A

0529-6579(2017)01-0036-05