基于帧间动态优化贝叶斯压缩感知的监控视频处理研究

王臣昊++贾海天++肖小潮

摘要：将基于优化高斯随机观测矩阵的贝叶斯压缩感知算法引入监控视频处理中，并提出帧间动态调整观测的算法，以满足高清视频监控管理中不同时期、不同画面清晰度要求下的传输和存储需求。其动态性体现在，区分基准帧和非基准帧应用不同思路处理，同时，非基准帧的观测序列维数[M]动态决定。仿真表明，针对[1280×720]的帧图像，OBCS算法比常用的OMP算法在重构[PSNR]和运行时长上优势明显；此外，动态调整算法下，非基准帧图像压缩率具有更大的灵活性。

关键词：视频监控处理；优化贝叶斯压缩感知；帧间动态调整；高频子带系数；帧间残差

中图分类号：TN911.73 文献标识码：A 文章编号：1009-3044（2017）04-0228-05

随着人们对信息的需求越来越高，信息提供者和管理者对数字化信息的处理与管理难度也越来越大。在监控视频应用领域，720P、1080P的高清摄像头使用越来越广泛，随之带来的是传统奈奎斯特采样定理下，对这些高像素数据采样、编码、传输、存储越来越大的压力。而压缩感知（CS，Compressed Sensing）理论[1-2]表明，只要信号满足某个域上稀疏的条件，就可以突破奈奎斯特采样定理的限制，以较少的观测序列重构出原始信号，从而减轻对此类信号的处理压力和随之而来的传输、存储压力。所以，压缩感知理论一经提出，便广为关注和研究。

视频的帧图像信号经过一定的投影后，可以在DCT域、DFT域或者小波域上投影变换成稀疏信号[3-4]，从而应用压缩感知理论。本文正是基于这个基础，将压缩感知技术引入视频监控处理和管理中。除了在压缩感知算法上使用前期研究提出的基于优化高斯随机观测矩阵的贝叶斯压缩感知算法（OBCS，Optimized BCS）[5]，还特别针对监控视频帧间的高相关性，提出帧间动态调整压缩感知的算法。通过帧间动态调整观测序列维数[M]，灵活调整帧图像压缩比，满足不同时期、不同图像质量需求下的监控视频传输和存储。仿真实验表明，针对[1280×720]的基准帧或非基准帧帧图像，OBCS算法都比常用的OMP算法在重构[PSNR]和运行时长上都有明显优势；此外，动态调整算法下，非基准帧图像压缩率具有更大的灵活性，运算时间也可进一步降低。

1观测矩阵优化的贝叶斯压缩感知

压缩感知理论概括就是，如果[N]维数字信号[x]稀疏度为[K]（即非零元素为[K]，[K?N]）或者投影到某个变换域上可以变为[K]-稀疏的信号，则其可使用观测矩阵[Φ]进行线性变换，得到维度小于[N]的观测序列[y]，[y]可以使用原矩阵[Φ]高概率地重构原始的[N]维信号[x]。所以，压缩感知理论的基本环节是：投影、观测、重构。而OBCS算法就是在压缩感知的重构环节，引入贝叶斯思路[6]；并对观测和重构环节最常用的高斯随机观测矩阵进行优化。

1.1 优化高斯随机观测矩阵

Candes，Tao[7-8]等学者指出使用观测矩阵[Φ]（[M×N]维）进行观测后重构[N]维信号时，要保证不会把不同的两个[K]-稀疏信号映射到一个集合中，因此，理想状态下，[Φ]中任意抽取[M]个列向量，所构成的矩阵需要是非奇异的。在实际选取时，可以令其列向量的相关性尽量小，使得[Φ]更随机化。

设观测矩阵[Φ]，[G=ΦTΦ]中非对角线元素[gij]中的最大幅值即为[Φ]列向量间的互相关性。另设变量[utΦ]为容忍门限[t]下的平均互相关性，为所有绝对值大于等于[t]的非对角线元素[gij]的平均值，如下所示：

其中，[n]为绝对值大于等于[t]的非对角线元素[gij]的个数。因此，减小[utΦ]也就减小了观测矩阵[Φ]列向量之间的相关性。针对[gij]可以进行如下的迭代收缩运算[5]：

其中， [γ]为0到1之间取值的衰减因子。

1.2 贝叶斯压缩感知重构

贝叶斯压缩感知区别于常见的压缩感知算法在于，前者在重构环节以贝叶斯最大后验概率的思路求解，而后者力图近似求解一个最小[l0]范数[7][9]问题比如MP算法或者OMP算法，或者转换到等价的最小[l1]范数求解比如BP算法等。

在压缩感知中引入贝叶斯时，首先，将[N]维稀疏信号[x]分解成[x1]、[x2]两部分，[x1]保留[x]中[M]个（[M?N]）幅值最大的值，其余置0；[x2]保留了[x]中[N-M]个幅值最小的值，其余置0。根据中心极限定理[10]，[Φx2]可近似看作服从[N（0，σ2）]的噪声。下文用[x]代替[x1]，噪声[n]近似代替[Φx2]，观测序列[y]可表如下：

[y=Φx+n] （3）其中，[n]的方差为[σ2]。

其次，需要明确稀疏信号[x]的先验知识。

文献[6]提出一种分层的稀疏先验。设[px|α]服从均值为0、精确度为[α]的高斯分布。

[α]是[αi]组成的[N]维向量，服从[Γ]分布，形状参数[a]、尺度参数[b]均可置为0[11][15]。[α-1i]为[x]中各个分量的方差。

根据（3）式[n～N（0，σ2）]，则

其中[γi?1-αi∑ii]，[∑ii]是[∑]的第[i]个对角线元素。[αnewi]和[（σ2）new]的取值是[αi]和[σ2]关于[μ]和[∑]的迭代过程，可通过限制收敛条件，将满足收敛条件的最终迭代值带入求得[x]。

2 帧间動态调整压缩感知处理的监控视频处理算法

监控视频信号处理遵从图像信号的一般特性，比如图像信号经过若干层的小波分解后具有可应用压缩感知的信号稀疏性。同时，也要考虑监控视频的特点，比如拍摄角度长时间不变，帧间有高概率的相关性；视频文件体积大，带来传输、存储的巨大压力；某些时段的分辨率要求不必很高；或者一定时效后，调取的可能性很低，可以进一步以降低分辨率为代价，换取高的压缩比，减少存储占用空间。

因此，在监控视频处理中应用压缩感知技术，可以将连续的帧图像区分为基准帧和非基准帧。基准帧就是独立使用原帧信号压缩感知的帧图像，需要在压缩前进行稀疏化变换；非基准帧与基准帧的帧间残差在一定门限范围内，可对具有稀疏特性的残差直接压缩感知，在重构端将残差的重构和基准帧的重构叠加，恢复该非基准帧。

这种区分基准帧和非基准帧的动态调整压缩感知，可以利用基准帧稀疏化变换后的稀疏度或者帧间残差的稀疏度，动态选择观测矩阵的二维维度，从而决定传输和存储的一维观测序列[M]，改变压缩比。同时，设定门限将帧间残差的稀疏度控制在可以接受的范围内，可以保证非基准帧重构的精确度；仅对稀疏残差的值和位置的传输和存储，可以使非基准帧的压缩比较之基准帧进一步提高。

图1 基于帧间动态调整优化观测贝叶斯压缩感知的监控视频处理流程

2.1基准帧的高频子带压缩感知

帧图像经过小波变换后，会分解成维度降低的高频子带和低频子带，其中高频子带有稀疏性。但是如果需要达到一定的重构效果，一般要进行多层小波变换，比如对于[256×256]的图像至少要4层以上的，对于现在动辄720P、1080P的监控视频图像来说，所需层次更加高，而且重构质量也并非理想。因此，不如直接保留不稀疏的低频子带，而只对高频子带做压缩感知[13]，在保证所需的重构质量的条件下，减少一定的用于重构的传输或者存储数据量。具体步骤如下：

（1）对[A×B]的图像进行单层小波变换，分解得[（A/2）×（B/2）]的4个小波子带系数[HH、HL、LH、LL]；

（2）根据2.2构造[M×（A/2）]大小的优化高斯随机观测矩阵[Φ]，对[HH、HL、LH]进行测量，[LL]保持不变；

（3）使用贝叶斯重构算法，对[HH、HL、LH]进行重构，得到[HH、 HL、 LH]，与[LL]进行小波逆变换，恢复帧图像。

2.2非基准帧的帧间残差动态观测压缩感知

视频文件一秒的帧数至少在15帧以上，而且监控视频镜头一般在较长的一段时间内保持稳定。因此，帧间残差的稀疏性很高。选定基准帧后，间隔帧数越少，稀疏性越高，同时残差值越小。对于相邻的两帧[1280×720]的灰度图像，95%左右的像素点上残差为0，累积98%左右的像素点上残差小于等于2，只有不到1%的像素点上残差超过5。因此，完全满足针对残差压缩感知的条件，并且在稀疏度处理上，可以将小于一定门限的残差值近似看作0，进一步提高稀疏性、降低观测序列维数。具体步骤如下：

（1）求当前处理帧与基准帧的像素点残差矩阵[Δ]，稀疏度满足门限，设置其为非基准帧，否则按3.1基准帧处理；

（2）统计残差稀疏度，因为使用观测矩阵对[Δ]的每一列或者每一行的转置依次观测，所以统计每一行或者每一列中超过某个残差门限的像素点数，比如每一列中[δ：，j≥3]的个数[ci]，取[C=maxc1，c2，...cB]或[C=Ε（c）]等；

（3）动态选择观测维度[M']进行优化观测，具体[M']的取值可以视需要，随着非基准帧和基准帧之间间隔的幀数[n]增大而增大，比如从[C3]逐步增加到[C]；

（4）使用贝叶斯重构算法，得到重构残差[Δ]，考虑到重构残差矩阵[Δ]的元素基本都不是整数，可以再对[Δ]的所有元素值进行四舍五入的取整处理，得到[Δ']；

（5）将[Δ']与重构的基准帧叠加，得到该非基准帧的重构值。

3 仿真实验

仿真使用的视频文件分辨率[1280×720]，每秒25帧。因为原理相同，为了简化仿真的处理过程，我们将提取的帧图像做了灰度处理，即，将R、G、B三个分量的二维矩阵加权平均得灰度化后的二维矩阵进行处理。

仿真1：针对基准帧，在使用OBCS和OMP算法下，观测维度[M]和重构基准帧的[PSNR]、运行时长的关系

对于[1280×720]的基准帧，观测序列维数[M=150：10：230]，重复二十次实验，得表1：

从表1可以看出，对于基准帧的高频子带压缩感知时，使用OBCS算法比OMP算法[PSNR]高[1～2dB]，压缩加重构的时间总长明显要短，且随着观测序列维数的增大而差距增大。

如果监控视频在某个时间段没有高质量的画面重构需求，那么从传输和储存的成本角度考虑，观测序列维数可以进一步调低。仿真特意选取的基准帧图像中间人物的背部衣服有英文字母VSARSENT，以是否有明显噪点和能否轻松辨认该串字母作为重构质量的分界线。

图4 基准帧[M=230、M=150、M=90、M=5]（从左往右）时的局部重构效果

对于[1280×720]的基准帧，观测序列维数[M=230]时，包括不作任何处理的低频子带在内，整个帧数据的压缩率为51.95%，重构图像清晰、画面细腻；当[M≤150]时，压缩率为42.58%，重构图像清晰、深色部分有些许不明显噪点；当[M=80]时，[PSNR]为26.6[dB]，压缩率为34.38%，运行时长182.66s，重构图像虽有明显噪点，但人物背部的英文字母依然清晰可分辨；当[M≤70]时，重构图像中人物背部的英文字母已难轻松分辨；当[M=5]时，[PSNR]为24.71[dB]，压缩率为25.59%，运行时长62.99s，除了细节外图像依然可以被大致重构。这从侧面说明了低频子带是原始图像在不同尺度下的逼近信号[12]。因此，使用单层小波分解后，针对高频子带压缩感知对基准帧进行处理的极限压缩率为25%。

仿真2：针对非基准帧和基准帧的残差，在使用OBCS和OMP算法下，帧间隔数[n]和重构[PSNR]、运行时长的关系

以仿真1中的处理帧作为基准帧，提取其后连续9帧图像作为非基准帧，求与基准帧的残差，使用OBCS和OMP算法对残差矩阵[Δ]进行仿真，残差观测序列维数[M'=C]，基准帧在观测序列维数[M=230]下重构，重复20次实验，得表2：

表2 OBCS和OMP算法下，[M'=C]时，帧间隔数[n]和重构[PSNR]、运行时长的关系

[

间隔帧数[n] 算法

从表3可以看出，残差观测序列维数[M'=C/2]减少一半后，[n≤6]时对残差的重构[PSNR]相差不大，[n≥7]时相差较为明显；但叠加重构基准帧后，非基准帧重构[PSNR]差值在[0.5dB]以下，且无明显规律。因此，10帧以内的非基准帧观测维数还可以继续降低，10帧以外的非基准帧有待进一步仿真。

对非基准帧残差压缩感知时，压缩率和残差的稀疏度有关。仿真中取[M'=C/2]时，[n=1]的非基准帧残差稀疏性最差的列有136个大于2的残差值，选取[M'=68]，压缩率为9.44%左右，是重构[PSNR]接近的基准帧的压缩率的1/5左右；[n=9]时，[M'=151]，压缩率为20.97%左右，是重构[PSNR]接近的基准帧的压缩率的1/2左右。

仿真3：针对非基准帧，使用OBCS算法，帧间隔数[n]和重构非基准帧的[PSNR]的关系

以仿真1中的处理帧作为基准帧，提取其后连续9帧图像作为非基准帧，求与基准帧的残差，使用OBCS算法对这9个残差矩阵[Δ]进行仿真，残差观测序列维数[M'=C]。限于篇幅，部分帧间隔数[n]和重构[PSNR]的关系如表4：

全部数据绘制成图如图：

由图5可得，在任意基准帧观测序列维数[M]下，非基准帧的[PSNR]都和与基准帧的帧间隔数[n]成反比关系；基准帧[M]越大，基准帧的[PSNR]越高，非基准帧的[PSNR]越受[n]的影响；[n=6]和[n=7]的两个非基准帧之间[PSNR]的较明显突降与对残差观测的[M']有关。事实上，我们选取[M'=C=maxc1，c2，...cB]，只能反应残差矩阵中最不稀疏的一行或一列的稀疏性，并不能完全反映整体情况，因此在以后的仿真中，可以将其调整为[M'=C=Ε（c）]等。

4 结论

将压缩感知应用在监控视频处理和管理中，可以极大的利用观测序列维度[M]这一参数，通过动态调整的方式，灵活的改变压缩率，满足一段时间内或者特定条件下的监控视频传输和存储的需求。通过仿真表明，采用优化观测的贝叶斯压缩感知，对监控帧图像区分基准帧和非基准帧，采用不同思路的压缩感知，可以更大地发挥出压缩率灵活改变的优势。但本文在研究中，对非基准帧的观测序列维数取值只考虑了依据稀疏性最差的行或者列，并不能反映整体的稀疏情况。因此，压缩率仍有进一步减小的研究空间，值得以后进一步研究。

参考文献：

[1] Donoho D L.Compressed Sensing[J].IEEE Trans.On Information Theory，2006，52（4）： 1289-1306.

[2] E.Candes，Compressive Sampling[C].Proceedings of the International Congress of Mathematicians， Madrid， Spain， 2006（3）：1433-1452.

[3] 杨真真.压缩感知重构技术及其在图像融合中的应用研究[D].南京邮电大学，2014.

[4] Zhang J，Zhao D，Zhao C，et al.Compressed sensing recovery via collaborative sparsity[C]. Proc of Data Compression Conference，2012：287-296.

[5] 王臣昊，楊震，肖小潮.基于优化贝叶斯压缩感知算法的频谱检测[J].信号处理，2012，28（5）：750-756.

[6] Shihao Ji，Ya Xue，Carin L.，Bayesian Compressive Sensing[J].IEEE Trans. on Signal Processing， 2008， 56（6）：2346-2356.

[7] E. Candes，Romberg J.Tao T. Robust uncertainty principles：Exact signal reconstruction from highly incomplete frequency information[J].IEEE Trans. on Information Theory，2006，52（2）：489-509.

[8] E Candes.The restricted isometry property and its implications for compressed sensing[J]. Academie des sciences， 2006， 346（I）： 592- 598.

[9] Baraniuk R.Compressive sensing [J].IEEE Signal Processing Magazine， 2007， 24（4）： 118-121.

[10] A. Papoulis， S. U. Pillai， Probability， Random Variables and Stochastic Processes[M]， 4th ed. McGraw-Hill， 2002.

[11] M.E.Tipping， Sparse Bayesian Learning and The Relevance Vector Machine[J].Journal of Machine Learning Research， 2001（1）：211-244.

[12] Chen S B， Donoho D L， Saunders M A. Atomic Decomposition by Basis Pursuit [J]. SIAM Journal on Scientific Computing， 1998， 20（1）：33-61.

[13] 岑翼刚，陈晓方，岑丽辉，陈世明.基于基于单层小波变换的压缩感知图像处理[J].通信学报，2010，8（31）：52-55.