基于块分类的矿井视频图像DCVS重构算法

赵小虎, 沈雪茹, 李婉梅, 王 宽

(中国矿业大学a. 信息与控制工程学院; b. 物联网(感知矿山)研究中心;c. 矿山互联网应用技术国家地方联合工程实验室, 江苏 徐州 221008)

0 引言

矿井的智能监控、煤层识别和矿物探测等对视频图像的质量和传输实时性要求较高, 尤其是在井下无人值守的工作区域,视频图像的数据量大,图像的传输和存储较困难, 故如何减少信息的传输量和提高传输效率备受关注．分布式视频编码(distributed video coding,DVC)在编码端对信源进行独立编码,在解码端利用视频序列的相关性进行联合解码, 降低了编码端的复杂度．传统的DVC系统是基于信道编码的,对单幅图像的编码仍须进行大量计算．压缩感知(compressed sensing, CS)[1-2]技术因其较低的采样率以及编码端的低复杂度,在多信号传输处理中发挥着良好的作用．Liu等[3]将CS理论引入分布式视频编码中, 形成分布式压缩视频感知(distributed compressed video sensing, DCVS)理论．典型的DCVS框架主要有分布式压缩视频感知框架[4]以及基于块的DCVS框架[5]．近年来,关于改进DCVS框架的研究甚多．Brendt[6]通过改进稀疏表示算法,提出一种有效的卷积稀疏表示方法,取得良好的稀疏表示效果．赵睿思等[7]在边信息生成方面进行改进,利用边信息生成字典来辅助非关键帧的重构,一定程度地提高了非关键帧的重构质量．边信息的加入可以提高解码端CS帧的重构质量,边信息获取的准确性直接影响CS帧的重构性能．获取边信息的过程可以采用K-SVD训练字典[8]的方法生成或对已解码的关键帧做运动估计, 在时域中内插生成．但是上述对DCVS框架改进的方案中,均未充分利用视频序列中相邻关键帧在不同区域中帧间相关性的差异; 因此, 本文提出一种基于块分类的分布式视频编解码方案,根据不同的帧间相关性对视频帧进行块分类, 在编码端, 不同类型的块采用不同的稀疏基策略; 在解码端,根据块分类的结果采用不同的权值以获取边信息辅助非关键帧的重构．

1 视频图像信号的稀疏表示

在传统的视频编解码中, 块预测与离散余弦变换(discrete cosine transform, DCT)相结合的混合编码方案可以快速降低视频图像的时空相关性．为了获得更好的稀疏表示, 笔者参考该稀疏模型, 针对非关键帧提出一种新的混合稀疏基模型, 对关键帧仍采用原始的DCT稀疏基．混合稀疏基Ψi=[ΨDCT;Ψinter], 其中ΨDCT为原始DCT基, 可由DCT域中的线性变换获取;Ψinter为块预测基, 可通过相邻解码关键帧生成的边信息预测获取．

图1 块分类结果及对应的稀疏基策略Fig.1 Block classification results and corresponding sparse basis strategies

2 基于块分类加权边信息的DCVS框架

在分布式视频编码框架中, 将视频序列分帧并分成若干个图像组(group of pictures, GOP), 每一个GOP组中包含一个关键帧(Key帧)和若干非关键帧(CS帧)．根据视频帧间不同的相关性,构建如图2所示的基于块的分类加权边信息DCVS框架．

图2 基于块的分类加权边信息DCVS框架Fig.2 Block-based classification weighted side information DCVS framework

在编码端, Key帧采用传统的DCT采样, CS帧采用本文混合稀疏基策略采样, 测量矩阵均采用随机高斯矩阵．在解码端,对关键帧采用稀疏度自适应匹配追踪(sparsity adaptive matching pursuit, SAMP)算法进行重构, 而非关键帧的重构结果是前后两个关键帧的重构值分别进行前向和后向运动估计生成的边信息与非关键帧的残差重构相结合的产物．

传统的通过已解码关键帧做运动估计求取边信息的方法大多是对当前帧的前后两个关键帧的重构值做前向和后向运动估计, 然后按照某一固定的权值(通常为1/2)相加获得边信息辅助CS帧的重构[9]．然而,视频序列中的不同区域帧间相关性不同,视频的变化场景和运动程度不一,当前后向运动估计帧间相关性较弱时,仍采用固定的权值并不能很好地预测当前帧,以此生成的边信息的准确度偏低,进而影响非关键帧的重构．故笔者将充分考虑帧间相关性,提出一种基于块的加权边信息生成方案．

在非关键帧的重构中, 非关键帧的重构结果xrec=Is+rrec, 其中rrec为非关键帧的测量值和边信息对非关键帧的残差重构．假设某视频的非关键帧为x, 其测量值y=Φx, 其中Φ为测量矩阵,边信息在测量域的值用E(Is,Φ)表示, 计算测量域的残差为r=y-E(Is,Φ), 对残差r进行重构可得rrec．非关键帧的重构结果为xrec=Is+rrec．

3 仿真结果与分析

选取煤矿井下采集的2组不同视频序列, 验证本文混合稀疏基下采用分类加权边信息(classification weighted side information, CWSI)生成方法时的重构性能,并将其与固定加权边信息(fixed weighted side information, FWSI)[10]和传统的DCVS方案[11]进行对比分析．视频序列中GOP组内关键帧和非关键帧的测量与重构都是基于块的,现将GOP的第一帧定义为关键帧, 其余帧为CS帧,考虑关键帧在整个重构过程中的重要地位,选择关键帧的采样率为0.9．为了验证CS帧中分类加权边信息在不同采样率下的重构时间复杂度和重构质量,选取视频序列中某一GOP组中的CS帧进行2组对比实验,结果如图3～4所示．

图3 不同采样率下非关键帧的重构时间复杂度Fig.3 Reconstruction time complexity of non-key frames at different sampling rates

图4 不同采样率下非关键帧的重构质量Fig.4 PSNR value of reconstruction quality of non-key frames at different sampling rates

由图3～4可见: 1) 不同采样率下, CWSI算法与其他2种算法的重构时间相近,算法的复杂度较低; 2) CWSI算法的重构质量优于传统的DCVS算法和FWSI算法．当采样率大于0.3时, 采样率的增大并不能明显提高峰值信噪比,故基于能耗和重构质量的考虑,本文选择非关键帧的最佳采样率为0.3．

选取2组视频序列中的30个GOP图像组, 每个GOP中包含3个图像帧,其中第一帧为关键帧,其余帧为CS帧．选取GOP组中30个CS帧进行仿真实验,采样率为0.3, 对CWSI算法和FWSI算法的重构质量进行对比,验证CWSI算法的有效性．2个视频序列中的非关键帧重构质量如图5所示．由图5可知,基于块的分类加权边信息生成方法比固定加权边信息算法重构的峰值信噪比值平均提高了0.2～0.6 dB, 这是由于本文提出的边信息生成算法充分利用了帧间相关性的不同, 能够选择合适的权值生成边信息辅助非关键帧的重构,从而提高非关键帧的重构质量．

图5 采样率为0.3时非关键帧的重构质量Fig.5 PSNR value of non-key frame reconstruction at a sampling rate of 0.3

4 结论

为了解决将压缩感知方法应用到视频解码端获取边信息辅助非关键帧的重构过程中不同的视频序列图像块之间的相关性差异的问题,本文提出了一种基于块的分类加权方法进行非关键帧的重构．在编码端的稀疏表示方面,根据帧间相关性的不同,将视频序列分为不同的块,针对不同的块选择相应的稀疏基策略．非关键帧的解码端,在利用运动估计生成边信息的算法中,边信息的生成根据帧间相关性的不同选择不同的权值．仿真实验结果表明,本文方案基于不同的视频应用场景自适应选择不同的稀疏基和边信息生成方案,充分利用帧间相关性,在提高非关键帧重构质量的同时能更好地重构原始视频序列．