多视点视频的超分辨率重建技术设计

2017-02-06赵喆

数码世界 2017年1期

关键词：低分辨率分辨率编码

赵喆

辽宁锦州渤海大学工学院

多视点视频的超分辨率重建技术设计

赵喆

辽宁锦州渤海大学工学院

超分辨率重建技术是将图像中时空间信息提取出来，信息提取的过程中应用了信息处理的相关技术，通过超分辨率重建技术最终实现单幅高分辨图像的重建。本文引入了贝叶斯估计的相关理论，运用了最大后验概率超分辨率视频重建的算法。

视频超分辨率最大后验概率贝叶斯估计

1 超分辨率图像重建的问题描述

针对目前融合多幅图像中的退化因素的存在，必须要引入相关的技术，其中需要进行处理的部分主要包括了去除图像视频中的模糊以及噪声，并且估计帧间图像的对应运动，在重建超分辨率的时候，常常所获得的图像不是清晰的，而且图像中存在着病态的模糊算子，这是造成不可以充分获取图像观察信息的因素。因此在具体的应用中想得到高分辨率的图像常常不是很容易的。实际上，关于超分辨率重建算法是基于正则化理论，然而问题的解决出发点就是正则化理论。重建图像超分辨率的前提是确定合理的信息模型，通过该模型从而使得在降质图像以及退化图像中可以描述地更加准确，所以要想关联实际和理想中的图像序列就必须要设计一种观测模型。

2 序列图像超分辨率算法

超分辨率图像重建的模型如下所示。

解决超分辨率主要是估计HR图像，估计中需要用到B(k) (Sk)、n(k)和x的先验知识。有一个问题是无法避免的就是相互的作用始终在序列图像中存在。同时序列信息本身固定存在的冗余性和互补性特性，在一定程度上揭示了相关性和丰富性是信息的固有属性。序列图像的超分辨方法指的就是根据信息的多样性，以及物体中固有的先验信息进行计算和估算，最终从低分辨率的图像序列中里面提取出单幅高分辨率的图像。根据统计的结果从而得出空域和频域方法应用很广泛。

2.1 空域法

重建图像超分辨率的方法时候，应用价值比较高的方法是空域法。空域法可以应用在光学模糊、采样不理想场合中，空域法采取的模型是线性空间域模型。重建空间域图像超分辨率的方法通常有概率论方法、自适应滤波方法以及非均匀的间隔采样内插反向投影迭代等。

2.1.1 非均匀间隔采样内插

通过运动补偿配准，低分辨率序列会形成单一的合成图像，这个图像需要通过非均匀间隔采样，采样选择的方法是重采样采样点和内插采样点，从而最终能够重建出一幅超分辨率图像。

2.1.2 反向投影迭代

反向投影迭代的原理是：找出可以投影到高分辨率的图像中的一个模拟误差，紧接着按照事先估计的值估计新的值，循环操作这个步骤以后，会获得低分辨模拟图像的值，然后根据已经观测到的图像值对前后二者进行差值的运算，从而结果值即模拟误差。但是差值指的是在初试估计观测图像中获得的。

2.1.3 自适应滤波方法

自适应滤波方法指的是在重建超分辨率的时候运用到了反向滤波器，但是因为自适应滤波方法不能够随便地将先验约束加入到算法中，因此导致了许多的问题产生，与此同时因为反射滤波器的幅值和频率响应之间的关系是成正比，从而自适应滤波方法对调频噪声很敏感。即使自适应滤波方法有许多的缺点，但是在应用的相关技术而言，对于应用层析成像领域中有着重大的应用价值。

3 视频信号编码框架

现今关于视频编码在国际标准中存在着很多的方法。其中的方法主要包括了DCT变换以及运动补偿。不同的情况下所对应的方法标准也存在着不同点，所以图像的质量也会不同。然而不管是什么标准都会划块原始的图像。接着针对不同的块对图像进行编码的处理。其中的方法一主要实施该块的线性变换，接着再完成量化编码解码，从而在解码段中最终得出经过压缩与解压的估计结果。方法二指的是在解码段中存储经过空间偏移处理的编码图像块，接着将计算后的结果预测值线性变换，最后进行修改。视频混合编码框架图如图1所示。

图1 视频混合编码框架图

4 贝叶斯超分辨率

4.1 并行化设计

因为标准的MAP超分辨率算法的最大缺点就是运算过大，求解目标函数的时候，需要进行大规模的迭代求解。运算求解的过程中如果选择的是单线程的方式，那么这就会造成CPU硬件资源的浪费，特别是在这个信息技术飞速发展的科技时代，应用多核多线程CPU的领域遍布很广。因此实现算法的时候，要将并行化的设计考虑在内，CPU单位时间的计算吞量需要提高。设计并行化以前，应该要多次讨论超分辨率的降质模型。该降质模型表明了图像的降质过程指的就是把最初的高分辨率图像的像素块通过映射，在LR图像中产生对应的像素。而且从Markov随机场的概念中知道，图像像素的相邻的像素值对图像像素的取值有直接的影响。

因此当图像先验模型建立后，重建超分辨率可以获得高分辨率的图像，而且超分辨率中的所有部分都和超分辨率的低分辨率图像中像素的取值是有着直接的联系，但是和其他部分中对应的像素值是没有关系的。因此，重建各个图像块彼此之间是互不影响的，所以，当条件得到满足以后，实施并行化设计，从而在一定程度上缩减了重建图像时间，并且也使得算法的实时性能得到了提高。单线程运算求解如图2所示。

图2 单线程运算求解图示

在重建图像的时候，对图像实施分块。根据梯度下降的最优化，本文分割图像成多个大小固定的像素块，接着再按照具体的算法流程实现迭代求解。算法的实现过程总结为：1）图像分割成一系列等大像素块；2）在每个工作线程中实现像素块口的投递操作，同时单一重建Thread中的对像素块口。3）当重建完全部的像素块以后，就进行合并的相关操作，输出结果，最后进入下一帧。

5 仿真实验

5.1 算法有效性验证

该部分通过仿真实验实现了算法的有效性验证，在仿真实验中，选择标准测试图像序列压缩视频。具体的验证实验步骤总结如下：1）降质图像序列进行降质处理；2）通过MPEG-4编码器压缩低分辨率图像；3）通过标准的MAP算法超分辨率的恢复重建所获得的低分辨率压缩视频，同时分析该算法的性能，从主观质量以及PSNR的角度上进行分析。本文主要是以针对测试算法对不同压缩率在压缩视频时的性能，本文分别以低、中、高码率进行算法测试的结果分析。由于篇幅的原因，故不赘述。