基于视频流体模型的图像超分辨率重建

毕国堂，唐权华，陈立伟

(1．西南科技大学计算机科学与技术学院，四川绵阳621010;2．江西师范大学软件学院，南昌330022)

1 概述

由于存储空间与采集硬件的限制，视频监控中所存储的通常都是分辨率较小的视频，且包含噪声，无法满足对监控内容的识别等追踪需求。对视频进行去噪，合成高分辨率的图像，可为医学诊断提供更有力的依据，减少误诊率，为警方提供识别和追踪罪犯的有效证据，并为科研活动提供更详细直观的数据，其他如工业、农业、商业等各行业也都对高分辨率监控图像有迫切的需要。

为了从监控视频中获取高清晰度的图像，进行视频处理是一个必不可少的环节。利用视频连续性的特点，超分辨率重建的思想在20世纪80年代被提出，使用频域逼近的方法从视频获得超分辨率图像。此后，基于视频的超分辨率重建(Video Based Super-resolution Reconstruction，VSR)方法迅速获得人们重视，并成为图像超分辨率重建的主要分支之一，目前仍然是图像重建的研究热点。VSR中关键问题在于帧间的匹配，文献［1］提出使用最大后验概率(Maximum A Posteriori，MAP)进行快速匹配，在此基础上，文献［2］基于图像统计模型建立了目标方程，提高了VSR的收敛速度，文献［3］提出一种结构保持的VSR方法，改善了重建的效果，另一些研究则是将残差［4］、稀疏矩阵［5］等技术应用于 VSR，从而改善或避开帧间匹配。其他研究主要针对图像的特殊噪声［6］、特殊应用场景［7］、运动信息［8］做特殊处理，或应用聚类等技术提高重建速度［9］。从已知成果来看，现有超分辨率重建方法都是将视频作为随机信号处理，从概率的角度确定像素的最可能正确值，并未考虑视频的几何特征。虽然一些方法在时域上进行了区域匹配［10］，但匹配结果仅被用于提取统计特征，未能充分发掘像素在时域和空域上的三维相关特性，限制了超分辨率重建的效果。视频流体模型(Video Fluid Model，VFM)［11］综合描述视频对象的时域和空域信息，为解决上述问题，本文提出一种新的图像超分辨率重建方法，将视频流体模型引入到基于视频的图像重建方法中。

2 视频流体模型

视频是对客观世界运动和变化的连续取样，从时间轴上看，当采样频率足够高时，视频总是连续变化的，物体的运动轨迹为连续光滑曲线。对于视频中的一个区域时间序列A(t)(0＜t＜∞)，如果它的中心数列CA(t)连续，并且对于时间t，可以找到一个映射f(x，y，t)，f:A(t)(A(t+1)，使得对任意区域 A(t)中的点 (x，y)都有 I(x，y，t)=I(x+fx(x，y，t)，y+fy(x，y，t)，t+1)，并且 f在区域中关于(x，y)连续。那么称F(t)={{A(t)}，f，CA}为一个视频流体。其中，f称为流体的流纹;数列CA(t)称为视频流线。所谓视频流体模型则是将视频用一组流体表达的结果。

由于视频采集是一个三维到二维的映射，存在信息的丢失，视频流体在各帧间并不能完全对应，这个过程可以由以下公式表示:

其中，Mi在平移线 Li与(x，y)的连线方向上;Tj在旋转中心(centerx，centery)与(x，y)的连线方向上。

视频流体模型可以简化为:

视频流体模型不仅记录了视频对象的整体区域，且记录了区域内各像素的时域对应关系，是视频时空关系的综合体现。在视频流体模型的数据中，对于空域关系仅记录某一帧的数据，而其他帧均参考此数据，流纹数据也只记录其中变化部分，因此，模型的记录较少。使用流体模型时可以很直接地得到视频对象、对象运动与变化相关的数据，因此，流体模型可以很方便地应用于视频去噪、视频内容分析等视频处理过程中。

3 图像超分辨率重建与视频流体

图像的超分辨率重建，主要是希望从模糊的图像中获得清晰的结果。传统超分辨率重建主要通过运动估计和自适应滤波消除模糊混叠、模糊和噪声，从而达到提高分辨率的目的。传统方法要取得成功有2个方面的要求:(1)能完成高精度的运动估计;(2)正确完成摄像机的配准。从理论上说，如果匹配2个区域的像素完全在整数位置对应，则可以利用这种对应关系进行滤波，达到去噪的目的;如果区域像素在分数位置对应，则可以增加像素数目，达到分辨率扩展的目的。

传统的超分辨率重建方法也存在一些困难，使得超分辨率重建应用难以普及，仅能用于一些特殊行业，如交通监控的视频处理，理论研究也很难突破。传统的运动估计都是基于矩阵块完成的，无论是16×16像素的块还是8×8像素的块，都可能有部分像素运动跟块的运动并不一致，这就从根本上限制了运动估计的精确度，从而也对超分辨率图像重建构成了不利影响。另外，传统运动估计仅进行简单的特征匹配，而无视旋转和变形等因素，使得估计结果仅仅是块的相似，而不能做到像素的对应，利用块匹配进行滤波还可能带来图像质量的恶化。

视频流体是同一表面连续拍摄的结果，因此，在理论上也可以利用流体区域在不同时刻的像素值进行滤波和拼接，达到去噪、扩展分辨率的目的。流纹在本质上是同一像素的运动轨迹，可以用同一流纹上的像素值滤波进行去噪，也可以利用流纹在时域上的光滑性和空域上的平滑性提高视频区域的质量。当一条流纹中断，而它周围的流纹延续时，可以认为该流纹是流向了分数位置，同样，在2条流纹间补入的新流纹也可以认为原来就存在于分数位置，通过分数位置的处理，则可以达到扩展图像分辨率的目的。当对象区域旋转、变形时，流体区域相应变化，流纹会随像素移动方向转向，可见，基于流体模型不仅可以完成超分辨率图像重建，而且可以解决传统超分辨率重建的难题。

4 基于流体模型的图像重建方法

视频流体是同一对象在不同时刻采集到的像素集，忽略光线的变化，可知同一流纹上的像素值理论上相等，即 I(x，y，t)=I(f(x，y)，t+1)，因此，可以使用流纹进行时域去噪。同一物体表面的实际元素不改变，当流纹间连续出现新的像素时，可以认为这是原来数字化采样丢失的像素，因此，可以使用补入线增加图像的分辨率。由此可以得到基于流体模型的图像超分辨率重建方法，即首先利用流纹进行去噪，然后利用补入线扩展图像分辨率，其总体流程如图1所示。

图1 基于流体模型图像重建总体流程

如图1所示，重建过程首先建立视频流体模型并进行去噪，然后选择起始帧作为参考图像，并依次在各帧中选择补入线流纹，再根据补入流纹相邻流纹计算补入流纹在初始帧的位置，如果所得位置非整数，先对参考图像插值拉伸，最后使用补入流纹上的值替换对应位置的插值。

4．1 基于等色线的流体模型估计

视频流体是同一对象产生的像素集，但分割视频对象本身是一个难题，本文使用流纹的运动来反推流体，即先计算流纹，再根据流纹运动一致性来判定流体的区域。根据定义，流纹上的像素相等，但由于噪声的影响与采样分辨率的不足，很难通过像素值的相等来计算流纹。幸运的是，脉冲噪声通常是分散的，随机噪声污染后的值总是在真实值附近随机波动，另外，可以认为相似像素值的运动不可分辨，再结合同一对象相邻质点运动方向一致的特点，本文利用等色线构建视频流体模型。

基于等色线的流体模型建立方法如下:

Step1令每帧总像素数N，当前帧数k=0，流体数 c=1，流纹函数 f(x，y，0)=(x，y)，即假设初始为静态。

Step2对当前帧frame(k)计算各像素的颜色中值Med。

Step3以frame(k-1)各流体及其流纹函数、流纹变化估计frame(k)对应区域，若对应像素值均相等，则令k=k+1，转Step1;否则以Med计算等色线重新划分frame(k)，frame(k-1)。

Step4寻找每条等色线的前后对应关系，并在对应等色线间以角点对应、最小距离的方式查找匹配点连线，作为等色线上的流纹。

Step5若等色线包围的区域内颜色相等，则将区域内像素均匀对应作为流纹，否则以区域内颜色中值计算等色线重新划分区域，转Step3。

Step6计算各流纹的变化，并以流纹变化一致区域作为流体区域。令k=k+1，转Step2。

通过上述方法的运算，不仅可以得到视频流体的区域划分，而且能准确得到流纹及流纹变化等信息。

4．2 基于中值滤波的自适应时域去噪

根据定义，流纹上的像素值相同，然而由于噪声的存在，流纹上的像素值也可能不完全相等。去除噪声的方法较多，通常是假设噪声或未污染像素服从某种概率分布，如高斯分布、白噪声、极值分布等，从而得到如高斯滤波、粒子滤波、均值滤波、中值滤波等去噪方法。对流纹上的像素而言，正常像素与噪声的最大区别是正常像素值保持不变，呈现一致性，而噪声则是随机的，因此，噪声的影响总是小于正常像素，污染后的像素值总是在正常像素值附近波动。由此可以得到2种去噪方法的选择，一是均值滤波，二是中值滤波。均值滤波的前提是噪声为白噪声，且容易受噪声的极端分布所影响，而中值滤波仅需要像素值有向真实值集中的趋势即可，因此，本文选择使用中值滤波方法去噪。具体方法为使用流纹上的中值替代观测值:

其中，f为流纹函数。

此处的流纹指经过等色线估计得到的近似像素时域对应关系，其中，90%左右的像素值相等或近似相等，可以不处理，同时，采用了文献［12］的快速中值计算方法，虽然使用了中值滤波这一非线性方法，但并不影响整个方法的执行效率。

4．3 基于流纹延伸的像素扩展

由于分辨率不足，视频像素是实际像素的采样，相对相机静止的物体采样位置也固定，长期统计可以得到相应位置的真实值。而相对相机运动的物体则可能得到不同位置的采样，产生流纹的中断与新增，这是补入线与切出线的重要来源，因此，可以用补入线补充之前未采集到的像素值，而用切出线可以预测之后丢失的像素值。由此可得到基于流纹延伸的像素扩展方法如下:

(1)以去噪后的视频第一帧作为扩展基础，即按比例将 I(x，y，0)扩展为目标图像的 P(xs，ys)，其中，s为扩展比例，为方便计算，规定s为整数。

(2)依次计算各帧的流纹f(x，y，t)，并递归计算第 t帧 ～ 第1 帧的映射 g(x，y，t)。若 f(x，y，t)为切出线，则用亚像素位置对它进行延伸，令:

(3)对P中各像素进行补充赋值，若存在g(x，y，t)=(xs，ys)，则令 P(xs，ys)=(x，y，t)，否则对(xs，ys)进行双线性插值。

5 性能分析

通过以上重建过程可以看出，基于视频流体模型的超分辨率图像重建方法可以使用于连续拍摄的一般场景，甚至也可以用于移动摄像机所拍摄的场景，具有精度高、抗干扰的适应性强等优势。

由于本文方法基于流纹进行重建，流纹为像素在时域上的延伸，因此重建操作本身是像素级的。与以往基于块的图像重建方法相比，新方法可以对每个像素进行单独修复和预测，而避免了块操作产生的模糊等不良影响，因此新方法具有更高的重建精度。

当噪声存在，基于流体模型的去噪方法不仅可以从空域上对图像去噪，而且可以同时考虑像素的时域连续性，客观上增加了重建的抗噪声性能。并且，当出现摄像机抖动、光线闪耀等异常情况时，流体模型能根据流纹的时域、空域的连续性、光滑性进行校正，也保证了重建方法的抗干扰能力。

与一般重建方法只能处理固定摄像机的情况不同，本文方法并不区分场景的前景、背景等，而是将场景中的各元素视为连续运动的整体，因此，在进行图像重建时并不存在运动背景与静止背景的区分，可以自然地适应摄像机运动的情况。

当然，由于对视频进行像素级处理，流体模型的建模过程有一定的时间开销，但由于图像重建过程一般都是非适时的，没有适时要求，并且建模过程只是一个有限的时间开销，图像重建的对象都是重要数据，一般数量有限，因此基于流体模型的方法能够适应一般图像重建的时间需求。

6 实验结果与分析

分别以文献［3］提出的配置与最大后验插值方法(M＆EM)、文献［4］提出的梯度投影(Gradient Projection，GP)方法、文献［5］提出的最大后验估计与投影 (Maximum A Posteriori＆Projection，MAPP)方法及本文方法对同一段视频(共50帧)进行重建处理，部分结果如图2所示。通过对比观察可以看出本文方法重建结果最为清晰。

图2 监控视频重建结果

对于普通的测试视频，超分辨率重建后没有可参考和对比的图像，恢复结果仅能用肉眼观察和人工判断。为了客观地评价和对比重建结果，对标准测试视频进行降质处理。测试视频的原始帧大小为704×576像素，首先对视频各帧做几何变换，缩小到352×288像素大小;然后使用高斯滤波对各帧进行模糊处理;最后在各帧中随机加入椒盐噪声与高斯白噪声。采用上述各方法对不同污染程度的视频进行处理，然后对比处理后得到重建图像与参考帧的峰值信噪比(Peak Signal to Noise Ratio，PSNR)，对mobile视频处理结果(共90帧，参考帧为第45帧)如表1所示，其中，未处理列指几何变换后与加噪后对应视频第45帧的PSNR对比;其余各列则指分别使用M＆EM等方法处理后得到的重建图像与原视频中第45帧的PSNR对比。

表1 重建图像与参考帧的PSNR对比 dB

由表1可知，4种重建方法都可以起到扩展图像分辨率、提高图像质量的作用，而本文方法的重建效果在不同的污染情况下均超过其他3种方法。

7 结束语

基于视频流体模型，本文提出一种新的图像序列高分辨率重建方法。应用视频流纹的变化进行图像质量的提高、分辨率的扩展。实验结果表明，与传统基于运动估计的图像超分辨率重建方法相比，该方法可获得更好的图像重建效果。今后将研究如何提高方法的计算速度，并将流体模型应用于其他视频处理方面。

［1］ 肖创柏，禹 晶，薛 毅．一种基于MAP的超分辨率图像重建的快速算法［J］．计算机研究与发展，2009，46(5):872-880．

［2］ 樊 超，孙宁宁，夏 旭．基于序列图像的超分辨率重建［J］．红外技术，2010，32(5):279-282．

［3］ 郭 琳，陈庆虎．结构保持的图像序列自适应超分辨率重建［J］．武汉大学学报:信息科学版，2011，36(5):548-551．

［4］ 陈华华，姜宝林，刘 超，等．基于残差的图像超分辨率重建［J］．中国图象图形学报，2013，18(1):42-48．

［5］ 李 民，程 建，乐 翔，等．基于联合稀疏近似的彩色图像超分辨率重建［J］．光电子·激光，2011，22(8):1241-1245．

［6］ 聂笃宪，陈一梅，陈鹤峰．去混合噪声的超分辨率图像重建算法［J］．红外技术，2010，32(10):604-606．

［7］ Lu Xiaobo，Zeng Weili．Super-resolution Reconstruction for License Plate Images of Moving Vehicles［J］．Journal of Southeast University，2010，26(3):457-460．

［8］ Seelamantula C S，Mulleti S．Super-resolution Reconstruction in Frequency-domain Optical-coherence Tomography Using the Finite-Rate-of-Innovation Principle［J］．IEEE Transactions on Signal Processing，2014，62(19):5020-5029．

［9］ 李娟娟，李小红．基于聚类的单帧图像超分辨率重建方法［J］．计算机工程，2013，39(7):284-287．

［10］ 朱 伟，孙久运，刘凯凯．基于最小二乘影像匹配的超分辨率重建［J］．地理与地理信息科学，2014，30(2):116-119．

［11］ 唐权华．视频时空联合模型与去噪研究［D］．成都:西南交通大学，2010．

［12］ 唐权华，雷金娥，周 艳，等．基于多级空间压缩测度积分的中值计算方法［J］．中国图象图形学报，2009，14(4):642-646．