红外视频帧运动模糊复原技术研究

李思俭,樊 祥,程正东,朱 斌

(电子工程学院脉冲功率技术国家重点实验室,安徽 合肥 230037)

1 引 言

随着各种无人飞行器技术的发展,无人机的武器化研究愈发重要,针对这类飞行器的红外对空探测系统的研究和改进工作就日益受到研究人员的重视[1]。该系统以被动方式工作,输出红外视频,利用图像处理方法从背景中检测并识别图像中的目标[2]。为有效提高红外探测系统的探测距离,需要为空域检测及目标识别处理提供充分的响应时间[3]。该系统探测的目标多为空中飞行器,运动速度相对较快,留给系统的探测窗口时间有限,这就要求系统时刻处于360°全空域运动搜索过程中,使得探测器与目标之间的相对运动较为剧烈[4]。综合这些因素,红外图像在形成、传输、存储、记录和显示过程中,不可避免地会存在质量退化,尤其是空中目标高速运动造成的运动模糊,这种退化给系统后端的图像处理、航迹关联等增加了许多困难[5]。运动模糊图像复原算法大致可以分为时间域、空间域和频率域三个大的方向,但是应用于红外空域监测系统时却各有缺陷,红外相机需要始终以较快的速度扫描空域,使采集到的目标图像产生了较为严重的运动模糊难以分辨,因此已有的目标检测算法就不能满足使用条件[6-8]；由于近些年空气质量和天气情况恶化,雾、霾等极端天气在全年天气中占比越来越高,采集到的原始图像普遍存在噪声问题,抑噪成为算法中不可或缺的一环；当跟踪空域中飞行速度较快的飞行器,要求相机的帧频较高,这又对算法的处理速度提出较高要求；存在运动模糊的目标具有拖尾效应,目标经常存在中变形的问题,这就给目标检测造成困难[9]。

针对这些问题,本文提出在对采集到的红外视频处理过程中引入运动模糊复原技术,并利用多帧图像之间的相关信息,从中提取图像的先验信息并相互补充以提高复原效果并满足后续算法的使用条件,从而再对目标图像做滤波处理,进一步地提高目标的信噪比,改善图像质量,增强监测系统的作用效能。

2 运动模糊图像复原基本原理

获取图像的瞬间,所拍摄的目标与相机发生相对运动,称为运动模糊。在所有的运动模糊中,由匀速直线运动造成图像模糊的复原问题更具有一般性和普遍意义,非匀速直线运动可近似为匀速直线运动,或者可以分解为多个匀速直线运动[10-12]。

图1 基本图像退化复原模型

当H是一个线性、空不变的过程时,空间域中的退化图像可由下式给出:

g(x,y)=h(x,y)*f(x,y)+n(x,y)

(1)

式中,f(x,y)为原始图像；g(x,y)是退化图像；n(x,y)是加性噪声项；h(x,y)是退化函数的空间表示,符号“*”表示空间卷积。

因为空间域中的卷积等于频率域中的乘积,因此可以把式(1)中的模型等价于频率域表示:

G(u,v)=H(u,v)F(u,v)+N(u,v)

(2)

式(2)中的大写字母表示式(1)中对应项的傅里叶变换。

3 点扩散函数估计方法

3.1 系统运动模糊模型

上文简要阐述了运动模糊的一般原理,具体到本文中的对空侦察系统对飞行器的探测过程时,先以探测器静止,飞行器运动为例。当飞行器以速度V在空域中飞行时,如图2所示,飞行器从A点以速度V运动至B点,则在CCD感光面上A的像点a以速度v运动到B的像点b,根据成像原理,有:

(3)

式中,V为飞行器飞行速度；v为飞行器的像在CCD感光面移动的速度；H为飞行高度；f为探测器镜头的焦距。

图2 基本图像退化复原模型

在CCD相机的一个积分时间Δt内,像移的距离Δl=Δt×v。

像移Δl造成了运动模糊,Δl越大则运动模糊就越严重,当探测系统工作时,飞行器的飞行速度V是不可控量,则要降低Δl的一个方法就是尽量减小积分时间Δt,这就要选择高帧频的CCD,这将会使整个系统的成本和造价抬高,而且积分时间减小后就要求目标的红外辐射足够强,这就使系统的探测距离随之降低。以上只是探测器静止的情况,实际应用中探测器为了探测整个空域还会以一定的角速度做360°的转动,这就进一步的增大了Δl。

3.2 点扩散函数的估计

当空中目标以图2所示的方式运动时,采集到的运动模糊图像为:

(4)

其傅里叶变换为:

(5)

根据傅里叶变换的位移定理,式(5)变换为:

(6)

令:

(7)

则有:

G(u,v)=H(u,v)F(u,v)

(8)

由式可知,当x0和y0已知时,点扩散函数PSF可以直接计算出来。由于本文中涉及的探测系统的工作方式是水平360°旋转,所以由探测器旋转所产生的运动模糊只存在于x方向,移动距离为Δl,有:

(9)

将式(9)代入式(8)中,得:

(10)

4 视频图像复原算法

视频图像又称动态图像或者序列图像,它是若干幅有序排列的静态图像按照一定的关系连续变换产生的,是二维图像在一维时间轴上构成的序列图像[13]。动态图像中的一帧就是指相对静止的一幅图像,通过确定每秒钟播放的单帧静止图像数量确定视频图像的刷新速度,利用视觉暂留原理,使人眼无法辨别单幅静态图像,看似连续平滑的视觉效果。运动模糊复原的一个重要的步骤就是构建点扩散函数(PSF),对于单帧的运动模糊图像由于获取的先验知识不足,预估的点扩散函数就不准确,复原效果自然不会很好[14]。为了克服这一问题,本文的方案是先用红外摄像机采集目标视频,然后通过对序列图像各帧之间的相关信息来估算点扩散函数,再用点扩散函数进行反卷积运算复原图像。

4.1 视频影像分帧处理

由于摄像机的帧频较高,计算机运算速率难以满足,本文通过等间隔抽取的方式对视频分帧处理,从而降低处理数据量,达到用普通计算机模拟高性能计算机的目的。

目前红外摄影机采集到的图像主要保存为AVI格式、MOV格式和RMVB格式,帧频为30 f/s或60fps(frames per second),单帧图像常用格式为JPEG格式、BMP格式、PNG格式等。本文实验用相机的图像格式 AVI(Audio Video Interleaved)视频和BMP(Bitmap)图片,其中BMP又叫位图格式,图像的位深可选,不存在任何压缩,最大限度保留图像原始信息。AVI格式的全称为音频视频交错格式,其中包括文件头、数据块和索引块,每帧数据按时间顺序存储,调用方便且图像质量很高,缺点就是每帧的数据量大且帧频较高导致短视频占用很大的体积,对此,我们在复原过程中采用等间隔采样分帧,将视频降频处理为序列图像再复原,从而满足计算机处理条件[15]。

4.2 图像预处理

视频影像的采集依赖于红外CCD,在采集的过程中会不可避免地引入噪声项,而且在发生运动模糊退化时,加性噪声项也会随之退化,变得更加复杂。维纳滤波算法是在逆滤波的基础上针对噪声项加以改进的算法,它可以在复原过程中较好地抑制噪声,提高处理效果[16]。

(11)

其中,E{·}是参数的期望值。误差函数的最小值在频率域中由式(12)给出:

(12)

当处理白噪声时,谱|N(u,v)|2是一个常数,当未退化图像的功率谱未知或不可估计时,用式(13)来近似式(12):

(13)

式中,K是一个加到|H(u,v)|2的所有项上的特定常数。

4.3 算法设计流程

视频图像是静止图像每秒连续变换特定帧数,因此对视频模糊图像的处理,可以转换为静止图像的处理,我们将视频模糊图像处理过程分为三个具体的步骤,具体算法设计流程如图3所示。

图3 算法设计流程

①将视频图像转化为一序列单帧静止图像进行保存；

②利用上文中测得的PSF,依次对单帧图像序列进行复原处理；

③对处理完成的单帧图像序列,采用函数转化为视频,实现视频模糊图像复原的效果。

5 实验结果与分析

为了验证研究思路并比较复原前后图像效果,设计并进行了如下实验。

以尺寸为450 mm的四旋翼无人机来模拟大型飞行目标(文中以美国的“捕食者”无人侦察机为例),具体参数对比如表1所示。

表1 参数对照表

实验中,以焦距为100 mm、像元尺寸为17 μm的长焦红外摄影机作为视频采集设备,实验过程中无人机悬停于空中,红外镜头架设在地面的云台上,云台高度相对于无人机的悬停高度可以忽略不计。无人机起飞位置距摄影机为366 m,垂直起飞的悬停高度为100 m,由勾股定理可知悬停的无人机与红外镜头的直线距离l约为379 m,根据相机成像原理可以算得无人机在感光元件上成像大小约为0.1187 mm,约占7个像元。

利用本文算法对采集到的红外视频进行处理,视频的帧频为30 f/s,编码格式为RGB(32bit),其中单帧图像尺寸为640×480像素,通过两组不同背景下包含目标的红外图像序列来对本文算法进行处理实验。图4为两组不同天空背景红外目标的原始图像序列与复原处理后的图像序列的效果图,其中白色光斑为无人机目标。

图4 图像序列复原效果对比图

通过图4中模糊图像和复原图像的对比,凭肉眼可以看出,经过运动模糊复原处理之后的序列图像中的目标相对于背景更加凸显,边缘更加清晰,并且复原处理后的背景边缘形状也更加分明。为了进一步验证复原处理对图像质量的提升效果,鉴于以上图像评价较为主观,使用峰值信噪比PSNR(Peak Signal to Noise Ratio)和均方差MSE(Mean Square Error)这一对判定指标对复原处理效果做进一步证明,PSNR和MSE是两种常见的、广泛使用的图像质量客观评测参数,根据PSNR和MSE的定义,PSNR值越大或MSE值越小,则该处理后的图像与标准图像匹配效果越好,即该处理方法效果越好[17]。

若模糊图像为I,复原图像为K,那么它们的均方差MSE定义为:

(12)

峰值信噪比PSNR定义为:

(13)

其中,MAXI,K表示图像点灰度的最大数值,由于上述实验中已将图像位数设置为8位,所以该值为255。

结构相似性(Structural Similarity)是衡量两幅图像相似度的指标,自然图像具有极高的结构性,表现在图像的像素间存在着很强的相关性,尤其是在空间相似的情况下。这些相关性在视觉场景中携带着关于物体结构的重要信息。我们假设人类视觉系统主要从可视区域内获取结构信息。所以通过探测结构信息是否改变来感知图像失真的近似信息。

完整的相似测量函数为:

SSIM(x,y)=f[I(x,y),c(x,y),s(x,y)]

(14)

结构相似性SSIM的范围是(-1,1),当两张图一模一样时,SSIM=1。

根据经验公式,我们应用平均SSIM指数(MSSIM)作为整个图像的估计质量评价:

(15)

为了验证运动模糊复原技术对视频图像序列的作用效果,将本文所用方法与常用的传统检测方法,即高通滤波算法(high pass filtering，HPF),作对比实验如下[18]。

以红外相机静止状态下采集的视频,抽取同一序列图像为标准图像,对相机以30°/s的速度旋转产生的两对模糊图像分别用本文算法和高通滤波算法处理后求出各自MSE和PSNR值,测得的两组图像序列的MSE和PSNR曲线如图5所示。

图5 PSNR对照曲线及MSE对照曲线

图5为这两种方法分别应用于同一图像序列的复原效果参数对比,其中图(a)中的实线为本文算法的PSNR曲线,曲线上的每一个点均高于对照组的HPF算法,图(b)中的实线为本文算法的MSE曲线,曲线上的每个点都低于对照组的HPF算法。

从图5中的数据可以看出,相机以30°/s的转速工作时,使用本文的复原算法的PSNR值都大于高通滤波算法的PSNR值,MSE值都小于对照算法的MSE值,根据PSNR和MSE的定义,PSNR越大则图像质量越高,MSE越小则图像质量越高,因此可以证明实验采集的运动模糊的视频序列图像经去模糊复原处理后,绝大多数的帧图像质量得到了提高。

下面我们换一个评价参数,用前文介绍过的MSSIM对复原图像进行评价,观测复原效果如图6所示。

图6 MSSIM对照曲线

从图6中的数据可以看出,相机以30°/s的转速工作时,使用本文的复原算法的MSSIM值基本稳定在[0.95,0.96]中,并且使用对照的全局维纳滤波算法复原后图像序列的MSSIM值波动较大,波动范围在[0.91,0.94],均小于本文算法,这就说明经本文算法复原后的图像与清晰图像的相似度更高,复原效果更好,绝大多数的帧图像质量得到了提高,这也与图4中人眼的观察结果相匹配。

6 结 论

本文在分析了红外空域监测系统工作过程中遇到的问题和困难后,针对当前算法中存在的缺陷,提出将多帧信息融合与点扩散函数估计的方法引入该空域监测系统的视频运动模糊复原问题中,并将维纳滤波算法用于原始图像序列的预处理,实现去除运动模糊、增强目标的效果,从而提高系统对空域目标的监测效果。通过搭建模拟实验平台,将视频数据处理后做对比分析以及引入PSNR和MSE等评价参数与传统算法相互验证等方法来探索解决方案,验证算法。实验结果表明:(1)与采集到的原始视频相比,经过运动模糊复原技术处理后的图像序列中目标与背景的边缘更加清晰,同时目标的亮度更高；(2)在与高通滤波算法的对比中,本文算法在转台转速为30°/s的实验条件下,PSNR值达到37以上,MSE值不高于9,均优于高通滤波算法,且MSSIM值也均高于对照组。因此将改进后的运动模糊复原技术引入空域监测系统能够提高图像质量,对于提高系统的作用距离和监测效果具有现实意义和应用前景。

[1] LU Huimin,XU Ming,LI Xun.Image deblurring with adaptive signal-noise ratio estimation for computation imaging system [J].Acta Optica Sinica,2014,34(8):119-126.(in Chinese)

卢惠民,徐明,李迅.用于计算成像系统的基于信噪比自适应估计的图像去模糊研究[J].光学学报,2014,34(8):119-126.

[2] HOU Jie,XIN Yunhong.Detection of infrared small targetbased on the wavelettransformation and image enhance-ment technology[J].Laser & Infrared,2013,43(6):683-688.(in Chinese)

侯洁,辛云宏.基于小波变换与图像增强技术的红外小目标检测[J].激光与红外,2013,43(6):683-688.

[3] ZHAO Chunhui,YAO Xifeng,ZHANG Lili.Target detection sparse algorithm by recursive dictionary updating and GPU implementation[J].Acta Optica Sinica,2016,36(8):0828002.(in Chinese)

赵春晖,姚淅峰,张丽丽.采用字典递归更新的目标检测稀疏算法及GPU实现[J].光学学报,2016,36(8):0828002.

[4] LIU Zhenguo,HU Xiaomei,LUJin.An improved neural network non-uniformity correction for IRFPA[C].SPIE,2009,7383:788330.

[5] ZHANG Jiao,LI Junshan,SUI Zhongshan,et al.Blind turbulence degraded image restoration algorithm basedon hybrid regularization constraint[J].Laser & Infrared,2017,47(7):884-888.(in Chinese)

张姣,李俊山,隋中山,等.混合正则化约束的湍流退化图像复原算法[J].激光与红外,2017,47(7):884-888.

[6] ZHANG Dongxiao,et al.Study on background radiation measurementin the adaptive infrared stealth[J].Laser & Infrared,2015,45(8):964-969.(in Chinese)

张冬晓,等.自适应红外隐身背景辐射测量研究[J].激光与红外,2015,45(8):964-969.

[7] ZHANG Ning,SHEN Xiangheng,YE Lu,et al.Influence of high frequency spectrum of photoelectric measurement equipment images to the subjective evaluation[J].Acta Optica Sinica,2016,36(4):0411002.(in Chinese)

张宁,沈湘衡,叶露,等.光电测量设备图像高频频谱对主观评价的影响[J].光学学报,2016,36(4):0411002.

[8] WU Bin,JI Hongbing,LI Peng.New method for moving dim target detection based on third-order cumulate in infrared image[J].Infrared Millim.Waves,2014,43(5):1690-1696.(in Chinese)

吴斌,姬红兵,李鹏.基于三阶累积量的红外弱小运动目标检测新方法[J].红外与毫米波学报,2014,43(5):1690-1696.

[9] Bar,ABrook,NSchen,et al.Deburring of color images corrupted by salt-and-peppernoise[J].IEEE Trans.Image Process,2007,16:1101-1111.

[10] J Cai,R Chan,M Nikolova.Two-phase methods for deburring images corrupted by impulse plus gaussian noise[J].AIMS Journal on Inverse Problems and Imaging,2008,2(2):187-204.

[11] TXiao,XXu,and KLiao.Characterization of non-linearelasticityandinstability in single-walled carbonNano tubes[J].Journal of Applied Physics,2004,95:8145.

[12] ZHANG Ning,XIN Yunhong.Infrared small target detection based on wavelet transformand improved Top-Hat filter[J].Laser & Infrared,2017,47(7):884-888.(in Chinese)

张宁,辛云宏.基于小波变换和改进Top-Hat滤波的红外小目标检测[J].激光与红外,2016,46(11):1432-1436.

[13] Hek,Rhemhan C,Rother C,et al.A global sampling method for alpha matting[C].Computer Vision and Pattern Recognition(CVPR),IEEE,2011:2049-2056.

[14] Shahren E,Rajan D,Prince B,et al.Improving image matting using comprehensive sampling sets[C].Computer Vision and Pattern Recognition(CVPR),IEEE,2013:636-643.

[15] Gastal E S L,Oliver M M.Shared sampling for realtime alpha matting[C].Computer Graphics Forum.Blackwell Publishing Ltd,2010,29(2):575-584.

[16] Levin A,Weiss Y,Durand F,et al.Understanding and evaluating blind deconvolution algorithms[C].IEEE,2009:1964-1971.

[17] NAN Yibing,GAO Kun,NI Guoqiang.Hyperspectral image blind correction method based on band selection and PSF estimation[J].Infrared Millim.Waves,2016,(6):715-722.(in Chinese)

南一冰,高昆,倪国强.基于波段选择估计PSF的高光谱图像运动模糊盲校正方法[J].红外与毫米波学报,2016,(6):715-722.

[18] FENG Yunsong,LU Yuan,FAN Bin,et al.Realizationand analysis of a dynamic infrared stealth technique[J].Laser & Infrared,2017,47(7):884-888.(in Chinese)

冯云松,路远,范彬,等.一种动态红外隐身技术的实现与分析[J].激光与红外,2007,37(6):558-560.