基于刃边法的红外图像目标信息复原

孟 浩,李 博,杨耀森

(中北大学仪器科学与动态测试教育部重点实验室,山西 太原 030051)

1 引 言

红外热成像作为一种温度检测技术,可应用于航空航天、电子、医疗、机械等行业。与常规的检测手段相比,具有快速、高效以及非接触式的优点。在检测过程中,由于红外成像系统本身的因素以及电子噪声、热噪声等,会造成红外图像出现模糊、失真,使得图像效果变差,导致无法精确测量温度细节[1]。通常,要提升红外图像的测量精度,一种方法是提升红外热像仪的各项参数,但在提升参数的同时也意味着高额的成本[2]；另一种方法是通过图像复原方法改善热像仪的图像质量,在降低成本的同时尽可能获得物体更多的温度细节[3]。

目前,国内外研究者对于红外图像复原的研究已经做了许多工作,并在一定程度上提高了图像质量。陈树越等人首先确定热源图像的高斯点扩散函数,采用维纳滤波的方法复原红外图像中的热源[4],在提升边界清晰度的同时更好的保留了热源信息；李思俭等人将原始图像经过维纳滤波后,再做锐化处理,来增强目标边缘[5],对于运动模糊的图像复原效果明显；赖富文等人利用通过反卷积方法实现对低分辨率红外热像仪的增强,比较了正则化卷积与盲卷积对于热图像复原的效果[6],提升了热图像的对比度与空间分辨率；周程灏等人采用点插值法,循环矩阵模型,拉普拉斯正则化方法和共轭梯度迭代法,建立了空间变化图像复原方法[7],并通过实验验证了复原方法的有效性。

本文根据红外图像复原模型[8-11],在利用刃边法求取红外热像仪的点扩散函数(PSF)时,采用Prewitt锐化算子检测刃边,使用三次样条插值算法以及Savitzky-Golay 滤波对边缘扩散函数(ESF)进行优化,利用维纳复原与盲卷积复原算法复原热图像,并对比了两种方法的复原效果。

2 红外图像复原模型

基于Stefan-Boltzmann定律,物体发出的红外光与其温度有关。与传统的光学成像系统类似,红外热像仪的成像可通过一个线性系统进行表述:

g(x,y)=h(x,y)*f(x,y)+n(x,y)

(1)

其中,g(x,y)指红外热像仪观察的温度分布；f(x,y)为未知场景图像真实的温度分布；n(x,y)为红外测量系统中的加性噪声；h(x,y)是定义从f(x,y)到g(x,y)映射的系统矩阵。

光学系统在近轴成像区可视为线性不变系统,假设系统的输入f(x,y)是一线脉冲,假定为一个平行于y轴的线光源δ(x),于是有:

f(x,y)=δ(x)

(2)

系统对于线脉冲的输出响应g(x,y)称为系统的线扩散函数(LSF),即:

L(x)=g(x,y)

=δ(x)*h(x,y)

(3)

式中,h(x,y)为系统的脉冲响应或点扩散函数(PSF)。

线扩散函数L(x)的一维傅里叶变换等于系统的传递函数沿fx轴的截面分布:

(4)

由于脉冲响应是旋转对称的,则传递函数也是旋转对称的,所以只需要一个截面H(fx,0)就能完全确定系统的传递函数H(fx,fy),调制传递函数(MTF)是系统传递函数的归一化模型。

线扩散函数L(x)为边缘扩散函数(ESF)E(x)的导数:

(5)

3 方 法

3.1 复原参数计算

准确得到PSF对于图像复原的效果至关重要。根据输入信号的不同,PSF的测量可分为点光源法、刃边法、脉冲法和周期靶标法等,考虑到测量精度与方法实施的经济性,刃边法能在保证测量精度的同时降低实验成本[12],且一般的红外图像中都会有刃边。

其求取步骤为:倾斜目标刃边,使得刃边与红外成像器件像素组成的列(行)相交成一定的角度θ；使用Prewitt锐化算子检测刃边,以刀刃边与每行像素的交点作为边缘分界点；读取每一行像素的灰度值,并以边缘分界点为基准对每行灰度值曲线相加求平均得到ESF；将获得的ESF进行微分得到LSF,LSF的傅里叶变换是空间频域中的一维系统传递函数STF,对STF进行归一化后得到MTF；由于成像系统均是旋转对称的,通过在频域中旋转一维STF获得二维STF,再进行傅里叶逆变换即可得到空间域中的PSF。其中,ESF曲线的提取是保证刃边法计算精度的关键之一。

ESF曲线的提取是根据校准后刃边边缘位置,对图像进行重新排布,并进行噪声抑制[13]。本文采用三次样条插值算法与Savitzky-Golay滤波来优化ESF曲线,在消除噪声的同时进一步平滑ESF曲线。三次样条插值是通过形成一系列的中间值来使曲线光滑,在已知点与其函数值相等,导数与二阶导数在分段的交界点也相等；Savitzky-Golay滤波器是一种基于局域多项式最小二乘法拟合的滤波方法。这种滤波器最大的特点在于在滤除噪声的同时可以确保信号的形状、宽度不变,去除高频信号的同时拟合信号的低频部分。

3.2 维纳滤波复原

维纳滤波器是去除退化后图像的模糊与噪声是一种理想的滤波器,其频域形式为:

(6)

其中,H是退化函数,即PSF;G为退化图像的傅里叶变换；H*是H的复共轭;Snn代表噪声的功率谱;Sf代表未退化图像的功率谱。

3.3 盲卷积复原

盲反卷积方法假定光子检测过程中呈泊松分布,并基于贝叶斯公式得到迭代函数。其可以在没有退化图像先验知识的情况下进行图像复原。

结合图像的退化模型,可以得到迭代函数:

(7)

其中,fi是第i轮迭代复原的图像;h为退化函数;g为退化图像。当红外测量系统的PSF已知,只需要有一个估计值即可进行迭代求解[14],直至收敛。

3.4 复原效果评估

红外图像存在边缘模糊,因此可以采用边缘锐度(EAV)算法评估红外图像复原的清晰度。复原后的红外图像越清晰,其边缘也越清晰,边缘的灰度变化也越剧烈。该算法锐度计算公式如下:

(8)

式中,表示图像边缘锐度,是沿边缘法向的灰度变化率,是该方向总体灰度变化的绝对值[15]。

此外,还可以采用红外复原图像的标准差来判断复原的效果。标准差是指图像像素灰度值相对于均值的离散程度,如果标准差越大,表明图像中灰度级分别越分散,图像质量也就越好。

4 实验结果与分析

实验所使用的热像仪参数为:分辨率 640×480,光谱范围7.5～14 μm,热灵敏度<0.08 ℃,最小焦距0.52 m,测温范围-20～2000 ℃,测量精度为±2 ℃或读数的2 %。

4.1 PSF的参数测量

获取了热像仪与黑体炉之间钢板处的热图像,如图1(a)所示;在钢板与黑体炉交界边缘产生了刃边,采用Prewitt锐化算子检测刃边,检测结果如图1(b)所示,边缘检测算子检测出分界像素点的位置；以分界像素点为中心,对刀刃区域所有行进行平均计算ESF,并采用三次样条插值算法与Savitzky-Golay滤波优化ESF,以减轻噪声影响；如图1(c)所示,优化后的ESF与原曲线近似一致,在细微处相较原曲线更为平滑;对ESF进行微分得到LSF,并使用高斯函数对LSF进行拟合,如图1(d)所示。拟合得到的LSF与原曲线近似一致,拟合度(R-square)为95.32 %;对LSF进行傅里叶变换,并进行归一化处理后得到调制传递函数MTF,如图1(e)所示；对LSF进行傅里叶变换,转置叉乘运算后,再进行傅里叶逆变换,得到系统的PSF,如图1(f)所示。

图1 PSF的复原参数

4.2 复原后的噪声特性

对于红外图像复原后的热噪声特性,研究了两种复原方法下的温度波动,温度波动越大,对于噪声的优化能力越弱。使用热像仪对一杯60 ℃左右的热水进行拍摄,图2(a)、(b)、(c)分别显示了原始以及经过两种方法复原后的图像。使用图像中心的正方形区域(区域大小为50×50)来计算温度的最大值、最小值、平均值与标准差,如表1所示。从表1中可以看出,两种方法均维持了平稳的温度波动,即保持了原始图像低热噪声特性。维纳复原降低了原图像的标准差,而盲卷积复原提升了标准差,即维纳复原对于热噪声的改善优于盲卷积复原。

图2 原始与复原后的热水图像

表1 图像复原后的温度波动

Tab.1 Temperature fluctuations after image restoration

MaxMinMeanStdOriginal62.9561.1562.120.3329Wiener62.9261.2262.150.2997Blind62.9561.1762.130.4182

4.3 复原后的边界

对于复原后的热源边界,在带有矩形孔洞的钢板下设置热源进行实验。图3(a)、(b)、(c)分别显示了原始与两种方法复原后的图像。提取三幅图像中心同一行的一维温度曲线,如图4所示。可以看到两种方法均提升了条纹边缘高温与低温的对比度,对边界的区分更加明显,图像更为清晰,且维纳复原相比于盲卷积复原在图像的高温和低温区域有更好的温度均匀性。表2给出了采用边缘锐度算法以及标准差对于图像复原效果的定量评估,结果表明,两种方法均提升了图像的边缘锐度与标准差,增强了红外图像的清晰度,且维纳复原相比于盲卷积复原的提升效果更加明显。

表2 图像复原效果比较

图3 原始与两种方法复原后的条纹图像

图4 原始与复原图像的一维温度曲线

5 结 论

本文首先分析了红外图像降质原因,通过图像退化模型提出基于刃边法的红外图像复原。采用刃边法对复原参数进行计算,通过三次样条插值以及Savitzky-Golay 滤波对复原参数进行优化,得到系统的PSF。分别利用维纳复原和盲卷积复原对原始图像进行复原处理,并对复原后图像清晰度进行评估。实验结果表明,两种方法均能够在低热噪声特性下增强图像的对比度,提升图像的清晰度；维纳复原相比于盲卷积复原对图像边缘锐度以及标准差的提升效果更好一些,且对于热噪声的改善也优于盲卷积复原。