结合双线性插值与局部均值的红外图像插值算法

黄元忠 廖小华 卢庆华

摘   要：针对现有图像插值算法只考虑原始图像像素的问题，提出了一种兼顾原始图像与插值图像的红外图像插值算法。该算法将原始图像中的像素映射至插值图像中，然后使用双线性插值算法从原始图像中恢复插值像素，最后通过插值图像中已有的像素对插值像素进行加权修复。实验结果表明，所提算法的插值效果优于经典的图像插值算法，能有效避免锯齿和模糊现象的发生。

关键词：红外图像;双线性插值;局部均值

中图分类号：TP39                                            文献识别码：A

文章编号：1003—6199（2020）02—0133—05

Abstract：Aiming at the problem that the existing image interpolation algorithms only considers the original image pixels， an infrared image interpolation algorithm is proposed， which takes both the original image and the interpolated image into account. Firstly， the pixels in the original image are mapped to the interpolation image， then the bilinear interpolation algorithm is used to recover the interpolation pixels from the original image， and finally the existing pixels in the interpolation image are weighted to repair the interpolation pixels. The experimental results show that the proposed algorithm is better than the classic image interpolation algorithms， and can effectively avoid the occurrence of aliasing and blur.

Key words：infrared images;bilinear interpolation;local mean

由于紅外成像技术具有强穿透、高隐蔽、易辨识等优点，红外图像在军事、监控、工业等领域取得了广泛的应用[1]。相比于可见光图像，红外图像存在分辨率低的问题，运用数字图像处理技术以获取高分辨率的红外图像成为一种技术需求[2]。

目前，提高图像分辨率的方法主要有插值法[3]、重构法和学习法[4-9]。学习法需要依赖大量的红外图像进行模型训练，且训练得到的模型通常不具备泛化能力。重构法要求对图像的成像过程进行建模分析，精确的图像退化模型是算法成功的关键，这限制了重构法的应用与发展。插值法从图像内部出发，通过邻域像素的加权融合而得到新的插值像素，此类方法无需外部信息即可有效提升原始图像的分辨率。

最近邻插值法（Nearest Neighbor Interpolation）是众多插值算法中最简单的图像插值方法，其通过直接复制最邻近坐标处的图像像素而完成图像插值，该算法获得的插值图像容易出现锯齿、块效应的现象。双线性插值法（Bilinear Interpolation）是最近邻插值法的一种改进方法，因为双线性插值法综合考虑了目标坐标的周围4个像素，故插值效果优于最近邻插值算法。立方卷积插值法（Bicubic Interpolation）不仅利用了与目标坐标直接相邻的4个像素，还考虑了间接相邻像素对待插像素的影响，虽然插值效果较好但插值过程比较耗时。基于Lanczos核的图像插值算法在抑制锯齿、减少振铃等方面具有一定的优势，却需要大量的内存空间用于存储Lanczos核[10]。

综上，传统的插值算法在图像插值过程中仅关注原始图像目标坐标/邻域像素对插值像素的贡献，而未对已经获得的插值像素加以利用。鉴于此问题，提出了一种新的红外图像插值算法，通过双线性插值与局部均值同时进行的插值方式提高了插值图像的视觉效果与性能指标[11]。

1   图像插值算法

图像插值算法是提高图像分辨率的主要手段，受红外图像采集设备的制造工艺限制，红外图像存在分辨率过低等问题。为了更简单有效地提高红外图像的分辨率，设计了一种结合双线性插值与局部均值的红外图像插值算法。

1.1   双线性插值

虽然图像插值算法相当于一种图像低通滤波器，但由于红外图像通常仅具备少量的高频信息，这反而有利于图像插值算法在红外图像插值研究中的运用。鉴于双线性插值算法在算法效率、内存消耗及插值效果等方面具有相对可观的实验性能，文中在双线性插值法的基础上做了进一步研究。双线性插值法的插值过程如图1所示。

图1中，x、y分别表示原始图像、插值图像;黑色圆点、蓝色圆点分别表示原始像素S、空白像素N;红色圆点表示插值像素I，即利用双线性插值算法获得的像素;黄色圆点表示利用局部均值对插值像素修复后的像素R。双线性插值法的一般过程如下：

step1：坐标映射。利用插值图像中当前像素所在的坐标找到在原始图像中的对应坐标：

step2：插值。利用原始图像中的邻域像素计算应返回的插值像素：

1.2   局部均值

双线性插值算法在红外图像插值研究中具有很高的研究价值，为了进一步提高双线性插值法的插值效果，将双线性插值法与局部均值相结合并用于红外图像插值研究。结果表明，所提算法能有效提升双线性插值法的插值效果。局部均值的修复过程如图2所示。

局部均值的理论依据有以下三点：①由于红外图像本身仅具备少量的高频信息，因此在针对红外图像插值研究中可以忽略插值对细节造成的损失;②图像插值算法容易导致插值图像出现锯齿和块效应现象;③均值滤波可以抑制锯齿、块效应。局部均值的一般过程如下：

2   实验与分析

实验中用到的软硬件平台为：Windows 10 64位操作系统，Intel（R） Celeron（R） CPU N3160@ 1.60GHz，4GB内存。

2.1   数据集与评价指标

主要对公共红外图像数据集TNO（TNO Image Fusion Dataset， TNO）展开研究，部分红外图像如图3所示，实验图像的退化过程如图4所示。

图4中，z表示参考图像，x表示对z隔行/列提取到的实验图像。为了全面地评价所提算法的插值性能，分别从客观评价和主观评价两个方面对插值图像进行评价。采用峰值信噪比（Peak Signal to Noise Ratio，PSNR）作为客观评价指标，PSNR的定义为：

式中，z表示参考图像，y表示待评价图像，H和W分别表示图像的高度和宽度，n一般取值为8。MSE表示两幅图像之间的均方误差，PSNR是一种全参考图像质量评价指标，其值越大表示图像失真越小。

2.2   消融实验

为了验证局部均值对插值像素的修复作用，分别在2、3、4倍率下设计了以下3组实验：①双线性插值（Bilinear），即只对红外图像进行双线性插值实验;②双线性插值+均值滤波（Bilinear And Mean Filtering， BM），即先双线性插值再进行均值滤波;③双线性插值+局部均值（Proposed），即文中所提出的边插值边修复算法。

表1给出了消融实验在TNO数据集上的插值效果比较，共78张红外图像参与实验。实验表明，合适的参数设置如下：①2倍率：BM采用1×1的均值滤波器，Proposed采用3×3的均值滤波器，α、β 分别为0.6、0.4;②3倍率：BM采用3×3的均值滤波器，Proposed采用5×5的均值滤波器，α、β分别为0.6、0.4;③4倍率：BM采用5×5的均值滤波器，Proposed采用7×7的均值滤波器，α、β分别为0.6、0.4。由表1可知，所提算法能显著提升双线性插值算法的插值效果，且与BM存在本质的区别。

2.3   不同算法的实验对比

将本算法与经典插值算法进行比较，以峰值信噪比作为定量评估指标，对TNO数据集进行算法测试。实验结果如表2、图5、图6所示。

由表2知，所提算法在插值性能上优于其他几种算法，一定程度上提高了双线性插值算法的重建效果。由图5、图6知，最近邻法生成的插值图像产生了大量的块效应现象;由于立方卷积法与Lanczos法的核较复杂，这导致插值图像比较模糊;双线性插值法是经典插值法中最适合用于红外图像插值的算法，其生成的插值图像比较自然，无明显的块效应和模糊现象。提出的算法对双线性插值法进行了进一步的加强，通过局部均值的修复方式提高了插值图像的性能指标以及视觉效果。

3   结   论

传统的图像插值算法类似于一种低通滤波器，其必然导致原始图像经插值后损失大量的细节信息。因为红外图像本身仅具备少量的高频信息，所以在针对红外图像的插值研究中应重点关注如何避免块效应和模糊现象的出现。鉴于此，提出了一种结合双线性插值与局部均值的图像插值算法，通过合理分配插值像素与均值像素的权重而显著地提高了红外图像的插值效果。

目前，计算机视觉方面的研究主要集中在深度学习领域，而当前的深度学习技术主要以有监督学习为主，这不利于展开对数据集本就缺乏的红外图像方面的研究。

参考文献

[1]    陈钱.红外图像处理技术现状及发展趋势[J].红外技术，2013，35（06）：311-318.

[2]    李方彪，何昕，魏仲慧，等. 生成式对抗神经网络的多帧红外图像超分辨率重建[J]. 红外与激光工程，2018，47（02）：26-33.

[3]    邹学瑜，劉昌禄，胡敬营.基于双线性插值算法的缩放IP核设计[J]. 计算技术与自动化，2017，36（01）：113-117.

[4]    CHAO Dong， LOY C C， HE Kai-ming， et al. Image Super-resolution using deep convolutional networks[J]. IEEE Trans Pattern Anal Mach Intell， 2014， 38（2）：295-307.

[5]    KIM J，LEE J K，LEE K M. Accurate image super-resolution using very deep convolutional networks [C] // Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Washington D.C.， USA： IEEE Press， 2016：1646-1654.

[6]    KIM J，LEE J K，LEE K M. Deeply-recursive convolutional network for image super-resolution [C] // Proceedings of IEEE Conferenceon Computer Vision and Pattern Recognition. Washington D. C. ， USA： IEEE Press， 2016：1637-1645.

[7]    TAI Ying， YANG Jian， LIU Xiao-ming. Image super-resolution via deep recursive residual network[C]// IEEE Computer Vision and Pattern Recognition （CVPR 2017）. IEEE， 2017.

[8]    王欢，吴成东，迟剑宁，等. 联合多任务学习的人脸超分辨率重建[J]. 中国图象图形学报，2020，25（02）：229-240.

[9]    王丹，陈亮. 基于深度学习的红外夜视图像超分辨率重建[J].红外技术，2019，41（10）：963-969.

[10]  DUCHON C E. Lanczos filtering in one and two dimensions[J]. Journal of Applied Meteorology，1979，18（8）：1016-1022.

[11]  孙荣荣.基于多参数和极限学习机的图像质量评价方法研究[J]. 计算技术与自动化，2020，39（01）：123-127.