结合两种回归模型的图像插值算法研究

崔小青，吴晓红，何小海，季成涛，任 超

CUI Xiaoqing,WU Xiaohong,HE Xiaohai,JI Chengtao,REN Chao

四川大学 电子信息学院，成都610065

College of Electronics Information Engineering,Sichuan University,Chengdu 610065,China

1 引言

图像插值是利用已知低分辨率图像通过特定算法估计高分辨率图像的过程，是数字图像处理技术的一个重要组成部分。目前，图像插值技术已广泛应用于遥感、天文、医学等领域。图像插值技术经过长期的发展，目前主要分为线性插值算法与基于边缘导向的插值算法两大类。常用的线性插值算法主要有最近邻插值，双线性插值，双三次插值[1]和样条插值[2]，该类算法具有计算快速，复杂度低等特点，但是由于这些插值算法在对未知像素进行预测的时候，采用的是统一的插值核函数，因此通常会造成插值结果存在边缘模糊等问题。针对上述不足，学者们提出了基于边缘自适应的插值算法。边缘自适应插值主要分为两个方向：基于显性的图像边缘插值方法和基于隐性的图像边缘插值算法[3-15]。基于显性的图像边缘插值算法首先利用检测算子对图像边缘进行提取，然后利用检测到的边缘信息对插值点进行引导。常见的检测算子有Canny，Zerocross，LoG，Sobel，Prewitt，Robter 及其改进算子。此类算法的插值结果受限于边缘提取算法的精确程度，但是由于图像边缘的隐匿性，边缘的预测往往存在一定的误差，因此造成该类算法存在一定的局限性，如插值图像的边缘锐化不理想。基于隐性的图像边缘插值算法可以根据图像的局部特征自适应地调整插值核函数。文献[3-4]首先计算图像的曲率，然后利用图像的曲率进行插值。文献[5]采用线性最小均方误差预测插值系数。文献[6]分别将图像建模为马尔可夫随机场。文献[7]基于自然图像双向自相似性，提出基于双向非局部模型插值算法。文献[8]将非局部自回归模型加入到稀疏表示模型中，提出一种基于稀疏的图像插值方法。文献[9-12]首先通过低分辨率预测系数，利用图像高低分辨率的几何对偶性，自适应地求得高分辨率像素值，算法虽然在一定程度上保护了图像局部结构，但由于普通最小二乘的局限性，算法的鲁棒性不是很好。文献[13-14]采用基于双边滤波的加权最小二乘算法对图像进行插值，取得了稳定的插值效果，加权最小二乘可以很好地保障算法的鲁棒性，但由于系数估计时局部窗口使用的不合理性，使得插值得到的图像的细节有一定的损失。

针对上述问题，本文首先分析自然图像的两种回归模型，继而根据两种回归模型来预测图像的局部结构，并在此基础上提出新的结合两种回归模型的图像插值算法。本文将基于几何对偶性的普通最小二乘和基于非局部均方的加权最小二乘相结合，能够很好地根据图像局部相似性特征对图像局部结构的分段统计稳态区域进行较好的预测，从而提高模型估计的准确性，改善了现有算法对模型参数的估计存在较大误差的问题。实验结果表明，该算法在提高了算法的鲁棒性的同时，又准确地估计了图像的局部结构。

2 图像自回归模型

自然图像中，相邻像素点间往往存在着较大的相关性，对这种相关性的建模在图像去噪、编码及插值等图像处理领域中具有较为重要的意义。自回归模型是对上述相关性进行建模的较为通用的模型之一[15]。

对于二维图像信号Y(i，j)，可以模拟为分段自回归模型，即：

其中，空间邻域结构T中的元素个数决定了自回归模型的阶，α(m，n)为线性回归模型的参数，ε(i，j)是白噪声误差项，服从高斯分布。

对图像统计分析发现，自回归模型参数具有分段统计稳态性质，在插值窗口内可以认为是固定的，即对于利用线性回归模型进行预测的未知像素存在较小的误差，这就使得线性回归模型得以成功应用。通过上述分析，图像插值的目标转变为对模型参数α的估计。基本方法是，基于局部窗口内符合分段统计稳态性质的假设，通过邻域像素采样对模型参数α进行估计：

2.1 基于几何对偶性的普通最小二乘

文献[9]认为图像高低分辨率协方差之间存在几何对偶关系：有限范围内，估计高分辨率协方差可通过其相应的低分辨率协方差求解得到。如图1，局部窗口内，通过低分辨率求得的系数α1，α2，α3，α4可以应用于求解高分辨率像素。

图1 图像的几何对偶性

回归分析中常用最小二乘法进行无偏估计。对于适定问题，有：

其中Y=[y1，y2，…，yq2]T，即系数预测的窗口为Q×Q，X是Y周围的四个相邻像素，尺寸大小是Q2×4。

采用最小二乘法，定义损失函数为残差的平方，最小化损失函数：

求导得：

2.2 基于非局部均方的加权最小二乘

加权最小二乘是对原数据模型进行加权，使之成为一个新的不存在异方差性的模型，即存在异方差时加权最小二乘是对系数模型的最佳预测。

二维加权最小二乘的模型：

W是通过非局部均方得到的对角线矩阵，是冗余Y-Xα1的加权系数。

上述问题是一个不适定问题，为了解决这一问题，需要将不适定问题转化为适定问题：采用吉洪诺夫正则化[16]（Tikhonov regularization）进行系数修正。

这一式子也被称为核岭回归，其中λ是岭回归参数。用岭回归对加权最小二乘进行补充，损失了无偏性，但却换取较高的数值稳定性，从而得到较高的计算精度。加权最小二乘系数估计：

3 结合两种回归模型的图像插值算法

图像插值的一个基本目标是，自适应地选取合适的已知像素点信息，对未知像素点进行较好的预测。上述回归模型为这种自适应的预测提供了一种很好的依据。本章基于该模型提出一种改进的自适应图像插值算法，该算法利用图像高低分辨率的局部协方差近似相等和自然图像的非局部自相似性进行权重预测，从而完成一个窗口的插值过程。

3.1 图像插值描述

令Ih表示根据插值算法对低分辨率图像Il（尺寸大小为M×N）插值得到的高分辨率插值图像，不失一般性，假设低分辨率图像Il是由高分辨率图像Ih在水平和垂直两个方向上以因子为2 的隔点下采样方式得到的。高分辨率图像Ih的尺寸大小为2M×2N，即Ih=I(i，j)(i=1，2，…，2M，j=1，2，…，2N)，Il可 表 示 为Il=I(2i-1，2j-1)(i=1，2，…，M，j=1，2，…，N)。令xi表示低分辨率像素点，即xi∈Il；令yh表示待插值高分辨率像素点，即yi∈Ih。如图2，黑色圆点是低分辨率像素，白色圆点和灰色圆点是待插值的高分辨率像素，在插值第一步，算法首先用低分辨率像素插值白色圆点(i+j=偶数)，第二步将窗口旋转45°且将像素间的距离调整为原来的倍，然后再用插值出来的高分辨率像素和低分辨率像素插值灰色圆点(i+j=奇数)。如图2 所示。

3.2 插值算法及参数设计

算法将普通最小二乘和加权最小二乘两种回归模型相结合，实现对图像信号较好的建模。基于边缘的普通最小二乘法，首先计算低分辨率的协方差，利用图像高低分辨率协方差的几何对偶性，将低分辨率协方差应用到求解高分辨率的图像插值中，可以很好地保护边缘，但该算法有一定的局限性：图像几何对偶性的错匹配现象造成插值的不准确性。加权最小二乘，因其对数据适应的稳定性，可以很好地对几何对偶性的错匹配现象进行修正，因此，本文将普通最小二乘和加权最小二乘两种回归模型相结合进行系数求解。

对加权最小二乘和普通最小二乘两种回归模型进行整合，得到：

求导得：

I是单位矩阵，尺寸大小与XTWX一致。λ和η为正则化系数。

专家学者对插值函数的参数设计[17-18]进行研究，采用L曲线法[18]确定岭回归参数λ：

其中：

其中，ρ′、δ′、ρ″、δ″分别代表ρ、δ的一阶导数和二阶导数。求式（11）最大值，得到L曲线的最大曲率Kmax，Kmax所对应点的λ值即为所求岭参数。

L曲线法估计岭回归参数具有理论严密，定位准确，精度高，且适用性好等特点。

图2 低分辨率图像生成及两步插值示意图

可以看出，式（12）中η能够自适应地进行调整，从而获得较好的插值效果。

为了减少计算量与缩短计算时间，本文只在边缘区域使用本文插值算法，而在非边缘区域使用简单的线性插值。边缘的确定用插值点周围像素的方差进行确定，若方差大于既定阈值，则为边缘区域，否则为非边缘区域。

4 实验结果及分析

为了验证本文算法的有效性，本文从KODAK 图像库中选取了8 幅图像作为测试图，如图3，最终完成客观评价结果和主观视觉效果的评价。

为了比较不同的插值算法插值图像的峰值信噪比（PSNR）和结构相似度（SSIM[19]），首先对原始高分辨率图像进行下采样得到相应的低分辨率图像，然后分别用经典线性插值算法如双三次[1]（属于MATLAB 系统程序）、经典的基于隐性的边缘插值算法、传统的采用单一回归模型进行插值的NEDI[9]、DFDF[5]、SAI[10]、文献[12]（以下简称JCT）、BSAI[11]和本文算法分别对低分辨率图像插值放大。NEDI，DFDF，SAI 是大家所熟知的在自适应插值算法中边缘保持效果较好的算法，而JCT 和BSAI 是近几年在客观评价结果和主观视觉效果均取得较好结果的插值算法，得到与原始图像同等分辨率大小的插值图像，最终完成PSNR 和SSIM[17]的计算。且为了证明算法的稳定性，本文分别选用边缘纹理较多如图3（a），3（c），3（h），3（e）和较少如图3（b），3（d），3（f），3（g）两种图形进行实验。

图3 样本测试图

4.1 客观评价结果

表1 和表2 给出了几种插值算法在不同图像上的PSNR 和SSIM，为了公平比较各个算法的插值性能，本次实验均在同一操作系统上的MATLAB 下完成（BSAI和SAI 是作者给出的可执行文件），其中PSNR 和SSIM运用同一MATLAB 函数。在计算时去掉了图像9 个像素（双三次因其插值图像特殊性，其后面和下面截取8个像素）宽度的边界部分，仅保留了内部区域。从表可以明显地看出，不管在纹理较多还是在纹理较少的图像中，和采用单一回归模型的插值算法相比，本文算法在不同图像上的PSNR 和SSIM 均有显著提高，结果与下文的主观视觉效果的对比结果相一致。

4.2 主观视觉效果

图4 和图5 显示了不同插值算法在peppers 和girl 的局部区域的插值效果对比。从整体效果来看，由于原始图像在下采样的过程中丢失大部分像素信息，导致低分辨率图像的对比度有明显降低，因此各插值算法的结果与原始图像相比，在图像对比度上都有一定程度的降低。与其他算法相比，本文算法对于边缘处图像插值瑕疵和边缘特征的保持效果更好。

表1 不同插值算法的PSNR 比较 dB

表2 不同插值算法的SSIM 比较 dB

图4 peppers不同插值方法的比较

图5 girl不同插值方法的比较

由于基于线性的插值算法在对整幅图如4（c），5（c）像进行插值放大时，只是简单地采用统一的插值核函数，由此得到的插值图像在边缘处有明显的锯齿现象，而基于隐性的边缘插值算法如图4（d）～4（h）、5（d）～5（h），虽然可以根据图像边缘和纹理进行自适应插值，但是因为是采用单一的回归模型进行插值，插值鲁棒性较差，仍然存在严重的边缘模糊和不平滑现象，而本文算法4（i），5（i）较好地改善了其他算法在图像边缘部分的模糊和锯齿效应，提高了图像的鲁棒性，对统计量的估计更加准确，图像边缘特征保持得更好。

5 结束语

本文首先将自然图像信号进行分析建模，然后提出一种基于自回归模型的图像插值算法。算法将普通最小二乘和加权最小二乘相结合，并在加权最小二乘时用岭回归进行系数修正，既保护了图像的几何结构又保证了算法的鲁棒性，实验证明本文算法在主观视觉效果和客观图像质量评价结果上均优于其他几种算法，且对自然图像中的边缘特征保持得较好。

[1] Keys R C.Cubic convolution interpolation for digital image processing[J].IEEE Transactions on Acoustics，Speech and Signal Processing，1981，ASSP-29（6）：1153-1160.

[2] 苏江宽.基于B 样条的图像插值算法研究[D].广州：广东工业大学，2014.

[3] Giachetti A，Asuni N.Real-time artifact-free image upscaling[J].IEEE Transactions on Image Processing，2011，20（10）：2760-2768.

[4] Kim H，Cha Y，Kim S.Curvature interpolation method for image zooming[J].IEEE Transactions on Image Processing，2011，20（7）：1895-1903.

[5] Zhang Lei，Wu Xiaolin.An edge-guided image interpolation algorithm via directional filtering and data fusion[J].IEEE Transactions on Image Processing，2006，15（8）：2226-2238.

[6] Li M，Nguyen TQ.Markov random field model-based edgedirected image interpolation[J].IEEE Transactions on Image Processing，2008，17（7）：1121-1128.

[7] Zhang Xuande，Feng Xiangchu，Wang Weiwei，et al.Twodirection nonlocal model for image interpolation[J].Technological Sciences，2013，56（4）：930-939.

[8] Dong Weisheng，Zhang Lei，Lukac R，et al.Sparse representation based image interpolation with nonlocal autoregressive modeling[J].IEEE Transactions on Image Processing，2013，22（4）：1382-1394.

[9] Li Xin，Orchard M T.New edge-directed interpolation[J].IEEE Transactions on Image Processing，2001，10（10）：1521-1527.

[10] Zhang Xiangjun，Wu Xiaolin.Image inerpolation by adaptive 2-D autoregressive modeling and soft-decision estimation[J].IEEE Transactions on Image Processing，2008，17（6）：887-896.

[11] Hung K W，Siu W C.Fast image interpolation using the bilateral filter[J].Image Processing，The Institution of Engineering and Technology，2012，6（7）：877-890.

[12] 季成涛，何小海，符耀华，等.一种基于正则化的边缘定向插值算法[J].电子信息学报，2014，36（2）：293-297.

[13] Hung Kwok-Wai，Siu Wan-Chi.Robust soft-decision interpolation using weighted least squares[J].IEEE Transactions on Image Processing，2012，21（3）：1061-1069.

[14] Liu Xianming，Zhao Debin，Xiong Ruiqin，et al.Image interpolation via regularized local linear regression[J].IEEE Transactions on Image Processing，2011，20（12）：3455-3469.

[15] 任杰，刘家瑛，白蔚，等.基于隐式分段自回归模型的图像插值算法[J].软件学报，2012，23（5）：1248-1259.

[16] Tikhonov A N.Regularization of incorrectly posed problems[J].Soviet Mathematical Doklady，1963，4：1624-1627.

[17] 孙梅兰，朱功勤，谢进.构造有理插值函数的一种参数法[J].计算机工程与应用，2014，50（19）：47-52.

[18] 郭黎.单视频超分辨率重建算法研究[D].成都：四川大学，2013.

[19] Wang Z，Bovik A C，Sheikh H R，et al.Image quality assessment：From error visibility to structural similarity[J].IEEE Transactions on Image Processing，2004，13（4）：600-612.