基于局部方向正则化的快速图像插值算法

孙 冬，李 萌，高清维*，卢一相，竺 德

(1.安徽大学 电气工程与自动化学院,安徽 合肥 230601;2.安徽大学 网络与信息中心,安徽 合肥 230601)

人们从外界获取信息的75%以上来自于视觉，图像是人类获取信息的主要来源.而随着移动通信和计算机技术的发展，远程教育、在线点播、远程医疗、多人在线视频会议等各类新兴应用的涌现，促进了生产力发展和社会进步.与此同时，人们对数字视频图像的质量也提出了更高的要求.清晰度和分辨率的提高能够提供更好的图像细节和质量，但高分辨率视频在还原精细图像内容的同时，也为整个视频内容的生产和消费生态链增加了成本负担，如图像采集端更昂贵的成像、采集及存储设备，媒体创作端用于视频编辑的额外计算资源，通信网络端所面临更大的数据传输压力及时延等，这些已经成为制约视频图像分辨率进一步提高的因素.为了解决上述问题，目前常用的做法是使用图像后处理的方法，在用户终端以插值[1-7,10-15]的方式对低分辨率图像进行超分辨率重建，从而达到增强分辨率、提高清晰度的目的.这种基于软件的方案不改变现有图像的采集和传输系统框架，不增加硬件成本，因此在视频通话、虚拟现实、增强现实、视频游戏和标清视频的高清化等方面拥有广泛的应用价值.

图像中的物体边缘含有大量信息，并且人类视觉系统对此高度敏感[8]，因此边缘结构的精确重建在图像去噪、去模糊、修复、插值和超分辨率重建等逆问题求解中具有重要意义.针对这一特点，论文提出了一种基于自适应方向滤波的插值方案，该方案考虑了图像的边缘轮廓方向，通过构造和求解符合目标图像先验模型的正则化方程，对低分辨率图像中的边缘结构进行拟合与增强，实现对高分辨率目标图像的估计.

1 方向正则性约束

方向正则性广泛存在于含有结构特征的自然图像中，通常表现为物体的边缘结构和有规律的纹理，如图1所示.

(a)包含1个主要方向(120°);(b)包含1个主要方向(40°);(c)包含2个主要方向(30,170°);(d)包含3个主要方向(40,80,165°).图1 图像的方向正则性

记fi∈Rn2为图像f中以位置i为中心、尺寸为n×n的某个局部图像块，Lθ∈Rn2×n2为角度θ方向的滤波器对应的矩阵[3]，Lθfi为滤波输出结果.显然，当滤波角度与图像块中的主要方向平行时，Lθfi中的大多数元素为0，此时最为稀疏.由于自然图像的复杂性，局部图像块fi可能包含不止一个主导方向(如图1(c),(d)所示)，为了寻找这些方向，可以使用下列算法进行搜索.

主方向搜索算法：

目标：搜索图像中某个局部块的主方向

输入：图像块fi

初始化：主方向角度集合S=∅

候选主方向角集合Θ={θ1,θ2,…,θK}

最大主方向角个数P

初始滤波图像d=fi

主循环(执行P次)：

1. 遍历Θ中的每个角度，计算d在每个方向上的滤波结果Lθ1d，Lθ2d，…,LθKd

3. 更新S←S∪{θopt}，Θ←Θ/{θopt}，d←Lθoptd.进行下一次循环

输出：图像块fi的主方向角度集合S

在上述算法中，图像滤波由方向可控的steerable滤波器[9]实现.在论文中，用于构造steerable方向滤波器的高斯核宽度W选择为5，该数值由实验测定.过宽的滤波核(W≥9)会导致表征方向信息的滤波图像具有较粗的边缘结构，不利于最优角度的寻找，而过窄的滤波核(W<3)则会在滤波图像中形成较多的杂纹干扰，无法突出图像中的方向特点.此外，参数K决定了方向角搜索的间隔精度，该值越大，搜索精度越高，但相应的搜索时间也会随之增加.根据实验，当K>12时，其对最终插值性能的增益趋于0，因此论文简单地将搜索间隔设置为10°，对应的K值为180°/10°=18.与之类似，最大主方向角个数P设置为2，实验表明该取值可以兼顾插值算法的效率和性能.图2为使用上述算法在测试图像主方向上的搜索结果(为了显示方便，取n=16°).

(a)barbara (P=1);(b)butterfly (P=2.差异不超过10°的相近方向已作合并处理).图2 主方向上搜索结果

记低分辨率图像块yi=Hfi，其中H∈Rm2×n2为下采样矩阵，yi∈Rm2.记下采样因子为D，对应的低分辨率图像块满足yi(h,v)=fi(h/D,v/D).在上述方向正则性的约束下，可以使用下列复原方程对原始高分辨图像块fi进行估计

(1)

根据实验，当λ取值在0.005～0.02之间时，上述复原方程对于绝大部分的图像均可以产生较好的插值结果.过大的λ值因过于强调复原像素的方向排列而导致出现人工涂抹的条纹痕迹，而过小的λ值不能对复原结果施加足够的约束，导致边缘和纹理的模糊.在论文中，取λ为0.01.

2 插值算法

为求解(1)式，令右端关于fi的导数为零，整理得

(2)

由H矩阵的结构[3]易知HTH具有对角阵的形式，如当D=2时，有

HTH=diag(En,0n,…,En,0n)∈Rn2×n2，

记

RΛRT=Rdiag(σ1,σ2,…，σK,0)RT

x=RTfi，

整理得

Λx=RTHTyi，

(3)

或写成分块矩阵的形式

葡萄糖代谢途径中，丙酮酸作为重要的中间代谢产物，在乳酸脱氢酶的作用下脱氢生成乳酸，此外还可通过丙酮酸的代谢支流形成双乙酰和乙醛。乳酸脱氢酶的酶活在整个储藏期间基本处于下降趋势，比酶活呈先下降后上升的趋势，这说明乳酸脱氢酶的比酶活并没有受到低p H高酸度的影响[27,28]。

(4)

其中：ΛM=diag(σ1,σ2,…,σM)∈RM×M，xA=[x1,x2,…,xM]∈RM和xB=[xM+1,xM+2,…,xn2]∈Rn2-M分别为x的前M个分量和后n2-M个分量组成的子向量.

再取

(5)

图像插值算法：

目标：对输入的低分辨率图像进行插值，实现分辨率增强

主循环(执行Iter次)：

a) 使用主方向搜索算法对图像块搜索主导方向，计算相应的方向滤波器矩阵Li

相应的流程如图3所示.

图3 插值算法流程框图

T(N)=Iter·(T1(N)+T2(N))～O(N2).

(6)

该式表明，论文插值算法的时间复杂度与输入图像的尺寸同阶.作为参考，在Intel Core i79 900K环境下，使用Visual Studio 2017编程分别将256×256，512×512和1 024×1 024尺寸的灰度图像分别插值成512×512，1 024×1 024和2 048×2 048尺寸的图像，所需时间分别为1.6，7.1，28.8 s，和(6)式的分析基本吻合.

最后，对于彩色图像，可以考虑利用YCrCb色彩模型.首先对输入图像进行亮度和色度分解；再分别对亮度分量和色度分量进行插值和双立方插值；最后再将各分量的插值结果合并回RGB空间，进而得到最终的插值输出图像.相应的流程如图4所示.

图4 彩色图像插值流程框图

3 实 验

为验证论文的插值算法的正确性和有效性，该节通过一组实验，分别从主观图像质量和客观PSNR(peak signal to noise radio)指标上对插值结果进行评价，并与其他3种算法进行对比，它们分别是：经典的双立方图像插值、基于自适应non-local稀疏先验模型的图像插值[13](single image interpolation via adaptive non-local sparsity-based modeling, 简称ANSM)和基于深度学习的图像超级上采样插值(deep learning super sampling, 简称DLSS)，其中双立方图像插值利用MATLAB自带的插值函数interp2.m实现，ANSM由作者提供的软件包实现，DLSS由nVidia公司提供的NGX软件包实现.用于实验的静态图像和视频序列均来自标准测试图像库，其中低分辨率图像由原始图像分别在横向和纵向经过直接下采样得到.首先对低分辨率图像进行6个像素的偶对称边界延拓，然后在插值结果中再对延拓部分进行裁剪.ANSM和DLSS算法中的参数均使用软件包中提供的默认值,论文插值算法的参数选取在前文中已有讨论，汇总如表1所示.

表1 插值算法的参数取值

图5,6分别为对灰度图像lena和butterfly进行2×2倍及3×3倍的插值结果，图7为彩色视频序列foreman在2×2倍分辨率增强下的插值结果(此处仅将论文方法与低分辨输入图像进行对比).为了对比方便，在图5～7中，使用最邻近插值的方式将低分辨率输入图像放大到原始图像的尺寸进行显示.

(a)低分辨率图像；(b)双立方插值；(c)ANSM；(d)DLSS；(e)论文方法.图5 图像lena及2×2倍增强结果

(a)低分辨率图像；(b)双立方插值；(c)ANSM；(d)DLSS；(e)论文方法.图6 图像butterfly及3×3倍增强结果

(a)低分辨率图像;(b)论文方法.图7 视频序列foreman及2×2倍增强结果(第6, 15, 22, 28帧)

表2中，分别对视频序列foreman, ice和soccer的插值指标进行汇总，进一步给出了论文方法和其他几种图像插值算法的PSNR指标对比，其中每个单元格的上下两行数据分别对应2×2倍和3×3倍插值PSNR指标.PSNR指标值为前50帧的平均值.

表2 测试图像及视频序列的2×2倍和3×3倍插值PSNR指标对比

由实验结果可以看到：

(1) 经典的双立方插值算法在图像的平坦区域可以产生较为光滑的结果，但是同样也造成了图像边缘和纹理处的大量模糊和锯齿效应(参见图6(b)处的蝴蝶翅膀条纹).从本质上看，双立方插值并没有为图像增加有效的细节信息，这是因为其采用的是一个过度简化的分段光滑图像模型，因此所取得的图像质量也是最差的.

(2) 基于结构化稀疏表达模型的ANSM算法和基于深度学习的图像超级上采样方法DLSS取得的插值图像质量与双立方插值相比有了极大的提高，通过对图5中的帽沿、图6中的翅膀纹理和图7中房屋木板边缘的观察可以看出，这两种算法重建得到的图像纹理清晰锐利，能够很好地从混叠的低分辨率图像中对原始的边缘结构特征进行恢复.总体上看，ANSM方法较DLSS方法产生的图像具有更清晰的边缘，对混叠区域的插值效果也更好.但是，ANSM方法的缺点在于其计算量过大，DLSS方法同样存在效率问题，为了达到较高的速度，往往需要GPU硬件的加速.另外，DLSS方法在对小输入尺寸的图像进行插值时，由于其性能不稳定，可能会导致较差的输出结果，因此目前该项技术主要使用在2 K及以上的高分辨率视频及图像的分辨率增强上.

(3) 从插值图像的主观视觉质量看，论文所提插值算法能够取得类似于ANSM和DLSS方法的结果，边缘和纹理区域较为清晰、细节丰富，平坦区域色彩过渡光滑自然，不存在锯齿效应，视觉效果明显提升，能够在图像的边缘等其他高频部分对相应的图像结构和纹理进行较好的重建.与ANSM和DLSS方法相比，论文方法的优点在于简单，不需要求解复杂的优化方程，计算量小，同时仍具有较好的插值精度，这与表2的PSNR结果是一致的.

4 结束语

插值是图像处理中的一个重要问题，在公共安全、军事遥感、医学成像、消费电子领域中具有广泛的应用.论文提出了一种基于局部方向正则化的快速图像插值算法，该算法以低分辨率输入图像的双立方预插为初始点，通过迭代的方式，首先对原始图像的局部方向图进行估算，然后通过构造和求解符合目标图像先验模型的正则化方程，对低分辨率图像中的边缘结构进行拟合与增强，实现对高分辨率目标图像的重建.该方案原理简单，完全在空域中实现，不涉及复杂优化方程的求解，计算复杂度低，易于实现，可以有效地增强图像的分辨率.论文为图像的高精度快速插值提供了一种新方法.