图像插值中反问题数值算法的应用

马世登

（广东东软学院 广东省佛山市 528225）

众所周知，随着计算机科学技术的发展尤其是随着智能手机类产品的广泛应用，人们已能随时随地生成或访问各种类型的图像。因此，图像处理技术中的实时性、速度和高分辨率对计算机视觉而言变得十分重要,尤其是人工智能技术的发展对各种图像数据集的处理和技术要求对图像插值的最优化算法提出了新的要求。而随着互联网和多媒体技术以及人工智能的高速发展，图像处理对消费性智能电子产品应用而言也变得非常重要。针对从各种多媒体设备（例如移动电话、数码相机和便携式计算机）上获得尺寸各异的图像，人们存在各种需求需要对图像进行各种处理。随着工业信息化的发展，机器视觉也需要各种高速实时的图像处理技术。空间技术及遥感技术的发展也产生大量的图像处理需求。各类图像处理中一个重要的图像插值领域就是如何把低分辨率图像生成高分辨图像。针对用户需要处理的原始图像分辨率不高，希望通过技术手段尤其是通过数学算法生成新的高分辨率的图像的情况，我们对图像插值技术领域进行了各类算法的比较研究，以期寻找到一种利用低分辨率图像获得高分辨率图像的最优化数值算法。将低分辨率图像生成高分辨率图像进行模糊图片的清晰化处理是图像插值作为图像处理中的重要应用技术之一，其重要的一个应用意义是在实现放大图像进行展示时呈现高分辨率图片，而在存储时可以使用低分辨率的图片储存格式。这样以来在图像压缩中获得更高的压缩比。另一个重要应用意义在于由于各种原因没法获得高分辨图片或完整的图片，可以使用图像插值增强图片的表现力或者进行图片修复。近年来，图像插值在许多领域得到了广泛应用，如空间卫星成像、医学成像、人物照片放大、视频处理、图片修复等。此外，图像插值的技术在图像处理技术领域一直处于关键位置发挥着重要的作用，并被广泛应用于各个领域。

传统的图像插值算法是对原有图像的像素进行增加和重新分布，来改变像素数量的一种方法。在图像放大过程中，像素也相应地增加，增加的过程就是“插值”发生作用的过程，“插值”算法选择信息较好的像素作为增加、弥补空白像素的空间，而并非只使用临近的像素，所以在放大图像时，图像看上去会比较平滑、干净。是插值并不能增加图像信息，尽管图像尺寸变大，但效果也相对要模糊些，传统的插值过程可以理解对原有像素的复制或调整，不能通过类似于预测的方式产生原有像素中不存在的像素。

鉴于现有图像插值算法的性能不尽如人意，因此本文对一种新的基于反问题数值算法的图像插值算法进行了研究。其技术核心是能通过反问题的数学方法产生出原有像素分布着不存在的像素，从而在生成高分辨率图像时更清晰更逼真速度更快。反问题是相对于正问题，反问题系指科学和数学中一些最重要的数学问题。数学物理反问题是源于物理、生物、医学、地质等众多科学领域中的实际问题，经过数学建模而产生的一个新兴交叉学科领域。与正问题的研究历史相比，反问题的研究起步于近十几年，发展还远不成熟。从研究规律上来说，反问题的研究的难度一般比相应的正问题要大。因为反问题的求解往往不能借助于现有的已知的物理过程的自然顺序，从而使正问题中的许多适定性质不再满足。存在性、唯一性和稳定性，三者之一不满足就称为不适定性问题。特别，如果条件不满足，那么就称为阿达马意义下的不适定问题。一般地说不适定问题，常常是指阿达马意义下的不适定问题。在经典的问题又称为不适定问题。适定问题是指满足下列三个要求的问题：

（1）解是存在的（存在性）；

（2）解是惟一的（唯一性）。

数学物理中，人们只研究适定问题。由于这些问题的数据常常是通过测量给出的近似值，问题通常没有精确解。因此，人们就去寻找满足方程但只是近似地适合定解条件的所谓近似解，或近似地满足方程的近似解。当然，这些近似解一般是没有惟一性的，但是若对近似解所在的函数类加以适当的限制，例如紧性的限制，便可以保证近似解对数据的连续依赖性用传统研究者的眼光来看，这样的问题是不值得或没法进行研究的。反问题方法的主要解决思路是:利用对解和数据误差的先验估计可以将问题的求解限定在某个较小范围内，对问题的提法进行适当的改造后，原本不适定的问题就可以转化为适定的最优化问题求解，而且先验估计表明在一定精度下用正则化方法求得的解是合理的。这些反问题算法已成功应用于光学、雷达、声学、通信理论、信号处理、医学成像、计算机视觉、地球物理学、海洋学、天文学、遥感技术、自然语言处理、机器学习、无损检测等领域。图像处理经常被处理成反问题，什么是反问题处理图像，考虑正问题f=Au+η，η是观测噪声，反问题就是在有了观测f 的条件下怎么获得真实图片u，如果A 是一个恒同算子，反问题就是去燥。如果A 是一个模糊，反问题就是去模糊。

1 图像插值问题定义说明

插值指的是利用已知数据去预测未知数据，图像插值则是给定一个像素点，根据它周围像素点的信息来对该像素点的值进行预测。当我们调整图片尺寸或者对图片变形的时候常会用到图片插值。常见的图像插值算法有：最近邻插值，双线性插值，双三次插值方法等等。其中最近邻插值方法（零阶插值）最简单，运算量最小，但是效果很差，块效应非常明显。

双线性插值算法也是常用的一种图像插值方法，和最邻近插值算法类似，先获取原始图像的坐标，获取的坐标值是个小数，最近邻插值算法直接四舍五入，从而得到映射的灰度，但双线性插值不是直接四舍五入，它是根据该坐标点周边的四个点值依据各自的权重得出该点的灰度，计算公式如下：

x0=x1/scale y0=y1/scale x=int(x0) y=int(y0) u=x0-x v=y0-y

契约是地位平等、意志自由、坚守诚信、勇于担当负责的双方、多方之间的双赢、多赢行为。只要是双方或多方之间基于平等、自由、诚信、责任担当的行为都适用于或必须适用于契约行为。

f(y1,x1)=(1-v)(1-u)f(y,x)+(1-v)uf(y,x+1)+v(1-u)f(y+1,x)+uvf(y+1,x+1)

由于该灰度跟邻近四点有关，所以不会像最近邻插值一样出现锯齿状，可以更好的应用于图像插值。邻点间灰度值变化率的影响。三次插值运算可以得到更好的效果。双三次插值算法也称为立方卷积插值算法。三次卷积插值是一种计算复杂的插值方式。该算法利用待采样点周围16 个点的灰度值作三次插值，像双线插值算法考虑4 个直接相邻点的灰度影响，当然该方法导致了运算量的急剧增加。

借鉴上述解决问题的思路，引入反问题进行插值处理。图像插值算法在分辨率提升方面的数学描述是指用输入的低分辨率图像（简称 LR）生成高分辨率图像（简称 HR）。我们假定原始HR 图像的像素为并且LR 图像的像素为其中L 大于1。则目标LR 图像表述如下：

其中，f∈N和分别为高分辨率图像和低分辨率图像的列堆叠向量。

假设HR 图像由维度y=N×1 组成，用s表示。则可通过求解以下优化问题计算HR 信号x。

其中，D(x)表示保真度项，该保真项能够补偿低分辨率信号y和估算的高分辨率信号x之间的差异，同时用x，δ和R(x)分别表示正则化参数和正则化项。根据上述分析及定义，可通过下述等式解决图像插值问题。

其中，符号x、y和v分别为N×N高分辨率图像、M×M低分辨率图像和加性噪声值的有序向量。而且，向量x，y和v的大小分别是N2×1，M2×1 和M2×1。

2 针对图像插值的反问题数值解法

可通过求解下述代价函数解决上述等式（3）所示的优化问题。

其中，C表示正则化算子，且γ表示正则化参数。然后，可通过以下计算过程解决优化问题。

其中，x可通过以下算法使代价值最小。

基于上述分析，使用反问题数值解法中的逐次逼近法解决图像插值问题，即如下所述。

其中，xi为在第i次迭代中获得的高分辨率图像，β为收敛参数。经多次迭代后，即可获得高质量的高分辨率图像。

3 对比实验验证

在本节中，我们做了多次实验以测试不同类图像插值算法的性能。将我们的上述方法与其他数种图像插值法，如图1 中的稀疏表达混合估计（SME）插值、使用非局部自回归建模（NARM）的基于稀疏表示的差值以及基于自适应非局部稀疏建模（ANSM）插值进行比较。重点记录了使用12 种典型测试图像进行性能评价，即1）plane、2）cameraman、3）flower、4）girl、5）peppers、6）leaves、7）boat、8）birds、9）hats、10）lena、11）motorbikes、12）butterfly。

图1

对12 类型的的图片采用三种插值方法形成的峰值信噪比（PSNR）值进行对比。对不同图像插值法的峰值信噪比（PSNR）值进行了可视化表示。为了数据的一致性所有图像均为每像素点为8 比特的灰度图像（为保证测试图像的可度量化、可验证和可比较性）。通过输入的从高分辨率图像所生成低分辨率图像用于验证，（分别使用稀疏表达混合估计（SME）插值、使用非局部自回归建模（NARM）的基于稀疏表示的差值以及基于自适应非局部稀疏建模（ANSM）插值的方法进行图像生成），随后用不同的图像插值算法还原回其原始状态，以此来比较不同算法的优劣。为确保试验有效，所有方法的实验条件设置均保持一致。本文使用的性能评价标准为峰值信噪比值（PSNR），其定义如下所述：

其中，八位灰度图像的灰度值为255。不同图像插值法的PSNR 值采用柱状图（如图1）进行显示。

在通过图1 数值的可视化分析可以容易的得出，就大多数测试图像而言，相较其他图像插值方法来说，本方法的性能更好。图像插值结果如表1所示。

表1：图像插值结果

通过表一的分析对比，使用我们的方法获得的图像插值结果明显优于使用稀疏表达混合估计（SME）插值、使用非局部自回归建模（NARM）和基于稀疏表示的差值以及基于自适应非局部稀疏建模（ANSM）插值算法所获得的结果。

根据上述研究成果对问题进行泛化，具有重要的意义正问题f=Au+η，η是观测噪声，反问题就是在有了观测f 的条件下怎么获得真实图片u，如果A 是一个恒同算子，反问题就是去燥。如果A 是一个模糊，反问题就是去模糊。如果A 是一个CT，反问题就是CT 恢复。图像插值中的运算效果和速度具有重要的意义，例如在要做核磁共振，传统算法在床上要听着快一个小时噪声，因此希望A这个算法进行次数变少，算法更优，做核磁共振时间会越少。问题转化成求f=A-1u，对于A 不可逆的情况，用最小二乘法求解。如果存在η这个观测噪声值，进行去模糊求逆的时候，噪声在求逆的时候无数倍的被放大了，产生了伪差。这时候需要引入正则项min||f-Au||+R(u)来构造R，定义：R=||▽u||1。对于正则项的优化问题也可以应用人工智能的学习方法进行求解和优化。

4 结论

本文讨论了如何设计反问题的算法以解决图像插值优化的问题。我们通过构造高分辨率图像、低分辨率图像和加性噪声的向量来数字化地描述图像插值问题。然后，提出反问题数值解法中的逐次逼近法，并通过多次迭代获得高质量的高分辨率图像。并通过比对实验结果证明了该算法的有效性。在此基础上又进行了一般问题的泛化。