博弈方法下的图像去噪与边界提取

乔 鱼，冯象初

(西安电子科技大学 数学与统计学院，陕西 西安 710071)

近年来，博弈论在价格预估[1]、战略决策[2]、资源优化[3]以及工程建设[4]等多个方向得到了广泛的研究，并取得了一定的成效。图像的边界提取是从图像中提取目标的过程，是图像处理中最重要的问题之一。大多数情况下，待处理的图像被噪声污染，因为噪声降低了图像的质量，直接影响后续的图像处理工作，所以首先需要对图像进行降噪处理。一方面，对于去噪来说，需要消除图像中的不连续的噪声细节；另一方面，对于边界提取来说，需要保持图像的不连续性。因此，对于同一幅图像，需要进行去噪与边缘检测两种相互对抗的决策，这种情况下很适合使用博弈论来解决图像的多目标问题。

博弈论是一种数学理论和方法，主要用来分析多个参与者之间决策的相互影响。在计算机和工程界得到了越来越多的关注和应用。芬兰坦佩雷理工大学的DANIELYAN等提出了一种用于各种成像问题的块匹配三维(Block-Matching and 3D filtering，BM3D)算法[5]，两个目标函数采用广义纳什均衡方法建模，进行去模糊和去噪处理。马里兰大学的CHEN等研究了用演化博弈的方法[6]，假设每个像素点为参与者，以每个像素周围的邻域选择为策略集，建立了去噪和插值的博弈问题。和CHEN等的假设不同，KALLEL等用经典的Nash博弈方法处理图像恢复与分割[7]。假定有两个参与者分别进行图像恢复与图像分割的工作，互相以对方的输出作为自己的参数，通过交替迭代的方法逼近Nash均衡点，以序列的极限点作为双方最终的结果。

1 半二次正则化模型

近两年来提出的一些新的去噪算法包含基于偏微分的方法[8]、基于变分模型的方法[9-10]、基于小波变换的算法[11]、基于多尺度框架的模型[12]，以及对深度学习进行改进的方法[13-14]，都取得了很好的效果。这些方法是在一些经典的去噪算法基础上建立的，比如PERONA和MALIK提出的各向异性扩散模型[15]，也就是著名的PM(Perona-Malik)模型，RUDIN等提出的全变分(Total Variation，TV)[16]模型以及由BUADES等提出的非局部平均(Non-Local Means，NLM)[17]去噪算法。其中，2015年，张瑞等对非局部平均算法进行了研究，利用图像的稀疏梯度场对非局部平均算法的权函数进行改进，提出了一种基于稀疏梯度场的非局部图像去噪(Sparse Gradient Non-Local Means，SGNLM)算法[18]。

给定观测图像f=f(x)，加性噪声的形式为f(x)=u(x)+n(x)，其中，u是理想图像，n是均值为0、方差为σ2的高斯噪声，x∈Ω⊂i2，那么一般的图像去噪可以定义为以下数学形式：

(1)

其中，λ为非负的正则化参数，D是微分算子，φ是关于Du的函数。

GEMAN和REYNOLDS提出半二次正则化(Half-Quadratic，HQ)模型[19]来改进式(1)，当满足边缘保持条件时，式(1)的解可以通过引入一个辅助变量b来得到，此时能量函数由非二次能量转化为增广能量形式：

(2)

式(2)的解u可通过对应的欧拉-拉格朗日方程得到：

(3)

其中，∂Ω是Ω的边界，N表示边界处的外法线向量。辅助变量b有如下形式：

(4)

辅助变量b可以标记图像中不连续点的位置，因此辅助变量b可以看作是轮廓的一个指标。φ是决定图像边缘的势函数，GEMAN和REYNOLDS认为，保边势函数的两个重要特性之一是它的有限渐近行为[19]，而其他作者则提倡采用凸函数作为势函数[20-21]，与非凸函数相比效果更好[22-23]。由于半二次正则化算法的有效性，直到如今依旧被很多学者用于广泛研究[24-25]。

2 全局稀疏梯度模型

自边缘检测算子提出以来，关于边缘检测的方法被各位学者进行了广泛研究，直到如今依旧有很多新的方法[26-28]。ZHANG等在2017年提出了全局稀疏梯度(Global Sparse Gradient，GSG)模型用于边界提取[29]。由于全局稀疏梯度模型在图像含噪声的情况下，也能很好地提取出图像边界，这种方法也被用来与去噪模型相结合，以得到更好的去噪图像[30]。在文献[30]中，张瑞等利用全局稀疏梯度模型，提出了全局稀疏梯度耦合的张量扩散图像去噪模型(Global Sparse Gradient coupled Tensor Diffusion，GSGTD)。这个模型利用全局稀疏梯度构造张量矩阵，由张量矩阵引导扩散方程去噪。

一般来说，自然图像按片光滑，需要对梯度p施加稀疏性约束，全局稀疏梯度模型利用L1范数来作为正则项。对于数据项，全局稀疏梯度模型采用一阶泰勒展式，利用待估计点邻域内的点来估计它的梯度，并用核函数对这一项进行加权。其具体形式如下：

(5)

S控制衰减速率。显然距离当前点越接近的点在估计梯度时所做的贡献越大。可以采用近端向前向后分裂算法求解式(5)[31]。

为了克服噪声干扰的问题，全局稀疏梯度模型利用像素点周围更多的信息以及自然图像梯度场的稀疏性先验来估计该点的梯度，从而抑制噪声的干扰，更加准确、鲁棒地估计出图像的梯度场，获得图像的边缘。

3 联合全局稀疏梯度与半二次正则化的博弈模型

作为经典的图像重构模型，半二次正则化算法不仅能够对图像去除噪声，而且其引入的辅助变量b可以提取出图像的边界，是一个具有突破性的方法。然而变量b中并不能将噪声完全去除，对于结构复杂，纹理较多的图像，b不能很好地提取出图像的边缘。

上文中提到，全局稀疏梯度算法尽可能多地利用了像素点周围的信息，从而抑制噪声的干扰，可以更加准确地捕获图像的边缘。将全局稀疏梯度中的梯度p应用到式(2)中，在去噪的同时，更多地获取图像的边缘信息。考虑到两个变量对于图像边缘有相反的表示，即，当b等于0时，b表示图像边缘，而p则相反，故用1/p来代替b。

这样，就可以得到一个联合全局稀疏梯度与半二次正则化的博弈(Half-Quadratic Global-Sparse-Gradient，HQGSG)模型。在这个模型中，以图像去噪与边界提取作为两个参与者，半二次正则化模型作为图像去噪这个参与者的目标函数，而边界提取的目标函数是全局稀疏梯度模型。在这两个目标函数中，均包含图像的强度信息u与边界信息p，同时，梯度p作为参数影响去噪过程，另一个参数强度u影响边界提取过程，符合博弈论的定义。

将半二次正则化模型与全局稀疏梯度模型纳入博弈模型中，则有

(6)

这种情况下，解决这个博弈问题就是要寻找一个纳什均衡点(u*，p*)。可以把纳什均衡问题看作一个不动点。假设策略集在某些拓扑结构下是紧凑的，并且与相同拓扑结构相关的准则是下半连续的，纳什均衡存在且可解。

总结提出的HQGSG博弈算法如下：

输入：噪声图f，正则参数λ1，λ2，空间步长h，δ，衰减参数S，窗口半径d，收敛控制参数ε，迭代次数k。

初始化：u0=0；p0=∇f；k=1。

迭代：

(1) 给定pk，通过下式更新uk+1：

(2) 给定uk+1由下式求出pk+1：

(3) 如果 ‖uk+1-uk‖2/‖uk‖2<ε且‖pk+1-pk‖2/‖pk‖2<ε那么停止迭代；

否则，继续迭代。

输出：(u，p)。

4 实验结果

在这一节中，将提出的算法与GRHQ[20]、GMHQ[21]、HLHQ[23]、HSHQ[22]、PM[15]、NLM[17]、SGNLM[18]、GSGTD[30]等方法进行比较，并提供许多实验来说明所提方法的有效性。这里给出其中的house、mon、brain、lena、couple、man、hill、camera共8幅图像的实验结果；这8幅图的结构纹理各异，具有代表性。在每幅图像中，加入均值为0、标准差为20的高斯噪声，选取的参数分别是：λ1=12，λ2=0.002，h=1，S=3，d=5，δ=0.015。笔者将从去噪效果、边界提取效果与算法的收敛性方面对算法的有效性进行分析。

4.1 去噪结果分析

分别分析各种算法对细节不同图像的影响，针对性地选取house与man两幅图像；house图像细节较少，man图像细节较多。具体如图1和图2所示。

图1 house图像去噪结果

图2 man图像去噪结果

首先，从视觉上来看，图1和图2是图像采用几种方法的去噪结果对比，图中较小的黑色方框是选取的部分细节，右下角较大的黑色方框是对小方框的放大效果。对于house图像这种大尺度细节较少的图像，势函数选取非凸函数能够较好地提取出图像的边界，但对于man图像这种细节较多的图像，非凸函数将图像磨得过于光滑，使图像丢失了很多细节，并不能很好地提取图像的边界。当势函数选取凸函数时，半二次正则化模型恢复的图像能提取出图像的细节信息。同时与PM、NLM、SGNLM和GSGTD方法比较，提出的HQGSG方法去噪结果更加清晰。

其次，用峰值信噪比(Peak Signal to Noise Ratio，PSNR)与结构相似性(Structural Similarity Index Measurement，SSIM)这两个图像质量评估标准检测图像。表1是图像的PSNR值，表2是图像的SSIM值。

表1 图像去噪结果峰值信噪比比较 dB

表2 图像去噪结果结构相似性值比较

从数值实验结果来看，使用非凸函数作为势函数时，半二次正则化模型的峰值信噪比值较低，使用凸函数时则结果较高。与选取的四种势函数中最好的结果相比，新方法的峰值信噪比值高出0.02～0.91dB。从结构相似性值来看，半二次正则化模型使用凸函数去噪的结果也优于非凸函数，HQGSGS模型对结构相似性值也有所提升。无论是与经典的算法PM、NLM相比，还是与近几年提出的SGNLM、GSGTD模型相比，提出的新方法在大部分图像上都取得了较优的效果。

4.2 边界提取结果分析

对于图像的边缘检测，一般需要考虑边缘检测器是否能够正确地检测出有效的边缘，边缘定位的精度是否足够高，检测的响应是否是单像素的等多种因素。实际上，这些要求往往都很矛盾，很难在一个边缘检测器中得到完全的统一，因此目前没有一个统一的边界效果判别方法。所以，在判别边界提取效果时，主要采用视觉效果进行判断。

图3和图4是对HQ、GSGTD与HQGSG方法的边界提取效果的对比图，用白色方框选取图中两个位置进行比较，每张图下方对应的两个小图是对选取的两个位置的放大。可以明显观察到，在提取出的边界图中，使用HQ方法，选取非凸函数作为势函数时，提边图中有许多线状存在，而选取凸函数时，能很明显地发现一些块状的存在，这些是不必要的。对于细节较多的图像，这些线状与块状的存在更为明显，干扰到图像边界的观察。与GSGTD方法相比，HQGSG方法提取出来的边界更为清晰，细节部分更加明显。

图3 house图像提边结果及局部细节

实验结果表明，提出的博弈模型不仅能很好地对图像进行去噪，同时对于细节多或者少的图像，在提取出的边界图中，边界都更加明显。总之，提出的算法在有效去除噪声的同时，更好地保留了图像的边界和细节信息。

4.3 收敛性分析

另一方面，考虑到算法的收敛性，在实验中，选取1 000作为总迭代次数，以相对误差作为终止条件，选取精度ε大小为0.1。

‖uk+1-uk‖2/‖uk‖2<ε，‖pk+1-pk‖2/‖pk‖2<ε

用8幅图像进行实验，将每一次迭代过程中的u看作一个点，迭代完成会得到一个点列。结果发现，随着迭代次数的增加，u的相对误差在逐渐减小，最终小于所选取的精度ε，可见u作为一个点列是收敛的。同样对于点列p，也是收敛的。可见，提出的模型存在解。

以house图像为例，在迭代601次时去噪与提边的相对误差均小于0.1，达到收敛条件，所耗费的CPU时间为68.30 s。为方便观察，给出迭代100次以内的相对误差变化情况，如图5所示。从图5中可以看出，去噪的相对误差在迭代到第11次时突然增加，第12次时增到最大，之后相对误差逐渐减小，在迭代到23次时，误差已经很明显地达到微量值。同样，边界提取的相对误差在第9次时突增，第10次时达到最大相对误差，之后逐渐减小，在第23次时达到微量值。

(b) p的相对误差变化曲线

4.4 计算效率分析

考虑计算效率，将提出的算法与半二次正则化模型的4种情况进行比较。由于提出的新模型涉及到两个模型的计算，可以明显看到，当半二次正则化模型选取的势函数为凸函数，也就是GRHQ与HSHQ两种情况时，计算效率较提出的新模型高，而当半二次正则化模型选取的势函数为非凸函数时，即GMHQ与HLHQ两种情况时，计算效率较提出的新模型低。

表3 计算效率比较 s

综合以上4点，无论是从去噪、提边效果、收敛性还是计算效率方面，提出的新算法都能够在一定程度上优化模型。可以发现，当式(2)引入全局稀疏梯度模型的梯度信息对边界进行优化时，由于全局稀疏梯度模型的梯度算子对噪声不敏感，在噪声存在的情况下仍能很好地提取边界，可以保证图像在去噪的同时保留更多的边界信息，因此得到更加清晰的图像，可见所提算法的有效性。

5 结束语

将多任务图像处理问题表述为一个具有完全信息的静态非合作博弈问题，采用博弈论的方法用于解决图像去噪和边界提取这两个对立目标。通过寻找纳什均衡点来得到最优的去噪与边界提取结果。研究了图像的收敛速度，同时数值实验证明了该算法在参数和噪声水平上的有效性和鲁棒性。在未来的研究中，需要尝试将算法展开成迭代形式，将深度网络嵌入其中，得到去噪网络和边界提取网络的博弈模型。