基于梯度曲面面积与稀疏约束的图像平滑方法

李 辉，吴传生*，刘 俊，刘 文

（1.武汉理工大学理学院，武汉 430070；2.东北师范大学数学与统计学院，长春 130024；3.武汉理工大学航运学院，武汉 430063）

0 引言

自然图像通常包含丰富的纹理细节和边缘结构等信息，它是反映目标场景视觉信息的一种普遍方式。一般来说，图像中的边缘结构是人类视觉感知的主体内容。在一些重要的应用场景下，比如交通部门对路面标志的识别、艺术工作者对墙壁涂鸦绘画的理解以及设计公司对图像轮廓的感知等，并不需要丰富的纹理细节。图像平滑处理作为一项重要的图像预处理技术，目的在于去除冗余纹理细节的同时可保留显著的边缘和轮廓等信息，在高动态范围（High-Dynamic Range，HDR）图像压缩［1］、细节增强［2］、边缘检测［3］、色调映射［4］与图像压缩伪影的去除［5］等多种成像应用中都发挥着重要的作用。目前图像平滑技术根据其具体的策略可分为三类，分别是基于均值滤波的方法、基于正则化约束的方法和基于学习的方法。

基于均值滤波的方法考虑空间和强度因素来定义不同类型的内核，从而计算相邻像素的加权平均值作为平滑输出。传统的滤波器包括各向异性扩散滤波［6］、双边滤波［7］、导向滤波（Guided Filtering，GF）［1］等。近年来，基于传统滤波器的改进算法例如双边纹理滤波［8］、滚动引导滤波（Rolling Guidance Filter，RGF）［9］、梯度域导向滤波［10］、互导图像滤波（Mutually Guided Image Filtering，muGIF）［11］、各向异性滚动滤波［12］、各向异性导向滤波［13］等被陆续提出，进一步提升了图像平滑效果。这些平滑方法本质上是利用局部加权平均策略，可保留显著的边缘轮廓，但图像中的细小结构易受周围邻域像素值的影响，往往难以保持完整。

基于正则化约束的方法是运用某种先验和准则，建立相应的数学模型，通过求解极小化问题，达到保持边缘和抑制纹理的目的。全变分（Total Variation，TV）正则化［14］通过寻求图像总变分最小化去除细节和噪声。加权最小二乘（Weighted Least Squares，WLS）［15］方法对图像梯度的平方加权求和，具备较好的边缘保持能力。2011 年，Xu 等［5］提出以稀疏控制为原理的L0梯度最小化（L0Gradient Minimization，L0GM）方法，可有效消除小梯度级纹理细节。在L0GM 的成功应用下，Cheng 等［16］提出改进的L0梯度最小化平滑模型，以提高不同尺度空间的平滑性能。为从纹理图像中精确提取主体结构，Xu 等［17］提出相对全变分正则项（Relative Total Variation，RTV），能充分挖掘纹理和边缘的本质区别并建立优化模型。之后，Liu 等［18］扩展了RTV 模型中窗口全变分的范数范围，改善了RTV 方法的局限性。此外，我们的前期研究从图像的几何角度分析纹理特点，在L0GM 中加入表面积最小化约束，保证了各局部区域内的各向同性平滑，具体可参考文献［19］（以下简称Liu方法）。

基于学习的图像平滑方法主要是利用卷积神经网络（Convolutional Neural Network，CNN）学习滤波核来改善图像的平滑质量。Xu 等［20］于2015 年开创性地提出深度边缘感知滤波器，在深度CNN 框架下训练图像的梯度域，以产生精确的梯度边缘。Liu 等［21］则使用多个空间变异递归神经网络生成平滑图像。之后，Wu等［22］提出基于数据驱动的端到端可训练的CNN 引导滤波器，实现了运算速度的提升。此外，基于CNN 构建联合滤波内核的滤波器［23-24］表现出更为优异的平滑效果。众所周知，基于学习的方法可获得令人满意的平滑图像，但高度依赖于训练数据集的多样性和容量，实现条件成本高。

为更好地解决现有平滑算法在不同尺度上边缘保持不完全、纹理抑制不彻底以及伪影去除效果欠佳等问题，本文拟构建一个梯度曲面面积与稀疏约束的图像平滑模型。首先研究图像梯度域上结构和纹理的几何特征差异，提出梯度曲面面积约束平滑先验；然后充分利用图像的统计特征，结合L0梯度最小化先验建立自适应的混合正则化约束的平滑模型；最后，高效稳定地求解该模型以输出高质量的平滑图像。实验结果表明，本文算法可有效抑制随机复杂纹理，并在较大程度上保持了边缘结构的完整性。

1 本文平滑算法

1.1 正则化约束的图像平滑模型一般框架

首先，假设f0∈Rm×n表示原始纹理图像，f表示平滑后的输出图像，图像平滑可归结为以下通用框架表示的最优化问题：

Xu等［5］基于纹理图像的统计特征提出L0GM先验，其数学模型如下式所示：

图1 图像平滑实验结果对比Fig.1 Comparison of image smoothing experimental results

由于随机复杂纹理的结构特征与图像的边缘特征较为相似，仅应用L0梯度最小化先验易造成过度平滑或欠滤波等问题。为进一步提高平滑质量，我们在之前的研究文献［19］中提出了曲面面积约束先验并将其加入到L0梯度最小化框架中，即：

其中：α≥0 为正则化参数；当k=1 时为图像面积约束项。理论上，对于任意的k＞0，φ(∇f)均可作为全变分正则项TV(f)=的广义延伸。TV 先验已被广泛应用于图像处理领域，但众所周知，TV 在图像处理过程中易产生阶梯效应。如图2 所示，将纹理图像视作二维曲面时，其3D 表面呈现出大量的起伏和折叠，对应图像中的纹理细节区域。梯度图的3D 表面可视化对于纹理和边缘区域表现出的起伏更为明显。由L0GM［5］和Liu 方法［19］的平滑效果可看出，平滑后的图像仍存在少量的纹理信息，同时受到了阶梯效应和伪影的影响，相对应的几何曲面的3D表面并不平坦，这就启发我们可从梯度域的角度对图像施加曲面面积约束，通过最小化梯度曲面面积的方式更彻底地消除图像中的纹理细节。

图2 不同方法产生平滑图像的表面差异可视化Fig.2 Visualization of surface differences in smoothing images generated by different smoothing methods

1.2 多约束的图像平滑算法

为更有效地去除纹理细节，抑制阶梯效应和伪影，同时防止图像边缘受模糊因素的影响，我们基于前期研究成果［19］提出梯度曲面面积约束项，建立混合正则化约束的图像平滑模型，即：

模型（4）中，‖∇f-v‖1是v对于∇f在L1范数意义上的逼近，L1范数的应用使得此正则项对于图像中的噪声和异常值更具鲁棒性。不同于之前文献［19］的研究将面积约束应用于图像强度层面，φ(∇v)是作用于梯度域的约束，本质上是图像的梯度曲面面积约束。二阶梯度对图像的边缘和纹理区域的像素值变化更为敏感，提出的梯度曲面面积约束则具备更强的纹理抑制能力。此外，本文以v间接性地代替∇f作为梯度曲面面积约束的惩罚对象，更有助于边缘结构的精确保持。

为进一步提升纹理抑制和边缘保持的平衡能力，引入边缘检测函数g［25-26］，定义如下：

边缘检测函数的应用有助于模型（5）根据输入图像的结构特点自适应地调节曲面面积约束惩罚，适当地扩大或缩小平滑模型的扩散强度。具体来说，在输入图像的边缘区域，呈现较大的数值结果，相应的边缘检测函数g趋于一个很小的值，此时曲面面积约束的扩散能力减弱，能够较好地保护边缘轮廓不受平滑正则项的惩罚，有效保持图像自身的结构特征；在输入图像的相对平坦区域表现出较小的数值结果，相应的边缘检测函数g→1，此时曲面面积约束的扩散能力增强，能够最大限度地去除纹理细节，抑制伪影和阶梯效应对平滑效果的影响。

2 数值求解算法

本文提出的图像平滑模型（5）是一类非凸非光滑的优化问题，常用的数值求解算法难以求得较为理想的数值解。本文采用交替方向乘子法（Alternating Direction Multiplier Method，ADMM）［27］解决此问题，将此无约束问题转换为有约束优化问题，把整体模型分解为几个子问题，运用多种求解方式交替迭代寻求每个子问题的闭合解。

首先，引入辅助变量x、y和z将式（5）转换为以下约束问题：

其中：(ς，δ，ε)表示拉格朗日乘子，(β1，β2，β3)为惩罚因子。为使得求解更稳定高效，利用ADMM 算法将此式的优化过程转化为(x，y)，z和(f，v)三大类子问题交替迭代求解，并在每次迭代后更新拉格朗日乘子(ς，δ，ε)。

首先，固定变量zt、ft、vt、ςt、δt和εt时，(x，y)子问题分别是典型的带L0正则化项和带L1正则化项的最小二乘问题：

其次，固定变量xt+1、yt+1、ft、vt、ςt、δt和εt时，z子问题是一类凸优化问题：

利用二阶优化算法牛顿法进行求解得到：

由于f和v之间存在耦合关系，需同时在快速傅里叶变换（Fast Fourier Transform，FFT）框架下求解［30］。固定变量xt+1、yt+1、zt+1、ςt、δt和εt时，(f，v)子问题如下：

首先求得其一阶最优性条件，然后在FFT 框架下采用矩阵的克拉默法则求得在第t+1 次迭代时(f，v1，v2)的闭式解为：

其中：F为傅里叶变换，F-1为傅里叶逆变换，| ◦|*为矩阵的行列式。

最后，拉格朗日乘子以如下所示进行每一步的迭代更新：

其中：τ表示迭代步长，默认设置为1。

在高校学生党建工作中，主要是挑选一些优秀的学生作为党员的候选者，并对他们进行重点培养。但是，一般党员培养年限大概在一年左右，一年过后不再继续对这批学生进行重点培养。因此，高校学生党建工作缺乏长远的计划或目标。在此方面，很多党建工作者认为，对学生的培养是短期的，以促进学生入党为目标，对学生入党后的表现则漠不关心。并且由于高校学生党建工作对学生的培养是短时间的，因此学生在加入党组织后，难以形成自律，党建工作无法发挥长远的作用。

综上所述，针对模型（5）非凸非光滑的情况，本文运用了基于ADMM 框架的高效求解优化算法，首先通过引入辅助变量的方法求得原始问题的增广拉格朗日函数，然后在固定相应变量的前提下分解求解过程，最后分别通过阈值收缩算子、二次牛顿法和傅里叶框架下的线性方程组求解等方法求出每个子问题的闭式解。待更新策略终止迭代时，输出高质量的平滑图像。具体算法总结归纳如算法1所示：

算法1 图像平滑模型（5）的数值求解。

3 实验结果分析

为分析评价梯度曲面面积与稀疏约束模型的平滑性能，本章将展示不同类型纹理图像的平滑结果，并与WLS［15］、GF［1］、L0GM［5］、RTV［17］、RGF［9］、Guo［31］、Liu［19］、muGIF［11］等方法进行实验对比分析。本文实验均使用Intel Core i5-4210 2.40 GHz 处理器，运行平台为Matlab R2018。为保证实验的公平性和科学性，对其他对比方法都进行了参数调优。以下分别从纹理抑制、边缘检测、纹理增强和图像融合等方面分析该方法的有效性与稳定性。

3.1 图像平滑实验结果与分析

为验证本文算法的有效性，本小节分别对真实纹理图像与合成噪声/纹理图像进行定性和定量对比分析。

3.1.1 图像平滑定性评价实验结果

本文选取不同类型的纹理图像进行平滑实验效果对比：

图3 中各方法的主要参数值分别 为：GF［1］（r=4，ε=0.42），L0GM［5］（λ=0.15），RTV［17］（λ=0.015，σ=3），RGF［9］（σs=4，σr=0.06，4 次迭代），Guo［31］（α=0.35，th=0.2），muGIF［11］（αt=0.035），Liu［19］（λ=0.04，σ=1），本文算法（λ=0.11，α1=0.001，α0=0.2）。

图3 边缘保持实验结果对比Fig.3 Comparison of edge-preserving experimental results

图4 中各方法的主要参数值分别 为：GF［1］（r=4，ε=0.22），L0GM［5］（λ=0.35），RTV［17］（λ=0.025，σ=3），RGF［9］（σs=6.5，σr=0.05，5 次迭代），Guo［31］（α=1，th=0.15），muGIF［11］（αt=0.065），Liu［19］（λ=0.06，σ=1），本文算法（λ=0.23，α1=2，α0=0.3）。

图4 局部区域的纹理消除结果对比Fig.4 Comparison of texture elimination results for localized areas

图5 中各方法的主要参数值分别为：L0GM［5］（λ=0.05），RTV［17］（λ=0.015，σ=3），RGF［9］（σs=5.5，σr=0.03，5 次迭代），muGIF［11］（αt=0.016），Liu［19］（λ=0.018，σ=1），本文算法（λ=0.09，α1=3，α0=0.1）。

图5 纹理抑制实验结果对比Fig.5 Comparison of texture suppression experimental results

图6 中各方法的主要参数值分别为：WLS［15］（λ=1，α=1.2），GF［1］（r=8，ε=0.12），L0GM［5］（λ=0.015），RTV［17］（λ=0.007，σ=3），RGF［9］（σs=2.5，σr=0.1，5 次迭代），Guo［31］（α=0.18，th=0.1），muGIF［11］（αt=0.0065），Liu［19］（λ=0.006，σ=1），本文算法（λ=0.04，α1=0.2，α0=0.1）。

图6 纹理图像平滑实验结果对比Fig.6 Comparison of texture image smoothing experimental results

图3 展示了边缘保持的对比实验结果，如局部放大图所示，GF［1］、RGF［9］和Guo［31］可产生较为完整的边缘轮廓，但平滑图像仍含有较多的背景纹理细节；L0GM［5］和Liu［19］方法输出的平滑图像存在小尺度边缘信息的损伤及丢失现象，且受到不同程度阶梯效应的影响，平滑视觉效果欠佳；RTV［17］和muGIF［11］具有稳定的纹理去除性能，但会以模糊边缘为代价。而本文算法中的梯度曲面面积约束与Liu［19］提出的曲面面积项相比具备更好的平滑能力，高阶变分优势也更好地消除了L0GM［5］方法易产生的阶梯效应，在较大程度上抹平了纹理细节。此外，本文算法的自适应性更有助于保持不同尺度边缘的完整性和清晰度。图4 展示了局部区域的纹理消除结果，相较于其他方法的平滑效果，本文算法有效克服了纹理去除不彻底、阶梯效应和伪影等问题，使局部区域更为平坦光滑，边缘轮廓更加精确清晰。图5 再次证明了本文算法对于纹理抑制的优越性，在其他方法均存在部分纹理未完全消除的情况下，本文算法输出了最大程度的光滑图像。

图6 进一步验证了本文算法突出的优势，在平滑过程中，正则化项通常侧重于单一的惩罚对象，易使得边缘保持和纹理抑制无法同时兼顾。图6（e）所示的RTV［17］方法模糊了局部放大图右下角的小方块，图6（h）所示的muGIF［11］方法的平滑图像仍存在少量的噪点。相比之下，本文算法中的梯度曲面面积约束项抑制了阶梯效应和大量的冗余纹理细节，而引入的边缘检测函数保护了较小尺度边缘不受模糊因素的影响，在纹理抑制和边缘保持之间达到完美平衡。

3.1.2 图像平滑定量评价实验结果

为进一步凸显本文平滑算法的优越性能，在定性对比分析之后，通过定量分析再次对本文算法进行评价。本节采用4 幅纹理细节较少的卡通图（将这4 幅图依次命名为Image1～4）作为实验对象。首先，分别在这4 幅图像中添加方差为0.005、0.01、0.02 的高斯白噪声，再与GF［1］、L0GM［5］、Liu［19］以及muGIF［11］方法进行平滑对比，选取常用的峰值信噪比（Peak Signal to Noise Ratio，PSNR）作为客观评价标准。

表1 展示了对不同等级的合成噪声图像进行平滑处理后的PSNR 值，可以看出与其他平滑方法相比，本文算法有着较高的PSNR，这表明本文的平滑算法可以更好地保持颜色保真度。图7展示了在方差为0.005噪声水平下的平滑实验结果，如图所示，本文算法对噪点消除得最为彻底，平滑结果质量更高。

图7 合成噪声（0.005）图像平滑实验结果对比Fig.7 Comparison of image smoothing experimental results with synthetic noise（0.005）

表1 合成噪声图像平滑的PSNR对 单位：dBTab.1 Comparison of PSNR for synthetic noise image smoothing unit：dB

此外，为评价平滑算法的纹理抑制性能，将这4 幅图像分别添加两种不同的纹理（将这两种纹理分别命名为纹理1、纹理2）得到合成图像，再与L0GM［5］、Liu［19］以及muGIF［11］方法进行平滑对比，采用峰值信噪比和结构相似性（structural similarity，SSIM）作为定量评价指标。表2 给出了合成纹理图像平滑的PSNR 与SSIM 结果对比，可以看到对于不同的纹理类型，本文算法都有较高的PSNR和SSIM值，再次体现出本文算法从颜色和结果上的优势，如图8 所示，本文算法在抑制较多纹理的同时更为清晰地保持了图像边缘轮廓。

图8 合成纹理图像平滑实验结果对比Fig.8 Comparison of synthetic texture image smoothing experimental results

表2 合成纹理图像平滑的PSNR 与SSIM结果对比Tab.2 Comparison of PSNR and SSIM results of synthetic texture image smoothing

3.2 图像平滑应用

3.2.1 边缘检测实验结果

显著的图像边缘对于人类感知图像内容和计算机识别图像主体有重要的作用。边缘检测已成为提取目标形状的一个简单但重要的预处理工具。传统的边缘检测方法易将大尺度纹理视为边缘，导致边缘检测结果难以精确反映图像的主要结构，如图9（a）和图10（a）的边缘检测结果所示，直接采用著名的Canny 边缘检测器并不能产生预期的检测结果。通过图像平滑技术对不同尺度的纹理进行去除，再采用Canny 算子检测边缘，则可产生更清晰的主体轮廓。

本节采用两张纹理图像（图像1、图像2）作为实验对象，并分别与Liu［19］、RGF［9］以及muGIF［11］进行对比。图9 中各对比方法的主要参数分别为：Liu［19］（λ=0.02，σ=1），RGF［9］（σs=5，σr=0.02，4 次迭代），muGIF［11］（αt=0.015），本文算法（λ=0.06，α1=0.2，α0=0.1）；图10 中各方法的主要参数值分别为：Liu［19］（λ=0.045，σ=1），RGF［9］（σs=2.5，σr=0.05，5 次迭代），muGIF［11］（αt=0.04），本文算法（λ=0.155，α1=0.15，α0=0.1）。

图9（b）和（d）的边缘受到不同程度上的模糊和损伤，图9（c）则表现出图像背景凹凸不平的缺陷，分别造成了检测边缘后主体结构不精确与纹理边缘过于丰富等问题。而图10（b）～（d）并未彻底地移除冗余的纹理细节，导致边缘检测图像的平坦区域存在部分孤立点，降低了检测的准确度。对比而言，本文算法更彻底地剔除了干扰边缘的纹理像素点，并精确保留了图像主体边缘信息，生成的边缘检测图像结构完整，轮廓清晰，明显提升了Canny边缘检测器的性能。

图9 图像1的边缘检测实验结果对比Fig.9 Comparison of edge detection experimental results for figure 1

图10 图像2的边缘检测实验结果对比Fig.10 Comparison of edge detection experimental results for figure 2

3.2.2 纹理增强实验结果

纹理增强的目的是改善图像的强度、对比度和视觉外观，是图像平滑的一个基本应用。纹理增强的一般步骤是先运用图像平滑技术输出原始图像的结构层，再从原始图像中减去此结构层，得到包含原始图像高频纹理细节的纹理层，之后将纹理层增强并添加回结构层，获得最终的纹理增强图像。本文用I表示原始图像，s表示结构层，d=I-s则表示纹理层，输出的纹理增强图像为q=s+5d。图像纹理增强技术的关键是通过较好的平滑算法准确分离图像的结构层和纹理层。在图像平滑过程中，如果边缘受到较小程度模糊的影响，其纹理增强图像的边缘则会出现光晕效应，造成增强图像的视觉质量下降；另一方面，如果未将纹理移除彻底或造成边缘成分的丢失，其纹理增强图像则会产生增强结构层而弱化纹理层的视觉效果，与预期的实验结果存在较大的差距。本节分别与GF［1］、L0GM［5］、Liu［19］和muGIF［11］方法产生的平滑图像和纹理增强图像进行对比分析。图11 中各对比方法的主要参数分别为：GF［1］（r=8，ε=0.152），L0GM［5］（λ=0.025），Liu［19］（λ=0.007，σ=1），muGIF［11］（αt=0.006 5），本文算法（λ=0.025，α1=0.12，α0=0.1）。图11 的上半部分表示平滑图像，下半部分表示增强图像。GF［1］和Liu［19］的实验结果中主体轮廓和与纹理细节被同时增强，并未从视觉上改善增强图像的对比度；L0GM［5］方法的色偏现象明显，特别是增强图像的下半部分存在较为严重的曝光现象；muGIF［11］算法产生了较好的平滑图像，但边缘处出现了模糊，导致增强后的图像边缘产生了光晕效应。相比之下，本文算法则解决了边缘模糊的问题并最大限度地移除纹理，生成了高质量的纹理增强实验结果。

图11 纹理增强实验结果对比Fig.11 Comparison of texture enhancement experimental results

3.2.3 图像融合实验结果

众所周知，绘画、自然图像和马赛克图像通常无法直接用于无缝图像融合技术，这主要是由于源图像与目标图像之间的纹理不兼容。为提高图像融合的性能，需先有效地去除源图像中不同尺度的纹理。本节分别应用方法GF［1］、L0GM［5］、Liu［19］、RGF［9］以及本文算法产生平滑图像，再将平滑后的图像与目标图像融合，并对最终的融合图像进行对比分析。图12中各对比方法的主要参数分别为：GF［1］（r=4，ε=0.22），L0GM［5］（λ=0.04），Liu［19］（λ=0.02，σ=1），RGF［9］（σs=4，σr=0.05，5 次迭代），本文算法（λ=0.13，α1=0.2，α0=0.1）。如图12（a）～（d）所示，在源图像的钉状纹理信息未能有效抑制的情况下，融合图像也存在原始井盖图像中的纹理，融合痕迹较为明显。RGF［9］方法抑制了大量的纹理，却产生了凹凸不平的背景，使得融合协调性欠佳。经本文算法平滑后再融合的图像只显示主要文字信息，未出现明显的井盖背景纹理成分，可取得令人满意的图像融合效果。

图12 图像融合实验结果对比Fig.12 Comparison of image fusion experimental results

4 结语

本文首先分析纹理图像中边缘轮廓信息和纹理细节信息的结构特征与几何特征，然后结合图像梯度域的稀疏性和二维曲面的面积约束原理，在L0梯度最小化的框架下设计自适应曲面面积约束正则化项，提出曲面面积与稀疏约束的图像平滑模型。最后利用基于ADMM 的数值求解算法，高效地解决了非凸非光滑的优化求解问题。在纹理抑制、边缘检测、纹理增强和图像融合等图像处理方面的实验结果表明，本文提出的图像平滑模型能够消除不同尺度的纹理细节，抑制阶梯效应和伪影的影响，同时可保持精确的图像边缘轮廓，展示出较好的平滑性能和视觉效果。