基于p-Laplace方程的图像彩色化方法

王泽文， 张小明

（东华理工大学数学与信息科学学院，江西 抚州 344000）

基于p-Laplace方程的图像彩色化方法

王泽文， 张小明

（东华理工大学数学与信息科学学院，江西 抚州 344000）

灰度图像的彩色化是图像处理研究领域中富有挑战性的研究课题，且具有十分广阔的应用前景。在分析现有图像彩色化方法的基础上，提出了一种基于p-Laplace方程的图像彩色化新方法。新方法首先由用户在灰度图像上给定少量的颜色条带；然后通过求解p-Laplace方程实现颜色扩散的彩色化。由于p-Laplace算子是一个各向异性扩散的非线性算子，所以与采用偏微分方程方法的泊松方法和拉普拉斯方法相比，图像彩色化在扩展颜色的同时更能保持边缘效果。

图像彩色化；p-Laplace方程；偏微分方程方法；图像处理

图像彩色化是指对黑白图像、电影或电视图像进行计算机辅助着色的过程。时至今日，彩色化仍是计算机图形学与计算机视觉领域的热点课题，它们在影视、动漫、广告、娱乐、数字化影像以及古画修复等众多工程领域具有广阔的应用前景。经典的彩色化处理过程，一般先手工地将待着色的图像进行区域分割，然后为每个区域赋予期望的颜色，这种手工制作方式不仅对操作者自身水平要求较高，而且效率低下。近年来在图像彩色化方面出现了一些半自动的处理方法，大致可归结为两类，即基于颜色转移的彩色化和局部彩色化向全局扩展。

近年来，一些不需要精细人工操作的图像彩色化方法被提出来了[1–4]。Welsh等人将一幅参考彩色图像的颜色传输到一幅灰度图像，提出了一种半自动彩色化方法，其中颜色传输到目标图像是依据目标像素亮度邻域与参考图像相应像素邻域的匹配。这种彩色化方法需要用户准备一幅近似的参考彩色图像。Levin等人提出了一种交互式彩色化方法，即先由人工在图像中各个区域涂上适当的彩色条带，然后让颜色自动扩展到整幅图像上，其中颜色的扩展原则是使所有像素与其邻域颜色加权差的平方和最小。Horiuchi提出了一种基于概率极值的彩色化方法，即用户先给一些“种子像素”着色，其它象素上的颜色则根据条件概率极大原则来决定。Horiuchi方法重要缺点在于计算代价非常大，即彩色化一幅图像需要大约一天时间[5]。

基于偏微分方程的图像处理方法是近年来兴起的一种图像处理方法。Sapiro[6]将图像修补的思想引入到图像彩色化中，率先应用偏微分方程方法实现灰度图像的彩色化。Sapiro的彩色化方法是在灰度图像上涂上一些彩色条带，在彩色条带上梯度约束下将泛函极小转化为二维Poisson方程求解，从而将彩色条带上的颜色扩展到整幅图像上。而滕升华[7]等人则以彩色化后整幅图像的梯度最小为约束，将泛函极小转化为Laplace方程以实现颜色的全局扩展。彭宏京[8]等人则在Sapiro方法基础上，利用扩散张量对梯度场进行加权，从而导出了基于散度的图像彩色化方程。

本文将具有各向异性扩散作用的p-Laplace非线性方程[9]引入到图像彩色化中，并利用梯度下降法求解所得p-Laplace方程，从而实现图像的彩色化。本文安排如下：第一节介绍已有的两种基于偏微分方程的图像彩色化模型；第二节给出图像彩色化的p-Laplace非线性方程新模型及其数值解法；最后给出了实验结果和分析。

1 基于偏微分方程的图像彩色化模型

（1） Sapiro的基于二维泊松方程的图像彩色化模型

该模型在图像的YCbCr颜色空间的处理方法是：求下述泛函极小化问题

显然，式(2)即为带 Dirichlet边界条件的泊松方程。

（2） 基于拉普拉斯方程的图像彩色化模型

该模型在图像的YCbCr颜色空间的处理方法是：求下述泛函极小化问题

所以，图像彩色化问题转化为求解拉普拉斯方程定解问题式(4)。

2 基于 p-Laplace方程的图像彩色化方法

第一节给出的两个彩色化模型式(1)和式(3)的 Euler-Lagrange方程，可以看出扩散项均为ΔC 且扩散系数为 1，即它们是一种各向同性扩散的彩色化方法。由于边界处和平坦区域扩散程度相同，因此它们在彩色化图像的同时，可能导致边界处的颜色产生偏差，彩色化的效果将受影响。根据文献[10]的分析，p-Laplace算子

具有各向异性扩散作用，其在局部坐标下的表达式为

其中 η为平行于C的梯度的方向，ξ为η的正交方向（切向），如图 1 所示。 式(6)表明：随着的增大，都减小，即沿ξ和η方向的扩散能力减弱；又由于扩散系数的衰减速度不一致，扩散方程实质上是一个非线性各向异性扩散方程，扩散系数控制着该扩散方程的扩散行为。只要合理选择p值，就能达到某种扩散目的。

作者认为在21＜＜p时，该模型能取得一个折中的结果。只要p值取得合适，该模型既能克服由TV模型引入的块状效应，又能克服由调和模型引入的边缘模糊，达到一个比较好的图像彩色化效果。基于以上考虑，本文将 p-Laplace算子引入到图像彩色化处理中，建立了图像彩色化的p-Laplace方程模型。

图1 坐标关系示意图

2.1 图像彩色化的p-Laplace方程模型

本文模型在图像的YCbCr颜色空间的处理方法是：求下述泛函极小化问题

2.2 数值解法

用梯度下降法来求解式(8)，得到如下梯度下降方程

其中 t是人为引入的一个时间维度，表示图像的彩色化过程。显然，当=0时C即为式(8)的解。因此，需要构造适当的算法，使得当t→∞时→0，从而得到式(9)的一个平衡解C，即

为式(8)的解。本文将利用文献[11]中的离散化方法对式(9)进行离散求解。

首先对图像进行等间距采样，设采样步长h =1。设O为目标像素，其8邻域节点和半像素邻域点如图2所示。由于出现在分母，为了避免它为零，引入一个小的正参数ε，使得那么散度 )(divv的差分格式为

图2 目标像素O与它的邻域

其中 M为迭代次数。

由式(10)和式(11)可得式(9)的差分迭代格式为

在实际计算中, 对方程式(12)采用 Gauss-Seidel迭代法，即一旦得到右端C的新值就用它替换旧值，使得方程(12)更快收敛，以e点为例

且选取最大时间步长，从而加快彩色化速度。

3 实验结果与分析

本文首先选取了两幅图像（见图3和图4）进行彩色化，并分别与同样是采用偏微分方程的处理方法的Sapiro的泊松方法[6]和滕升华等人的拉普拉斯方法[7]进行比较。图3中的图像是文献[6]中效果最好的彩色化图片，图 3(c)为文献[6]的泊松方法着色结果，在好几处地方产生明显的颜色偏差（见图 3中的(c)、(d)、(e)中蓝色圆圈内）；图 3(d)为本文方法着色结果，颜色扩展较合理自然，彩色化后的图片接近原始图片图 3(e)。

在 Matlab7.0上进行实验，实验中取

图3 图像彩色化结果图

与泊松方法一样，拉普拉斯方法也是基于各向同性的拉普拉斯算子实现图像的彩色化。由于拉普拉斯算子在边界处和平坦区域扩散程度一样，所以将导致了彩色化结果在边界处出现颜色模糊（见图4 中蓝色圆圈圈住的小孩的脸蛋、胸口、下巴等处）。因此，文献[7]又引入加权差分来改进边界的彩色化，得到了较好的彩色化效果。

图4 图像彩色化结果图

由图4和图5可以看出，本文方法的着色效果极其接近于文献[4]的着色效果，优于基于梯度场的泊松方法和各向同性扩散的未加权的拉普拉斯方法。由于本文使用具有边缘保持的平滑核，使得彩色化的结果更平滑和柔和（见图4和图5）。但是，图4(d)中，左手臂和右肩膀等处存在细微的颜色模糊，这是因为本文方法区分2种颜色的分界是由提供的颜色种子来决定的，而没有考虑目标像素与相邻像素的相似性程度，可能导致边界定位不精确，以至于本文方法对涂色条带要求比较严格。如果采取先初步涂上颜色条带，然后根据彩色化效果再细微地修正边界处的涂色条带，彩色化效果会更加理想。

4 结 束 语

本文首先介绍了现有的基于偏微分方程的图像彩色化方法，提出了一种基于 p-Laplace方程的非线性各向异性扩散彩色化方法。大量实验表明，该方法彩色化效果优于泊松方法和未经加权的拉普拉斯方法，特别是在保持边界颜色方面。另一方面，虽然本文方法的彩色化效果与文献[4]接近，但由于p-Laplace的平滑特性，使得本文方法的彩色化图像从整体上看更柔和（见图5）。进一步的工作是考虑相邻像素的相似性程度约束，加强边界定位能力，提升基于 p-Laplace算子的图像彩色化性能。

图5 图像彩色化结果图

[1]Burns G. Colorization[EB/OL]. http：//www.museum.tv/archives/etv/C/htmlC/colorization/colorizatio n.htm.

[2]Welsh T, Ashikhmin M, Mueller K. Transferring color to greyscale images [J]. ACM Transactions on Graphics, 2002, 21(3)：277-280.

[3] Takahiko Horiuchi. Colorization algorithm using probabilistic relaxation [J]. Image and Vision Computing, 2004, 22(3)：197-202.

[4]Levin A, Lischinski D, Weiss Y. Colorization using optimization [J]. ACM Transactions on Graphics, 2004,23(3)：689-694.

[5]Noda H, Korekuni J, Niimi M. A colorization algorithm based on local MAP estimation [J]. Pattern Recognition,2006, 39：2212-2217.

[6]Sapiro G. Inpainting the colors[EB/OL]. http：//www.ima.umn.edu/preprints/may2004/1979.pdf, 2004-05.

[7]滕升华, 谌安军, 邹谋炎. 一种基于拉普拉斯方程的图像彩色化方法[J]. 中国图象图形学报, 2006,11(4)：545-548.

[8]彭宏京, 顾佳玲, 段 江. 扩散张量加权梯度域图像彩色化方法[J]. 计算机辅助设计与图形学学报,2007, 19(9)：1114-1118.

[9] Bing Song. Topics in variational PDE image segmentation, inpainting and denoising [D]. USA：University of California Los Angeles, 2003.

[10]张红英, 彭启琮, 吴亚东. 数字破损图像的非线性各向异性扩散修补算法[J]. 计算机辅助设计与图形学学报, 2006, 18(10)：1541-1546.

[11]Chan T, Shen J. Mathematical models for local non-texture inpainting [J]. SIAM Journal of Application Mathematics, 2001, 62(3)：1019-1043.

Image Colorization Based on p-Laplace Equation

WANG Ze-wen, ZHANG Xiao-ming
( School of Mathematics and Information Science, East China Institute of Technology, Fuzhou Jiangxi 344000, China )

Colorization of grayscale image is a challenging research field in image processing, and has wide application prospect. After analyzing current colorization algorithms, the paper proposes a new colorization algorithm based on p-Laplace equation. A user needs to provide the grayscale image with a few color scribbles manually. Then, the grayscale image is colorized by solving the p-Laplace equation. Since the p-Laplace operator is a nonlinear anisotropic diffusion operator, the new method can better maintain the color’s effect of the edge, at the same time achieving the color expansion than Saprio’s poisson colorization algorithm and Teng sheng-hua’s Laplace colorization algorithm, which are also partial differential equation based methods.

image colorization; p-Laplace equation; partial differential method; image processing

TP 391

A

1003-0158(2010)06-0062-06

2009-02-24

国家自然科学基金资助项目（10861001）；江西省自然科学基金资助项目；东华理工大学研究生创新基金资助项目（DYCA08009）

王泽文（1974-），男，江西上饶人，硕士，主要研究方向为偏微分方程的图像处理。