唐卡图像修复综述

唐守亮　刘晓静　刘志强

摘要摘要：唐卡图像修复是指对受到损坏的唐卡图像进行修复重建，还原唐卡图像初始状态的一个过程。详细介绍了数种基于纹理结构和非纹理结构的唐卡图像修复方法与各自的优缺点，以及不同方法适用的不同应用场景。概述的唐卡图像修复技术与修复方法，不仅可为开发者在唐卡图像修复上提供技术路线，同时可为其它领域的唐卡研究者提供理论参考，最后提出一些在唐卡修复方面的展望。

关键词关键词：唐卡图像；图像修复；纹理结构；非纹理结构

DOIDOI：10.11907/rjdk.181070

中图分类号：TP317.4

文献标识码：A文章编号文章编号：16727800（2018）009000405

英文标题Summary of Thangka Image Inpainting

--副标题

英文作者TANG Shouliang，LIU Xiaojing，LIU Zhiqiang

英文作者单位（Department of Computer Technology and Application，Qinghai University ，Xining 810016，China）

英文摘要Abstract：Thangka image inpainting refers to the process of restoring and reconstructing damaged Thangka images and restoring the initial state of Thangka images.Several Thangka image inpainting methods based on texture structure and non texture structure are introduced in detail，and their advantages and disadvantages are also introduced.The technology and repair methods of the Thangka image inpainting not only provide a technical route for the developer to repair the image of the Thangka，but also provide a theoretical reference for the Thangka researchers in other fields，and finally we put forward some prospects in the Thangka image inpainting.

英文关键词Key Words：Thangka image；image inpainting；texture structure；nontexture structure

0引言

唐卡是中华民族的瑰宝，是一种独具青藏特色的绘画艺术形式。唐卡的起源无从考证，公元7世纪之前唐卡图像就在青藏地区广为流传。唐卡内容丰富，题材广泛，涵盖宗教、历史、藏医药等藏族人民生活的各个方面，具有很高的历史研究价值。我国唐卡收藏量众多，仅故宫博物馆就收藏了3 000件左右的唐卡[1]，这些唐卡由于年代久远、保管措施不当等原因出现了局部或较大面积损坏。为了更好地传承和发扬青藏文化，还原历史原貌，唐卡图像修复成为近年来的研究热点，同时也是研究难点，因为唐卡的修复具有不可逆转性，如果修复出现错误将造成无法挽回的损失。目前常见的唐卡修复方式是由画师手工修复，该方式主要依赖唐卡图像的纹理信息和画师本身的经验，但这种修复方式会因为唐卡图像纹理不清晰或画师对唐卡的错误理解导致修复结果与原始图像有较大出入，造成唐卡的二次损坏。同时，由于唐卡独特的传承方式[2]，以及画师经验积累需要较长时间[3]，导致能够参与唐卡修复的人屈指可数。然而，随着数字媒体图像修复技术的不断成熟，衍生出的唐卡图像修复技术可以通过计算机手段很好地修复和还原唐卡图像原貌，为画师修复工作提供借鉴。

唐卡图像修复方法主要分为两种：基于纹理结构的唐卡图像修复方法和基于非纹理结构的唐卡图像修复方法[4]。基于纹理结构的唐卡图像修复方法主要是基于样本块的唐卡图像修复，常用于修复破损区域较大的唐卡图像；基于非纹理结构的唐卡图像修复方法是基于偏微分方程与变分模型的修复方法，主要用于修复破损区域较小的唐卡图像。

1相关研究

唐卡图像修复技术是当前计算机视觉领域的研究热点之一，自2002年起王维兰教授及其团队就开始研究唐卡图像修复技术，从基于神经网络的残缺唐卡图像修复[5]与唐卡特定破损区域研究[6]，到结合领域知识的唐卡图像修复系统模型及应用研究[7]，一直走在该领域的前列。目前不同的唐卡图像修复算法都有各自的優缺点，由于分割算法都是针对具体场景，因而没有一种修复算法模型可以适用于所有的唐卡图像破损修复[8]。

画师通常需要先凭借经验判断破损区域再进行修复，对于计算机图像修复而言，同样需要先进行破损区域的提取，然后才能对破损区域进行修复。

2破损区域获取

唐卡图像具有精细、精微、结构信息复杂等特点，一般而言，从画布的材质、浆糊到温湿度、光照、烟熏油污、生霉虫蛀、堆折磨损等[910]因素都会导致唐卡出现不同形态的破损，比如线型、块状等，破损形状不同致使修复方法不同。破损区域的分割提取质量是能否完好修复唐卡图像的重要前提，但在关于唐卡图像修复的文献中很少提及使用的图像分割方法，这是因为其采用的分割方法大多是手工标注法[1112]或半自动分割法[6，1318]，这两种方法都需要大量人机交互。手工标注法需要人工选取破损区域，但实际破损区域比人工选取的更为复杂。半自动分割法是手工标注法的改进，通过算法提取出破损区域轮廓，然后通过人工去除过分割区域。刘华明等[14]则使用一种半自动分割法，极大地提高了分割准确性，算法流程如图1所示。

对于破损区域较为复杂的图像，人机交互难度较大，因此唐卡图像破损区域的自动分割[7，1920]显得尤为重要。结合大多唐卡图像具有对称性的特点，胡文瑾等[7]以对称轴为基准采用分块采样策略进行分割，算法步骤如图2所示。

利用Gabor变换进行第二次分割，但是定义的模板不能适用于所有情况，过大或过小都不利于后续分割。根据唐卡图像破损区域色彩变淡以及破损区域灰度变化具有一定范围的特点，刘华明等[20]提出一种新算法，算法流程如图3所示。

3图像修复

3.1基于非纹理结构的图像修复

卢小保等[4]最先在唐卡图像修复中应用偏微分方程和变分模型，并取得了较好效果。其使用了几种常用于图像修复的算法，包括BSCB（Bertalmio Sapire Caselles Ballester）模型、TV（Total Variation）模型及改进算法、Oliveira模型等。

（1）BSCB模型。BSCB模型[21]是最早用于图像修复的算法，主要是利用破损区域周围的完好信息，将到达破损区域边界等照线方向的信息逐步补全，演化方程为：

un+1（i，j）=un（i，j）+Δtunt（i，j）（1）

其中n表示迭代次数，（i，j）表示待修复像素点的坐标位置，Δt表示迭代步长，unt（i，j）表示每次迭代un（i，j）的变化量。该算法对于折痕、裂痕等具有较好的修复效果，但其仅是对手工修复过程的模拟，缺乏严格的数学理论支持，而且修复边缘存在轻度模糊现象。

（2）TV模型。TV模型[22]是一种最早应用于图像去噪，然后才应用于图像修复的算法，其本质上是一种动态加权平均算法，修复过程可看作破损区域边缘信息向破损区域内部各向异性扩散的过程[4]，方程式如下：

un+1o=∑p∈Λhnopunp+hnoouno（2）

待修复像素点为uo，Λ是uo的4个半像素邻近点，up代表邻域像素。TV模型具有严格的理论支持，能保持较好的图像边缘，但在修复点与邻点梯度值差别较大时，会使图像修复不够平整甚至出现断裂情况。而且由于TV模型的特点，待修复像素点周围的非破损像素点越多，信息扩散速度越快，修复速度也越快，所以形成了一种新算法——快速TV模型[23]，它将图像的破损区域划分为若干层，然后逐层进行修复。之后不断有各种基于TV模型的改进算法被提出，如用于处理含有非光滑项凸优化问题的基于交替方向乘子法（ADMM）的快速求解算法[24]，针对破损区域方向特征明显图像使用的结合网函数插值与TV模型的图像修复算法[25]等。在这些改进算法中最为人熟知的是CDD模型[26]，这是针对TV模型中扩散强度仅依赖等照线强度而导致边缘断裂问题所提出的，所以在TV模型中加入了图像曲率，在曲率大的地方扩散增强，曲率小的地方扩散减弱，则可以很好地解决边缘断裂问题。

（3）Oliveira模型。Oliveira模型是在分析已有模型基础上提出的[27]，通过一个固定大小的模板反复卷积实现破损区域边缘信息向破损区域的扩散，并在边缘处进行各向异性扩散防止边缘模糊，模型简单且修复速度快，取得了良好的修复效果。

3.2基于纹理结构的图像修复

基于纹理结构的图像修复是利用同一幅图像块与块之间相似性修复图像的算法，是最早应用于唐卡图像修复的算法[28]，同时由于基于样本块的图像修复算法——Criminisi算法[29]在填充图像缺损区域的同时，能很好地保持图像结构特征，所以其是目前唐卡图像修复中应用最广泛且最有效的算法。在Criminisi算法中最重要的是优先权计算，通过优先权控制图像修复顺序，再通过待修复块与样本块的SSD确定最优匹配块。

其中，P（p）代表優先权；C（p）代表信任度因子，数值越大表明可信度越高；D（p）代表数据因子，是指每次迭代轮廓Ω前沿的等照线强度；|Ψp|表示块的面积。破损区域像素点C（p）=0，非破损区域像素点C（p）=1，α为归一化因子。

Criminisi算法修复步骤如图5所示。

但是Criminisi算法也存在一些不足：①信任度计算与更新规则不合理。随着修复的进行，置信度值迅速下降并接近于0，导致修复的优先级出现错误，从而影响最终结果；②等照线计算不准确；③对最佳样本块的选择未考虑结构信息，导致视觉效果出现偏差。

卢小宝等[4]将修复后的像素点信任度计算更改为1|Ψp|∑|Ψp|i=1C（p），可使信任度计算更为合理，并因为灰度图像计算的梯度信息相比原图像有很大缺失，因此在原图像上直接获取更为精确的梯度信息，通过待修复块与候选最佳样本块之间的空间距离对不唯一样本块作进一步选择，可使边缘的连通性和平滑性增强，修复图像也看起来更为合理。

王一卜等[30]根据等照度线曲率反映图像局部特征、块与块之间方差值反映图像边缘、纹理、平滑区域结构特征的特性，在计算待修复块的优先权时，将二者引入以克服优先级次序随置信度迅速下降而产生错误的问题，确保修复过程能够准确、有序地进行。定义的新优先权算法为：

P（p）=λ1C（p）D（p）+λ21|K（p）|+λ3δS2（6）

其中δS2=|S2（1）-S2（2）|α2，S2（1）、S2（2）分别为待修复区域Ω沿np方向切割出的块1和块2两个区域的方差，K（p）表示等照线曲率，λ1-λ3为各项权重，且和为1。将等照度线曲率作为寻找最佳匹配块的参考因素，以提高最佳匹配块获取的精确性。

梁淑芬等[31]发现在相同算法中使用不同灰度转换算法得到的修复结果不同，使用YUV方法转换加强图像对亮度的处理，优先权函数如下：

P（p）=a[（1-ω）C（p）+ω]+b[（1-υ）D（p）+υ]（7）

a和b是系数，在分配系数时使其偏向于数据项，即能在计算优先权时先选取周围结构信息丰富的像素点进行修复。ω是正则化因子，υ是能使C（p）和D（p）保持平衡的系数。在选取最佳匹配块时，利用图像的高低频区辅助选择。

王威等[12]在基于样本块图像修复的基础上结合人眼对颜色的感觉，将图像转换到Lab空间进行修复，并将搜索空间大小与置信度与修复区域的纹理复杂程度相结合，搜索区域边长L方程如下：

L=min（m，n）×{0.1+[α（1-C（p））+（1-α）d（p）]}（8）

d（p）代表梯度大小，m、n代表修复图片的长宽，当后期置信度不再变化时，还可根据修复区域的纹理复杂程度确定L大小，并且在匹配准则中加入纹理信息，公式为：

d（Wp，Wq）=αd（ψp，ψq）+（1-α）d（Pp，Pq）（9）

d（ψp，ψq）代表候选块与待修复块间的颜色欧氏距离，d（Pp，Pq）代表候选块与待修复块间相对应位置的平均梯度差。文献[12]还专门针对类似于左右对称的特殊唐卡提出一种特殊修复方法，先是人工选取匹配区域，区域大小由人为决定，在优先权更新时将d（Pp，Pq）作为惩罚因子，以防止错误积累，在匹配准则中引入曲波变换以及颜色欧氏距离，以确定最优匹配块。

综上所述，本文通过对比基于纹理结构与非纹理结构的唐卡图像修复方法得出：为了能更好地修复唐卡图像，在修复时要根据不同破损程度和形状选择不同的修复方法。如果破损区域较小，破损形状呈线型，基于非纹理结构的修复算法是最佳选择；如果破损区域较大，破损形状呈块状，则使用基于纹理结构的修复算法能达到更好的效果。

4结语

唐卡图像作为青藏地区的百科全书，题材涉及藏族的歷史、政治、文化、社会等诸多领域。唐卡图像修复对研究青藏文化、还原历史事实具有重要意义。本文介绍了常用的唐卡图像修复技术，如适合修复小尺度破损的BSCB模型、TV模型、快速TV模型、CDD模型等，适用于修复大尺度破损的Criminisi算法及其改进算法等，并总结了各算法优缺点。当然还有一些其它修复技术，比如插值修复[32]、纹理合成算法[4]等，在不同应用场景下应选取对应的修复方法。

唐卡图像修复技术虽然在一些应用场景上已取得了一些成果，但仍存在许多不足之处。唐卡图像修复以获取唐卡图像破损区域为前提，目前唐卡图像破损区域的获取都是靠人工标注或半自动分割获得，而且由于唐卡图像的复杂性，没有一个统一模型能够获取所有唐卡图像的破损区域，而唐卡图像修复算法本身难以自动获取破损区域。唐卡的绘制要求极为严格，每一个程序都需遵循藏传佛教仪轨，内容、着色、尺寸都在《造像度量经》上有着明确规定，不可僭越[33]。基于该特点，人们可以使用大量破损唐卡作为训练样本，利用机器学习、数据挖掘等技术达到自动获取破损区域的目的。近年来唐卡行业蓬勃发展，有些人利用电脑喷涂制作唐卡，但这样的唐卡缺乏手绘唐卡的层次感和厚重感，而且易使图像褪色，在该情况下如何使唐卡恢复到初始状态也是人们努力的一个方向。

参考文献参考文献：

[1]方小济.唐卡的科学化保护与修复研究综述[C].中国文物保护技术协会第七次学术年会论文集，2012.

[2]卓么措.从传统到现代：热贡唐卡传承依存的社会结构变迁研究[J].青海师范大学学报：哲学社会科学版，2014，36（4）：6467.

[3]胡珊.唐卡艺术的传承与保护研究[D].成都：四川师范大学，2016.

[4]卢小宝.综合偏微分方程的唐卡图像修复研究[D].兰州：西北民族大学，2011.

[5]王晓东，王维兰，唐仕喜.基于Hopfield神经网络的唐卡图像损伤区域的提取[J].科学技术与工程，2006，6（6）：706708.

[6]王维兰，唐仕喜.唐卡图像复杂破损区域的修复[J].计算机工程与设计，2007，28（3）：703705.

[7]胡文瑾，王维兰，刘仲民.结合领域知识和多特征表示的唐卡破损区域分割算法[J].中南大学学报：自然科学版，2016，47（7）：23262333.

[8]LIU X J，HUO Q S.An improved color transfer algorithm for TangKa image inpainting[J].Applied Mechanics & Materials，2013， 333-335 ：1114-1117.

[9]翟东海，李帆，鱼江.基于米字型各向异性扩散的破损藏式古唐卡修复研究[J].西南科技大学学报：自然科学版，2014，29（2）：7781.

[10]栗征华.浅谈唐卡的修复与保护[J].艺术科技，2015，28（9）：155.

[11]刘华明，毕学慧.唐卡褪色区域分割[J].计算机辅助设计与图形学学报，2013，25（2）：241247.

[12]王威.基于样本块的唐卡图像修复技术研究[D].成都：西南交通大学，2016.

[13]贾艳军.基于相似性的唐卡图像修复方法研究[D].兰州：西北民族大学，2015.

[14]刘华明，王晓倩，毕学慧，等.融合云模型和比重阈值的唐卡破损区域分割[J].阜阳师范学院学报：自然科学版，2016，33（1）：6267.

[15]刘华明，毕学慧.唐卡褪色区域分割[J].计算机辅助设计与图形学学报，2013，25（2）：241247.

[16]罗宝娟.结合领域知识的唐卡图像破损区域探测与分割[D].兰州：西北民族大学，2015.

[17]刘华明，毕学慧.色彩脱落型唐卡破损区域的分割[J].计算机工程与应用，2013，49（4）：219223.

[18]刘华明，毕学慧.基于比重漂移的唐卡破损区域分割新方法[J].阜阳师范学院学报：自然科学版，2014，31（3）：4045.

[19]许燕，王维兰.基于Mean shift的唐卡图像分割算法的研究[J].自动化与仪器仪表，2016（1）：130131.

[20]刘华明，毕学慧，王维兰，等.基于最大熵和局部优先度的裂痕唐卡分割[J].数据采集与处理，2015（2）：424433.

[21]BERTALMIOM，SAPIRO G， Ballester C，et al.Image inpainting[J].Siggraph，2005，4（9）：417424.

[22]CHAN T F，SHEN J.Nontexture inpainting by curvaturedriven diffusions[J].Journal of Visual Communication&Image; Representation，2001，12（4）：436449.

[23]LU X B，WANG W L，ZHUOMA D J.A fast image inpainting algorithm based on TV model[C].International Multi Conference of Engineers and Computer Scientists，2010：14571460.

[24]孙向荣，刘芳芳.图像修复TV模型的快速算法研究[J].计算机技术与发展，2014（11）：144147.

[25]侯海娜，戴芳，杨陈东.结合网函数插值与TV模型的图像修复算法[J].计算机系统应用，2016，25（12）：117125.

[26]CHAN T，SHEN J.Nontexture inpainting by curvaturedriven diffusions（CDD）[J].Journal of Visual Communication and Image Representation，2001，l2（4）：436449.

[27]OLIVEIRA M，BRIAN B，RICARD M ，et al.Fast digital image inpainting[C].Proceedings of the International Conference on Visualization，Imaging and Image Processing，Marbella，2001：261266.

[28]王維兰，唐仕喜.唐卡图像复杂破损区域的修复[J].计算机工程与设计，2007 （3）：703705.

[29]Criminisi A，Perez P，Toyama K.Object removal by exemplarbased inpainting[C].Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，New York：ACM，2003：721728.

[30]王一卜，白艳萍.基于样块改进的图像修复算法[J].火力与指挥控制，2017，42（3）：5558，63.

[31]梁淑芬，郭敏，梁湘群.改进的Criminisi算法的数字图像修复技术[J].计算机工程与设计，2016，37（5）：13141318.

[32]贾建帮，刘晓静.基于唐卡图像的插值修复与纹理合成修复的差异研究[J].微型电脑应用，2016，32（3）：1518.

[33]李琦.量度的意义--由《造像量度经》看我国传统造型艺术的规则及其他[J].南京艺术学院学报：美术与设计，2015（2）：7880.

责任编辑（责任编辑：黄健）