利用曲率特征虚拟拼接青铜器小碎片的方法

蔺素珍，王栋娟，钟家让，朱小红，张商珉

(1. 中北大学 计算机与控制工程学院，山西 太原 030051; 2. 山西博物院 文物保护中心，山西 太原 030024)



利用曲率特征虚拟拼接青铜器小碎片的方法

蔺素珍1，王栋娟1，钟家让2，朱小红1，张商珉1

(1. 中北大学 计算机与控制工程学院，山西 太原 030051; 2. 山西博物院 文物保护中心，山西 太原 030024)

针对青铜器小碎片人工拼接复原耗时费力的问题，提出了一种基于曲率特征的青铜器小碎片虚拟拼接方法．首先分别提取青铜器小碎片的轮廓，并在平滑处理提取结果的基础上计算轮廓的曲率．其次以曲率的局部极大值点作候选角点，再根据支撑域消除圆角点和伪角点．然后计算相邻两角点间的弦长，以弦长作为特征序列进行匹配．最后在平移旋转过程中利用向量模的不变性进行匹配精化处理，得到青铜器小碎片的最终拼接结果．实验结果表明，该方法能够有效地提高拼接效率和匹配效果．

青铜器;图像碎片;拼接;轮廓匹配;角点检测

我国是青铜器文物大国，破损青铜器的拼接修复任务十分艰巨．目前主要靠手工拼合来复原文物碎片，由于人力成本大，修复周期长，效率极其低下[1]，导致大量碎片长期堆积，其损失不可估量．其中一些小碎片，由于结构特征不明显、手工操作不便，给人工判别、拼接带来的困难尤其大，因此，利用虚拟复原技术拼接青铜器小碎片具有广泛需求．

青铜器小碎片边缘薄，断裂面可匹配的特征点少，属于薄壁类文物碎片[2]．研究人员主要是以碎片彼此之间的轮廓曲线、表面色彩或纹理信息的匹配程度为度量来对薄壁类文物碎片进行虚拟拼接的，如文献[3]中以轮廓曲线上每一点定义的局部笛卡尔坐标估计所有可能的刚性变换，再基于相似性度量匹配瓷器碎片轮廓; 文献[4-5]中分别通过匹配颜色和纹理信息拼接破碎图片，均获得了较好的拼接结果．用这些方法拼接青铜器小碎片，往往存在以下问题: 一是青铜器小碎片边缘轮廓因腐蚀常常呈细小锯齿形，难以逐像素点匹配; 二是青铜器碎片的原有纹理常常被绿色的锈迹覆盖，因此基于色彩和纹理拼接难度较大．也有研究是在假定原物为轴对称形状的前提下，通过对不同碎片轮廓作比较，实现定向匹配[6]，但青铜器小碎片曲面较平缓且易产生形变，基于三维空间进行形变修复[7]并定向寻找匹配不仅运算量大，而且容易造成匹配误差．

为此，笔者提出了一种基于曲率特征的青铜器小碎片拼接方法．在二维平面上对碎片进行基于曲率尺度空间的角点检测，以角点间弦长为特征序列进行匹配，能有效地减少细微的锯齿边缘带来的误匹配，并用向量模的不变性精化平移旋转量，在减少累积误差的同时得到了较好的拼接效果．

1 碎片特征提取与匹配

1.1 角点提取

对碎片拼接而言，需要提取足够多的角点才能保证拼接的准确率．而青铜器小碎片边缘具有锯齿性，既有利于提到较多的角点，但也可能会提取到虚假角点，为此，对提取到的候选角点需进行圆角点和伪角点去除．研究表明，文献[8]中提出的以曲率尺度空间为基础的角点检测算法，不仅具有良好的抗噪性，而且检出的准确率高．所以，笔者基于该方法提取青铜器碎片的角点，具体过程如下:

(1) 候选角点提取．首先，对碎片的二值化图像提取Canny边缘，通过对该边缘的断开处进行填充，得到边缘轮廓 L= (P1，P2，…，Pn)，其中轮廓像素点 Pi= (xi，yi)，i=1，2，…，n．

其次，在较小的尺度上对所得边缘轮廓检测出全部可能的曲率极值点，然后，将轮廓曲线与高斯函数G(u，σ)做卷积，平滑曲线轮廓．按下式对轮廓上的每一个像素计算曲率:

其中，Δxi=(xi+1-xi-1)/2，Δyi=(yi+1-yi-1)/2，Δ2xi= (Δxi+1- Δxi-1)/2，Δ2yi= (Δyi+1- Δyi-1)/2．最后取曲率局部极大值点作为候选角点．

图1 伪角点去除示意图

(2) 去除圆角点．以候选角点左右两端邻近的两个曲率极小值点间的轮廓段 L1+ L2为支撑域，分别计算出轮廓位置为u的候选角点的局部自适应阈值T(u):

(3) 去除伪角点．图1为伪角点去除示意图．设点C(x1，y1)为需要判断的角点，支撑域为E到F，C到E的中点为M(x2，y2)．若C、M、E 3点共线，则切线方向由C到E；否则，由3点计算圆心C0．若点E的坐标为(x3，y3)，点C0的坐标为(x0，y0)，则有

图1中，θ和φ分别为C点的水平线与C0和M的夹角，则可计算出C处的左切线与水平线的夹角γ1为

γ1=θ+sgnsin(φ-θ)

同理可计算出右切线与水平线的夹角γ2．

计算两切线构成的夹角∠C:

设定最大钝角值，若∠C小于该值，则是角点；否则，是伪角点．

图2 碎片匹配示意图

1.2 碎片匹配

青铜器碎片经过长期腐蚀风化，部分边缘不完整，因此若用弧长或者角点曲率直接进行匹配，容易造成较大误差．笔者根据所得的角点序列，利用其所在轮廓线的弦长进行匹配．首先，分别提取碎片F1、F2的角点，得两个待匹配碎片的角点集合，分别为 A1= (P1，P2，…，Pt)，A2= (Q1，Q2，…，Qn)．再分别计算相邻两角点间的欧氏距离，将角点序列转化为对应的弦长序列 D1= (l1，l2，…，lt)，D2= (s1，s2，…，sn)，则碎片匹配可转化为弦长序列的匹配，即求两弦长序列的最长公共子串[9]．在求最长公共子串的过程中，由于图像噪声等因素的干扰，子串并不完全匹配，需要设定一定的误差值δ，根据公共子串分别找到各自对应的轮廓线段，即为两碎片的公共轮廓线段．碎片匹配如图2所示，碎片F1、F2匹配段的起点分别为Pq(xq，yq)、Qj(uj，vj)，q=1，2，…，t-1，j=1，2，…，n-1; 匹配段的终点分别为Pz(xz，yz)、Qr(ur，vr)，z=2，3，…，t，r=2，3，…，n．

2 碎片拼接和精化

2.1 碎片拼接

找到两碎片的匹配线段后，需要对碎片进行拼接．由于碎片在预处理过程中坐标系不统一，所以在拼接过程中要将它们根据匹配段的不同角度进行平移、旋转，转化到同一个坐标系中．

首先将两碎片匹配线段的起点平移至原点:

其中，(x，y)为碎片F1的全部轮廓点，(u，v)为碎片F2的全部轮廓点．

接着计算旋转角θ．由匹配线段的起点和终点可得两向量为

将式(9)和式(10)代入绕原点旋转公式，得到

由此可得拼接结果．该处理方式只是对碎片的轮廓进行平移、旋转，若要对碎片本身进行处理，则对每一个像素点的三原色进行上述平移、旋转即可．旋转过程中产生的像素点误差可使用插值进行处理．

2.2 匹配精化

在碎片拼接的过程中，旋转角度的计算误差会造成拼接误差．旋转角度的计算与最长匹配线段的起点和终点有关，只有当两碎片对应的起点与终点完全对应的情况下才能求得精确的旋转角度．因此，准确地计算匹配段的起点和终点显得尤为重要．笔者利用向量模的不变性精化起点与终点位置来得到更好的匹配效果．

在碎片特征匹配过程中已求得最长公共子串的起点和终点，其中Pq和Pz的中点为Pm(xm，ym)，Qj和Qr的中点为Qm(um，vm)．在碎片角点序列A2上任意固定像素点Qa(ua，va)，令Qa到Qj、Qr和Qm的距离分别为ds、de和dm，对于A1来说，根据向量模的旋转平移不变性，有

逐步变换(xq，yq)和(xz，yz)直至方程有解，所得(xq，yq)和(xz，yz)为与点Qj和Qr对应的点．然后按照2.1节方法计算旋转平移量．

3 实例分析

以两组青铜器小碎片图像为例(碎片实际尺寸均小于5 cm×5 cm，所用碎片的数字图像均为垂直定点拍摄，在处理之前均将背景去除)，将碎片按照上述方法依次拼接．根据实验取得误差值δ为5．

图3为第1组实验图像，其中图3(a)～(c)分别为碎片原图像．按照上述方法首先对前两个碎片进行轮廓粗匹配，如图3(d)所示；使用向量模的不变性精化，如图3(e)所示．合并轮廓然后与第3个碎片进行轮廓粗匹配并使用向量模的不变性精化，如图3(f)所示．图3(g)为经插值处理的碎片拼合效果图．

图3 第1组实验结果图

图4为第2组实验碎片原图像，图5为依次拼接图4中全部碎片，并利用插值处理后的拼合效果图．

图4 第2组实验碎片原图图5 第2组碎片拼接并插值的结果

3.1 主观评价

在第1组实验图像中，图3(d)的公共曲线右端并非完全闭合，这样长久累积的误差可能会影响后续拼接效果，为此使用向量模的不变性对其精化，从图3(e)可以看出精化后曲线的拼合状况有明显改善．图3(f)是3个轮廓的精化拼接效果，可以看出拼接效果较好．图3(g)中拼合的公共部分下端有细缝，是由于碎片本身变形而产生的．

在第2组实验中，从图5可以看出，图4的9个碎片中有两个碎片未与其他碎片拼接上，经人工验证这两个碎片与其他碎片确实并非一个整体．这说明上述方法既可以对相邻碎片拼接，也可以有效区分非相邻碎片．在本组实验中，尽管部分碎片存在腐蚀和轻微形变，但是仍然能够获得较好的拼接效果．

3.2 客观评价

Kappa系数在图像处理领域中主要用于精确性评价和目标的一致性判断．Kappa系数通常在0～1之间，一般划分为0.00～0.20、0.21～0.40、0.41～0.60、0.61～0.80和0.81～1.00这5个等级．这些等级分别与一致性极低、一致性一般、一致性中等、高度一致和几乎完全一致相对应．笔者用Kappa系数分别对两组实验结果与手工拼接结果进行一致性比较，以证明笔者提出方法的有效性．现对碎片拼接部分的轮廓点进行统计，并将其结果分为两类，一类是手工和实验拼接结果一致的点数，另一类是两者拼接不一致的点数．统计结果表明: 第1组实验结果中，实验和人工均拼合的碎片轮廓点数为 1 151；实验未拼合而人工拼合的轮廓点数为3；实验能够正确拼合，但人工没有拼合的轮廓点数为23；实验和手工都没有拼合的轮廓点数为107．第2组实验结果中，实验和人工均拼合的碎片轮廓点数为 2 658；实验未拼合而人工拼合上的轮廓点数为45；实验正确拼合，但是人工没有拼合的轮廓点数为36；实验和手工都没有拼合的轮廓点数为293．对上述统计结果用SPSS软件进行统计检验，结果如表1所示．从中可以看出，两组实验的Kappa系数均大于0.86，表明实验结果与手工拼接结果几乎完全一致．

表1 实验结果评价

笔者提出的算法的时间复杂度为O(n2)．从拼接所需时间方面来看，第1组实验碎片数量较少，程序运行时间为 7 s，人工(熟练工，下同)依照计算机所示结果拼接实物需要 5 s，而人工直接拼接实物时间为 10 s，说明在小碎片数量较少时，虚拟拼接的优势并不明显．第2组实验碎片数量多，其中包含干扰碎片2片，程序运行时间约为 52 s，人工依照计算机所示结果拼接实物用了 30 s，而人工直接拼接实物耗时 4 min，可以看出，计算机辅助人工拼接所需时间明显少于人工直接拼接所需的时间．

4 总 结

笔者提出了一种基于曲率特征的青铜器小碎片拼接方法．首先基于曲率尺度空间检测角点，并以角点间的欧氏距离为特征序列进行匹配，降低了碎片腐蚀带来的匹配误差；然后利用向量模的不变性提高匹配结果精度．利用笔者提出的方法对两组青铜器小碎片进行了实例验证，结果表明，笔者提出的方法能成功地匹配碎片轮廓．需要说明的是，当多个小碎片拼接合并为面积较大的碎片时，其三维特征较明显．后续将基于空间进行形变修复和依据三维特征研究青铜器大碎片的拼接方法．

[1] 刘伦椿. 计算机辅助文物复原中碎片断裂面提取与拼接关键技术研究[D]. 西安: 西北大学, 2014.

[2]OXHOLM G, NISHINO K. A Flexible Approach to Reassembling Thin Artifacts of Unknown Geometry[J]. Journal of Cultural Heritage, 2013, 14(1): 51-61.

[3]ZHENG S Y, HUANG R Y, LI J, et al. Reassembling 3D Thin Fragments of Unknown Geometry in Cultural Heritage[J]. Photogrammetrie Fernerkundung Geoinformation, 2015, 2015(3): 215-230.

[4]ZHANG K, LI X. A Graph-based Optimization Algorithm for Fragmented Image Reassembly[J]. Graphical Models, 2014, 76(5): 484-495.

[5]闫允一, 姜帅, 郭宝龙. 结合稳定兴趣点和Gabor小波的图像检索[J]. 西安电子科技大学学报, 2014, 41(5): 118-123.

YAN Yunyi, JIANG Shuai, GUO Baolong. Image Retrieval Using Stable Interest Points and Gabor Wavelet[J]. Journal of Xidian University, 2014, 41(5): 118-123.

[6]SON K, ALMEIDA E B, COOPER D B. Axially Symmetric 3D Pots Configuration System Using Axis of Symmetry and Break Curve[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington: IEEE Computer Society, 2013: 257-264.

[7]KIM J, MILLER B J, SHONTZ S M. A Hybrid Mesh Deformation Algorithm Using Anisotropic PDEs and Multiobjective Mesh Optimization[J]. Computers & Mathematics with Applications, 2015, 70(8): 1830-1851.

[8]CHEN H X, YUNG N H C. Corner Detector Based on Global and Local Curvature Properties[J]. Optical Engineering, 2008, 47(5): 057008.

[9]GRABOWSKI S. A Note on the Longest Common Substring with k-mismatches Problem[J]. Information Processing Letters, 2015, 115 (6/7/8): 640-642.

(编辑：郭 华)

Approach to reassembling virtual small bronze fragments using the curvature feature

LINSuzhen1，WANGDongjuan1，ZHONGJiarang2，ZHUXiaohong1，ZHANGShangmin1

(1. School of Computer and Control Engineering, North Univ. of China, Taiyuan 030051, China; 2. Center for Cultural Relic Protection, Shanxi Museum, Taiyuan 030024, China)

For the time-consuming problem of manual stitching small bronze fragments,an approach for virtual small bronze fragments reassembly based on curvature feature is proposed. First, we extract and smooth the 2d contour of the small bronze fragment, and then compute the curvature of each point on the contour and regard the local maxima of the curvature as the candidate corners. After that, the round corners and false corners are eliminated according to the support region. And then the chord lengths between the adjacent corners are calculated as the feature sequences to find the match. Finally, the reassembled result is obtained and refined by applying the invariance of the vector module. Experimental result proves that the method can effectively improve the efficiency of stitching and the effect of matching.

bronze; image fragments; stitching; contour match; corner detection

2015-09-06

时间：2016-04-01

山西省自然科学基金资助项目(2013011017-4)；山西省重点研发计划(指南)资助项目(201603D321128)；山西省研究生教育创新资助项目(2016SY051)

蔺素珍(1966-)，女，教授，E-mail：lsz@nuc.edu.cn．

http://www.cnki.net/kcms/detail/61.1076.tn.20160401.1622.048.html

10.3969/j.issn.1001-2400.2016.06.024

TP391.9

A

1001-2400(2016)06-0141-06