基于HALCON与图像拼接的文物修复系统设计与实现

白宗文

（延安大学 物理与电子信息学院，陕西 延安 716000）

文物是考古学重要研究对象之一，由于自然和人为的原因，在考古挖掘现场通常出土成千上万的文物碎片，如何从碎片快速拼接出一个个完整文物，是考古学家关心的问题。目前，该工作主要靠手工完成，既耗费时间，也易于造成对文物的破坏。因此有必要计算机辅助完成文物的分类拼接工作。一般地，计算机辅助的分类拼接主要根据获取的文物碎片的几何、纹理等信息来进行，但由于文物碎片往往是大量存在的，本文通过计算几何、图形学、将受损古字画等文物修复问题转化为图像拼接问题并加以实现。

图像拼接技术是图像处理的重要研究内容，通常可以分为基于区域的和基于特征的两种，其中基于特征的方法因其鲁棒性好得到广泛应用，刘小军[1]等人利用基于轮廓特征的方法完成了两幅图像的配准，但是这种方法对于特征不明显或噪声干扰较大的图像不适用；Lowe[2]提出的基于SIFT（Scan invariant feature transform 尺度不变特征变换）的配准算法可以较好地完成图像的配准，但是算法复杂度较高，实现难度大，速度慢；李冬梅[3]等人采用基于特征点灰度相关原理的方法，通过Harris角点算法提取特征点，完成了图像的拼接，但是整个过程耗时且对曝光强度有明显差异的图像拼接效果差。

为实现快速修复，除了优秀的算法外，还需要先进的开发平台，HALCON就是一个功能强大的机器视觉软件，它提供了一个全面的视觉处理库，包括了所有标准和高级的图像处理方法，覆盖了从不同的硬件采集图像到高级的模式匹配算法；提供了机器视觉应用程序中通常所需的一些工具，如文件处理、数据分析、算法操作或分类等。另外，它还具有快速原型化和开放结构的重要特征，通过交互编程环境迅速开发机器视觉应用程序，或加入新的算子来融合自己的视觉功能。

因此，本文利用机器视觉软件MVTec HALCON实现图像拼接算法，首先采用图像采集设备采集待拼接碎片，然后采用Harris角点检测算法提取图像中的特征点，接着对特征点进行归一化互相关匹配，使用RANSCA[4]剔除误匹配点，完成图像初步拼接，最后用改进的加权融合方法进行融合并采用图像修复算法[5]进行修复。

1 基本原理及步骤

计算机辅助修复一般需要以下3个主要步骤：1）图像采集：将字画等文物的所有碎片预先收集起来并初步整理，并将所有图片充分展开，然后通过相机采集图像；2）图像分割：利用图像处理中优秀的分个算法，将整幅碎片切割成独立的待拼接图像单元；3）拼接：在分类的基础上，对碎片进行局部匹配和全局匹配；4）拼接完成后由于噪声等原因可能存在模糊和明显的缝合线，可采用图像融合进一步处理；5）修补：若碎片不完全，则在上述步骤之后，利用图像修复算法，如采用PDE，TV等模型补全丢失的几何和纹理信息。其中，分类是拼接和修补的基础。

2 图像匹配

2.1 Harris角点检测

角点即兴趣点，是像素点在其邻域内的各个方向上灰度变化量足够大的点.它是一种重要的图像特征点，包含了图像中丰富的二维结构信息，广泛应用于各种图像处理技术中.Harris算子是Harris和Stephens[5]提出的一种基于信号的角点特征提取算子，可表示为：

式中，M表示相关矩阵，Ix为x方向的差分，Iy为y方向的差分，w（x，y）为高斯函数。

采用式（2）来进行角点判断。det为矩阵的行列式，trace为矩阵秩，k为常数，通常取0.04-0.06。

Harris算子是一种有效的点特征提取算子，其优点总结起来有:1）计算简单:Harris算子中只用到灰度的一阶差分以及滤波，操作简单。2）提取的点特征均匀而且合理:Harris算子对图像中的每个点都计算其兴趣值，然后在邻域中选择最优点。实验表明，在纹理信息丰富的区域，Harris算子可以提取出大量有用的特征点，而在纹理信息少的区域，提取的特征点则较少。3）稳定:Harris算子的计算公式中只涉及到一阶导数，因此对图像旋转、灰度变化、噪声影响和视点变换不敏感，它也是比较稳定的一种点特征提取算子。

2.2 图像匹配算法

为便于描述，首先设A和B是为两幅待拼接图像，用相同的阈值 R0提取其角点，设角点集分别 CA=（C1，C2，…Cm），CB=（，，…），显然A和B只有部分重合，图像匹配问题转化为在集合CA和CB中求两个最小的子集，使得其满足1）角点值相同，即R（Ci=）；2）角点个数相同，即C=（C1，C2，…Cn）和C′=（，，…）；3）距离相等，即d（Ci，Cj）=d（，）；4）邻域角点数相等，即Nr（Ci）=Nr（Ci），5）任意两个相对应角点，匹配参数相等。

根据以上结论，可以设计出图像匹配算法如下：

Step1：寻找可能匹配角点。根据结论1）找出两个集合中可能匹配角点。 利用公式|R（Ci）-R（）|≤δ，其中 δ为无穷小量，表示误差，通常与噪声，离散化影响及光照等因素有关。

Step2：计算邻域角匹配。通过邻域角点数匹配剔除C1和中不满足结论4）的角点，得到新的集合C2=（C1，C2……Cg）和=（，……）。

Step3：计算角点距离。根据结论3）进一步剔除C2和中不满足该结论的角点，得到新的集合C3和。

Step4：参数一致检测。根据以上步骤得到的新集合采用结论5）进行检测。对于任意的匹配角点对，其匹配参数应该是相同的。 一致性检验的目的是:剔除匹配参数偏差较大的角点，使得角点集合中各角点的匹配参数一致。

3 图像拼接与融合

图像拼接是将两幅或多幅来自同一场景的有重叠区域的小尺寸图像合成为一幅大视野图像；图像拼接在遥感图像处理、图像镶嵌、医学成像处理、虚拟现实技术中都有着广泛的应用[6-15]。 图像匹配是图像拼接的一个关键步骤，因此，通过图像拼接应用可以检验图像匹配算法的性能。

设 I（x，y）为待匹配图像像素点坐标，I（x′，y′）为参考图像像素坐标，则两者之间的关系可以表示为[11]:

其中（u，v，w）T和（x，y，1）T分别是（x′，y′）和（x，y）的齐次坐标表示，m0，……m7为变换参数。可采用采用RANCAC算法，利用所有的初步匹配点，根据一个允许误差将所有的匹配点对分为内点和外点，从而剔除误匹配点，提高运算速度和匹配准确度，最后利用内点数据比较准确的特点来进行参数估计，估算变换矩阵，实现图像拼接。

图像拼接完成后，如果仅仅是简单的叠加，会造成图像的模糊和明显的缝合线，拼接效果差，这就需要对图像进行融合，可采用加权融合和改进的加权融合算法实现。

4 实 验

在研究过程中，完成了不同条件下的多次实验，首先人工将字画碎片压平并收集齐全，采用高分辨率相机，通过HALCON的相应函数实现图像采集，然后采用边缘提取，将碎片分割成若干个独立的待拼接单元，实验基于HALCON软件平台，尽可能采用HALCON提供的函数来完成理论分析所述的算法，利用HALCON和vc++6.0的良好接口，编制了相应的软件。

HALCON指令序列如下：

1）grab_data（），启动相机获取图像并对图像预处理。

2）prewitt-amp（），使用 prewitt算子检测边缘。

3）class-2dim-unsup（），进行图像分割。

4）pints—-harris（），使用 harris算子计算角点。

5）anisotropic_diffusion（），进行图像平滑。

6）inpainting_texture（），进行图像修复。

图1是一幅完全的古字画碎片，利用本修复系统修复结果如图1（b）所示。系统修复耗时30.2 s。图2是一幅完全的书法作品碎片，利用本修复系统修复结果如图1（b）所示。系统修复耗时30.2 s。图2是一幅完全的书法作品碎片。

图1 受损古字画修复Fig.1 Damaged ancient calligraphy repair

图2 受损书法作品修复Fig.2 Damaged calligraphy works repair

5 结 论

本文研究了利用Harris算法进行角点检测提取特征的方法，并利用图像匹配、加权融合及图像修复等技术实现受损古字画等文物进行修复，各类算法均利用先进的机器视觉软件MVTec HALCON实现，并基于VC++开发平台设计出了实验修复系统，测试结果表明本系统具有修复速度快，修复结果视觉效果好，信噪比等特点，可广泛应用于文物修复中，对于三维结构的文物修复可以先多角度进行图像采集，然后采用本系统作为辅助修复系统。

[1]刘小军，周越.基于轮廓特征的SAR图像自动匹配[J].计算机工程，2007，33（4）：176-178.LIU Xiao-jun，ZHOU Yue.SAR images based on contour feature automatically match computer engineering[J].Computer Engineering，2007，33（4）：176-178.

[2]Lowe DG.Distance image features from scale_invariant key points[J].International Journal of Computer Vision，2004，60（2）:91-110.

[3]李冬梅，王延杰.一种基于特征点匹配的图像拼接技术[J].微计算机信息，2008，24（53）：296-298.LI Dong-mei，WANG Yan-jie.A kind of image mosaics based on feature points[J].Micro Computer Information Technology，2008，24（53）：296-298.

[4]Chalechale A，Naghdy G，M ertins A.Sketch-based image matching using angular partitioning systems[J].IEEE Trans on Man and Cybernetics， Part A，2005，35（1）:28-41.

[5]白宗文，张威虎，周美丽.f+v分解与分形图像修复算法设计[J].电子设计工程，2011，（12）:160-162.BAI Zong-wen，ZHANG Wei-hu，ZHOU Mei-li.Algorithm designed for image inpainting adopt f+v decomposition and fractal[J].Electronic Design Engineering，2011（18）：160-162.

[6]Harr is C，Stephens M.A combined corner and edge detector[C]//Proceeding sof The Fourth Alvey Visio n Conference.Manchester:[s.n.]，1988:147-151.

[7]Zhu Q，Wu B，Xu Z.Seed point selection method for triangle constrained image matching propagation [J].IEEE Geo science and Remote Sensing Letters，2006，3（2）:207-211.

[8]Reddy B S，Chatterji B N.An FFT-based technique for translation，rotation， and scale invariant image registration[J].IEEE Trans on Image Processing，1996，5（8）:1266-1271.

[9]You J，Bhattachar ya P.A wavelet-based coarse-to-fine image matching scheme in a parallel virtual machine environment[J].IEEE Trans on Image Processing，2000，9（9）:1547-1559.

[10]Zomet A，Lev in A，Peleg S，et al.Seamless image stitching by minimizing false edgez [J].IEEE T rans on Image Processing，2006，15（4）:969-977.

[11]H an B，Lin X.A novel hybicol or regist ration algorithm for image stitching[J].IEEE Trans on Consumer Electronics，2006，52（3）:1129-1134.

[12]Kim T，Im Y J.Automatic satellite image registration by combination o f matching and random sample consensus[J].IEEE Trans on Geo science and Remote Sensing，2003，41（5）:1111-1117.

[13]Szeliski R.Video mosaics for virtual environments[J].Computer Graphics and Application，1996，16（2）:22-30.

[14]Adam J.A.Probing beneath the sea[J].IEEE Spectrum（S0018-9235），1985，22（4）:55-64.

[15]PANG Yong-jie，SHANG You.Software design techniques for theMan-Machine Interface to Autonomous Underwater Vehicles [C]//Proceedings of the 1998 Enternational Symposium on Underwater Technology，1998：370-374.