一种用于工件视觉测量的图像拼接方法的研究

薛 真，项辉宇

（北京工商大学 材料与机械工程学院，北京 100048）

一种用于工件视觉测量的图像拼接方法的研究

薛 真，项辉宇

（北京工商大学 材料与机械工程学院，北京 100048）

在工件的生产制造过程中，视觉测量技术以其具有的快速、准确的特点发挥着越来越重要的作用，针对大尺寸物体的视觉测量，提出了图像拼接技术。该方法基于视觉图像处理软件HALCON，利用经过标定的摄像机采集带有一定特征信息的零件的序列图像，对图像进行坐标变换、高斯滤波等预处理，在相邻图像之间的重叠区域使用Harris角点检测算法进行特征点提取，将提取出的特征点进行匹配，根据特征点之间的匹配关系完成图像配准，实现由多幅图像拼接成为一幅图像。阐述了相关理论并进行了实验，验证了该方法的可行性。

摄像机标定；HALCON；特征点提取；图像匹配；图像拼接

0　引言

目前，对于大尺寸工件的测量，可以采用大尺寸导轨或者标准件进行测量，但是这种方法操作不方便，精度较低，而且成本较高。也可以采用间接法，如高弦长法，这种方法存在原理误差，结果的可靠性较差。随着计算机视觉技术断发展，采用视觉测量的方法可以解决上面两种方法的不足[1]。但在一些大尺寸工件的测量中，由于摄像机视角、拍摄角度、摄像机的视场不足等因素的影响，不能一次性获得一幅包含工件完整信息的图像。这时就需要将不同时刻、不同角度拍摄的、存在一定重叠区域的图像拼接融合，获得一幅全景图像，这就是图像拼接技术。

本文提出了一种基于HALCON软件的图像拼接方法，该方法的基本流程如图1所示。该方法基于计算机视觉技术，先建立摄像机模型，通过摄像机标定确定物体图像坐标与世界坐标之间的关系，利用该摄像机采集一系列待拼接的图像，进行图像处理。在处理后的图像中提取特征点，根据这些点之间的关系完成图像配准工作，实现图像拼接。

图1　图像拼接方法的流程

1　视觉测量与图像拼接

图像拼接的基本原理是利用几幅图像在时间或空间上的冗余或互补信息，根据一定的拼接算法合成一幅大视野、高分辨率的图像[2]。在实现拼接的过程中，摄像机标定是其中的关键步骤之一。

1.1摄像机标定原理与过程

进行摄像机标定可以确定二维图像与世界坐标系中物体的对应关系，从而可以由图像中物体的尺寸计算出物体的实际尺寸[3]。摄像机标定过程就是确定摄像机内参数和外参数的过程。内参数包括摄像机的主距、畸变、缩放比例因子、主点等，外参数指摄像机坐标系与世界坐标系之间的关系。进行摄像机标定时，首先要建立摄像机模型，如图2所示。在建立好的摄像机模型中将世界坐标系中的点转换到图像坐标系中，需要经过以下三个步骤：

1）从世界坐标系（WCS）变换到摄像机坐标系（CCS）中。

这一变换属于刚性变换，我们在世界坐标系中取一点，设它在摄像机坐标系中的对应坐标为，则它们之间有如下转换关系：

2）从摄像机坐标系投影到成像平面坐标系（IPCS）中，若镜头没有畸变，则该过程可以利用下式实现。

式中f是摄像机的主距，Zc是目标物体与摄像机之间的距离。

但在实际应用中，镜头往往会存在不同程度的畸变，在机器视觉的应用中，可以将这种畸变近似为径向畸变，并且可以用下式进行修正。

式中k表示径向畸变的量级，k＞0表示枕形畸变，k＜0表示桶形畸变。是考虑镜头畸变后，在成像平面上的投影点的坐标。

3）从成像平面坐标系转换到图像坐标系（ICS）中。

式中Sx和Sy是比例缩放因子，代表图像传感器上水平和垂直方向上相邻像素之间的距离。点是光心在成像坐标系中的投影点，即图像的主点。

上述公式中的f、k、Sx、Sy、Cx和Cy就是摄像机的内参数，它们确定了摄像机实现三维空间点到二维图像点的投影的方法。至此，世界坐标系中点Pw与图像坐标系中的对应关系可由上述四个公式得出[4]。由此可知，要完成摄像机的标定，需要知道足够多的三维空间点的坐标，并找到图像中的对应点，建立对应关系。

图2　摄像机模型

在HALCON系统下，实现摄像机标定的过程如图3所示。

图3　摄像机标定流程图

实验采用60mm×60mm的圆点型平面标定板进行摄像机标定。标定板制作过程简单，精度较高，便于操作[5]。用于摄像机标定的标定板的图像数量是影响摄像机参数准确度的重要因素。本实验拍摄了标定板在不同位置的20幅图像，然后利用HALCON图像处理软件对这些图像处理，得到相机的内外参数。

HALCON是德国MVTec Software GmbH公司开发的图像处理软件，功能强大，内部包含1600多个算子。在执行标定过程中利用算子set_calib_data_calib_object设置标定模板句柄；find_caltab可以将标定板内部区域与背景分隔开，该算子对输入图像进行高斯滤波，再采用阈值分割的方法找到标定板的内部区域；find_marks_ and_pose找到每个圆心的中心并确定它们相应的世界坐标，并且可以粗略计算相机的外参数。最后通过算子calibrate_cameras和get_calib_data得到摄像机的参数，如表1所示。标定误差为0.143194个像素。

表1　摄像机初始参数及标定结果

1.2图像处理

在完成摄像机标定后需要保持摄像机的位置不变，通过标定后的摄像机模型得到待拼接图像的图像坐标与世界坐标的关系。在实际应用中，采集的图像可能存在几何失真或者受到噪声的干扰，因此，在提取特征点之前要对图像进行预处理，本文用到的图像处理技术主要有图像坐标变换和图像滤波。

1.3特征点的提取与图像配准

在本文中，特征点提取采用了Harris角点检测算法。Harris角点检测算子具有快速便捷的特点。它的原理是：首先选取图像上的某一点，让该点在任意方向发生一个小小的偏移f(x,y)，然后判断该点的灰度是否发生很大的变化，如果是，就说明该点是角点。在使用该算法时，需要注意选取合适的梯度平滑值。

在完成特征点提取之后，再根据重叠区域的一致性求解图像间的投影变换矩阵[6]。经过初步匹配之后，采用RANSAC算法进行鲁棒匹配，剔除错误的匹配点，完成图像配准。

在HALCON中，算子change_radial_distortion_ image( )用来校正图像的畸变；tile_images_offset( )提供待拼接图像的坐标位置及排列方式；points_harris( )表示利用hariss角点检测算法检测关注点，并提取出特征点；proj_match_points_ransac( )通过找到两幅图像中点与点之间的映射计算一个投影变换矩阵；gen_ projective_mosaic( )把多重图像合成一个马赛克图像，即完成图像拼接过程。

2　实例验证

基于上述原理，本文进行了拼接实验。实验采用DH-HV1302UM摄像机，通过HALCON中的算子open_ framegrabber( )打开该摄像机并进行图像的采集工作。首先固定摄像机位置，采集标定板图像进行摄像机标定，再利用标定后的摄像机采集要拼接的图像。

实验采集了一个冲压工件的九幅图像，经过图像处理后，提取到的特征点及特征点之间的匹配关系如图4所示，图中绿色的点代表特征点，蓝色的线代表特征点之间的匹配关系。

图4　图像特征点提取及匹配结果

图像拼接结果如图5所示。

图5　图像拼接结果

3　结束语

本文提出了基于HALCON的图像拼接算法，即：用摄像机采集一系列具有重叠区域的待拼接的图像，对图像进行处理后，在每相邻两幅图像之间提取特征点。根据这些点的对应关系，完成图像之间的配准，将配准后的图像拼接成一幅完整的图像。通过本文的实验，验证了这种基于HALCON的拼接算法的可行性。在现代化的制造业中，将图像拼接技术应用于视觉测量中，可以在一定程度上解决大尺寸物体的测量与检测问题。因此，从提高精度和准确度的角度出发，对图像拼接技术进行研究很有必要。

[1] 白福忠.视觉测量技术基础[M].北京:电子工业出版社,2013: 13-16.

[2] 韩九强.机器视觉技术及应用[M].北京:高等教育出版社,2009: 10-11.

[3] 项辉宇,刘倩倩,韩宝安,冷崇杰.基于HALCON的单目视觉系统冲压件的几何特征检测[J].制造业自动化,2014,12:48-50,63.

[4] 罗珍茜,薛雷,孙峰杰,陆士清,李长远.基于HALCON的摄像机标定[J].电视技术,2010,04:100-102.

[5] C.Steger等著,杨少荣等译.机器视觉算法与应用[M].北京:清华大学出版社,2008:255-274.

[6] 王中任,全燕鸣.大尺寸工件在机视觉测量的图像拼接方法[J].工具技术,2010,01:95-98.

Study on image mosaic approach for workpiece vision measurement

XUE Zhen, XIANG Hui-yu

TH161

A

1009-0134(2016)02-0045-03

2015-10-28

薛真（1992 -），女，河北人，硕士研究生，研究方向为视觉测量与分析。