应用Harris角点检测进行图像拼接的超长板材尺寸测量方法1)

潘屾 王克奇 侯弘毅 张怡卓

(东北林业大学，哈尔滨，150040)

基于视觉测量的尺寸检测系统，是以计算机视觉为基础，集成光学技术、计算机技术、测量技术等为一体的一种检测技术手段。在实际生产过程中，该测量方法能够有效避免人工检测速度慢、测量结果受人为因素影响、精度无法保证的问题[1]。同时，采用计算机视觉方法，可以实时在线对产品的尺寸进行测量，随时报告产品尺寸变化，提高产品质量[2]。

尺寸测量主要有以下处理步骤，先对整个测量系统进行标定，同时根据目标物特点选择图像平滑方法，再对离散的序列图像进行拼接融合，最后对目标边缘进行提取和测量[3-4]。针对尺寸测量中的噪声干扰与图像平滑问题，已有较多研究[5-12]。在实际生产中，实木原料的尺寸直接影响其质量[13-14]。因此，对于板材的长度、宽度及形变的检测十分重要。本文首先采用Zhang[10]的方法对实验中使用的相机进行标定，得到相机内部参数与外部参数；再对其所采集的样本图像进行镜头畸变补偿。采用高斯模糊对图像进行平滑后，应用Harris角点检测进行图像拼接；再对拼接结果进行边缘检测，得到检测对象的边缘图像。通过建立空间坐标系与像素坐标系间的对应关系和给定的相机高度，计算空间中的板材尺寸。该方法解决了长尺寸板材机器视觉测量困难的问题。

1 材料与方法

试材约为700 mm(长)×200 mm(宽)的10块柞木板材，对板材进行抛光保证其平整性，通过人工测量得到其各边边长。

1.1 相机标定

相机的镜头并非理想光学系统，存在加工误差和装配误差，造成相机成像与理想成像间出现光学畸变误差。实验中用的图像采集相机为Oscar公司F810CIRF相机，镜头型号为M0814-MPFA。

采用Zhang[10]的方法进行相机标定。相机标定靶标，随机选择在1张白纸上打印5×4个正方形，将其贴附于平整的玻璃表面，制成靶标，每个正方形的边长为23.00 mm，共有80个角点作为参考点。标定过程中，采集了不同角度的30幅靶标图像为参考图像。使用相机拍摄多幅不同角度的平面靶标图像，相机与靶标图像可任意摆放，且不需测得相关位移或转角。

由相机采集的原始图像是含有畸变的图像，通过相机标定内部参数和Zhang[10]方法矫正原始图像，得到采集图像的畸变补偿图像，同时得到修正后的相机内部参数(见表1)。

1.2 图像平滑

首先通过直方图均衡化增强图像对比度，再采用高斯滤波图像平滑方法进行去噪。高斯滤波采用高斯函数卷积原图像，令其模糊，减小图像噪声、降低图像细节。对于图像I(x，y)，高斯模糊过程：L(x，y，σ)=G(x，y，σ)I(x，y)；G(x，y，σ)=(1/2πσ2)exp[((x-xi)2+(y-yi)2)/2σ2]。式中：L(x，y，σ)为卷积后的结果；G(x，y，σ)为与图像卷积的高斯函数；I(x，y)为图像坐标；σ为高斯核，决定图像模糊程度。

表1 相机内部参数

由图1可见：可以看出高斯滤波能够保存完整的边缘信息，效果好。

图1 图像平滑结果

1.3 图像拼接

Harris角点检测算法，采用计算模板区域内灰度变化梯度的方法进行图像拼接，利用灰度变化梯度的旋转不变性，定义一个自相关系数表征梯度变化。对于图像中的点(u，v)，计算其方形窗口区域内图像灰度误差的总和：

式中：E(u,v)为点(u,v)的Harris的角点检测值；w(x,y)=exp((x2+y2)/2σ2)为高斯滤波；I(u,v)为点(u,v)的灰度值，Ix、Iy分别为图像灰度在x、y方向的梯度值。

计算M矩阵的两个特征值λ1、λ2。特征值表示局部自相关函数的曲率。若两个特征值都很小，则表明窗口所在区域的灰度变化较小，该附近的自相关值很小；若一个特征值很大，另一个很小，表明窗口区域为图像边缘，且沿边缘方向自相关值变化较小，沿垂直边缘方向自相关值变化较大；当两个特征值都大时，表明该点为角点，沿任意方向的自相关值变化均急剧变大。

Harris角点检测方法的图像拼接过程(见图2)：首先进行特征角点检测，提取得到角点作为拼接特征点集；然后进行特征角点配准，寻找两幅图像中的正确配准角点对；接着用变换模型参数估计，计算出待拼接图像到参考图像的变换参数；最后完成图像拼接融合，保持图像视觉效果的一致性。即：对经过预处理的前后两帧图像分别提取Harris角点，再进行角点匹配得到图像变换参数，对中间重叠区域采用融合算法得到拼接图像。

2 结果与分析

2.1 边缘检测

边缘信息是图像的重要特征，边缘检测的内容主要包括灰度变化的测量和定位。当前的边缘检测有很多不同的方法，其基本思想为，首先利用增强算子突出图像中的局部区域边缘；然后通过设置阈值提取边缘点点集；最后在边缘点集中剔除某些边界点、填补边界断点将边缘连接成线。Sobel算子，对于灰度变化与噪声较多的图像有较好的处理效果。由图3可见，Sobel算子的检测结果，保存了完整清晰的边缘。

图2 板材图像拼接过程

图3 多种边缘检测算子的结果

2.2 尺寸测量

通过对相机内部参数的测量，得到相机相关的外部参数。再通过定义标准测量的元件，通过镜头畸变矫正后，可以通过理想的相机放大模型得到板材的尺寸参数。

定义空间坐标系(Xr，Yr，Zr)描述相机与物体的位置。定义图像像素坐标系(u，v)与图像物理坐标系(x，y)，其中像素坐标系以图像的左上角为原点，像素为单位，u、v分别代表像素点所在图像中的列与行数。物理坐标系以光轴与像面交点为原点，以毫米为单位，x、y轴分别与像素坐标系的u、v轴平行。定义相机坐标系(Xc，Yc，Zc)，其原点为镜头的光心，Zc与光轴重合、与成像面相垂直，且摄影方向为正。Xc和Yc轴与图像的物理坐标系x、y轴平行，f为相机焦距。依据上述定义，可得到空间中一点在空间坐标系中的坐标，与其像点在图像像素坐标系中的坐标间变换关系：

考虑到镜头畸变的因素，(u0，v0)为图像物理坐标系(x，y)原点在图像像素坐标系(u，v)中的坐标，且有u=x/dx+u0，dx为一个像素在(x，y)中x轴方向上的物理长度。α=f/dx、β=f/dy分别为物理坐标系中的等效焦距，其单位为像素。给出相机高度距离测量所在平面距离Zc=500.00 mm，根据相机内部参数和外部参数标定，计算出内部参数矩阵K和旋转矩阵R：

对于板材的4个角点A(XrA,YrA,ZrA)、B(XrB,YrB,ZrB)、C(XrC,YrC,ZrC)、D(XrD,YrD,ZrD)，可以得到已知像素点(u，v)下，关于其空间坐标Xr、Yr的2个线性方程，可以利用欧氏距离公式得到边长值。

对实验准备的700 mm(长)×200 mm(宽)10块待测试柞木长板材进行测量。首先对板材进行抛光保证其平整性，再通过人工测量得到其各边边长。采用本文方法对柞木抛光板材计算其各边边长(见表2、表3)，表4为采集后图像不进行畸变补偿直接测量尺寸的结果。标准差的计算公式为：

表2 对5号测试样本10次测量结果

表3 待测样本板材测量结果标准差比较

表4 图像直接测量与畸变补偿后测量结果比较 mm

由表2、表3可见，针对单个测试样本多次测量的最大误差为0.89 mm，其标准差小于1 mm。对于10个样本测量结果表明，测量精度较高，最大标准差为0.582，其测量的精确度均在1 mm内。针对存在的误差，造成的原因是存在一定的系统误差，包括光学成像误差、标定误差、量化误差、采样误差等。表4比较了畸变补偿与无补偿测量的结果，通过畸变补偿后的图像有效的减小了最大误差，将测量的精确度由5 mm提升至1 mm。

3 结论

计算机视觉下的尺寸测量技术，具有非接触、自动程度高的特点，应用前景广阔。本文利用测量样本的数字图像，围绕其空间内的尺寸测量问题，对相机标定、畸变补偿、图像平滑、图像拼接、边缘检测、坐标转换等问题进行了理论和实验研究，验证了应用图像拼接的长尺寸板材测量方法的准确度与实用效果。实验结果表明：相机标定与畸变补偿提高了测量的精度，由5 mm提高至1 mm；图像拼接的方法，解决了长尺寸板材机器视觉测量困难的问题。采用Sobel算子边缘检测方法，能准确保留边缘信息，速度快、计算简单，测量结果的最大标准差为0.582 mm，测量精度小于1 mm。

[1] MALAMAS E N， PETRAKIS E G M， ZERVAKIS M， et al. A survey on industrial vision systems, applications and tools[J]. Image and Vision Computing，2003，21(2)：171-188.

[2] 王建民，浦昭邦，晏磊，等.二维图像测量机系统的研究[J].仪器仪表学报，2001，22(4)：349-353.

[3] 尹伯彪，周肇飞.基于波前修正的大尺寸测量图像恢复技术研究[J].四川大学学报(工程科学版)，2008，40(4)：172-175.

[4] 唐武生，谭庆昌，吴丽，等.平面参数的非接触测量研究[J].武汉理工大学学报，2009，31(9)：94-98.

[5] 李树奎，聂绍珉，唐景林，等.大型锻件尺寸测量CCD图像的去噪算法研究[J].塑性工程学报，2009，16(1)：202-205.

[6] 李罗生，白立芬，李庆祥，等.微小尺寸测量中的图像处理技术[J].清华大学学报(自然科学版)，2001，41(8)：45-48.

[7] DEVERNAY F， FAUGERAS O. Straight lines have to be straight： automatic calibration and removal of distortion from scenes of structured environments[J]. Machine Vision and Applications，2001，13(1)：14-24.

[8] 刘金颂，原思聪，张庆阳，等.双目立体视觉中的摄像机标定技术研究[J].计算机工程与应用，2008，44(6)：237-239.

[9] 刘宾，王黎明，赵霞.基于CCD尺寸测量中图像边缘退化及恢复技术研究[J].应用光学，2013，(6)：995-999.

[10] ZHANG Z Y. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(11)：1330-1334.

[11] 卢瑜，郝兴文，王永俊.Moravec和Harris角点检测方法比较研究[J].计算机技术与发展，2011，21(6)：95-97，100.

[12] 仇国庆，冯汉青，蒋天跃，等.一种改进的Harris角点图像拼接算法[J].计算机科学，2012，39(11)：264-266，297.

[13] 戴天虹，王克奇，杨少春.基于颜色特征对木质板材分级的研究[J].系统仿真学报，2008，20(5)：1372-1376.

[14] ZHANG Y Z， LIU S J， TU W J， et al. Using computer vision and compressed sensing for wood plate surface detection[J]. Optical Engineering，2015，54(10).doi：10.1117/1.OE.54.10.103102.