基于双目视觉的引磁片定位与测量研究

(1.聊城大学 物理科学与信息工程学院，山东 聊城 252059；2.聊城大学 机械与汽车工程学院，山东 聊城 252059)

0 引言

随着工业4.0战略风潮的兴起，机器视觉被广泛应用到包装机械、交通[1]、医疗[2-3]、工业生产[4]、电子制造等国民经济的多个领域[5]，成为提高生产的自动化程度和机器人智能程度的一种重要手段。机器视觉主要分为单目和多目两大类视觉技术，在对目标进行定位、测量和重建等操作中，常常需要获取目标的三维坐标，而单目视觉无法感知空间的三维信息；虽然基于结构光、激光、RGB-D深度相机的主动测距方法能快速实现准确、无干预地三维定位及测量，但设备成本高，无法达到普及应用[6]。另外，对于自动化生产中的大量重复性测量工作，人工视觉很难长时间保持精神集中的状态，常出现视力疲劳、不适于危险工作环境、易损伤工件表面等问题，很难达到自动化生产的高精度要求。相较之下，基于非接触式双目立体视觉恢复三维信息的方法进行测量，该测量方式几乎不需要人工参与，具有设备要求较低、连续性高、非接触无损伤和对人眼无害等优点，同时还可以使测量效率及测量的精度得到一定提升。因此非接触式双目立体视觉技术具有较高的研究价值，对自动化大批生产中工件的高精度测量具有重要研究意义。综合考虑，非接触式双目立体视觉技术可以满足超薄磁性车载手机支架铁片的准确定位及高精度的测量要求。

HALCON是德国MVtec公司开发的一套完善的视觉算法包[7]。它包含3D匹配、运动检测、三维重建、多目立体视觉和深度学习等高级算法，具有快速、精确、高效、稳定的优点，能够实现图像拼接、边缘检测、摄像机标定、测量以及深度学习(语义分割)等。此软件应用领域广泛，使用图像处理的地方均可以使用HALCON，涵盖卫星遥感，生物医学，监控，到工业生产上的自动化测量。本文研究基于HALCON图像处理平台，利用双目立体视觉技术实现对超薄工件引磁片的高精度定位与测量，并通过大量实验验证了方法的可行性。

1 双目视觉系统

1.1 双目视觉测量

双目视觉三维测量是基于视差原理，通过建立两个摄像机的图像平面与三维空间中的目标物体之间的三角几何模型，利用特征点匹配关系和三角法原理进行物体在三维空间上的信息获取[8]。双目立体视觉系统的结构大体分两种: 一种是轴线汇聚系统结构，另一种是轴线平行系统结构。

本实验采用由两组完全相同的相机和镜头组成的轴线平行系统结构，选用的是维视数字图像技术有限公司的M-1614MP2工业镜头和型号为MV-VS120 CCD彩色工业相机。在轴线平行的立体视觉系统中，左右两个摄像机的焦距及其内部参数均相同，这为寻找空间点在左右成像平面上投影点之间的匹配关系提供了很好的条件。在HALCON软件HDevelop开发环境下，基于HALCON双目立体视觉技术，对目标图像的自动采集、系统标定与立体校正、特征点提取、立体匹配、立体重建等相结合的非接触式三维信息重构算法进行研究。具体算法流程如图1所示。

图1 软件算法流程

1.2 系统标定与立体校正

在求取空间点的三维坐标之前，双目视觉系统要解决的首要任务是确定摄像机参数，确定摄像机参数是通过校准双目立体系统来实现的。系统标定是指建立摄相机模型,由己知标定板的特征点像素坐标和世界坐标来求解摄像机的内外参数[9]。建立摄相机模型,即通过坐标系转换、实验及计算的方法求解摄像机的模型参数。摄像机投影[6]中的像素坐标系到世界坐标系的转换过程为：

(1)

式中,uv为图像像素坐标系；dx,dy为像素单元；f为畸变系数；OcXcYcZc为相机坐标系；OwXwYwZw为世界坐标系；R,t为旋转、平移矩阵；M1,M2为相机内、外部参数。双目标定方法与单目标定的方法相同，立体系统标定完成后，左右摄像机的相对位置以及各自焦距等参数即可确定，不可以再次更改。若更改位置或改变焦距，需要重新进行标定[10]。准确的标定摄像机是完成双目视觉定位与测量的前提。

实验采用张正友标定法对系统进行标定，基于HALCON图像处理平台，通过左右摄像机在可视范围内同时采集标定板在不同空间位置下的标定板图像，利用HALCON提供的强大功能算法动态库来完成标定板图像的处理过程。如图2(a)所示，选用的标定板图像模型是(30×30) mm的黑色圆型标志点标定板。通过平滑标定板图像、亚像素阈值分割和亚像素边缘提取方法，定位标定板位置并分割出标定板区域；结合边缘提取、圆心确定等一系列操作，提取每个标定板区域中49个圆型标志点的图像坐标。实验采集20组不同姿态下的标定板图像，通过20次标定取平均值的方法，确定两个摄像机的内、外参数以完成系统的标定，其中一组标定板处理过程如图2(b)、(c)所示。

图2 标定板图像处理

完成系统标定后输出用于校正立体图像对的映射图，将采集到的工件图像对通过映射图校正为标准的外极线几何结构，即立体校正。校正结果如图3所示。

图3 立体校正图

2 特征点提取

2.1 工件引磁片的特征点提取

本文采用图像金字塔分层搜索策略与带缩放的亚像素精度模板匹配算法进行目标引磁片特征点的提取，对缩放、混乱背景、部分遮挡、光照不均匀和对比度全局反转等情况具有很好地鲁棒性，有效地提高了特征点提取的精度与速度。该算法在Sobel算子滤波得到边缘点方向向量的基础上定义相似性度量函数，同时结合图像金字塔分层搜索策略，利用引磁片图像边缘的形状信息进行模板匹配。基于形状模板匹配算法的相似性度量s为:

(2)

其中：d表示模板图像中点的梯度向量，e表示搜索图像中对应点的梯度向量。

归一化后的相似度量s：

(3)

由于对模板中点的梯度向量进行了归一化，相似度量s将返回一个小于等于1的值，当s=1时，说明模板与图像一一对应。为进一步提高算法的实时性，采用金字塔分层搜索策略可以减小搜索的位姿数量以及模板中点的数量以提高运算速度，在金字塔最底层得到的像素级定位精度，并利用最小二乘平差进行微调整，获得亚像素级定位精度和尺度缩放精度。具体地，在每层图像上与创建的模板图像进行相同的图像处理过程，包括图像滤波、边缘检测和边缘细化，完成从金字塔顶层向下的逐层搜索，直至当相似度量s大于预设的阈值，便可以实现中心特征点的提取，也就是匹配模板的中心坐标。同时，将边缘提取到的亚像素边缘通过Ramer[11]算法，对大量的亚像素边缘坐标数据按照直线和圆弧等基本几何元素进行分段以获取边缘特征点。工件的边缘与中心特征点提取结果如图4所示，十字标记处即为特征点。

图4 特征点提取

2.2 鞍点提取

鞍点(Saddle point)指在一个方向上是极大值，在另一个方向上是极小值。输入图像是由x和y的二次多项式近似，在输入图像中，计算其每一像素点分别在x、y方向的二阶偏导数，根据Hessian矩阵行列式[12]的特征值来检测多项式的极值和鞍点，特征值对应于灰度值表面的曲率。如果Hessian矩阵的两个特征值的都是小于零的，则检测该临界点处是一个局部极大值，如果两个特征值都是大于零的，则该点是局部最小值；如果它们具有不同的符号，则检测该临界点处是鞍点，也就是指在一个方向上是极大值，在另一个方向上是极小值。

基于Hessian矩阵行列式[12]提取的鞍点进行构建向量，并运用构建的向量定义一个新的非正交的坐标系平面，坐标系平面由向量P2P1和P2P0定义，在非正交的坐标系中计算并确定该平面上的法向量。鞍点提取与非正交坐标系的构建如图5所示。

3 目标定位

3.1 立体匹配

立体匹配是双目视觉算法中最关键的一步，其主要工作是寻找不同观察角度下的同一空间物体中的同一点在不同图像中的对应关系[13]。其搜索原理为:以左图像中像素点PL为中心作为待匹配点，截取一个矩形子窗口；在右图像中，按照从上到下从左到右的原则，根据相似性度量准则搜索与待匹配点PL灰度值最接近的窗口，并求出窗口的中心PR，该点即为最佳匹配点，进而可以获取同一点在不同图像中的对应关系(见图6)。

图6 模板匹配原理图

由于左右摄像机的视角不同，光照也会产生一定的差异，所以需要一种不随光照变化而变化的方法，本文采用极线约束准则与NCC[7]相结合的灰度相关区域匹配算法快速完成特征点的立体匹配。归一化互相关算法NCC：

(4)

3.2 三维重建与3D仿射变换

双目立体视觉系统的三维重建是通过两台摄像机同时获取场景的两幅图像，找到空间同一点在两幅图像中的匹配点对，结合双目视觉成像原理可求出该点的三维坐标[14]。获得的三维点云图以及截取的部分三维点X、Y、Z坐标信息如图7所示。

图7 三维重建结果

4 实验结果与分析

图8 三维空间信息与测量结果图

结果如表1所示，测得引磁片的实际半径误差小于0.1 mm，误差率小于1%；实际厚度误差小于0.1 mm，误差率小于6%。结果表明，本文方法可有效获取工件引磁片特征点的3D坐标，精度较高，验证了一定条件下该方法具有较好的准确性和实时性。

表1 测量结果与实际结果比较

5 结语

本文研究了基于双目视觉的工件引磁片定位与测量整个过程。在目标识别与特征点提取阶段，通过双目系统标定实现引磁片图像对的立体矫正，利用图像金字塔分层搜索策略结合带有缩放的亚像素形状模板匹配算法实现对工件引磁片区域的准确识别及特征点的提取，使得在目标区域识别速度及特征点提取精度方面有很大的提升。在目标定位阶段，利用极线约束准则与NCC相结合的灰度相关性匹配算法完成特征点的立体匹配，降低了匹配错误和重复匹配的可能性，并解决了左右两幅图像中目标特征定位点不匹配的问题；进一步结合双目视觉测距原理、3D坐标仿射转换和几何计算实现了对特征点的三维定位。在测量阶段，通过空间曲线拟合公式取平均值的方法完成半径的测量；利用提取的鞍点构建非正交平面坐标系与法向量，通过点积运算实现超薄引磁片厚度的测量。实验结果表明，基于HALCON的机器视觉技术，整个流程通过软件算法达到亚像素精度，有效地实现了对超薄引磁片的准确定位及高精度尺寸测量，在一定程度上降低了硬件的使用成本，对自动化大批量生产的超薄磁性车载手机支架铁片的高精度测量具有一定的现实意义。