精密视觉测量中的测量引导方法

夏瑞雪，陈 琳

(1.合肥工业大学，安徽合肥 230009；2.安徽新华学院，安徽合肥 230088)



精密视觉测量中的测量引导方法

夏瑞雪1，2，陈 琳1

(1.合肥工业大学，安徽合肥 230009；2.安徽新华学院，安徽合肥 230088)

在精密视觉测量系统中，针对测量过程引导问题，为实现所见即所得的运动控制目标，根据应用场合的不同，提出了图像法和CAD模型法。图像法适用于单个或小批量工件，采用光栅尺定位和数字图像相关相结合的方法，可快速、高质量地完成全景图像拼接，获取工件的鸟瞰影像位图。CAD模型法则是利用工件CAD模型，在模型空间，通过点击工件模型来引导测量。实验结果表明，这两种测量引导方法均切实可行，适用于精密视觉测量。

视觉测量；测量引导；数字图像相关

0 引言

测量是产品制造过程中的重要环节，随着现代制造业对产品质量的要求越来越高，测量的重要性日益凸显[1]。其中，三坐标测量机是三维坐标测量仪器中最典型的代表，以其自动化程度高、通用性强的优点被广泛地用于零部件的几何量测量。但由于受接触式测量方法原理上的限制，传统的使用接触式触发测头的三坐标测量机已不能适应现代精密测量的需求。而视觉测量技术凭借其非接触、高精度的特性为解决这一难题提供了一条有效的途径[2]。目前，采用视觉测量技术的三维坐标测量仪器的典型代表有影像测量仪、光学三坐标测量机和便携式光学三坐标扫描仪等。

在三维坐标测量仪器中，简单、人性化的测量引导方法是仪器智能化的重要体现。目前，这方面的研究主要是针对传统三坐标测量机[3]，本文将以三维坐标视觉测量仪器为对象，研究相应的测量引导方法。

1 精密视觉测量系统

基于影像测量技术的精密视觉测量系统主要由三维精密工作台、视觉探头、工控机和视觉测量软件等组成，如图1所示。

图1 精密视觉测量系统

精密视觉测量系统的基本工作原理是利用三维精密工作台的运动控制系统，驱动视觉探头在X和Y轴方向运动，进行二维影像测量，再结合Z轴方向的定位，从而实现空间的三维坐标视觉测量。

2 测量引导方法

相较于三坐标测量机的探针式触发测头，精密视觉测量中的视觉探头为非接触光学测量，不与工件接触，且由于其成像视场较小，操作人员难以根据实时影像信息来有效地引导测量。因此，本文将分别采用图像法和CAD模型法来解决这一难题，具体如下所述。

2.1 图像法

利用工件的鸟瞰影像位图，实现“点哪、走哪、测哪”，即在鸟瞰影像位图上点击目标位置，通过对点击位置的捕获，结合鸟瞰影像位图的缩放比例，引导视觉探头运动。

图像拼接是图像处理的一项重要内容，主要用于匹配取自不同时间、不同传感器或不同视点的2幅或多幅图像[4]。本文中的图像拼接问题的难点在于：

(1)需要拼接的图像幅数较多；

(2)相邻两幅图像的重叠部分可能没有明显的特征点和特征区域；

(3)不能人工干预，自动进行拼接；

(4)图像拼接算法要速度快，性能稳定。

综上所述，结合精密视觉测量的特性，本文采用了基于数字图像相关的图像拼接方法。

2.1.1 全景图像采集

如图2所示，全景扫描采集样本图像的具体过程：

(1)根据工件的尺寸，调节显微成像系统的放大倍率，规划矩形扫描区域，然后驱动视觉探头，移动至扫描的起点位置P0(x0,y0)和终点位置P1(x1,y1)，获取它们的位置坐标，通过计算可获得在X和Y轴向的移动距离分别为LX和LY。

图2 图像拼接示意图

(2)令X和Y轴向的采样间距分别为DX和DY，已知每幅图像的尺寸M×N，单位为像素，以及微成像系统的尺度因子a，通过计算可得在横纵两个方向所要采集的图像数TX和TY。

(3)由上述步骤，生成自动等间距采样的运动控制程序。从P0开始，按S型线路驱动视觉探头至各采样点，视觉探头在采样位置暂停3～5 s，待仪器停稳后，拍摄被测工件该位置的图像，直至采样结束，从而获取一组图像集合Fi(x,y)(i=1,2,…,n)。

2.1.2 数字图像相关

在三维精密工作台运动过程中，不可避免地存在误差，因此若仅简单地按采样间距来计算图像间的重叠位置，所拼接出的全景图像会存有明显的错位，故需对图像间的理论重叠位置进行修正，尽可能地消除错位现象。本文将采用数字图像相关的方法来提高图像间配准的精度，提升全景图像拼接的质量。

数字图像相关是一种实用高效的光学技术，主要被用于实验固体力学领域中的变形测量，其基本工作原理是比对变形前后两幅图像，在变形前的图像中选定子区域，通过计算相关系数，在变形后的图像中，寻找出与选定子区完全相关或相关性最大的子区域，其对应的位移值即为该子区域对应点的最大可能位移值[5-6]。相关系数C的表达式为

(1)

式中：f(x,y)为所选定的子区域；g(x*,y*)为变形后图像上的子区域；C=1时，两个子区域完全相关；C=0时，两个子区域完全不相关。

数字图像相关用于相邻两幅图像间的拼接，根据图像间排列的方式以及三维精密工作台的精度是μm级的，将只在两幅图像的重叠区域附近进行相关系数计算，并且为了进一步减小运算量和镜头畸变对成像的影响，仅选定后一幅图像F2(x,y)中的一小块子区域A作为模板，选定前一幅图像F1(x,y)中包含A的一块区域B作为搜索区域，通过计算可快速求得最佳匹配区域A′，并用求得的偏移量EX和EY来修正图像间的理论重叠位置，从而实现高质量的全景图像拼接，如图3所示。

图3 数字图像相关计算

2.1.3 快速NCC法

为加快计算速度，使开发的算法能够符合工程实际应用的需求，本文选用快速NCC法，即选择归一化互相关函数：

(2)

根据互相关频域特性，CNCC的分子部分为

(3)

式中：F为FFT变换；F-1为FFT逆变换；F*为FFT变换后取复数共轭。

对于式(2)的分母部分，第二项为模板的方差能量，可以只预先计算一次；但是第一项f在u和v位置上与模板图像同样大小的区域方差能量必须随着位置的改变而重新计算，这是制约空间域NCC计算的主要瓶颈之一。因此，定义累计和与累计平方和图像如下：

s(u,v)=f(u,v)+s(u-1,v)+s(u,v-1)-s(u-1,v-1)

(4)

s2(u,v)=f2(u,v)+s2(u-1,v)+s2(u,v-1)-s2(u-1,v-1)

(5)

规定u,v≤ 0，当s(u,v)、s2(u,v)均为0时，则f在u,v位置上与模板图像同样大小的区域的累计和与平方和的表示式为:

ef1(u,v)=s(u+N-1,v+N-1)+s(u-1,v+N-1)-

s(u+N-1,v-1)+s(u-1,v-1)

(6)

ef2(u,v)=s2(u+N-1,v+N-1)+s2(u-1,v+N-1)-

s2(u+N-1,v-1)+s2(u-1,v-1)

(7)

对式(2)分母第一项应用式(6)、式(7)得到：

(8)

综上所述，统计待匹配图像M×M与模板图像N×N在所有M×M个位置上的NCC计算，式(2)分母部分若直接空间域计算，则在每个位置上第一项大致需要3N2次加/减法与N2次乘法。按式(4)～式(8)优化，一次性计算累计和大致需要3M2次加/减法，一次性计算累计平方和大致需要3M2次加/减法与M2次乘法，再计算式(2)分母部分第一项在每个位置上只需要7次加/减法与2次乘法，分子部分由式(2)若直接空间域计算，在每个位置上大约需要N2次乘法与N2次加法，求出所有位置上的相关系数大致需要M2N2次加法与M2N2次乘法。

2.2 CAD模型法

CAD模型法，即利用所提供的被测工件CAD模型来引导测量仪器对工件进行测量，同上述的图像法，它是通过在工件模型上点击实现“点哪、走哪、测哪”。

新一代的三维坐标测量软件的一个显著标志就是以三维CAD环境为中心，其中CAD模型将被用于工件找正、测量过程引导、测量程序图形化编程、测量过程动态仿真模拟和测量结果图形化显示等，贯穿于整个测量过程[7-8]。

本文针对测量引导，以.NET类库CADability作为三维CAD开发平台，在Visual Studio 2008集成开发环境下，使用C#编程语言开发相应的应用程序，其中，CADability的几何内核是Open CASCADE，通过SingleDocumentFrame类建立一个单文档应用程序，流程如图4所示，具体实现步骤如下。

图4 测量引导工作流程示意图

2.2.1 CAD模型导入

目前，三维CAD软件种类繁多，国内外主流的产品有Solidworks、PRO/E、UG、CATIA和Inventor等，很难都提供直接的输入接口，本文将采用中间格式文件的方式来解决这一问题，即首先将这些CAD系统的文件转换成STEP格式文件输出，然后再导入到测量引导应用程序中，其中STEP是当前国际公认的CAD数据文件交换全球统一标准[9]。

STEP不是一项标准，而是一组标准的总称，包括：描述方法、集成资源、应用协议、实现方法、一致性测试及抽象测试套件，整个STEP系统又分为3个层次：应用层、逻辑层和物理层。其中，CADability对STEP进行了封装，通过Project类的ReadFromFile方法即可读取STEP格式文件，将其转化为Model类的一个实例化对象，并在窗口界面显示导入的CAD模型。

2.2.2 人工图形交互

测量引导应用程序需具有几何元素选取功能和模型空间变换功能，即可通过鼠标选取CAD模型上的点、直线、圆和面等基本几何元素，并可对CAD模型进行平移、旋转和缩放等操作，实现人工图形交互。

一方面，通过SelectObjectsAction类实现对象的选取；另一方面，通过ModOp结构体中Transform、Rotate和Scale方法实现对CAD模型的空间变换操作。

2.2.3 工件找正

工件找正所需建立的测量坐标系如图5所示。

图5 建立坐标系

具体过程为：

(2)根据工件摆放在工作台上的位姿，通过图形交互操作，调整工件CAD模型在模型空间中的位姿，初步确定其位置。

具体是通过Axis结构体来建立坐标轴，并依据上述步骤，执行图形交互操作，从而实现工件找正。

2.2.4 引导测量

在上述步骤的基础上，本文中的引导测量过程由如下几步组成：

(1)同工件CAD模型的导入，导入视觉探头CAD模型，假定均为等比例1∶1的尺寸模型。

(2)在模型空间中，依据视觉探头相对于工件的实际位置，对工件CAD模型进行定位。

(3)通过鼠标在工件CAD模型上点击，获取该点击位置P3D的三维坐标值，响应该事件，仿真移动视觉探头CAD模型至该目标点P3D的测量位置。

(4)同时，通过相应计算可获取三维工作台需移动的距离(DX,DY,DZ)，并据此来控制电机的运动，驱动视觉探头至工件对应鼠标点击处P3D的测量位置，从而实现基于CAD模型的测量引导。

如图6所示，上述先捕获鼠标点击位置P3D在窗口平面的二维坐标值，再通过投影操作投射到点击时所选取的表面Plane上，以此来求取点击位置P3D的三维坐标值的方法存在局限性，即要求投影平面必须与测量平面平行，否则，随着当前视图投影方向的改变，即求得的结果是不正确的。

图6 目标点P3D的投影示意图

此外，还有一种获取鼠标点击位置P3D的三维坐标值的方法：一方面，在模型空间中，将特征点的捕获模式设置为SnapToFaceSurface，在鼠标点击位置画点，从而对该位置进行标记，如图6所示；另一方面，对所画的点标记进行捕获，从而精确地获取该点P3D的三维坐标值。该方法相较于先前的方法更加方便、准确。

3 实验验证

本文以如图7所示的工件为实例，在影像测量仪上对上述两种测量引导方法进行校验，具体结果如下所述。

(a)实物图

(b)CAD模型

3.1 图像法实验

如图8所示，分别采用光栅尺定位法和组合法对采样图像进行全景图像拼接操作，获得工件的鸟瞰影像位图。由两图对比可见，数字图像相关法的引入能有效地提高图像拼接的质量，直观地减小图像间的错位现象，从而提高测量引导的精度。

(a)光栅尺定位法

(b)组合法

3.2 CAD模型法实验

在工件CAD模型的不同位置点击，则对该位置进行标记，且将视觉探头引导至相应的测量位置。本文列举了一个实例，在模型空间中，通过对鼠标点击命令的响应，实现测量引导，所成的像如图9所示。

图9 CAD模型法实例

4 结束语

根据精密视觉测量的特性，为解决测量过程中的引导问题，针对不同的应用场合，提出了图像法和CAD模型法。图像法中采用光栅尺定位和数字图像相关相结合的策略来实现全景图像拼接，具有计算量小，图像拼接质量较高的优点。CAD模型的引入是现代测量设备发展的重要趋势之一，在CAD模型法中，以STEP格式文件作为中性文件，将工件CAD模型与测量设备关联起来，通过对CAD模型的操作，实现测量引导，具有形象直观、效率高的优点，且符合测量与CAD相集成的发展趋势，是计算机辅助测量CAI(Computer Aided Inspection)的重要组成部分。

[1] BARREIRO J,MARTINEZ S,LABARGA J E,et al.Validation of an information model for inspectin with CMM.Internatinal Journal of Machine Tools & Manufacture,2005,45: 819-829.

[2] 张进，王仲，李雅洁,等.高精度影像测量系统中图像的超分辨率重建.光学精密工程，2011，19(1)：168-174.

[3] 吴永清，刘书桂，张国雄.智能三坐标测量机检测规划问题的研究综述.中国机械工程，2001，12(7)：828-832.

[4] 王娜，周权.光学显微镜下微小物体的三维重构.光电工程，2010，37(11)：84-90.

[5] 方钦志，李慧敏，王铁军.数字图像相关分析法增量位移场测试技术.应用力学学报，2007，24(4)：535-540.

[6] PAN B,ASUNDI A,XIE H M,et al.Digital image correlation using iterative least squares and pointwise least squares for displacement field and strain field measurements.Optics and Lasers in Engineering,2009,47: 865-874.

[7] CHO M W,SEO T I.Inspection planning strategy for the on-machine measurement process based on CAD/CAM/CAI integration.The International Journal of Advanced Manufacturing Technology,2002,19: 607-617.

[8] TRABAND M T,MEDERIROS D J.CAD-directed programming of a vision-based inspection system.Journal of Manufacturing Systems,1989,8(3): 215-223.

[9] ZHZO Y F,HABEEB S,XU X.Research into integrated design and manufacturing based on STEP.The International Journal of Advanced Manufacturing Technology,2009,44: 606-624.

Methods of Inspection Guidance for Precision Visual Inspection

XIA Rui-xue1,2,CHEN Lin1

(1. Hefei University of Technology,Hefei 230009,China;2. Anhui Xinhua University,Hefei 230088,China)

In precise visual measuring system，aiming at the problem in measuring process,to realize what you see is what you get,image method and CAD model method for inspection guidance at different occasions in precision visual inspection system was proposed. The image method was used for signal or small quantities of workpieces. It adopted the combination of grid grating location and digital image correlation to process panoramic image mosaic,which was fast and has high-quality,and the bird-eye view of workpiece was obtained. The CAD model method guided inspection by clicking the CAD model of workpiece in model space. The relevant examples are given to demonstrate the feasibility and efficiency of these two methods.

visual inspection;inspection guidance;digital image correlation

安徽省高等学校省级自然科学研究项目(KJ2014A097)；中央高校基本科研业务费专项资金项目(102-4115103043)

2014-12-23 收修改稿日期：2015-06-28

TH741

A

1002-1841(2015)11-0097-04

夏瑞雪(1984—)，讲师，博士，主要研究领域为精密测量和自动光学检测。E-mail：ruixuexia@163.com 陈琳(1983—)，博士研究生，主要研究领域为机器视觉。 E-mail：chenlin_hfut@163.com