基于定位点的单目流动式测量技术

解则晓 陈琪

摘要：针对加工车间对零件进行高精度、大尺度的现场实时测量的需求，对可实现在线测量的可移动式视觉测量技术进行研究，提出了一种基于单目视觉的新型便携式测量系统，可实现大尺度工件的三维精确在线测量。通过手持单个摄像机对固定位置的编码点靶标进行拍摄，通过对靶标图像的信息提取，确定摄像机在三维空间中的位姿，标定出安装在摄像机底部的探针相对于摄像机的位置关系，求解探针与被测物体的接触点的三维坐标。实验结果表明，本文系统对大型工件可实现高精度测量，三维测量精度在测量系统坐标系下x轴、y轴、z轴方向的稳定性误差分别为0.18mm，0.24mm和0.21mm；测量最大误差为0.35mm，可以满足工业现场对大尺度工件三维在线测量的精度要求。

关键词 ：大尺度视觉测量；摄像机标定；二维平面靶标；LM优化

中图分类号：TP391.41 文献标识码：A 文章编号：1009-3044（2018）16-0214-05

The Technology of Monocular Vision in Measurement Based on Fixed Target

XIE Ze-xiao， CHEN Qi

（College of Engineering， Ocean University of China， Qingdao， Shandong 266100， China）

Abstract： In order to meet the demand of high precision， large scene and real time measurement of workpiece in machining workshop， this paper studies the movable vision measurement technology which can realize on-line measurement and designs a new portable measurement system based on monocular vision， which can realize the full-scale accurate measurement and positioning of the object with high efficiency. Take an image of the target with coded points in a fixed position by holding a single camera with hand， according to the analysis of target image， determine the position and orientation of the camera in 3D space. And calibrate the relative position between the camera and the probe， which is mounted at the bottom of the camera to solve the 3D coordinate between the probe and the object under measurement. Experimental studies show the proposed method can realize high precision measurement， the stability errors in the x-axis， y-axis， z-axis directions of the world coordinate system are 0.18mm， 0.24mm， 0.21mm， and the maximum measuring error is 0.35mm. It can meet the precision demand of large-scale， online measurement.

Key words： large-scale vision measurement； camera calibration； 2D planar target； LM algorithm optimization

1 引言

随着现代制造业的发展，在工业现场對工业产品的生产和制造过程中，对大型工件的高精度实时三维测量[1-4]提出了更高的要求。目前针对大型工件的三维测量方法有三坐标测量机[5]、关节臂测量机、光笔式视觉测量方法[6]、结构光视觉测量方法[7]以及基于标记点的移动式视觉测量方法[8]。但三坐标测量机的设备昂贵、测量范围有限，而且体积、重量大，难以适应复杂多变的工业现场环境，不能满足现代工业在线实时测量的需求；关节臂测量机的臂长有限，测量范围在一定程度上受限；光笔式视觉测量方法存在测量效率低、不适用于大型工件在线测量的问题；结构光视觉测量系统的实际应用的场合比较固定，测量系统标定比较复杂，且对被测物体表面的反光情况有一定的要求，受其他光源的影响导致测量出现较大偏差，标定的精度也有待提高；基于标记点的移动式视觉测量方法测量时需要在被测工件表面粘贴标记点，测量过程相对烦琐，测量效率不高，难以适用于各种类型的工业产品。

为满足大尺度、数字化无导轨在线测量和便携式现场测量等情况下的测量需求，需要设计一种结构简单、安装以及操作方便的便携式测量装置。本文基于单目视觉三维测量技术[9-11]提出了一种以编码点为定位基准的新型手持式在线测量系统，并对该测量系统进行了深入研究。本文针对测量系统建立数学模型，并对各参数进行标定；设计了一种以编码点为特征点的二维平面靶标，通过摄像机对平面靶标的拍摄，完成测量系统的参数标定以及测量工作；并基于物点及其像点和投影中心点三点共线条件对摄像机外参数建立优化模型，采用LM法进行优化。

2 系统组成及靶标设计

2.1 系统组成

基于定位点的单目流动式测量系统主要由计算机、探针、摄像机和二维平面靶标组成，靶标作为系统测量参照物保持固定不动，主要用于测量系统标定和系统三维测量过程；探针作为测头接触被测物体，主要用于探针标定和被测物体三维测量环节；摄像机的任务是采集靶标的二维图像，将图像传输到计算机中；计算机用于执行系统软件程序，最终实现整个系统的标定和测量工作。

2.2 靶标设计

本文对靶标的设计是考虑到测量系统在进行标定或测量时，由于摄像机拍摄的角度，有时可能只拍摄到靶标中的一部分特征点，而尺寸较大的靶标所包含的特征点比较多，拍摄得到的靶标图像中的特征点的信息会更多；为了便于每个特征点身份的识别，本文采用有唯一身份的编码点作为靶标特征点，这样测量系统的精度能够不受摄像机的姿态以及获取特征点个数的影响；且以编码点为特征点的二维靶标制作简易，标定过程操作方便。所以本文采用如图2的二维平面靶标，其尺寸为577.5mm×346.5mm，采用的特征点是由Forbes K[12]编码设计的编码点，由中间亮圆及与其同心的编码带组成，其背景为边长38.5mm黑色正方形。本文采用三坐标测量机精确获取各编码中心的三维空间坐标，以及文献[13]的方法提取各对应点的二维图像坐标。

3 系统参数标定

3.1 模型建立

测量系统在测量时，二维平面靶标固定于测量空间内某一位置，探针接触被测物体，通过摄像机对固定靶标拍摄得到的二维图像，确定摄像机在测量系统世界坐标系下的位姿，与探针的位置参数，即系统的数学模型为：

[xwywzw1=Rctc01?xdydzd1] （1）

其中，[xw，yw，zw]表示探针在测量系统世界坐标系下的坐标，[Rc，tc]表示摄像机坐标系到测量系统的世界坐标系之间的旋转、平移关系，[Rc]为正交矩阵，平移矢量的分量[tx，ty，tz]分别表示摄像机坐标系的原点[oc]在测量系统世界坐标系中的坐标分量，[xd，yd，zd]表示探针在摄像机坐标系下的坐标。

本测量系统的最终目的是要实现通过摄像机拍摄得到的靶标的二维图像的像素信息转换得到探针接触点的三维位置信息。摄像机坐标系[ocxcyczc]与建立在二维靶标平面上的测量系统世界坐标系[owxwywzw]之间的相对位置关系如图3所示。

探针的三维世界坐标与标定靶标的二维图像坐标之间的转换由以下两部分组成：

（1）二维图像坐标系与测量系统世界坐标系之间的相对位置关系，即摄像机的内外参数：

[uv1=ARtxwywzw1=fNx0u00fNyv0001r1r2r3txr4r5r6tyr7r8r9tzxwywzw1=fNxr1+r7u0fNxr2+r8u0fNxr3+r9u0fNxtx+tzu0fNyr4+r7v0fNyr5+r8v0fNyr6+r9v0fNyty+tzv0r7r8r9tzxwywzw1]

（2）

（2）探针与摄像机坐标系之间的相对位置关系，即探针位置参数。探针通过金属底座固定在摄像机支架上，即探针相对于摄像机的位置不发生改变，设探针相对于光心（摄像机坐标系原点）在摄像机坐标系中的[xc，yc，zc]轴分别偏移[x0，y0，z0]，则探针在摄像机坐标系下通过矩阵形式表达为：

[xdydzd=000+x0y0z0] （3）

3.2 参数标定

本文选用张正友标定法[14]标定摄像机内参数，RAC标定法[15]标定摄像机外参数。对于探针位置参数，保持探针固定于一点不动，手持摄像机变换角度和姿态拍摄固定靶标，设摄像机在[P1]和[P2]位置拍摄了2幅图像，根据测量系统的数学模型，可得到以下方程：

[xwywzw1=Riti01?xdydzd1] （4）

式中i=1，2，[Ri，ti]表示摄像机拍摄的该幅图像时，摄像机相对于测量系统世界坐标系的位姿关系，[xd，yd，zd]表示待标定的探针位置参数。

将位姿[P2]和[P1]位置的方程式相减得：

[R2?xdydzd+tx2ty2tz2=R1?xdydzd+tx1ty1tz1] （5）

[（R2-R1）?xdydzd=tx2-tx1ty2-ty1tz2-tz1] （6）

针对n个不同的摄像机位姿，都可以得到n个式（4）的方程式，与位姿[P1]的方程式相减后可以得到[n-1]个类似式（6）的方程，下式为[n=4]的情况下联立出的方程：

[R2-R1R3-R1R4-R1?xdydzd=tx1-tx2...tz1-tz4] （7）

采用线性最小二乘法即可求解[xdydzdT]，得：

[xdydzd=R2-R1R3-R1R4-R1T?tx1-tx2...tz1-tz4R2-R1R3-R1R4-R1T?R2-R1R3-R1R4-R1] （8）

若只测量4个姿态的位姿，标定结果的精度和鲁棒性会较差，本文在进行标定时变换20个位姿进行测量，并进行多组标定，采用循环迭代求解的方法以提高标定结果的精度。

4 优化摄像机外参数

由测量系统的数学模型可知，在确定探针空间位置点的测量过程中，每拍摄一幅图像都需要对摄像机外参数进行标定，故摄像机外参数标定结果的精度至关重要，本文选取基于物点及其像点和投影中心点三点共线条件对摄像机外参数进行优化。

如图4所示，理想情况下物点及其像点和投影中心点三点共线，即靶标上的编码点中心、编码点的像点中心连接的直线理论上交于一点[oc（xc，yc，zc）]，而实际上由于标定参数的不精确，各条连线并不交于一点。

在测量范围内运用摄像机拍摄靶标图像，获取n个点的像素坐标，则一共可以得到n条直线，其中第i条和第j条空间直线方程可表示为：

[x-ximi=y-yini=z-zipi=tix-xjmj=y-yjnj=z-zjpj=tj] （9）

求解上述方程组，得

[ti=mjyi-yj-njxi-xjminj-nimj] （10）

故两空间直线的交点为：[xij，yij，zij=timi+xi，tini+yi，tipi+zi]。n条直线两两相交得[n×（n-1）2]个交点，以这[n×（n-1）2]个交点到投影中心（0，0，0）的距离和最小为优化指标，采用LM优化算法[16]对摄像机外参数进行优化，其目标函数为：

[FR，t=i=0，j=0n×（n-1）/2（xij2+yij2+zij2）] （11）

5 实验与精度分析

本文实验采用Point Gray Research公司的型号为GRAS-20S4M-C的工业摄像机，拍摄图像分辨率为1600pixel×1200pixel，像素尺寸为4.4μm×4.4μm，则[Nx=Ny=1/（4.4×10-3）][=227.272727]；镜头使用日本KOWA公司生产的工业镜头，镜头焦距标称值为12mm；标定靶标是采用图2以编码点为特征点的二维平面靶标。

5.1 标定实验

在标定出摄像机内参数和外参数的基础上，利用本文所提出的方法标定探针位置参数。靶标固定，保持探针固定于一点不动，手持摄像机变换20种不同角度和姿态拍摄一系列靶标图像，此为一组图像；变换探针固定点位置，重复上述拍摄过程，选取50个不同的点对探针进行标定实验，最终的标定结果如表1所示。

5.2 系统精度测试实验

将测量装置的探针固定于一点，移动摄像机相对于固定靶标变换不同的姿态进行拍摄，共获取100幅靶标图像，得到探针的100组三维坐标值，数据如表2所示。

由于探针固定不动，所以无论摄像机如何改变姿态，最终得到的三维坐标不会改变。从上表中可以看出，在世界坐标系下x轴、y轴、z轴方向的最大相对误差分依次是0.18mm，0.24mm和0.21mm。

通过图5的离散分布图可知，根据本测量系统测得的探针位置较为集中，相对误差小于0.43mm。由此可以得出本文提出的测量系统具有较高的精度，比较稳定。

5.3 标准长度测量实验

利用本文提出的测量系统对三个长度不同的标准工件进行测量，标准工件的长度分别是50mm，100mm和200mm。如图6所示，将工件在三维立体空间内变换不同的摆放位置，将探针在工件的两端分别进行测量，将测量得到的两端的数据记录于表3中，表中共记录20组实验结果，其中D1，D2，D3分别表示工件长度为50mm，100mm和200mm的测量实验数据。

从上表的测量结果可以看出，系统测量的平均误差为0.18mm，最大误差保持在0.35mm以内，保证了测量系统的精度和稳定性。综合表2、表3和图5的数据分析，本文提出的单目流动式测量系统的精度及稳定性较好，摆脱了常规的测量方法，具有便携、结构简单和操作方便等优点，能够满足大视场的三维在线实时测量需求，具有较高的实用价值。

6 结论

本文针对高精度、大尺度工件的现场实时测量需求，提出了一种新型的便携式测量系统，具有便携、结构简单和可实时测量等优点。本文设计制作了以编码点为特征点的二维平面靶标，提出了标定探针位置参数的方法，实现了从二维图像到三维空间坐标的转换，并基于物点及其像点和投影中心点三点共线条件提出了优化摄像机外参数的方法。通过系统精度实验和工件实测实验的结果，验证了本文设计的这种基于定位点的单目流动式测量系统在大尺度下具有较高的精度，满足现场测量应用的需求，具有广阔的应用场景。

参考文献：

[1] 李健， 陈长明， 高文娟. 三维信息测量技术研究[J]. 机械设计与制造， 2010，（3）： 222-224.

[2] 刘建伟，梁晋，梁新合，等. 大尺寸工业视觉测量系统[J]. 光学精密工程. 2010， 18（1）： 126-134.

[3] 刘冲， 孙军华， 刘震， 等. 大视场线结构光视觉传感器的现场标定[J]. 光电工程， 2013， 40（1）： 106-112.

[4] 刘冲， 孙军华， 刘震， 等. 大视场线结构光视觉传感器的现场标定[J]. 光电工程， 2013， 40（1）： 106-112.

[5] 劉祚时，倪潇娟. 三坐标测量机（CMM）的现状和发展趋势[J]. 机械制造，2004，42（8）：32-34.

[6] 韩振华. 光笔式单目视觉测量系统的关键技术研究[D].中国海洋大学，2013.

[7] 刘冲， 孙军华， 刘震，等. 大视场线结构光视觉传感器的现场标定[J]. 光电工程， 2013， 40（1）： 106-112.

[8] Li Z， Wang Y. Research on 3D Reconstruction Procedure of Marked Points for Large Workpiece Measurement[C]// Fifth International Conference on Information Assurance and Security. IEEE Computer Society， 2009： 273-27.

[9] 尹英杰，徐德，张正涛，等. 基于单目视觉的平面测量[J]. 电子测量与仪器学报，2013，27（4）：347-352.

[10] 黄桂平，李广云，王保丰，等. 单目视觉测量技术研究[J]. 计量学报，2004，25（4）：314-317.

[11] 韩延祥， 张志胜， 戴敏. 基于特征点的单目视觉测量方法[J]. 光学 精密工程， 2011， 19（5）： 1111-1115.

[12] Forbes K， Voigt A， Bodika N. An Inexpensive， Automatic and Accurate Camera Calibration Method[J]. Proceedings of the Thirteenth Annual South African Workshop on Pattern Recognition Prasa， 2002.

[13] 解则晓， 高翔， 朱瑞新. 环状编码标记点的高效提取与鲁棒识别算法[J]. 光电子·激光， 2015， 26（3）： 559-566.

[14] Zhang Z. A flexible new technique for camera calibration [J]. Pattern Analysis and Machine Intelligence， IEEE Transactions on， 2000， 22（11）： 1330-1334.

[15] Tsai R Y. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J]. IEEE Journal on Robotics & Automation， 1987， 3（4）：323-344.

[16] Ranganathan A. The Levenberg-Marquardt Algorithm. Tutoral on LM Algorithm[J]， 2004， 11（1）：101～110.