基于双目视觉的球面体装配尺寸检测

沈小龙，侯战强，韩震宇

（四川大学机械工程学院，四川 成都610000）

1 前言

中国制造业的蓬勃发展，使得企业对产品生产速度和质量提出更高的要求。而在生产过程中，零件的外形尺寸检测是重要一环，与产品的最终质量密切相关；另一方面，随着中国加工制造水平的提高，具有复杂曲面的零件占比逐年增长，给制造环节的检测精度和速度带来了新的挑战。

近年来，关于物体的三维尺寸检测研究，业界不断提出新的方法。叶焜[1]提出采用基于面结构光的铜板工件三维视觉检测方法，能够有效实现铜板工件三维尺寸的非接触全自动化检测；李晓天等[2]基于激光三角检测法，搭建了采用旋转平台的单目物体形貌检测系统，可望用于三维检测宝石等小物体；全燕鸣等[3]基于双目立体视觉视差原理，搭建了一套可在车间现场操作的在机检测工件三维尺寸的视觉系统；周森[4]提出了基于集成分布式移动激光扫描技术的大空间动态坐标检测方法，从而实现工件多个大尺寸关键特征表面轮廓的自动快速同步采样；卢燕等[5]采用X射线断层扫描复合式三坐标检测系统和三维造型软件对某型航空发动机燃油喷嘴展开三维尺寸检测。

以上研究，可分为两类：基于扫描设备的三维信息主动获取法，获取精度较高、三维信息全面，但速度较慢、成本高；基于相机的三维信息被动获取法，获取精度依赖对象特征，但拓展灵活、易维护。根据检测对象以及现有生产线的实际情况，本文采用基于双相机的视觉方法，对含有球面的金属装配体进行三维尺寸检测。该方法通过获取金属表面特征，利用不同的立体匹配方法求得相关位置的三维坐标，最后获得所需的装配尺寸。

2 在线检测平台简介

2.1 金属装配体

装配体外形如图1所示，待检测的装配体样件主要分为外壳和内芯。外壳呈圆柱体状，上下表面水平，直径约190 mm；内芯外表由圆柱周面和上下两端球面组成，直径约110 mm；该装配体属于尺寸较大的金属加工件。

图1 装配体外形

所需检测的装配尺寸是内芯上方球面的球冠点到外壳上表面平台的距离。

2.2 平台硬件组成

依据本文的检测原理，在实验室搭建了简易试验平台。平台主要由相机模块、生产线模块和主控模块组成。相机模块有双目相机以及相应支架，相机分辨率为1 280×720；生产线模块包括传送台装置以及相应的传感器，用于模拟生产环境；主控模块由工控机、显示器等组成，用于处理图像、提供良好的人机交互界面[6]。

3 双目视觉检测系统设计

双目视觉技术的测量原理是基于三角测量法，或称视差原理[7]。双目视觉原理如图2所示，三维空间中目标点P在左右相机成像平面上对应点分别为Pl和Pr。O1和O2分别是左右两相机的投影中心（建立相机坐标系，投影中心可看作坐标原点）。若求得两相机间的空间位置关系，结合Pl和Pr在两相机成像平面的坐标参数，再根据相似三角形原理，便可得到空间点P的三维坐标。

图2 双目视觉原理图

3.1 相机标定

标定总过程分为单相机标定和双相机标定。首先，依据针孔成像模型[7]，通过已知目标点的图像坐标和相应的空间坐标可求得相机模型参数。设空间任一点p的世界坐标为（X，Y，Z），图像坐标为（u，v），两者之间的关系式为：

式（1）中：s为比例因子；f为相机焦距；dX和dY为单位像素在X轴和Y轴的物理尺寸；（u0，v0）为成像平面的中心坐标；R、T为相机坐标系与世界坐标系转换的旋转矩阵和平移矩阵[7]。

双目相机标定是为了确定两相机的空间位置关系。该关系可由一旋转矩阵R和平移矩阵T表示。上文的单目相机标定分别求得左右相机与世界坐标系的转换矩阵Rl、Rr和Tl、Tr。因此，若确定目标点P在左右相机坐标系的位置Pl和Pr，便可由转换矩阵Rl、Rr和Tl、Tr表示两相机间的空间位置关系，如式（2）（3）所示：

本文依据张正友标定原理，利用黑白棋盘格标定板，通过matlab工具箱完成相机标定任务。该方法操作简便，标定结果稳定。

3.2 图像匹配

双目视觉技术是基于三角测量法，通过获取同一目标点在两图像中相应成像点坐标来计算三维位置。图像匹配则是研究两图像相关点的匹配计算问题。

3.2.1 极线约束

在图像匹配前，为了缩短匹配时间，需要使用条件约束方法来减少不必要的搜索空间和候选匹配点数量。常见的约束方法有极线约束、唯一性约束、灰度相容性约束等。本文选用极线约束方法，该方法基于极线几何，用来描述左右两图片位置。极线几何示意图如图3所示。

图3 极线几何示意图

图3 中O1和O2分别为左右相机的投影中心，O1O2为基线。基线与两个坐标系之间的交点分别为E1和E2。P1和P2是空间点PW在两相机的像点，O1、O2与PW所在平面称为极平面。极平面与左右两相机的图像坐标系的交线分别为P1E1和P2E2，即极线。极线约束是指已知PW在左图像的对应点P1，则PW在右图像的位置必定在与P1对应的极线上。通过极线约束，可以大大缩小图像匹配的空间范围，提高匹配效率。

3.2.2 立体匹配

两图像匹配的关键步骤为立体匹配。目前，依据选择基元，立体匹配有基于灰度、基于特征和基于相位等匹配方法。依据匹配优化算法，则可分为局部匹配、半全局匹配和全局匹配。常用的优化算法有动态规划、置性扩展、图像分割等。

本文采用基于特征的立体匹配方法。其做法是在两图像中提取出反映图像结构信息的一些特征，通过比较两幅图中各自的特征信息，匹配对应的特征点。基于特征的立体匹配算法的关键在于特征点检测算法和特征点匹配搜索算法。特征点的检测算法常用的有Moravec、SUSAN、Harris以及SIFT等。特征的匹配搜索方法常用的有动态规划以及图割法等。基于特征的立体匹配算法鲁棒性很高，抗干扰性很强。但是该方法的设计相对来说比较复杂，在纹理特征较少的情况下比较容易出现误匹配或者匹配不到的情况。其处理流程如图4所示。

图4 立体匹配流程

3.3 装配尺寸测量

通过双相机标定得到两相机位置关系，再结合图像匹配步骤，便可求得图像中任一点的三维坐标。通过几何分析可知，待测量装配尺寸是空间一点距离一平面的距离。关键在于求取平面的空间方程和目标点的空间坐标。

3.3.1 平面方程求解

由于待测量平面呈圆环状，可通过边缘提取、椭圆拟合获得圆环的位置信息。相关过程如图5所示，先经过预处理，包括直方图均匀化和高斯滤波；再经过边缘提取操作，主要采用Canny算子来进行边缘特征提取；最后通过椭圆拟合，获取平面圆环位置。

图5 平面方程获取结果

3.3.2 顶点提取

根据金属材料的光学反射特性，装配体球冠点会呈现明显的几何特征，比如若干相交的光线。与平面方程提取过程类似，顶点提取可通过边缘检测和霍夫变换直线提取，再通过直线交点求得顶点位置。

4 结论

本文基于双目视觉方法，主要研究了测量装配体三维尺寸环节中的重要问题，包括相机标定、图像匹配和三维几何计算等。利用机器视觉技术，解决了传统装配体人工测量效率低、精度差等问题。结合工控自动化思想，为生产线无人化改造提供了一定的参考价值。