基于双目视觉的散乱工件识别定位技术研究

凌 龙，曲 圆，王 静，温 雪，张汝波

(1.大连民族大学 机电工程学院，辽宁 大连 116605；2.珠海科技学院 机械工程学院，广东 珠海 519041)

在“十四五”规划的新起点上，正值中国制造业飞速发展阶段，工业自动化水平已初见成效，为实现2035年新型工业化的远景目标，对生产工厂和企业提出了新的要求。伴随着工业产品的数量和种类的与日俱增，企业在相应的生产链上出现大量散乱、堆积的工件，为保证其在出厂能完美分装，并保持良好的产品质量，提高企业生产效率，促进自动化水平进一步发展[1]，散乱工件识别定位技术已成为工业生产过程中的重要研究内容。目前，在工业生产中，对散乱工件分装通常还采用传统的人工分装方法，效率低、失误率高、劳动强度大[2]，且成本较高，而且易受各种客观因素的影响，导致散乱工件人为操作不易，不符合大规模工业生产的要求。

随着人工智能和机器视觉技术的不断发展，通过视觉的识别定位方法已经逐渐取代传统的人工方法，并在无人驾驶、机器人导航、缺陷检测等领域开始实践应用[3]。机器视觉识别定位技术是一种在工业生产中以非接触方式实施的自动化技术，其中双目视觉系统是通过模仿人类视觉原理所搭建的视觉系统，利用公共点的深度信息完成三维重建，为识别定位提供条件。具有安全可靠、检测精度高、定位精准、可长时间工作等优点，是实现工业自动化和智能化的有效途径，在众多行业的工厂中应用广泛[4]。

本文以双目视觉系统对散乱工件识别定位为论述中心，首先阐述双目视觉识别定位技术的国内外研究现状；然后将散乱工件识别定位技术归纳为采用边缘特征与图形特征进行目标定位、ICP配准模型点云目标定位及基于机器学习的三种目标定位；最后对基于双目视觉的散乱工件识别定位技术进行总结，分析当前此领域存在的问题和未来的发展趋势。

1 双目视觉识别定位系统

1.1 系统组成

双目视觉识别定位系统由硬件和软件两部分组成，硬件部分主要通过图像采集模块对工业生产链上的目标图像进行拍摄采集，再利用软件部分对采集的图像进行处理和分析，去除图像中的无关信息，提取相关信息，并根据相应信息对散乱工件进行识别定位。双目视觉系统的主要组成如图1。

图1 双目视觉系统组成

1.1.1 硬件系统选型及作用

图像采集装置主要包括上位机、图像采集卡、工业CCD相机、工业镜头及光源等。工业CCD相机主要通过成像传感器将产生的光学图像转换成模拟信号，上位机负责对其进行相应处理，相机的成像质量决定了上位机进行图像处理的效果能否达到预期，因此相机的选型是之后工作的重要基础。图像采集卡的作用是将采集到的图像数据传送到上位机，上位机对其进行采样，并转化为数字信号。工业镜头在选型时应考虑采集距离、焦距等影响，其中焦距作为镜头最重要的参数之一，在选型过程中需着重计算。光源是视觉系统进行图像采集时的重要辅助装置，主要有环形光源、条形光源等多种类型。选择光源时应充分考虑光源的均匀性、对比度、照射角度等因素[5]，这些因素将影响采集图像的质量。

1.1.2 双目视觉系统成像原理

双目视觉模型是以人眼视觉模型为基础，通过水平放置相距一定距离的两台相机分别获取同一目标工件图像，基于视差原理计算两幅图像对应点之间的位置偏差，以还原目标工件原始三维位置的深度信息。双目视觉系统成像原理如图2。

图2 双目视觉系统原理示意图

系统由左右(L,R)两个相机组成，OL、OR分别为其坐标原点，二者之间距离称为基距。CL、CR为左右相机的图像坐标系，焦距表示为fL与fR，若两相机型号相同，即焦距相等。当目标工件在双目视觉系统中成像时，目标工件中的任一点A(X,Y,Z)，在左右相机的图像坐标分别为aL(uL,vL)和aR(uR,vR)。定义视差值为空间一点的两幅图像位置差，即d=uR-uL。根据式(1)和式(2)，当左右相机处于同一平面时，vL=vR。通过寻找空间上某点在左右相机的图像面上的对应点，根据相机标定获得相机的内、外参数，可以确定点A的三维坐标，为后续识别定位提供条件。

(1)

(2)

1.2 基于双目视觉的散乱工件识别定位方法

目前，基于双目视觉的散乱工件识别定位方法主要通过图像处理得到特征信息，再进行模板匹配，模板匹配的任务是针对某一特定目标物体的形状或轮廓，对目标工件进行识别定位。在三维空间中进行目标识别定位是现阶段三维应用的重点研究方向，并已有大量工作开始研究空间物体的定位。获取目标工件的三维位置信息采用的方法主要有以下三种。

1.2.1 基于边缘特征与图形特征的目标识别定位

基于边缘特征与图形特征的目标识别定位方法主要是利用模板图像的描述符来描述模板，在匹配过程中，会在待匹配图像中搜索与其相似的描述符，通过比较两个描述符的相似程度决定是否匹配。因此，当目标物体发生平移、旋转、尺度变化或倾斜等情况，仍可以有效地识别，具有一定的鲁棒性。郭宏达[6]通过对基于双目视觉系统的堆叠零件识别定位问题进行研究，采用轮廓特征匹配方法进行模板匹配，该算法精确实现了对散乱工件的识别定位，并使消耗时间减少。郝明[7]研究了机器视觉在杂乱工件分拣中的应用，利用豪斯多夫距离算法对模板图像和待匹配图像进行匹配，成功识别杂乱工件的目标位置。曾超[8]研究了基于机器视觉的机器人拾取散乱工件技术，通过区域生长法对图像进行分割，并对工件表面轮廓进行重建，最后对轮廓点云与CAD模型点云进行匹配，获取了工件的最终位姿信息，定位成功率较高。刘晓阳[9]研究了基于激光点云的散乱工件识别定位技术，通过自主研发的摆动式线激光扫描仪获取散乱工件场景点云，并通过点云全局特征和局部特征相似度加权的匹配方法完成对目标工件位姿确定。Song K T等[10]使用RGB-D深度相机基于CAD模型姿势估计解决随机箱体抓取问题，首先生成目标对象点云数据库，再通过投票法识别出不同物体的6-DOF姿态，识别率为92.39%。佐立营[11]提出一种基于Kinect的散乱零件位姿估计方法，采用Kinect传感器完成工件三维场景信息的获取，基于全局阈值和平面特征将目标从背景中分离，分割出目标点云，最后使用RANSAC细匹配确定工件空间位姿。Chen L T等[12]设计了基于双目视觉的机器人识别定位抓取系统，采用MLP分类器的视觉算法实现堆叠工件的识别，再通过可变形模板匹配算法将堆叠工件从背景中分离，最后经过立体匹配、深度计算完成矩形和圆柱形工件的三维位姿提取，具有良好的分类效果和较高的识别定位精度。蒋萌[13]利用改进的模板匹配方法实现目标识别，再进行三维重建，以最小化重投影误差为目标函数，用迭代算法求解目标物体的位姿，最后通过机器人抓取实验进行验证。江涛[14]提出了用于识别定位分散的自塞铆钉的双摄像头方法，先通过多腐蚀和膨胀的图像处理，获得铆钉的轮廓信息，并使用模板图像多次减法的方式进行重建，最终成功定位抓取。张海波[15]在基于双目视觉的工件识别定位与分拣系统研究中，采用提取特征点的匹配算法完成对待抓取工件的识别定位与分拣，实现了螺母零件的分拣工作，且在被遮挡的情形下，工件识别的准确性仍有保证，具有一定的鲁棒性。

1.2.2 基于ICP配准模型点云的目标识别定位

迭代最近点(Iterative Closest Point，ICP)算法是一种在获得目标点云与模型点云后，通过迭代计算，得到目标点云与模型点云刚体变换矩阵的算法。常用于点云配准以及初始姿态输入的优化，以获取高精度的位姿信息[16]。假设两幅点云已经完成了粗略配准，匹配点之间的距离在一定阈值内，则可以在场景目标中寻找距离模型库中最近的点，作为匹配的点对[17]。基本步骤如下：

(1)在场景目标中寻找模型库中距离相近的匹配点，并设定好距离的上限，可降低误匹配率；

(2)利用估计模型库和目标场景之间的旋转平移矩阵；

(3)将模型库中的点通过旋转平移到新的位置，若旋转平移矩阵的变化没有达到设定值则继续执行第一步，若迭代次数达到设定值或旋转平移矩阵变化达到设定值则退出迭代。

谭欢[18]通过对基于双目视觉的散乱工件分拣技术进行研究，提出了一种三维点云分割方法，使目标点集与模版点集进行配准，筛选出最优匹配结果，使定位精度得到提高。柯科勇[19]研究了基于双目视觉的散乱堆放工件拾取系统，使用了点云模板匹配方法对工件进行识别定位，通过内部形状描述子(Intrinsic Shape Signatures，ISS)提取关键点，采用方向直方图特征(Signature of Histogram of Orientation，SHOT)描述符对关键点进行描述，得到匹配点，最后用ICP算法完成点云精确估计。崔旭东等[20]对基于3D视觉的散乱工件抓取进行研究，先获取了三维点云数据并分割，通过边缘法分割后的点云和模型点云的主成分分析(Principal Component Analysis，PCA)、姿态变换与ICP匹配，实现了对散乱工件的识别定位，有较好的速度与准确度。王德明等[21]提出了实例分割网络和迭代优化算法对散乱堆叠工件识别定位，在获取的目标点云上，通过改进4点一致集算法(4-Points Congruent Set,4PCS)和ICP算法进行姿势估计，并将细分点云与目标模板匹配，从而得到最终的位姿信息，定位误差1 mm，偏转角1°。王冲[22]通过Kinect V2传感器对散乱工件识别定位进行研究，利用Kinect V2传感器采集目标场景的RGB图像和深度图像，精确获得散乱工件的点云数据，采用非极大值抑制和滞后阈值方法得到最有轮廓，最后通过对经典ICP算法的改进，降低了点云配准的误差，实现了对散乱工件的快速识别定位。田青华[23]通过点云处理完成了对散乱工件识别定位技术研究，先提出改进欧式聚类的工件分割方法，得到点云数据并进行关键点描述，使用ICP算法精确配准，得到散乱工件的空间位姿信息。

1.2.3 基于机器学习的目标识别定位

随着机器学习的发展与成熟，其在工件分拣识别定位领域的研究不断加强。徐慧等[24]提出了一种语义分割和点云注册相融合的方法对散乱工件识别定位，先创建各种工件场景并标记RGB图像数据集，通过完全卷积网络(Fully Convolutional Networks，FCN)进行训练，推断输入图像的语义细分结果，通过整合深度信息估计工件的实时位姿，定位误差小于10 mm，角度偏转2°。周伟峰等[25]提出利用支持向量机(SVM)在组合矩中实现工件识别的应用研究，利用SVM对工件的各种矩特征进行分类，从而对工件识别定位，识别率达到94.1%。彭泽林[26]对堆叠目标的识别与定位抓取系统进行研究，利用改进的Hough变换拟合算法完成对目标物体的边缘拟合，利用SVM对目标物体进行识别分类，通过三维重建得到目标空间位姿。Kneip J等[27]开发了基于立体相机系统，使用GPU快速匹配相机图像产生的点云作物边缘检测算法，使用高斯混合模型的“期望-最大化算法”获得作物和地面的分割，通过线性回归处理产生潜在作物的边缘位置，以得到整体的线性边缘模型。王正波等[28]为解决散乱工件识别定位问题，利用机器视觉技术，通过改进快速稳健特性(Speeded Up Robust Features，SURF)+视觉字袋(Visual Word Bag,BOW)+SVM进行识别定位，使用深度传感器Kinect对散乱工件定位，定位误差小于5 mm。Kim W S等[29]设计了基于机器视觉的高度测量系统，通过立体声匹配，得到深度地图，用于确定感兴趣区域的边缘分割，重叠的图像仍能检测出目标区域。Lin C M等[30]提出基于深度学习的视觉对象识别与随机对象拾取系统，结合CNN和完全连接的条件随机场层实现图像的语义分割功能，通过模型姿势估计方法得到目标3D姿态，可在杂乱无章的环境中稳定准确实现识别分类，三个轴的平均定位误差和旋转误差都小于0.52 cm和3.95°。李荣华等[31]提出基于重要区域目标识别的双目视觉分拣系统，对拍摄的工件照片使用深度学习算法提取目标工件的重要区域，从而计算出目标工件的三维坐标，实验结果表明对工件的识别定位精度高、稳健性强。Periyasamy A S等[32]提出了一种使用语义分割和姿势回归网络方法，在杂乱无章场景下进行姿势估计，通过快速数据采集方法和数据合成，并结合语义分割工作，在杂乱无章环境中分离出单个对象，提取相应的目标姿势。不同方法对散乱工件识别定位的评价与梳理见表1。

表1 不同方法对散乱工件识别定位的评价与梳理

1.3 应用实例

近年来，人工智能迅速发展，已在目标识别、缺陷检测、无人驾驶等方面都取得了较大突破。双目视觉系统在工业生产中得到了广泛应用。

日本Fanuc公司推出了基于iRVision 3DL视觉传感器的机器人拾取系统，该系统采用自主研制的3D视觉传感器对场景信息进行采集与分析，实现了圆柱体散乱工件的定位拾取[33]。埃夫特公司为提升奇瑞汽车的生产效率，节省人力成本，开发了一台搭载3D视觉相机和Vision Pro 3D软件的搬运机器人，该系统通过采集工件的3D信息，实现了对摆放位置不确定、存在小于20°倾斜角的缸盖进行自动抓取[34]。丹麦Scape Technologies公司的SCAPE Bin-Picker Cell系统采用结构光视觉完成三维场景信息的采集，并将视觉系统与机器人集成于一体，实现了随机放置的管状工件位姿测量[35]。上海沸谷自动化科技有限公司研发了一套FG-IR2003D机器视觉识别定位系统，采用激光与结构光相结合的方法来获取散乱工件的点云数据，其定位精度可达到0.2 mm。瑞士ABB公司研发的机器人智能3D系统True View[36]，能对工件的样式与位置的变化进行检测，同时可以精确定位料架上的工件，实现了全过程的自动化生产。德国ISRA Vision公司利用两台相机及激光装置组成3D视觉系统，用以分拣零件，可在2 s内获取零件的3D信息，后通过对视觉系统不断更新，可以对不同类型的零件进行识别抓取。2016年，河南省埃尔森智能科技公司推出一套针对散乱堆放工件定位的双目机器人系统，该系统定位精度较高[37]。2017年，武汉库柏特公司展示了其自主研发的3D视觉系统对LED外壳进行无序分拣，该视觉系统可以对物体表面轮廓进行扫描，形成点云数据，再分析处理，计算出位置信息，再转换成机器人抓取的位姿信息，传递给机器人实现自动抓取[38]。Rouhollahi Ali等[39]利用物体与传送带背景颜色的不同，将图像颜色空间由RGB转为HSV，提取物体轮廓，将位置反馈给机器人，实现机器人定位抓取。北京大恒图像对散乱工件问题进行了研究，研发了一套机器人3D视觉智能装配系统，通过3D智能传感器对零件进行扫描成像，得到其点云数据，再采用3D表面匹配得到模板零件和当前零件的仿射矩阵，完成零件识别和位姿获取，控制机械臂抓取零件并摆放。

2 存在的问题

双目视觉识别定位技术涉及众多学科和理论，完整的双目视觉系统包括图像采集、相机标定、立体校正、立体匹配和深度恢复等环节。每一个环节都直接或间接影响视觉系统的整体性能。基于双目视觉散乱工件识别定位技术的理论研究和工业应用已有一定基础，但仍存在一些问题和难点，有较大提升空间。

(1)在图像采集阶段，受光照条件、现场环境等外界因素的影响，采集的散乱工件现场图的表观特征发生变化，造成识别定位的精度下降；在三维重建时，对于光亮表面的工件三维重建的效果不如预期，容易产生更多的噪声。噪声的干扰以及散乱工件的遮挡或倾斜对图像的质量存在一定影响，识别定位性能较差。如何提高图像采集的质量，是需要解决的问题之一。

(2)由于工件在散乱堆叠状态是随机的样式，因此在某次工件抓取过程中，导致散乱工件随机滚动，这可能会使所有分割、三维配准失效及接下来所有结果不可执行的情况发生。为解决该现象，需在硬件设计与软件设计层面添加一些错误恢复机制，具备更好的鲁棒性。多采用静态采集图像的方式，图像处理操作相对较容易，在对运动中的工件进行识别定位抓取时，还需进一步提高算法精确度。

(3)目前在散乱工件识别定位方向，圆柱体或正方体等规则形状的工件较多，识别效果较好，对轮廓较为复杂的工件算法还需完善。如何选择合适的算法，提高双目视觉识别定位系统的可靠性和实时性，使双目视觉识别定位技术进一步向智能化和精准化方向发展是未来需着重解决的问题。

3 研究展望

目前，双目视觉技术已经在医疗、汽车、航海、工业生产等领域有了突破性进展，但仍有较大提升空间。由于工件的形式多种多样且数量越来越多，工件散乱堆叠放置在传送链上的情况愈发严重。采用全自动化的方式将散乱工件从传送链上取出并有序摆放就成了现阶段自动化生产中的重要一环。截至目前，在实际应用中还没有达到现代化工业生产所具备的高精化和智能化的要求，利用双目视觉技术对工业生产链上的散乱工件进行识别定位，并结合机械臂对散乱工件进行精确分类抓取，是现代化工业生产的发展趋势。

深度学习在工业生产领域飞速发展，但在散乱工件的识别定位方向，还没有最大发挥深度学习的作用，相关研究仍停留在借鉴主流神经网络框架，对其进行调整改进，然后完成对散乱工件的识别与分类阶段。未来，更加适合该领域的深度学习框架，提高散乱工件识别定位系统的有效性和准确性，是实现工业生产链全自动化的趋势。