基于机器视觉的多规格紧固件自动组套系统研究

中国空间技术研究院总装与环境工程部 潘尚洁 赵 璐 傅 浩

紧固件是一种提供结构连接的机械产品，也称为标准件。在航天器总装领域，紧固件通常指螺钉、弹垫、平垫等几大类。紧固件是航天器总装领域应用最广泛的零件之一，占到航天器全部物料数量的50%以上。总装过程中，紧固件的使用模式分为单类使用和多类组套使用两种模式，其中组套使用是指将弹垫、平垫分别套装到螺钉上作为一个组套进行使用。

由于航天器总装过程中使用的紧固件具有尺寸小、规格多等特点，传统的紧固件管理涉及到的各个环节，包括规格核实、计数、组套等均由库房管理人员手工完成。然而，传统的工作模式存在以下不足：

（1）工作效率低。紧固件尺寸小、规格多、易重叠、难抓取，操作效率低。同时，紧固件出库频繁，重复作业进一步影响操作效率；

（2）规格、数量控制存在风险。紧固件单次出库数量大、规格多。库房管理人员需要同步核实数量和规格，存在管理风险；

（3）对总装实施主线支持不足。卫星总装过程中，紧固件一般需要组套使用，即将螺钉、弹垫、平垫作为一组操作对象使用。组套操作繁琐耗时，库房管理人员多将此项工作转移至型号总装人员，从而占用了型号总装主线时间。

针对传统紧固件管理中存在的不足，本文提出并搭建紧固件自动组套系统以取代手工作业完成紧固件规格核实、计数、组套等操作。

紧固件自动组套系统主要由检测定位子系统、抓取执行子系统及中心控制子系统3部分组成。其中，中心控制子系统基于PLC控制器进行设计，完成各个子系统的指令传递及协作控制。检测定位子系统采用机器视觉技术，利用CCD设备对待抓取紧固件信息进行实时采集，并利用图像预处理及模板匹配技术实现标准件的规格核实及定位。抓取执行子系统以六自由度机械臂为基础，针对紧固件类型设计了可伸缩电动夹持机构，可以同时满足螺钉、弹垫、平垫等紧固件的抓取。

1 紧固件检测及定位

1.1 检测及定位流程

检测及定位技术是紧固件自动组套系统的核心，决定了紧固件抓取的准确性。待抓取紧固件按类型被分别放置在同一个料盒的不同分区。自动组套系统在每一次抓取操作前利用CCD设备对当前待抓取分区的紧固件位置信息进行采集。

CCD设备采集到的原始图像为灰度图像。在获取紧固件图像信息后，对图像进行滤波、二值化、填充等处理，并最终获取可抓取紧固件的位置信息。通过图像处理最终可获得两方面信息：第一，识别放置在料盒中的紧固件的轮廓外形，进而获得其准确的位置信息；第二，识别可抓取的紧固件，通过分析图像的轮廓外形过滤掉重叠的紧固件，进而确定本次操作抓取对象。检测及定位算法处理流程如图1所示。

图1 检测及定位流程Fig.1 Process of detection and location

1.2 图像滤波及二值化

采集到的原始灰度图像中会存在一定的噪声。噪声主要源于两个方面：一方面，在图像采集过程中，受到光照不均匀、采集设备长期工作后温度过高等因素影响产生的噪声；另一方面，在图像传输过程中，受到外部电磁干扰等影响产生的噪声。布满噪声的图像清晰度降低，甚至会导致失真，难以辨认[1]。因此，去除噪声是图像处理的首要任务。

中值滤波法是一种基于排序统计理论的图像过滤算法，能够在衰减随机噪声的同时不使边界模糊，较好地保护原始信号[2]。中值滤波的基本原理：一个含有奇数像素的滑动窗口，该窗口一般包含奇数个点，将窗口中各点灰度值的中值来替代窗口中心点的灰度值。设选取窗口的长度为m（m为奇数）， fi为窗口的中间像素点的值，滤波输出结果为yi：

在二维方向开展中值滤波，其输出yi为：

yi=Med{ fij} 。

系统采用方形滤波窗口开展二维中值滤波，中值滤波处理后的图像，大量的噪声被去除。为了进一步简化处理的数据量，需要对灰度图像进行二值化处理。利用直方图确定图像的全局阈值T，将图像上的每一个像素点f(x,y)与阈值进行比较，进而获得二值化后的像素值g(x,y)：

二值化处理后图像的数据量大幅简化，目标特征更加突出，紧固件边缘轮廓清晰。

1.3 扫描线填充处理

紧固件的外部轮廓信息是用于定位紧固件的基本特征，也是用于判定紧固件重叠状态的基础。为了突出待抓取紧固件的轮廓特征，降低图像计算量，系统采用填充算法对图像进行进一步的简化处理。

扫描线填充算法是多边形区域填充的一种常用方法，常用于处理多边形、圆、椭圆等区域填充[3]。系统采用扫描线填充算法对图像进行处理，基本步骤如下：

step1：遍历复杂连通区域的外轮廓线，求得各条扫描线与区域边界的交点；

step2：将每条扫描线的交点两两配为交点对，交点对之间的区域为扫描线与连通区域的相交区间；

step3：提取配对交点所确定的相交区间进行填充。

通过扫描线填充算法，系统可以准确获得紧固件的外部轮廓信息，进而为后继的位置提取和重叠干扰消除奠定了基础。

1.4 干扰消除

在单次抓取操作过程中，需要对重叠图像进行过滤，进而筛选出处于平铺状态的紧固件信息，并传递给执行机构进行抓取操作。基于特征的模板匹配是进行图像检索、图像识别的常用方法[4]。

基于特征的模板原理是:在系统中预置模板信息，构建模板大小的滑动窗口T，然后移动T实现对待筛选窗口S的完整遍历。遍历过程中，每移动一个像素，取出滑动窗口所覆盖的子图Si,j，将其与滑动窗口中的模板数据进行匹配，计算其与模板特征间的相关系数R(i, j)。

通过调整R(i, j)可以实现对图像T中干扰目标的消除。当设定R(i, j)=1时，则要求当模板与子图完全一致，任一重叠图像均被定义为干扰目标并消除。经过多组试验，系统最终定义R(i, j)=0.7。

1.5 目标定位

自动组套系统采用固定相机模式，CCD相机独立安装在料盒上方，该模式可以有效消除机器人的运动学误差[5]，进而准确获取紧固件在料盒所在二维平面内的位置信息。在摄像机坐标系下获取的位置信息矩阵Tc包括二维平面坐标和倾斜角信息：

其中，弹垫、平垫对应的θc=0°。摄像机坐标系下的位置信息经过平移和旋转变换后，分别转化为机械臂坐标系下的位置信息矩阵To和末端执行器坐标系下的位置信息矩阵Te。

2 紧固件抓取及存放

CCD 检测与定位算法解决了自动组套系统“眼”的问题，而六自由度机械臂与电动夹持机构相互配合则实现了自动组套系统“手”的功能。

电动夹持机构需同时满足螺钉、平垫和弹垫等多种规格紧固件的抓取需求，为此，系统设计了可伸缩的二指电动夹爪。夹爪的伸缩装置可以有效避免夹爪与紧固件存放料盒之间发生刚性碰撞。同时，夹爪前端设计了仿形槽，以适应弹垫、平垫的抓取。电动夹持机构在驱动电机的作用下实现收合。抓取时，抓取力矩不得超过2.5N·m，避免对紧固件造成损伤。紧固件抓取示例见图2。

图2 紧固件抓取示例Fig.2 Sample of fastener clamping

紧固件抓取后，被依次放置在不同规格的标准存放治具上。组套时，螺钉被垂直放置在治具的存放槽内，弹垫、平垫则被套装在对应的螺杆上。

3 系统搭建与实现

紧固件自动组套系统基于PLC控制器进行设计，除检测定位子系统、抓取执行子系统及中心控制子系统3大主系统外，还安装了安全光栅防护装置、触摸装置、声光报警装置等。自动组套系统采用电源作为唯一动力源。系统安装尺寸为：1150mm×1900 mm×850 mm（长×宽×高）。自动组套系统整体外观如图3所示。

自动组套系统采用触摸装置进行页面控制。系统主要分为两个功能模块：基础管理模块及紧固件管理模块。其中，基础配置模块完成系统运行相关参数设置。而紧固件管理模块又可细分为计数模块、单件出库模块和配套出库模块3个部分，可以同时满足单类紧固件出库和多类紧固件组套出库的需求。

图3 自动组套系统整体外观Fig.3 Appearance of automatic matching system

4 结论

本文结合航天器总装过程中多规格小型紧固件管理需求，设计并搭建了自动组套系统。系统以机器视觉为引导，通过机械臂与电动夹持机构相互配合实现螺钉、弹垫、平垫等紧固件的抓取和组套。

目前，系统可以满足3～6mm范围内的30余种规格的紧固件的单类出库和多类组套出库需求，单类物料的平均抓取时间小于2.5s，三类物料（螺钉、弹垫和平垫）作为一组的平均组套时间小于9s，抓取及组套一次操作成功率均超过99%，有效降低了总装库房管理人员在紧固件管理中的工作强度，提升了紧固件管理的准确性，并对提高总装主线操作效率起到了有效的促进作用。

[1] 张小义,陈东,韩晓广.基于线性和非线性混合滤波器的噪声抑制技术.计算机工程与设计, 2004, 25(9):1460-1462.

[2] 肖昕,李岩.中值滤波编码算法的设计原理与实现.计算机辅助设计与图形学学报, 2004, 16(9):1256-1259.

[3] 孙家广,杨长贵.计算机图形学.北京:清华大学出版社.l995.

[4] SHINICHIRO O, MASAKO O. Fast template matching with polynomials. IEEE Transactions on Image Processing, 2007,16(8):2139-2149.

[5] 张璐.基于计算机视觉的机械臂控制技术研究[D].西安:西安理工大学, 2008.