面向标准件装配质量的PI-SURF检测区域划分技术

郭雪梅，刘桂雄，黄坚，林镇秋

（1.广东省智能制造研究所，广东广州510070；2.华南理工大学机械与汽车工程学院，广东广州510640；3.广州市华颉电子科技有限公司，广东广州510663）

面向标准件装配质量的PI-SURF检测区域划分技术

郭雪梅1，刘桂雄2，黄坚2，林镇秋3

（1.广东省智能制造研究所，广东广州510070；2.华南理工大学机械与汽车工程学院，广东广州510640；3.广州市华颉电子科技有限公司，广东广州510663）

标准件装配具有部位多、类型复杂、结构各异等特点，可基于产品特性指导机器视觉进行产品装配质量检测。该文基于部分装配产品的位置不变性（PI），提出面向标准件装配质量的PI-SURF检测区域划分技术。首先，分析产品装配中各标准件间位置关系基本稳定的特点，以平面尺寸链描述两个标准件的位置关系，提出基于PI的装配检测区域划分方法；其次，提出基于PI-SURF的标准件装配质量检测区域划分技术，通过提取基准部位的SURF区域特征与特征主方向，使得检测区域具有对产品整体平移、旋转的抗干扰能力；最后，构建标准件装配质量检测装置，以联想ThinkCentre G3机箱进行试验。结果表明：与全局检测相比，使用PI-SURF检测区域划分技术后，检测时间缩短83.4%，实现零漏检，提高装配质量检测装置结果可靠性。

标准件装配；质量检测；检测区域划分；位置不变性

0 引言

标准件装配具有部位多、类型复杂、结构各异等特点，目前多采用人工目测法检测装配质量。但在高强度、重复性工作环境下人员容易疲惫导致决策失误，难以满足大批量工业生产检测的需要[1]。引入机器视觉实现机器代人是制造产业升级的必然趋势，装配产品往往具有显著的宏观特性。以专家经验结合机器视觉技术形成图像检测模板，是提高机器视觉检测准确率的重要手段[2]。

图像检测模板是机器视觉检测要求的载体，应当存储评判标准、位置等信息，据此来实现装配中标准件的准确识别，从而判断装配质量[3]。目前主要有数据变换自动构建法、匹配自动构建法。数据变换自动构建法通过读取标准数据文件中标准件的形状、大小、位置和型号等信息，生成相应检测模板[4]。如Hirvonen等[5]从有限元模型获得的等效电路来制作机械部件库，为进行复杂几何任务实验及构建对象模型库提供了可能性；文献[6]通过CAD参数直接导入生成模板库方法，系统读取SMT文件中参数，转换后生成标准的PCB装配模板库；Xie等[7]基于组装组件的规则，将SolidWorks模型转换而虚拟组件数据库用于二次开发。匹配自动构建法则通过形成标准件图像样本库对合格产品进行匹配，从而获得标准件类别和相对位置[8]。文献[9]选取某类零件的一张图像作为基准图像进行拟合区域的人工选取，后批量零件的操作则根据图像配准技术，自动得到其余每张零件图像与基准图像的仿射变换参数，进行拟合区域自动转换，从而检测相应区域内的零件位置。中国科学院结合零件特点，重点研究零件的形状特征和几何特征提取方法，定位准确度能够满足工业要求[10]。匹配自动构建法实现简单，但存在误匹配、漏匹配情况，一般与专家定义构建法结合使用[11]。

本文分析面向装配检测对象具有位置不变性，提出基于位置不变性的装配检测区域划分方法，并基于SURF区域特征与特征方向实现检测区域配准，实现装配标准件的高准确识别。

1 基于位置不变性的装配检测区域划分方法

产品由对应装配图明确各标准件装配要求，其中大部分标准件是固定零件，各标准件间位置关系基本稳定，可使用直线、角度等平面尺寸链描述，仪器设备机箱装配图如图1所示。由于一个合格产品的各标准件，其上的各装配部位具有位置不变性（position invariance，PI），那么在标准件装配质量检测过程中，若充分考虑各标准件的位置不变性筛选出装配检测部位，则可降低图像检测计算量、提高检测准确率。

图1 仪器设备机箱装配图（单位：mm）

基于位置不变性（PI）的装配检测区域划分方法总体流程如下：

1）选定基准面或基准位置。基准面或基准位置必须是非装配要求部位或漏装配/误装配可能性最小部位。在设计过程中，会选择较大加工面、零件结合面、零件对称平面与重要平面作为尺寸基准，从而形成便于装配的装配基准。在机箱标准件装配部位确定过程中，这些尺寸基准在图像中显示为线特征，不利于自动识别。因此，为保证划分装配检测区域准确，选定基准面或基准位置必须具有显著图像特征。

2）选择需要检测的装配部位，并录入该部位装配标准件的具体型号与规格。这些内容也是整个机箱标准件装配质量要求。

3）计算装配部位与基准间相对位置与方向。装配部位描述与装配检测范围如图2所示，以装配部位Ai的形心Oi到基准位置O来确定装配部位的位置(蓝色箭头)，以距离di、角度αi进行描述。

4）根据该标准件零件尺寸、安装尺寸、装配尺寸等相关信息，估计其检测范围。零件尺寸为装配部位Ai所需装配机箱标准件安装尺寸（黑色方框），在此基础上，考虑装配部位与基准间定位尺寸误差要求、标准件与基础装配尺寸误差，快速估计检测范围（蓝色虚线框）。

5）录入全部装配部位，记录其需装配标准件的型号规格，形成其与基准位置的距离、角度，装配检测区域，这样就完成基于位置不变性（PI）装配检测区域划分。

2 基于PI-SURF的机箱标准件装配质量检测区域划分技术

SURF特征描述感兴趣点周围亮度内容的分布，相比较其他区域特征提取方法，其特征计算、模式识别速度较快、稳定性较强。SURF特征提取方法的总体流程包括：使用箱型滤波器逼近Hessian滤波器，构建图像金字塔尺度空间，基于非极大值抑制初步确定特征点，使用Haar小波响应寻找主方向，沿主方向及其垂直方向共选取16个5×5子区域，使用4个描述子描述图像的SURF特征。

图2 装配部位与检测范围

采用SURF区域特征结合匹配的方式寻找基准位置，通过SURF特征确定坐标轴方向（图2中点O与坐标轴）；这可对装配检测范围在机箱标准件装配图像上的平移、旋转进行校正，使机箱标准件装配质量检测装置对平移、旋转具有一定的抗干扰能力，降低成像时机箱产品对运动控制装置的定位准确度要求。

在选定非装配要求或漏装配/误装配可能性最小部位，具有显著图像特征部位作为基准位置后，提取其SURF区域特征，并以基准位置的SURF区域特征主方向作为坐标轴方向。则基于PI-SURF的机箱标准件装配质量检测区域划分技术流程如图3所示。

1）生成机箱标准件装配质量检测区域。在原始图像I0上规定基准位置并提取SURF区域特征，以区域形心为基准位置、SURF区域特征主方向作为坐标轴方向，应用基于PI的装配检测区域划分方法，获得所有装配部位的应装配标准件型号、规格，计算到基准位置的相对距离、方向，估计检测范围。

图3 基于PI-SURF的机箱标准件装配质量检测区域划分技术

则经过这些步骤，生成的机箱标准件装配质量检测区域可以以如下数据描述：基准位置、基准SURF区域特征；全部装配部位，以及每个装配部位中应装配标准件型号、规格，到基准相对距离与方向，检测范围。

2）复现机箱标准件装配质量检测区域。采集待测机箱图像I′，在待测图像I′上基于基准部位SURF区域特征匹配到基准部位，以基准部位的形心作为待测图像坐标系的原点O′、SURF区域特征主方向作为坐标轴方向，再读取记录的机箱标准件装配质量检测区域数据，在图像I′上复现。

本方法目的是解决基于位置不变性（PI）的装配检测区域划分方法应用到机器视觉中可能出现的运动控制装置准确度、振动扰动等导致的产品位置重复性问题。

以机箱风扇位固定钣金件为基准，提取SURF区域特征之后，实现铆钉装配部位检测区域划分如图4所示。在图4（a）的原始图像上生成机箱标准件装配质量检测区域，并使用软件旋转原始图像形成新图像。在图4（b）待检测图像上，使用SURF区域特征匹配得到基准区域，计算其形心与主方向，以形心为基准位置，以主方向为坐标轴，将检测区域信息在检测图像上复现。复现机箱标准件装配质量检测区域准确地覆盖装配部位，在检测过程中只需考虑检测区域内部位，能够降低图像检测计算量，提高检测准确率。

图4 机箱标准件装配质量检测区域划分

图5 机箱标准件装配质量检测装置

3 试验与效果分析

机箱标准件装配质量检测装置如图5所示。图5（a）为机箱标准件装配质量检测装置三维模型，检测平台用箱体遮盖，防止外部光照、人为因素干扰视觉成像，保证拍摄图像质量；外部设施主要由传动装置组成，传动装置将检测样品机箱送至检测区域。图5（b）为机箱标准件装配质量检测装置实物图，装置采用深圳市度申科技有限公司睛驰U3S230M-H黑白工业相机（分辨率1920×1200、感光元件尺寸1/1.2″、像素大小5.86μm），广东奥普特科技股份有限公司的200万级OPT-C7528-2M定焦镜头（径向畸变〈0.02%），视创科技有限公司的型号TXX-D708X21条形光源。图5（c）为机箱标准件装配质量检测装置上位机软件，选用ThinkCentre G3机箱进行试验。对比全局检测、划分检测区域2种方法，结果见表1。由表可知，使用PI-SURF检测区域划分技术后，检测时间缩短83.4%，由50.5s降低至8.4s；实现零漏检，有效提高装配质量检测装置结果的可靠性。

4 结束语

1）提出基于位置不变性（PI）的装配检测区域划分方法，充分考虑各产品装配中各标准件间位置关系基本稳定的特点，两个标准件之间位置关系可使用直线、角度等平面尺寸链描述，有效降低图像检测计算量。

2）提出基于PI-SURF的机箱标准件装配质量检测区域划分技术，通过提取基准部位的SURF区域特征与特征主方向，使检测区域具有对产品整体平移、旋转的抗干扰能力，提高定位准确度，降低漏检可能性。

3）构建机箱标准件装配质量检测装置，选用ThinkCentre G3机箱进行试验，与全局检测相比，使用PI-SURF检测区域划分技术后，检测时间缩短83.4%，实现零漏检，提高装配质量检测装置结果可靠性。

[1]RADKOWSKI R，HERREMA J，OLIVER J.Augmented reality-based manual assembly support with visual featuresfordifferent degrees of difficulty[J].International Journal of Human-Computer Interaction，2015，31（5）：337-349.

[2]RAJSIC J，WILSON D E，PRATT J.The price of information：increased inspection costs reduce the confirmationbiasinvisualsearch[J/OL].Quarterly Journal of Experimental Psychology，2016：1-20[2017-03-20].http：//dx.doi.org/10.1080/17470218.2916.1278249.

[3]RICHTER I.Assembly inspection system and method[J].Journal of Vascular Surgery，2015，52（6）：1727.

[4]郭静，韩跃平，贾志前，等.产品表面检测的变步长采样机制研究[J].中国测试，2017，43（2）：20-24.

[5]HIRVONEN J，KALLIO P.Automatic image-based detection and inspection of paper fibres for grasping[J].Computer Vision Iet，2015，9（4）：588-594.

[6]LIU H W，CHEN S H，PERNG D B.Defect inspection of patterned thin-film ceramic light-emitting diode substrate using a fast randomized principal component analysis[J].IEEE Transactions on Semiconductor Manufacturing，2016，29（3）：248-256.

[7]XIELF，LINL J，YIN M，et al.A novel surface defect inspection algorithm for magnetic tile[J].Applied Surface Science，2016（375）：118-126.

[8]FRANKE F，QUIROGA R Q，HIERLEMANN A，et al.Bayes optimal template matching for spike sorting-combining fisher discriminant analysis with optimal filtering[J].JournalofComputationalNeuroscience，2015，38（3）：439-459.

[9]谈高超.基于机器视觉的批量零件自动检测系统的研制与工程应用[D].上海：东华大学，2014.

[10]司小婷.基于视觉的零件特征识别与分类方法研究与实现[D].沈阳：中国科学院研究生院（沈阳计算技术研究所），2016.

[11]宋小春，王凯，熊芝，等.伺服定位技术汽车大梁视觉测量系统研究[J].中国测试，2015，41（1）：93-96.

（编辑：商丹丹）

PI-SURF detection area partitioning technique for standard component assembly quality

GUO Xuemei1，LIU Guixiong2，HUANG Jian2，LIN Zhenqiu3
（1.Guangdong Institute of Intelligent Manufacturing，Guangzhou 510070，China；2.School of Mechanical and Automotive Engineering，South China University of Technology，Guangzhou 510640，China；3.Guangzhou Huajie Electronic Technology Co.，Ltd.，Guangzhou 510663，China）

Standard component assembly has lots of features，such as complex type，multiassembly parts，different structures and so on，which is applicable to guide the machine vision for product assembly quality inspection based on product characteristics.In this article，PI-SURF detection area partitioning technique for standard component assembly quality is proposed based on the position invariance(PI)of part of assembled products.Firstly，the basic stability characteristic of position relationship between the standard components in product assembly is analyzed，and the position relation of the two standard components is described via the plane dimension chain，so that the PI-based assembly detection area partitioning method is proposed.Secondly，the standard component assembly quality detection area partitioning technique based on PI-SURF is proposed，and then through extracting the SURF region characteristic and the characteristic main direction of the reference part，the detection area has the anti-interference ability to overall translation and rotation.Finally，standard component assembly quality inspection device is built，and it is testedbyusingThinkCentreG3chassis.Theresultsshowthatcomparedwiththeglobal detection，the detectiontimeisshortenedby83.4%afterusingPI-SURF detectionarea partitioning technique，which also achieves zero leakage detection and improves the reliability of results of assembly quality inspection device.

standard component assembly；quality inspection；detection area partitioning；position invariance

A

1674-5124（2017）08-0101-05

2017-04-11；

2017-05-08

广州市科技计划项目（2017010160641，201509010008）

郭雪梅（1975-），女，辽宁沈阳市人，工程师，硕士，主要从事智能制造技术与装置研发。

刘桂雄（1968-），男，广东揭阳市人，教授，博导，主要从事先进传感器与仪器研究。

10.11857/j.issn.1674-5124.2017.08.021