机器视觉在产品表面缺陷检测中的应用研究

西安思源学院工学院 张丽芝 吴 敏

长安大学 刘帜琦 巨永锋

随着科技的不断推陈更新，工业革命的不断发展，越来越多的制造业产品的质量也在不断的提高。虽然工业生产自动化程度越来越多，企业生产加工工艺精度也在不断的提升，但是生产厂商所生产的产品表面缺陷无法避免。因此，虽然产品生产效率在提升，但产品所存在的缺陷依然使制造商们头疼。产品缺陷的检测质量对于生产厂商而言，至关重要。很多生产厂商在质量检测方面投入了大量的人才、物力、财力来研究如何提升产品的表面缺陷检测。人工检测方法不仅使生产效率越来越低，而且还会发生检测不到的现象，浪费了大量人力物力。人工检测的主要缺点是不能保证产品的质量。软件技术近几年发展迅猛，成本也降低到了小型生产厂商可以承受的水平。其中，使用机器视觉检测系统可以实现因人力无法达到的精度及准度。因此，各种生产厂商都可以基于机器视觉的表面缺陷检测方法来达到检测的要求。这种方法可以克服因人工检测方法对产品的低抽检率、低准确性度、差实时性、低效率等弊端。基于机器视觉检测方法在现代自动化工业中得到了更广阔的研究和运用。

基于机器视觉表面缺陷检测方法的优势如下：

（1）基于机器视觉表面缺陷检测可以不断重复检测，再加上所使用的算法使其更加可靠，这种方法可以替代人工因长时间重复同一工作而产生的视觉疲劳进而使得所检测的产品质量有所下降。

（2）机器视觉无需选择环境，即使检测环境再恶劣，用基于机器视觉的方法进行检测可免于因环境恶劣进而使人工存在安全隐患而不能检测的情况。

（3）机器视觉检测产品缺陷时可对产品进行记录、统计及分析数据，方便及时发现产品缺陷并加以控制和管理。

（4）非接触式无损检测。可以预测，利用机器视觉检测，在今后生产线及产品加工线上成为主流。

1 机器视觉技术

1.1 机器视觉简介

机器视觉顾名思义让机器具有人眼的判断能力来检测判断产品是不是有缺陷。机器视觉检测产品表面的依据是通过计算机将所生产的产品的图像保存在机器视觉系统中，机器视觉系统通过比对尺寸、取值、计算等过程来判断该产品的表面是否具有缺陷。通俗来讲，机器视觉就是用机器来代替人眼做测量和判断。机器视觉系统就是将采集到的目标先转换成图像信号，再通过图像处理系统处理成形态信息，依据图像的像素、颜色、尺寸、亮度等信息将其转换成计算机所能识别的数字化信号；图像处理系统再将所收集到的信号通过各种算法来提取目标特征，依据特征值判断所收集到的信号结果来控制生产线上的设备动作情况。

1.2 机器视觉缺陷检测流程图

图1 缺陷检测流程图

如图1所示。机器视觉检测的一般模式是首先通过光学成像和图像采集装置获得产品的数字化图像，再用计算机进行图像处理得到相关检测信息，形成对被测产品的判断决策，最后将该决策信息发送到分拣装置，完成被测产品的分拣。通过各种算法来检测所摄取的目标是不是有缺陷，如果有缺陷则标记出来，再将所生产的其他的目标以此来对比。人眼因长时间重复同一工作所产生的疲劳致使同一生产线上的缺陷被忽略，但是机器视觉检测系统因其依据人眼来摄取对像不会产生因人自身、环境恶劣、产品本身所造成的缺陷。

机器视觉检测系统主要包括图像获取系统、图像处理系统、图像分析系统、数据管理及人机接口等系统组成。图像获取系统由CCD摄像机、光学镜头、光源及其夹持装置等组成，其功能是完成产品表面图像的采集；图像处理系统的功能主要涉及图像去噪、图像增强与复原、缺陷的检测和目标分割；图像分析系统的功能主要涉及特征提取、特征选择和图像识别。

1.3 机器视觉检测应用趋势

机器视觉系统在未来社会将要占据重要的地位，尤其是在工业、农业、军事、医药、交通上的使用会越来越频繁，基于表面质量缺陷检测也会在加工及生产线上得到越来越高的重视和越来越广泛的应用。

2 产品表面缺陷检测的实现

机器视觉检测涉及到针对被检测产品通过采集数据、分析数据、处理数据对所检测对象的图像进行采集及预处理。采用图像分割算法、图像特征提取及其选择算法、图像识别等方法对产品表面进行分析、统计。图像处理和分析算法是重要内容，算法的准确性、实时性是研究和应用的主要方向。

2.1 特征选择与提取

特征模型主要是采用SIFT特征，本特征主要描述的是产品中有特征的局部特征的算法。这些局部特征主要包括两类，一类是尺寸缺陷即实际生产的镜头尺寸大小与生产商规定尺寸存在偏差，另一类是镜头表面缺陷，根据实际生产状况，本文将镜头表面的缺陷划分为划痕、毛线、胶水、灰尘颗粒这四种缺陷。

基于机器视觉表面缺陷检测主要包括缺陷特征模型构建、缺陷的检测及其分类三个任务。首先需对样本数据进行训练提取其特征模型，然后判断图像中的各个区域是否含有缺陷，如若存在划痕、胶水、灰尘颗粒、毛线等缺陷则该区域为缺陷的位置。以下是SIFT特征提取的主要步骤：（1）尺度空间极值点检测；（2）特征点定位；（3）方向确定；（4）构造描述子。

综上，提取SIFT特征需在不同的尺度空间中寻找特征点，且高维特征向量处理起来繁琐复杂，因此该特征并不适合用于大批图像处理。

2.2 构建图像分类器

图像分类器是一种机器学习模型，经过训练后，能够用来识别图像。在您提供一张图像后，图像分类器会根据这个图像回复一个标签。首先，准备要用来训练和评估分类器的数据。从每个标签下的图像中选择80%的图像来创建一个训练数据集，使用其余图像创建测试数据集，确保任一指定图像均只出现在其中一个集合中。具体的标签字符串并不重要，只要对您有意义即可。例如：您可以使用标签Cheetah来表示所有猎豹图像。您不必以任何特定方式对图像文件命名或为它们添加元数据。您只需将它们放入具有正确标签的文件夹即可。

在训练集中，每个标签至少应有10张图像，当然越多越好。此外，应让每个标签下的图像数量保持平衡。例如：不要Cheetah下包含10张图像，而Elephant下包含1000张图像。

图像可以使用任意格式，只要统一类型标识符符合public.image即可，具体包括JPEG和PNG等常见格式。图像无需尺寸一致，也不必使用任何特定的尺寸，但最好使用至少299x299PPI的图像。如果可以，训练所用图像应当与待预测图像使用相似的方法收集。

提供多样化图像。例如：使用从不同角度和在不同光线条件下拍摄的动物图像。如果针对给定标签使用几乎相同的图像来训练分类器，该分类器的表现往往不如使用更为多样化的图像集训练出的分类器。接着，整理磁盘上的数据，确保与其中一个MLImageClassifier.ataSource (英文) 类型兼容。一种方法是创建两个分别名为Training Data和Testing Data的文件夹。在每个文件夹中，以标签作为名称创建子文件夹。然后，将每个数据集的图像整理到相应的子文件夹中。

2.3 表面缺陷目标识别算法

统计模式识别和结构模式识别是两种最基本的模式识别方法。前者是模式的统计分类算法，这种算法与统计概率的贝叶斯决策系统结合后进行模型识别的技术，这种算法又称为决策型理论识别方法；后者的基本思想是把一个模式描述为较简单的子模式的组合，子模式又可进一步描述为更简单的子模式的组合，最终得到一个树状结构描述，利用模式与子模式分层结构的树状信息完成模式识别任务。模式识别主要用于遥感图像识别、文字识别等。

目前，基于机器视觉的表面缺陷识别主要涉及统计模式识别。统计模式识别按其实现方式又分为有监督学习的模式识别和无监督学习的模式识别。统计模式识别是在已知类别标签的特征集基础上构建分类器；后者也称为聚类，此方法不需要已知类别的训练集，分类器直接根据特征向量之间的相似性，将待分类的特征向量集合分为若干个子集。

结语：基于机器视觉表面缺陷检测系统，如何构建特征模型，采用哪种算法是研究的重点内容。本文主要是采用数字图像处理的方法来检测镜头的尺寸偏差，样本图像存在畸变是最常见也是影响检测较大的因素。一旦采集到的样本图像存在畸变，就无法通过参照物标定未知尺寸等方法来直接检测镜头尺寸是否存在偏差，使其在产生样本图像中的感兴趣区域时能够降低原图像的局部感兴趣区域数量，减少局部区域之间存在较大重叠问题，提高网络检测的效率和准确率，使检测更向自动化和智能化方向发展。