高清整皮表面缺陷自动检测与定位

范大煌 丁磊 邓杰航

摘要：针对传统CCD皮革检测系统成像视场小，以及传统皮革缺陷检测方法主要对皮革局部区域进行检测，应用在整张皮革缺陷检测上还需进行图像拼接等问题，提出一种高清整张皮革表面缺陷自动检测方法。首先根据高清整皮一次成像系统获取的整张皮革（整皮）图像特点，提出基于饱和度的整张皮革有效区域提取方法提取皮革区域（Region of Interest，ROI）;然后，为了在整皮图像ROI区域内一次对多种不同类型缺陷进行检测与定位，提出基于增强缺陷边缘的算法对皮革表面缺陷进行自动检测与定位。与传统皮革局部区域缺陷检测方法相比，该方法直接对整皮图像进行检测，无须再应用图像拼接算法得到最终结果，且能在一定程度上克服光照不均的影响，因此可以快速、准确地自动检测与定位整张皮革缺陷。

关键词：整皮;皮革缺陷;数学形态学;多尺度积;缺陷检测

DOI：10.11907/rjdk.191210

中图分类号：TP319 文献标识码：A 文章编号：1672-7800（2019）012-0146-05

0引言

皮革行业在生产制造过程中，排样与切割是优质皮革原料生产过程中的一道重要工序。但半成品皮革表面不可避免地会留下少量缺陷，因此在排样前必须对缺陷进行检测与定位，从而使生产样本的排放与切割能够避开缺陷。我国皮革制品行业长期以来主要依靠人工实现对整张皮革的缺陷检测与定位工序，但由于受到光照条件、工人经验以及情绪、体力、工作时长等因素变化影响，容易造成检测与排样切割效率低下等问题。因此，对整皮表面缺陷自动检测方法的研究对提高皮革行业生产效率有着重要意义。

贺福强等采用CCD扫描整皮表面得到多幅局部区域图像，然后采用模糊聚类与基于小波重构的皮革表面缺陷检测方法对图像进行检测。由于CCD相机的成像特点，在采用皮革表面缺陷检测方法进行检测前，需要对多幅局部皮革图像进行拼接，形成一幅完整图像。但该过程会增加算法计算时间，影响实际应用中的生产效率;王琪使用双摄像机对皮革进行拍摄，然后对拍摄的图像进行融合处理;王毅采用迭代阈值法与大津法对整张皮革灰度图像作背景分割处理，利用背景与皮革区域的灰度差异计算出相应阈值得到分割结果，但该方法易受到光照不均等因素影响;TSAI等采用基于小波重构的方法对皮革表面进行缺陷检测;KWAK等提出基于神经网络的分类器方法对皮革缺陷进行分类;刘根等提出基于光度立体与图像显著性的皮革缺陷检测方法;Jawahar等应用纹理特征提取与多阈值分割方法提取皮革缺陷。但以上方法都基于皮革部分表面缺陷进行分类识别，未能对整张皮革缺陷进行检测与定位。

本文根据整皮图像的特殊性，提出一种高清整皮表面缺陷自动检测与定位方法。为了克服传统CCD扫描成像皮革缺陷检测装置成像视场小、成像复杂等问题，本文采用高清高效整皮一次成像系统，如图1所示。该系统由皮革固定平台、超高清摄像头、光源与图像处理工作站组成。为了将皮革与背景区分开，经过对皮革颜色的统计，本文将皮革固定平台的颜色固定为蓝色。系统通过超高清摄像头对皮革进行一次成像后，将图片传给图像处理工作站进行检测处理。相比傳统CCD皮革破损检测系统，该系统构造简单，对整皮可以一次成像而不需再对图像进行拼接处理，具有成像快、成像过程简单、成像效果好的特点。

本文针对高清的整张皮革图像提出整皮图像破损检测模型。首先，提出基于饱和度的整张皮革有效区域提取方法，提取皮革图像的ROI区域;然后，为了在整皮图像ROI区域内一次对多种不同类型的缺陷进行检测与定位，提出基于增强缺陷边缘的算法检测与定位皮革缺陷。由于皮革图像是进行一次成像与全局处理的，所以缩短了模型检测时间。实验结果表明，本文方法能够克服光照不均的影响，并快速、有效地提取整张皮革有效区域内的缺陷进行检测与定位。

1高清整皮表面缺陷自动检测与定位方法

目前皮革表面缺陷实时检测主要以CCD扫描成像检测装置为主。传统的CCD相机成像视场小，需要通过复杂的控制系统移动CCD相机扫描整张皮革有效区域，且传统CCD扫描成像检测装置针对皮革的局部成像图片缺陷进行缺陷检测，成像后需要应用图片拼接技术才能得到整张皮革图像，需要进行大量运算。针对上述问题，本文提出一种直接对高清整张皮革表面缺陷进行自动检测与定位的方法。该方法主要分为提取整张皮革图像的ROI区域与对ROI区域进行缺陷检测与定位两部分，具体流程如图2所示。

具体步骤为：①通过高清整皮一次成像系统采集整张皮革图像;②应用基于饱和度的整张皮革有效区域提取方法获取皮革ROI区域;③通过灰度形态学增强方法增强皮革图像对比度与缺陷边缘信息，再应用基于小波多尺度积的方法提取皮革表面缺陷边缘信息;④对结果进行阈值分割，对分割得到的二值图像采用形态学方法进行去噪，并填充孔洞区域;⑤用以上操作得到的二值图像对缺陷进行定位与标记。

1.1基于饱和度的整张皮革有效区域提取方法

由于本文提出的超高清高效整皮一次成像系统采用点光源照明，且成像范围大，导致在成像平面上与光源距离不同地方亮度不同，从而出现光照不均的问题。另一方面，由于在获得的超高清皮革图像亮度通道中，皮革边缘与背景混叠，边界参差不齐，如图3（b）所示，导致常规基于亮度通道的图像分割方法不能有效分割皮革有效区域。通过观察与分析大量皮革图像，在饱和度通道不存在边沿与背景混叠现象，如图3（c）所示。因此，为了克服以上问题，本文提出基于饱和度的整张皮革有效区域（Region ofInterest，ROI）提取方法，具体过程如图4所示。

如图4所示，利用大津法对饱和度进行分割后，图像中由于存在光照不均、皮革破损等问题，可能会出现大小不一的干扰区域。针对该问题，本文利用二值形态学运算，选取较小的结构元素消除面积较小的干扰点。又因为整张皮革的有效区域占据了图像大部分面积，所以通过贴标签算法保留最大分割区域，得到整个皮革的ROI区域。对ROI区域与原图进行布尔运算，得到背景单一的皮革图像。

1.2基于增强缺陷边缘的整皮缺陷检测定位方法

部分整皮图像的ROI区域会同时出现不同类型、不同程度破损，提取到整皮图像ROI区域后，为了解决传统皮革表面缺陷检测方法只针对局部图像单一缺陷有效的问题，本文提出基于增强缺陷边缘的整皮缺陷检测定位方法。首先通过形态学方法增强缺陷边缘信息，再使用小波多尺度积检测与定位缺陷边缘，最后通过基于形态学的后处理方法定位全局缺陷位置。该方法可有效对整皮图像中的明显缺陷进行自动检测与定位。

为了突出皮革图像上感兴趣的细节信息，将整张皮革ROI区域的像素值线性拉伸到[O，L]范围，其中L是像素最大灰度值。对于8位图而言，L=255。然后使用基于数学形态学的方法增强皮革图像对比度，并对缺陷部分边缘信息进行处理，原理如下：对灰度图像I进行形态学增强，将结构元素定义为se。首先定义形态学高帽运算Ha，见式（1）。高帽运算是原图像与开运算结果之差，可增强图像对比度;低帽运算Hb，见式（2），低帽运算是原图与闭运算结果之差，低帽运算可以获取图像边缘。

为了减少皮革正常纹理及噪声对检测结果的影响，本文采用基于小波多尺度积的缺陷检测方法，对增强后的图像进行正交小波变换，将相邻尺度上的小波系数相乘。为了精确定位缺陷信息，通过相邻尺度积的模值与幅角得到局部极大值以定位缺陷边缘。该方法不仅可以在一定程度上降低皮革图像重复纹理与噪声的影响，还可以准确检测与定位缺陷区域信息。具体原理如下：

图像经小波变换后的不同尺度系数隐含缺陷信息，本文方法通过相邻尺度积的模值和幅角得到该梯度方向的局部极大值，从而获得皮革缺陷边缘信息，然后对结果进行阈值化处理。由于检测得到的缺陷区域尺度积系数远大于无缺陷区域的尺度积系数，且尺度越大，结果越明显，而本文方法只需进行3层小波变换。之后用大津法对检测结果进行二值化处理。由于一部分皮革图像中存在一些面积较大的缺陷区域，如破洞、褶皱等，导致二值化后的检测图像存在一些孔洞区域，因此本文采用二值形态学方法进行去噪并填充孔洞区域，从而使二值图像的白色区域可以完整表示为检测的缺陷区域，通过该二值图像得到皮革缺陷大小及位置，并在原图中标定对应缺陷。

2实验与讨论

本文实验使用的皮革图像由深圳来择科技有限公司提供，图像大小为8688×5792像素。本文实验环境为：Intel Core 15-2450M CPU，8GB（DDR3）内存，Win10，64位操作系统，MATLAB R2016a环境。为了验证本文提出的背景去除方法的有效性，实验选取100幅分辨率为8K的皮革图像，分别应用传统的迭代阈值分割法、K-mean聚类算法与本文提出的整皮有效区域提取方法进行比较，如图5所示。由图5可知，采用迭代阈值分割法、K-mean聚类算法对整张皮革图像进行背景去除效果不佳，容易受到光照与色彩影响，从而可能产生过分割现象，不能对强光反射下的背景进行有效分割。应用本文提出的基于视觉显著性的整张皮革有效区域提取方法，没有造成分割不完全或过分割现象，有效解决了光照不均以及皮革边缘阴影与背景混叠的问题，能完整分割出包括破洞在内的整张皮革有效区域。

成功提取整皮有效区域后，为了检验本文方法对超高清整皮图像缺陷区域检测的效果，将常见的皮革缺陷识别方法，即模糊c均值聚类算法和基于小波重构方法与本文方法作比较，如图6所示。

在图6中，将本文方法检测结果与人工标记的二值图像进行对比，可以看出本文方法对常见的划痕、破洞、褶皱检测效果良好，未出现明显的漏检、误检现象，在对整张皮革表面缺陷的检测中，其相对于模糊c均值聚类算法、基于小波重构方法准确性更高。模糊c均值聚类算法、基于小波重构方法对整张皮革图像的皮革区域进行二值化检测，可以在一定程度上检测出缺陷区域，但会出现大面积误检测现象。模糊c均值聚类方法在整皮检测情况下易受光照等因素影响，无法对皮革缺陷进行有效检测与定位;基于小波重构方法选取适合的小波频带重构图像，但由于缺陷复杂多样，使用小波重构并不能得到较好效果，二值化后的平滑区域与皮革图像缺陷区域容易出现误检测与多检测现象。本文提出方法可以精准地检测与定位明显缺陷区域，且未出现大面积误检测现象。

为了验证本文算法的实时性，将本文方法与模糊c均值聚類算法、基于小波重构方法的检测时间进行对比。50幅整张皮革图像检测平均时间（包括提取ROI区域时间）如表1所示，可以看出本文方法在高清整皮图像缺陷检测上更具有时效性。

为了客观验证本文提出方法的有效性，本文应用Pre-cision—RecaⅡ与F，评价指标对皮革表面缺陷进行像素级的定量评价，将3种方法检测出的50幅缺陷检测结果图像与人工标记图像的定量评价指标进行计算，得到平均值，如图7所示。

3种柱状条分别表示本文方法与模糊c均值聚类算法、基于小波重构方法计算结果。由图7可以看出，本文方法的查准率、查全率以及F，值在不同皮革的缺陷检测中均比其它两种方法效果更好，其中查准率与F。值远高于其它两种方法的结果。由于模糊c均值聚类算法、基于小波重构方法的误检测面积较大，导致其查全率较高，但仍低于本文方法。通过实验可知，本文方法更适用于整张皮革缺陷检测，所得的查准率、查全率以及F。值在对不同皮革的缺陷检测中都可达到85%以上。

3结语

本文通过研究传统皮革表面缺陷检测方法，发现传统检测方法难以简单、高效地对整张皮革图像上多种不同类型缺陷进行检测的问题，因此提出高清整皮表面缺陷检测与定位方法。首先该方法去除了传统CCD皮革缺陷检测方法中的复杂相机控制系统，无需再进行图像拼接与融合处理，对整张皮革在蓝色背景下进行一次性超高清成像;然后根据整张皮革图像特点，提出基于饱和度的整皮有效区域提取方法提取皮革图像的ROI区域，克服了传统方法中难以处理的光照不均，以及皮革边缘阴影与背景混叠问题;最后提出基于增强缺陷边缘的检测算法对皮革缺陷进行检测与定位。定性与定量评价结果表明，相比传统皮革局部缺陷检测方法与手工皮革缺陷检测方法，本文方法能有效提取简单背景下整皮图像的皮革区域，且可一次性对整张皮革的常见缺陷作出准确检测与定位，而无需依赖复杂的扫描检测系统，对皮革行业的自动化生产具有一定指导意义。