基于对比度受限直方图均衡化和非锐化掩模的织物表面瑕疵图像增强算法

葛万凯，赵世海，范雨佳

(1.天津工业大学 机械工程学院，天津 300387；2.天津工业大学 纺织科学与工程学院，天津 300387)

瑕疵检测在织物生产过程中有非常重要的作用，传统的检测方法采用人工视觉验布，效率慢、精度低，已经逐渐被淘汰。随着机器视觉研究的不断深入和落实，在多个工业检测领域性能表现优异，为织物瑕疵检测带来了新方向[1-2]。在瑕疵检测过程中，由于图像采集环境、拍照设备、光源等因素影响，所获取的图像往往噪声多且存在对比度低、画面不清晰、细节模糊等问题，不利于后续瑕疵的检测与分类。因此，为了提高瑕疵图像检测精度和效率，有必要对相机采集到的原始图像进行增强处理，突出图像的细节信息，过滤噪声，提高图像质量[3-4]。

随着机器视觉检测技术的不断进步，国内外涌现出大量优秀的图像增强算法，黄成[5]为解决经编布噪声多的问题，选择了高斯平滑滤波去噪，去噪效果显著，但是单一的滤波去噪无法有效改善图像质量且导致了部分瑕疵细节丢失。李文羽[6]考虑到织物瑕疵边缘纹理属于高频成分，正常纹理属于低频成分，提出使用分数阶微分增强色织物瑕疵,突出了瑕疵边缘信息，使纹理更清晰，同时也保存了图像平滑区域信息，但是分数阶微分计算量过大，不利于实现瑕疵实时检测，为了提高速度不可避免地降低了图像分辨率，一定程度上削弱了细节特征。郝阳[7]针对降噪处理会导致图像涂抹，降低锐度，而全局锐化又会带来噪点的问题提出了一种“蒙版锐化法”，以全局锐化图像作为覆盖涂层，以Canny边缘检测算法提取的边缘图像作为蒙版，以中值滤波降噪处理后的图像作为底层，所得锐化图像纹理清晰，瑕疵特征明显，但是为解决光照不均匀问题只简单进行了“光比平衡”，提升图像整体亮度，而造成了图像对比度缺失，甚至严重破坏了图像灰度特征。为了提高织物瑕疵检测准确率，孟志杰等[8]对织物图像预处理，采用了高斯滤波去除噪声，直方图均衡化提高图像对比度，但是该方法过时且无法满足现在瑕疵检测的实际需求。丁小康等[9]为了获得更清晰的有色异纤图像，采用灰度线性变换方法将灰度值范围[50,160]扩展到[0,255]，实现了图像对比度增强，但是该方案没有去噪处理，在提升对比度同时也放大了噪声，图像质量改善有限。

针对上述问题，本文提出了一种融合对比度受限的自适应直方图均衡化(Contrast-limited adaptive histogram equalization，CLAHE)和非锐化掩模(Unsharp mask, UM)细节增强的图像增强算法，以引导滤波为框架，引入CLAHE和非锐化掩模作为支撑，实现了织物瑕疵图像有效增强，通过对比实验表明该方法效果明显且具有一定普适性。

1 图像增强算法

1.1 图像加权灰度处理

本文研究白坯布表面瑕疵问题，不存在由于色纱匹错误导致图案、花纹与正常织物不匹配的疵点[6]，因此可以将白坯布图像灰度化后再进行瑕疵检测处理。

常用的图像灰度化方法有平均值法、加权平均值法、最小值法等。其中，加权平均值法分别对采集RGB图像三通道采取不同权重，人眼对绿色最敏感，红色次之，蓝色最低，所以对R、G、B三通道分配0.299、0.587、0.114的权重，灰度图像效果最好。

1.2 对比度受限的自适应直方图均衡化

直方图均衡化(Histogram equalization, HE)方法增强图像对比度具有速率快、效果明显等优势，直方图均衡化可以实现图像整体对比度提升，但是处理后图像会出现“过亮或过暗”现象，同时也无法处理到局部细节，导致细节丢失，效果较差，考虑到这一点，基于分块处理思想的自适应直方图均衡化(Adaptive histogram equalization, AHE)被提出，解决了局部高亮或过暗问题，但是这2种方法在增强对比度的同时也放大了噪声[10]。以AHE算法优点为基础，针对放大噪声问题，限制对比度概念被提出，CLAHE算法既有效改善了对比度，又抑制噪声的产生。

CLAHE算法具体步骤如下：

①把图像分割成n×n个大小相同且互不重叠的矩形子块，随着子块数量增多，图像的增强效果越显著，但损失的细节也更多。

② 计算子块直方图。

③ 求解受限制值T。

(1)

式中：nx表示子块x方向像素个数；ny表示y方向像素个数；K为灰度级数；c为受限系数。

④ 裁剪直方图，像素点重新分配。被裁剪子块直方图h(x)受限制值T约束，超出部分像素数平均分配到其他灰度级，像素点裁剪、重新分配如图1所示。假设有S个像素超出受限制值T，令A为每个灰度级分配到的像素个数，则满足：

图1 像素点裁剪、重新分配

(2)

(3)

像素点重新分配后直方图h′(x)满足：

(4)

⑤子块直方图均衡化。

⑥双线性差值重构灰度值。仅通过映射函数变换后得到的像素值会导致图像呈块状现象，采用双线性差值对图像每个点做差值处理可以有效避免块状产生[11]。

双线性差值只针对4个块中心点包围的区域，如图2所示阴影区域。将每个子块的中心作为参考点，分别记为M11(x1,y2)，M12(x2,y2)，M21(x1,y1)，M22(x2,y1)，待计算点P的像素值由相邻的4个参考点决定。

图2 双线性差值

x方向线性插值R1、R22个点的像素值f(R1)，f(R2)：

(5)

(6)

再对y方向进行差值运算，得f(p):

(7)

综合式(1)(3)得双线性差值结果，P点的像素值f(p)有：

(8)

1.3 非锐化掩模细节增强

非锐化掩模(Unsharp mask, UM)是一种易控、有效的细节增强算法。运用了减法的思想求图像中的高频信息，其基本原理是原图像减去低通滤波图像获取高频部分，所得高频部分乘一增益系数后再与原图相加，该方法有效丰富了原始图形的边缘细节信息[12]。其数学表达式为：

g(x,y)=f(x,y)+k×{f(x,y)-Li[f(x,y)]}

(9)

式中：g(x,y)表示输出的锐化增强图像；f(x,y)表示原始输入图像；Li表示低通滤波器；k为增益系数。

滤波器的选择直接影响锐化效果，均值滤波器和高斯滤波器是2种典型的线性低通滤波器，卷积核历遍图像，获取图像低频信息[12]。本文选择的均值滤波器在平滑去噪的同时也使得图像边缘、细节等高频部分被削弱，原图与滤波图像相减获得更多高频信息，瑕疵细节等到增强，实现图像锐化。

2 算法描述

引导滤波是一种保护图像边缘的滤波器，工作时需同时具备输入图像和引导图像，并且二者应具有一定的线性关系，以引导图像为导向，对输入图像进行滤波操作。为尽可能增强输入图像边缘信息，需要选择具有明显边缘特征的引导图像。

采用引导滤波作为去噪算法，结合CLAHE算法和非锐化掩模细节增强算法的优点，输入图像选择CLAHE 算法增强后的图像，引导图像使用非锐化掩模处理后的图像，进行引导滤波，以达到织物瑕疵图像增强的目的。具体操作步骤如下：

①输入原始拍摄的织物瑕疵图像P；

②将原始图像P转化为灰度图像Ph；

③分别对灰度图像Ph做CLAHE对比度增强和非锐化掩模细节增强，获得图像Pz、Pf；

④以Pz作为输入图像，Pf作为引导图像，进行引导滤波，得到增强后图像。

图3为本文图像增强算法流程框图。

图3 本文算法流程图

3 实验结果与分析

实验图像来自雪浪视觉检测的织物瑕疵数据集，为了保证图像质量，对数据集图像重新筛选，排除褶皱等干扰影响，统一裁剪出512像素×512像素并包含瑕疵的图像，实验选取吊经、跳花、扎洞、污渍、毛斑、破洞6类具有典型代表性的瑕疵图像。实验采用Matlab2020b软件，在主机配置为Intel(R)Core(TM)i5-6300HQ CPU @ 2.30 GHz，8G内存，64位操作系统的计算机上实现本文的算法。为验证本文算法对图像增强效果的有效性，选取HE算法、CLAHE算法以及灰度变换算法作对比实验。

3.1 定性分析

图4所示为各种图像增强算法的实际效果对比，图4(a)为织物瑕疵原始灰度图像，瑕疵类型依次是吊经、跳花、扎洞和污渍，图4(b)是经HE算法增强处理后的图像，图4(c)是经灰度线性变换处理后的图像，图4(d)是经CLAHE算法增强处理后的图像，图4(e)是经过本文算法增强处理后的图像。其中，经HE算法增强后的图4(b)明显噪点增多且出现过增强现象，4幅图都表现为中间部分亮，四周过暗，图像失真严重，不利于查找瑕疵位置；图4(c)的灰度线性变换方法较HE算法有明显的改善，过增强现象减弱，但仍然没有彻底改变亮度不均问题；图4(d)的CLAHE算法很好的解决灰度不均问题，有效提升了图像对比度，但是图像的细节部分变化不大，部分瑕疵特征消失；图4(e)是本文融合算法处理后的图像，从中可以看出，处理后的图像亮度均匀，对比度提升明显，同时又很好保持了瑕疵细节信息，瑕疵与背景图像有明显的分离，视觉效果较好。

图4 各种算法处理结果

3.2 定量分析

从定性角度分析，本文算法处理后的图像在对比度、细节信息等方面都优于其他算法，织物的瑕疵信息表现更佳。但是单纯的根据主观评价无法证明算法的有效性，因此本文将通过3种图像质量客观评价标准定量的验证本文算法的优越性。对不同的图像增强方法分别采用信息熵(information entropy)、峰值信噪比(PSNR)和平均梯度(MG)3种客观指标进行定量评价。

信息熵是衡量图像中包含信息量多少的量，信息量越大则熵值越大，对于图像灰度级范围在[0，L-1]，信息熵(IE)的表达式为：

(10)

式中：Pi为灰度级i出现的概率；L为灰度级数，取值为256。

峰值信噪比表示最大信号量与噪声强度的比值，值越大增强处理后的图像相比原图像失真更小，由均方误差定义。均方误差(MSE)和峰值信噪比(PSNR)的公式分别为：

(11)

(12)

式中：f′(i,j)和f(i,j)分别表示增强处理后的图像与原始灰度图像；m、n为图像的长和宽，像素；K表示最大灰度级与最小灰度级的差值，取值255。

平均梯度(Mean Gradient, MG)是衡量图像细节变化的重要指标，反映了细节反差和纹理变换，细节越丰富层次越多，平均梯度值也就越高，公式如下：

(13)

式中：f(i,j)表示增强算法处理后的图像。

不同图像增强方法对上文所选图像的客观评价值如表1所示。可以看出，本文所提出的图像增强算法相对于HE、灰度线性变换、CLAHE算法，MG、PSNR和信息熵值均最大，对织物瑕疵图像的处理效果最好，本文算法在提高图像对比度的同时最大的保留了瑕疵信息，算法优势明显。

表1 不同图像增强方法客观评价对比

为广泛验证本文算法的优越性，对训练集中420幅包含跳花、吊经、毛斑、破洞、污渍和扎洞6种瑕疵图像进行处理，其中每种瑕疵70张，统计客观评价指标，并对其求平均值。其客观评价结果如表2所示。

表2 420幅瑕疵图像MG、PSNR、信息熵平均值

从表2可以看出，本文提出的融合算法平均MG、PSNR和信息熵值均最大。经分析，HE算法处理后的图像效果不佳，极易导致图像出现失真或过增强，灰度线性变换和CLAHE算法相对HE都有了明显的改善，本文算法对不同类型瑕疵图像增强效果最好，具有广泛适用性。

3.3 瑕疵识别与定位

图像增强的目的是提高瑕疵识别定位的准确率，使用无瑕疵图像对单分类支持向量机(SVDD)训练，将训练好的支持向量机用于瑕疵检测，实验在台湾大学林智仁教授开发的LIBSVM-SVDD工具箱完成，参数设置为‘-s5-t2-c0.1-g0.17’，其中-s5表示支持向量机类型为SVDD，-t2表示核函数为BRF类型，-c0.1表示惩罚参数为0.1，-g0.17表示gamma值为0.17。将无瑕疵图像分成32像素×32像素的子块，提取子块LBP特征为特征向量，送入SVDD进行分类器训练。将待检测图像分成同样大小32像素×32像素子块送入分类器检测，检测到无瑕疵的子块将其所有像素值统一设为0，即变为黑色块，对有瑕疵的小块不作处理，其中参与分类器训练的无瑕疵图像500张，子块个数为128 000；检测图像420张，每类瑕疵70张，子块17 920个。图5为各算法增强处理后的瑕疵识别图。

图5 各算法处理后瑕疵识别定位图

由于HE算法以及灰度线性变换算法产生的过增强现象，使得图像某些正常区域特征类似瑕疵特征，因此有较多正常块被误识别为瑕疵块。经过CLAHE算法或融合算法处理过的图像，其瑕疵识别准确率提升明显，其中融合算法最为精准。

对上述训练集420幅图像进行瑕疵识别，结果如表3、4所示。由于过增强现象干扰，HE算法处理后瑕疵识别准确率低于原图，误检率高于原图；CLAHE和本文融合算法处理后图像瑕疵识别准确率较灰度线性变换算法提升10%～14%，误检率下降5%～8%；其中融合算法处理后瑕疵识别准确率最高，达到了98%以上，误检率最低，不超过2%。

表3 不同图像增强算法处理后瑕疵识别准确率 %

表4 不同图像增强算法处理后瑕疵识别误检率 %

4 结 论

由于工业环境、相机参数、织物不平整等因素导致的现场采集的织物瑕疵图像对比度低、细节模糊，瑕疵特征不清晰等问题，本文提出了一种融合CLAHE对比度增强和非锐化掩模细节增强的图像增强算法。分别对原始灰度图像进行CLAHE对比度增强作为输入图像，非锐化掩模细节增强作为引导图像，进行引导滤波，以达到图像增强目的。将本文算法与HE算法、灰度线性变换算法、CLAHE算法进行比较，并通过平均梯度、峰值信噪和信息熵3种客观评价指标对处理结果进行分析对比，从客观上肯定了本文算法在增强图像对比度、保留瑕疵细节的优越性。对各算法处理后图像进行瑕疵识别与定位，本文融合算法识别准确率达98%以上，对比其他算法提升明显。本文研究成果对后续瑕疵分类带来了方便，显著提高了分类结果的准确性，同时也为同类型图像增强算法的研究提供了参考。