基于同态滤波和深度卷积模型的低照度工件表面粗糙度等级识别

2021-05-17朱坚民黄之文

光学仪器 2021年2期

洪琛，朱坚民，黄之文

（上海理工大学机械工程学院，上海 200093）

引言

目前，随着深度学习技术[1-2]的发展，深度卷积神经网络[3-5]在图像识别及图像分类上优势明显，在基于深度学习的非接触式表面粗糙度测量[6-8]图像分类上得到了广泛的应用。然而在工业生产中，由于受到照明设备和周围环境的影响，被拍对象往往会出现光照不足的情况，导致采集的图像照度低、细节纹理不清晰，从而使得识别效果差。所以对低照度图像进行粗糙度等级识别之前的预处理变得十分重要。

低照度图像增强的目的是为了使图像整体亮度提升，细节纹理更清晰。目前常用的方法主要有基于直方图[9]的增强方法、基于小波变换[10]的增强、直方图和小波变换相结合的增强、基于Retinex理论[11-12]的增强、基于同态滤波[13-16]的增强及其他方法。焦竹青等[17]在频域内采用同态滤波对图像进行处理，利用压缩亮度范围来消除图像光照带来的影响，使图像的人眼视觉效果更好。徐黎明等[18]通过同态滤波方法对自然环境下光照不均的杨梅果实进行亮度增强预处理，然后通过K均值聚类算法有效地分割出杨梅果实。

针对现有低照度图像存在图像亮度对比度低、细节纹理不清晰，从而造成工件表面粗糙度等级识别精度低的问题，本文提出一种基于同态滤波和深度卷积模型的低照度工件表面粗糙度等级识别的新方法。首先将彩色图像从RGB空间转到HSV空间，保持色调H和饱和度S不变，在频域内对V亮度分量进行同态滤波处理，以增强图像整体亮度和对比度，减少光照不足引起的图像纹理细节不清晰，最后通过深度卷积模型进行识别。

1 基本原理

本文提出的基于同态滤波和深度卷积模型的低照度工件表面粗糙度等级识别原理如图1所示。通过调节LED光源并利用显微镜CCD，分别从不同加工方式的粗糙度等级样块上采集低照度图像。根据图像的亮度信息对图像进行预处理：当图像平均亮度值大于70时视为正常图像，不进行预处理；当图像平均亮度值低于20时判定为错误图像，不进行识别；当图像平均亮度值为20～70时视为低照度图像，要进行图像预处理。利用正常光照图像进行尺度变换、数据标注，离线训练粗糙度等级识别模型，在线识别工件表面粗糙度等级。通过判断图像平均亮度值，对低照度图像进行预处理。首先将图像从RGB空间转换到HSV空间，把V分量单独分离出来；然后通过优化得到的同态滤波器对V分量进行同态滤波处理，使图像亮度增强，细节纹理更清晰；最后用设计好的用于粗糙度等级识别的深度卷积神经网络（DCNN）对增强过的图像进行粗糙度等级识别，检验识别的准确性。

图1 低照度工件表面粗糙度等级识别原理图Fig.1 Schematic diagram of low illumination workpiece surface roughness level identification

2 HSV 空间变换的同态滤波算法

2.1 HSV 空间变换

对低照度图像进行增强是图像处理中用来消除光照影响的必不可少的环节。HSV颜色空间是根据颜色的直观特性创建的一种颜色空间，与人的心理感知更接近，它主要包括H（色调hue）、S（饱和度 saturation）和 V（亮度 value）三要素。

人们通常观察到图像的颜色信息主要表现在色调和饱和度上，这种颜色空间的优点就是三要素互不干扰。亮度分量是一个与色调和饱和度无关的分量，因此亮度分量的改变对图像颜色信息的影响甚微，将该分量从颜色信息中分离出来进行矫正，不仅可以大幅度调整彩色图像亮度，而且能够较好地保留图像的彩色信息。

对低照度图像进行RGB空间与HSV空间转换，具体算法可参考文献[14]。

2.2 同态滤波算法

根据图像的形成原理和光照的特性，一幅图像f(x,y)可以用光源的照度分量i(x,y) 和目标物的反射分量r(x,y) 的乘积来表示，即

在这种基于光照-反射的模型中，光照条件主要体现在照度分量i(x,y) 上，其频谱主要在低频区域且变换缓慢，而r(x,y) 是反映图像的细节等特征，其频谱主要在高频区域。对光照不足的彩色图像，处理时需要尽量缩减图像的低频分量和放大图像的高频分量。

同态滤波算法原理是，通过滤波函数控制图像的照射分量和反射分量，对图像进行压缩低频分量、提升高频分量，从而减少光照不足带来的影响，在提升图像亮度和对比度的同时，又增强了图像的细节纹理。同态滤波算法的具体流程如图2所示。

图2 同态滤波算法流程图Fig.2 Flow chart of homomorphic filtering algorithm

同态滤波的具体步骤如下：

1）首先对式（1）两边同时取对数，将入射分量和反射分量分开，即

2）然后对上式两边取傅里叶变换，可得

3）再利用滤波函数H(u,v) 对F(u,v) 进行滤波处理

4）滤波后，对式（4）进行傅里叶逆变换回到空间域，即

5）对式（5）两边取指数，可得

在同态滤波处理中，合适的滤波函数以及函数参数值的选择都至关重要。同态滤波函数需要选择能减少低频分量和增加高频分量的滤波器，本文采用的是高斯型同态滤波器，其传递函数为

式中：RH、RL分别是高频增益和低频增益；表示点 (u,v) 到滤波中心 (u0,v0) 的距离；D0是 (u,v)=(0,0) 时D(u,v)的值，表示截止频率；c是常数用来控制滤波器函数斜面的锐化，它在RH和RL之间过渡。当RH＞1， 0 ＜RL＜1 时，可以达到减小低频和增强高频的作用，使得图像的亮度和对比度增强，动态范围压缩，而RH和RL具体选择对图像的改善效果不一样，通常需要通过反复实验才能得到比较合适的值。

3 深度卷积模型设计

3.1 网络结构

卷积神经网络是深度学习的一种，它与生物神经网络很相似，与其他神经网络相比，可以实现不同神经元之间的权值共享，降低网络模型的复杂度及减少权值的数量。在训练过程中只需要将图像作为卷积神经网络输入，就能避免传统识别算法中复杂的特征提取和数据重建过程，卷积神经网络自身可以自动地选择利于分类的特征，使得表征特征的能力更为客观全面。本文以CaffeNet模型为基础进行网络和参数的调整，建立了一种工件表面粗糙度等级识别模型。模型主要包括5层卷积层（C1、C2、C3、C4、C5）、3层池化层（P1、P2、P5）和3层全连接层（F6、F7、F8）。卷积神经网络具体结构如图3所示。

3.2 卷积层

二维图像可以用一个矩阵表示，即将输入当成是一定区域大小的数据，通过和滤波器filter(带着一组固定权值的神经元)做内积后得到新的二维数据。通过不同的滤波器来提取图像的特定信息，如颜色深浅或纹理细节特征。在粗糙度等级识别模型中，上一层的特征图和一个可学习的卷积核进行卷积，然后通过一个激活函数得到下一个输出特征图。所有的输出特征图可以组合卷积多个特征图的值，即

图3 卷积神经网络结构图Fig.3 Convolution neural network structure diagram

3.3 池化层

池化层是特征映射层，在卷积计算完成后选择池化区域，然后取用特征图的最大值、最小值或者平均值作为池化区域的特征，这样可以极大地降低特征向量的维度，减少计算量，防止过拟合。

最大池化能显著增强局部特征，对于细节纹理特征的学习有很大的作用，适用于粗糙度等级识别。所以本文采用最大池化规则对卷积层特征图进行采样，如图4所示，对图像进行降维的同时，在一定程度上保证了特征的尺度不变。设Pi为池化层(假定卷积神经网络有L层，i=1, 2, ···,L-1)，池化的过程为

图4 最大池化Fig.4 Maximum pooling

3.4 全连接层

在全连接层中，将所有二维图像的特征信息降为一维信息。模型的最后一层为逻辑回归层(softmax)，卷积神经网络输入的每个节点表示输入图片属于某一类别i的概率，即

式中：Y是一个图像类别的预测量；w是最后一层的权参数；b是对应偏置参数。

输出层的个数与目标分类的个数相一致，每个输出值表示识别样本属于对应标签的概率大小。

4 实验研究

4.1 实验平台

为了验证转换空间后的同态滤波算法对低照度下工件表面粗糙度等级识别的有效性和准确性，首先进行低照度粗糙度等级图像的采集，粗糙度识别模型的训练和测试，以及分析低照度下同态滤波参数对于识别准确率的影响。本文的实验装置如图5所示，主要由计算机、CCD相机、显微镜、可调节亮度的LED照明灯和粗糙度标准样块等组成。

为了研究不同亮度下同态滤波参数对其识别准确率的影响，通过调节LED光源的亮度拍摄不同光照条件下工件表面粗糙度图像，根据图像整个平均亮度值将图像亮度从20到70划分为5种情况，对亮度低于20和高于70不做处理的原因是，实际工况下图像亮度值低于20以下基本不会出现，亮度高于70已经比较接近正常光照。

为了研究转换空间后同态滤波算法对工件表面粗糙度等级识别准确率的影响，将同种光照条件下的图像先从RGB空间转到HSV空间，对V分量单独进行同态滤波处理，然后通过事先训练好的深度卷积模型进行工件表面粗糙度等级识别。