基于多特征图像增强深度卷积神经网络的航天用电子元器件分类算法

蔡立明，李 威，高永发，张文亮，张玉强

（1.北京航天控制仪器研究所， 北京 100039； 2.青岛海洋科学与技术试点国家实验室， 青岛 266237； 3.航天物联网技术有限公司， 北京 100094）

0 引言

航天用电子元器件在导弹、火箭等武器系统中具有极其重要的作用，电子元器件的自动分类关系到元器件生产过程中的应用与回收等环节［1］。因此，电子元器件自动分类系统在智能制造领域具有重要的地位。

目前，电子元器件自动分类系统中使用的算法主要包含两种：1）基于图像特征空间与变换域的元器件分类算法；2）基于机器学习的元器件分类算法。第一类算法将采集到的图像进行简单预处理，提取图像的浅层特征，利用这些特征对图像中的电子元器件进行分类。如杜思思等［2］提出利用Hough变换与最小二乘法相结合精确检测电子元器件管脚直线段，郑秀莲等［3］提出利用颜色空间转换、图像分割和纹理特征对器件缺陷进行检测。上述分类算法无法处理海量图片，且检测准确度依赖采集图像的质量，无法实现对多种元器件的同时在位分类。第二类基于机器学习的元器件分类算法，如胡艺［4］提出的基于BP神经网络的电路板缺陷检测算法，车尚岳［5］提出的基于SVM的电路板电阻元器件检测算法。上述算法主要根据目标的浅层特征进行模型训练，存在模型收敛速度慢、检测结果易受图像噪声影响等缺点［4-6］。

目前，在图像识别领域，机器学习算法-深度卷积神经网络得到了广泛应用，并成为学术界与工业界的研究热点［5-7］。深度卷积神经网络相对于传统的分类方法具有识别准确率高、不受图像畸变影响等优点，深度卷积神经网络通过卷积层、池化层、全连接层等提取待测图像的深度特征，并自动对海量图像进行分类。但随着神经网络层数的增加，神经网络的计算需要更多的资源，并且出现过拟合现象。因此，GoogleNet［8］提出利用模块间级联方式提取多尺度、多类型特征来提高算法的效率。这种系统类似于人类视觉系统，能够对形状、方向和颜色特征进行深度挖掘，突出检测物边界信息，抑制背景杂波干扰，并通过结合局部、区域和总体三个层次特征提升物体检测精度。基于上述研究，为了进一步提升检测精度并减少网络训练存在的参数，减少过拟合现象的出现，本文提出了一种基于多特征图像增强深度卷积神经网络（Multi-feature Image Enhanced Deep Convolution Neural Network，MFIE-DCNN）的航天用电子元器件分类算法。MFIE-DCNN算法创新点在于整合了多特征学习（Multi-feature Learning，MFL）和深度学习（Deep Learning，DL），用于提升算法的准确性与鲁棒性。多特征学习的优点在于剔除了光照不均造成的图像干扰，突出原图像中可分性较大的统计信息和待检测元器件的边缘纹理信息［9-11］。深度学习部分具备提取图像表达特征子图中的板载元器件建立监督样本库的能力，用于训练深度卷积神经网络，并创建分类模型。深度卷积神经网络的优点在于防止浅层神经网络中过拟合现象的出现，保证检测结果的鲁棒性［12］。将MFIE-DCNN、支持向量机（SVM）、基于稀疏自动编码器的深度神经网络（SAE-DNN）及随机森林算法（RF）的总体分类精度（OA）和Kappa系数进行比较，证明所提出算法的分类效果优于上述对比算法。

1 算法简介

MFIE-DCNN算法包含两个部分：多特征学习与深度学习，如图1所示。多特征学习包含如下步骤：1）将电路板板载元器件的RGB图像映射到HSV图像空间，利用同态滤波得到增强亮度分量Vs，用于剔除光照不均造成的图像干扰；2）利用主成分分析（Principal Component Analysis）提取RGB图像的第一主成分信息（PC1），用于突出原图像中可分性较大的统计信息；3）提取PC1的Gabor纹理特征（Gabor-texture，Gt），用于突出图像中元器件的纹理信息。利用Vs、PC1和Gt构建图像表达特征子图。深度学习采用类VGG-16网络，网络包含八个层。其中，前五层为卷积层，卷积层结构为Convolution+Pool+ReLU；后三层为全连接层，利用Softmax输出5类（电阻、两类电容、两类芯片）。

1.1 多特征学习

1）获取亮度分量V：在RGB颜色空间中，图像的亮度和饱和度无法有效分离，对图像RGB三通道分别进行增强容易导致图像色度失真。HSV空间能够有效分离图像的亮度、色度及饱和度，并将图像的亮度、色度及饱和度映射到近似正交的空间中，通过调整HSV空间的亮度分量，对图像进行增强［9］。

图1 MFIE-DCNN结构图Fig.1 Structure diagram of MFIE-DCNN

HSV空间中，亮度分量由V表示

式（1）中，RGB为图像中每个像素的（R，G，B）通道的值。获得亮度分量V后，利用同态滤波器处理V波段得到增强后的图像Vs，同态滤波的作用为增强图像暗区细节并保留亮区细节［9］。图像V（x，y）可以被表示为

式（2）中，I（x，y）为照射强度，R（x，y）为反射强度。通常情况下，照射强度是均匀渐变的，故I为低频分量；不同物体对光照的反射率是不同的，故R通常为高频分量。将V（x，y）取对数进行同态变换，映射到空间域用于分离照射强度I（x，y）和反射强度R（x，y），具体步骤如式（3）和式（4）所示。

利用低通滤波器LPF滤除lnI（x，y）

用lnV（x，y）减去低通滤波后的图像lnIl（x，y），得到高频增强图像lnVs（x，y）。对lnVs（x，y）进行e指数运算

2）主成分分析主要用于凸显图像波段各成分之间的最大差异，利用正交变换将原图像中的随机分量映射到不相关的分量中［13］。

式（6）中，pi为第i个波段的主成分。

3）Gabor滤波器工作过程与人眼的视觉处理过程相近，具备提取图像纹理特征的能力［14］。Gabor滤波函数如下

最终，利用Vs（x，y）、P（x，y）和GTs，d（x，y）构成图像表达特征子图。

1.2 深度卷积神经网络

卷积神经网络（CNN）作为一种具备多层结构的前馈神经网络，通常包含输入层、卷积层、池化层、全连接层及输出层。卷积层中的卷积核作为卷积神经网络的核心，用于提取图像的平移不变特征。不同的卷积核提取不同的特征，所提取的特征通常包含边缘、颜色和形状［6，8，12］。

卷积神经网络处理过程如下：将输入图像数据与卷积核进行卷积，然后利用激活函数提取待测图像的特征图像，表达式如下

式（9）中，f［·］为ReLU激活函数，为卷积核矩阵，为特征偏置，为k-1层输入的特征或图像数据，为进行卷积运算和激活函数计算后的特征图。

池化（Pooling）也叫下采样运算，即对图像局部位置进行聚合统计，稀疏化特征图像，减少需要处理的数据量及防止过拟合，并减少网络的训练时间。输入和输出可表示为

式（10）中，d（·）为下采样函数，为加性偏置，为第k层第j个特征图的乘性偏置。

在CNN中，经过卷积层与全连接层得到具有类别区分性的深度局部信息。全连接层中，同层神经元无连接，而上一层和下一层的神经元是互联的。将卷积层和下采样运算提取到的深度特征信息寄存于全连接层用于分类。接着，根据损失函数反向优化卷积神经网络中的权重向量，并利用柔性最大值归一化函数（Softmax）进行分类运算

式（11）中，y为期望输出，d为神经网络输出。代表向量x的2-范数。

2 实验结果与分析

2.1 数据集构建

MFIE-DCNN算法使用Python语言，采用Keras作为人工神经网络库，并采用tensorflow作为后端，实验机配备了Inter-i5 CPU、8G内存、Win10操作系统。电路板板载元器件图像由500万像素工业相机采集，图像的理论分辨率为2592×1944。从采集图像中提取板载元器件建立监督样本库，样本库中包含：电容（200张）、电阻（100张）、芯片（200张）等，元器件轮廓周边白光由光源反光导致，如图2所示。

图2 电阻、两类电容、两类芯片示例Fig.2 Examples of resistances，capacitors and chips

2.2 深度特征提取

深度卷积神经网络能够提取待测图像的深度特征。通常，低层卷积层主要提取颜色和边缘等特征，高层卷积层提取轮廓和形状等特征。如表1所示，所用深度卷积神经网络类似于VGG-16，包含八个层，前五层为卷积层，卷积层结构为Convolution+Pool+ReLU；后三层为全连接层，全连接层作用为特征加权，并利用Softmax对图像表达特征子图中各元器件进行分类。

表1 MFIE-DCNN 网络结构Table 1 Network structure of MFIE-DCNN

图3 四种元器件的深度特征Fig.3 Deep features of four components

图3展示了四种元器件的深度特征，首先为四种元器件的输入图像，第一特征和第二特征为输入元器件的特征图1和特征图2，第一特征-ReLU和第二特征-ReLU为特征图1和特征图2经过ReLU函数处理过的图像，第一特征-ReLUPooling和第二特征-ReLU-Pooling为特征图1和特征图2经过ReLU函数处理和池化运算后的特征图像。由图3可知，经过处理后图像的物体与背景具有较强的对比度，为后续分类提供型不变特征。

2.3 模型测试

利用训练数据集和测试数据集对模型的收敛区间和稳定性进行评估，将数据集分为两个部分，即训练数据（60%）和测试数据（40%）。将训练数据输入MFIE-DCNN中，得到如图4所示的训练数据集与测试数据集准确率的曲线图。可以看出，经过约20次迭代训练，MFIE-DCNN开始收敛。

图4 训练数据集与测试数据集准确率曲线图Fig.4 Accuracy curves of training dataset and testing dataset

2.4 验证算法参数设置

首先将RGB图像映射到HSV图像空间，利用直方图均衡化亮度分量V，通过主成分分析得到RGB图像的第一主成分（PC1），并提取第一主成分（PC1）的Gabor纹理特征。利用Vs、PC1和Gt构建图像表达特征子图，增强图像细节。MFIEDCNN包含八个层，前五层为卷积层，后三层为全连接层。Batch_size设为5，使用Dropout稀疏化全连接层中的节点，激活函数采用ReLU。Dropout的值设置为0.1，学习率采用系统默认的最优值［15］，对比算法包含SVM-linear、SVM-RBF、RF和SAEDNN。利用GridSearchCV法，可获得SVM-RBF中gamma值和惩罚项的值。SAE-DNN包含3个稀疏自动编码器，每个编码器包含300个隐藏单元，每个编码器的迭代次数为8000次。五种分类器分别运行10次，计算总体分类精度（OA）、Kappa系数和混淆矩阵［16-17］。

2.5 定量分析

总体分类精度（OA）、Kappa系数和混淆矩阵被用于评估MFIE-DCNN算法的性能：总体分类精度（OA）为正确分类的类别图像数与总的类别个数的比值［18］，Kappa系数为分类与完全随机的分类结果产生错误减少的比例［19］，混淆矩阵用于计算分类器预测结果和输入数据类别真值之间的差距［20］。图5为五种算法的混淆矩阵，表2为五种算法的分类结果对比。

图5 五种算法的混淆矩阵Fig.5 Confusion matrix of the five algorithms

表2 分类结果对比Table 2 Comparison of classification results

由表2可知，RF、SVM-RBF、SVM-linear、SAE-DNN和MFIE-DCNN的Kappa系数分别为44%、28%、28%、64%和93%，RF、SVM-RBF、SVM-linear、SAE-DNN和MFIE-DCNN的总体分类精度分别为56%、44%、44%、72%和95%。SVM-RBF、SVM-linear的总体分类精度较差，MFIE-DCNN的总体分类精度最高，较SAE-DNN提升了近20%。

3 结论

针对传统的航天用电子元器件分类算法的不足，本文提出了一种基于多特征图像增强深度卷积神经网络（MFIE-DCNN）的航天用电子元器件分类算法。MFIE-DCNN算法首先将工业相机采集到的电子元器件图像由RGB空间映射到HSV空间，然后利用同态滤波增强亮度分量V，提取RGB图像的第一主成分（PC1）和第一主成分的Gabor纹理特征，利用Vs、PC1和Gt构建图像表达特征子图。将图像表达特征子图输入类VGG-16卷积神经网络用于训练模型，利用训练好的深度神经网络进行电子元器件分类。实验表明，该算法的精度较SAE-DNN算法提升了近20%，能够满足实际应用。后续研究工作将继续采集电子元器件图像，扩充监督样本库，训练MFIE-DCNN，提高检测效果。