基于差分进化极端学习机的汽车商标图像检索

魏英姿 欧阳海飞 谭龙田

摘  要：研究汽车商标图像的检索对道路交通安全、驾驶辅助系统开发将起到重要作用。利用极端学习机快速收敛的特点，以HU不变矩作为主要特征值训练极端学习机，并针对不同检索目标选择不同的训练特征参数，设定Harris角点与质心的距离比作为特征值，以检索不同类型汽车商标图像。采用差分进化算法训练极端学习机的输入权值与隐层偏置值，避免了极端学习机的随机性，提高检索精度。实验结果表明，引入新的特征值和使用差分进化算法训练极端学习机都对检索结果有明显的改善。

关键词：图像检索;极端学习机;差分进化;特征提取

引言

汽车主动安全技术也成为近年来研究的热点，利用多种传感器和先进的信号处理技术为驾驶者提供驾驶辅助，甚至在紧急安全时刻主动介入驾驶。智能机器视觉技术应用在汽车安全辅助驾驶上已得到广泛关注，针对汽车商标的图像检索是汽车安全驾驶中机器识别的一部分[1]。文章研究基于内容的汽车商标图像检索方法，力图通过有效的机器学习方法在线找到检索目标[2]。

极端学习机（Extreme learning machine， ELM）已被证明是快速并有效的单隐层前馈神经网络[3]。在车标检索中引入ELM算法，能在很大程度上提高检索速度，进而提高安全驾驶中机器视觉的精度与速度。但是，由于ELM算法输入权值与隐层偏置值多采用随机方法设置，有时会使网络的隐层输出矩阵H无法达到列满秩，进而降低ELM的有效性。因此，文章采用差分進化算法（Differential evolution ，DE）算法训练ELM的输入权值与隐层偏置值来提高网络的鲁棒性，从而提高图像检索精度[4]。

本试验选用典型的七个HU不变矩特征作为图像特征值[5]，并引

入三个距离比作为新的特征值，将差分进化算法和极端学习机相结合，建立DE_ELM汽车商标的检索模型，通过多组试验验证算法的有效性。

1 极端学习机算法

ELM作为一类单隐层前馈神经网络学习算法与一般的前馈神经网络算法（如BP算法）相比不同。ELM是通过解方程的方式一次性求出网络的输出权值，从而提高训练速度。

（1）ELM基本原理如下：

给定N个训练样本{xi，ti}，其中

i=1，2，3，…，N，

则由M个隐层节点，激活函数为g（a，x，b），可构造一个单隐层前馈神经网络。

（2）ELM的数学模型为：

（1）

其中ai是连接输入节点到第i个隐层节点的输入权值;βi为连接第i个隐层节点与输出神经元的输出权值;bi为第i个隐层节点的偏置值。将上述给定的N个训练样本带入式（1）中可得：

Hβ=T      （2）

这里的H为隐层输出矩阵。一般情况下隐层节点数远小于训练样本数，H不可能方阵，就只能求出其伪逆，即Moore-Penrose 广义逆。解（2）式中的方程得到输出权值矩阵如下：

=H+T （3）

（3）综上得ELM算法的训练步骤如下：

给定一组训练样本集{xi，ti}，激活函数g（x）以及M个隐层神经元。

a.随机产生输入权值ai和隐层偏置值bi;b.生成随机隐层输出矩阵H;c.根据式（3）计算隐层输出权值。

2 差分进化算法

差分进化算法作为一种模拟生物进化的随机模型，是一种新兴的进化计算技术。适于求解一些利用常规的数学规划方法所无法求解的复杂环境中的优化问题。DE的迭代包括4个基本步骤：初始化、突变、重组和选择。最后三个一直重复直到满足停止准则。

（1）初始化：

随机产生数量为NP的初始种群X，最初的一组实验向量为D维，xi=[xi1，xi2，…，xiD]，其中?i∈[1，NP]。

（2）变异操作：

（4）

根据式（4），DE为每个个体xi，G生成一个对应的临时个体vi，G，名为变异个体。这里的r1，r2，r3是在[1，NP]范围内随机选取的。G为进化代数，F∈[0，2]为缩放因子。

（3）交叉操作：

其中

（5）

交叉也称为重组，由式（5）混合目标个体xi，G与变异个体可产生一个新的实验个体，CR为交叉概率，其作用是保证变异个体中至少有一维解被继承到新的候选解中。

（4）选择操作：

（6）

根据式（6）进行选择操作。这里的f（x）为待最小化的目标函数，故如若新的实验个体的函数值不大于目标个体的函数值，它将取代目标个体进入下一代。否则，目标个体不变。DE的收敛性依赖于参数F与CR。文章选取F与CR的值分别为2，0.5。

3 改进的极端学习机

针对极端学习机输入权值与隐层节点的随意性，采用差分进化极端学习机，即，DE_ELM学习机。DE_ELM的基本思路是使用DE进化算法对ELM的输入权值和隐层权值进行优化，优化的目标是在确保检索误差最小的前提下，提高系统泛化性。实验中选取hardlim函数作为激活函数。Hardlim函数算法如式（7）所示：

（7）

DE_ELM算法步骤如下：

（1）随机产生由ELM的输入权值及偏置组成数据作为DE的初始种群;

pi=[ai1，ai2…ain，bi]

（2）将DE的初始种群放入ELM学习机中计算相应的伪逆H+，进而计算出相应的输出权值，将训练好的学习机进行测试，得到的错误率作为每个个体的适应值;

（3）得到的每个个体的适应值应用与DE算法的优化操作中，并在整个验证集上寻求最优解。

4 特征提取方法

实验使用七个几何不变矩与三个距离比作为特征值进行图像检索，几何矩是由HU在1962年提出的，具有平移、旋转和尺度不变性。而三个距离比是文章中提出的一种新的特征，即质心与图像角点的距离比。特征提取步骤如下：

首先，对图像库中的图片进行一系列的预处理，得到归一化大小的二值图片。然后，检测其Harris角點与质心。三条直线的交点为质心，车标边缘标记的点为检测到的角点，L1，L2，计算每个角点到质心的直线距离Li=[L1，L2，…，Ln]，并求出最大值D。随后将除D之外的所有的距离值与D做比值，根据式（8）、（9）、（10）得到三个距离比值，分别为最大的比值a、最小比值b以及平均比值c。

a=max

（8）

b=min

（9）

c=（10）

5 试验分析

分别选定大众车商标、标致车商标作为检索目标，在100张图片中进行检索。试验使用ELM与DE_ELM两种算法，分别在加入距离比特征变量与不加距离比特征变量的情况下对图片进行检索。试验行环境为处理器为Intel（R） Core（TM）2，内存为2G，开发工具为MATLAB R2012。

表1 应用不同特征值变量的2种算法对大众车标的试验结果对比

表2 应用不同特征值变量的2种算法对标致车标的试验结果对比

由表1、2中的数据可看出：在选取的特征相同的情况下，使用DE_ELM算法进行检索的精度与效果远比使用ELM检索的精度效果好，精度甚至提高20% 。其次，在学习机算法不变的情况下，加入距离比三个特征值后的图像检索，不管是训练精度还是测试精度都比仅使用不变矩检索的精度高，效果好。对比两种车标，大众车标是近似圆心对称的图像，通过差分进化极端学习机只应用不变矩特征值变量，就能够对原图像所蕴含信息，进行很好的描述和综合抽象，得到令人满意的检索精度。标致车标相对于大众车标，角点分布更无规则且更不均匀，在加入距离比特征值后的测试精度提高了10%，训练精度提高4%。即，距离比作为特征值，对形状不规则、角点分布不均匀的图像具有更好的检索效果。

6 结束语

极端学习机作为一种单隐层前馈神经网络，其快速和有效性，使它能够成为实时在线反应系统中的一种有效算法。针对极端学习机算法对车标图像进行分类检索的方法，主要内容即ELM的改进和特征选取。利用差分进化算法对极端学习机的神经网络输入权值与隐层偏置值进行筛选，优化隐层的输出矩阵来提高极端学习机的鲁棒性。试验表明差分进化极端学习机在容许耗费机时范围内，能够很大程度上提高极端学习机的检索精度。选择不同的特征值也会影响单隐层拓扑结构的极端学习机的性能，因此，考虑不同图像检索目标的特点，选取合适的特征值变量，使极端学习机能够很好地描述和抽象目标信息，对提高极端学习机的性能也是至关重要的。

参考文献

[1]李玉芝.图像检索的方法介绍.[J].NEW HORIZON，2011（1）.

[2]Guang-Bin Huang，Qin-Yu Zhu，Chee-Kheong Siew，  Extreme learning machine： a new learning scheme of feedforward neural networks[J]. International Joint Conference on Neural Networks （IJCNN 2004），July 25-29，Budapest，Hungary：2004，985-990

[3]Y.Wang， F. Cao， Y. Yuan. A study on effectiveness of extreme learning machine[J]. Neurocomputing， 2011，  74（16）： 2483～2490

[4]F.Xiang，H.Yong，S.Dandan，Z.Jiexian.An Image Retrieval Method Based on Hu Invariant Moment and Improved Annular Histogram [J].Electronics and Electrical Engineering，2014，20（4）.

[5]岳丽娟，吴锡生.基于Contourlet 变换和不变矩的纹理特征提取与分类[J].微电子学与计算机，2013，7.