基于粒子群优化算法的LS-SVM字符识别模型

刘 玲，张兴会

（天津工程师范学院信息技术工程学院，天津 300222）

基于粒子群优化算法的LS-SVM字符识别模型

刘 玲，张兴会

（天津工程师范学院信息技术工程学院，天津 300222）

提出一种基于粒子群优化算法优化相关参数的最小二乘支持向量机（LS-SVM）的字符识别模型。利用相关的字符数据，分别使用本方法和基于网格搜索的最小二乘支持向量机方法进行识别。仿真结果表明，该方法的精确度高于其它两种方法。

粒子群算法；最小二乘支持向量机；字符识别

支持向量机（support vector machines，SVM）是基于统计学习理论构建的典型神经网络，它由Vapnik[1]首先提出，用来解决模式分类和非线性映射问题。SVM模型参数的选择是一个尚待解决的问题，参数不合适将使模型不如以往的学习算法，甚至让整个模型没有利用价值。常用的参数选取是进行网格搜索和交叉验证[2]方法，但方法计算量庞大，所以新方法不断提出。文献[3-6]提出了多种算法来优化SVM参数的选择。粒子群（particle swarm optimization，PSO）算法是由Kennendy和Eberhart等[7]受鸟群觅食行为的启发而提出的一种仿生型群体智能优化算法，它是一种具有随机性的多点搜索算法，具有隐含的并行性，能够在多维空间中快速找到问题的最优解。本文选用了求解速度快于标准 SVM的最小二乘支持向量机[8]（least squares support vector machines，LS-SVM），并将粒子群（PSO）算法应用到LS-SVM的参数优选中，建立了基于PSO的LS-SVM模型。字符识别是模式识别领域的典型问题，将本文模型与使用网格搜索方法的LSSVM模型的识别结果比较，表明基于PSO的LS-SVM识别精度高，泛化能力强。

1 最小二乘支持向量机求解过程

最小二乘支持向量机采用最小二乘线性系统作为损失函数，求解过程变成了解一组等式方程，并采用等式约束。

给定具有N组样本训练数据可以表示为{xk，yk}，k=1，2，3，…，N。其中：xk是n维输入向量；yk是一维输出。在特征空间中，支持向量机分类模型为：

其中，非线性映射φ（·）将输入数据映射到高维特征空间，用作分类的最小二乘支持向量机的优化问题为：约束条件为：

根据式（2），可定义Lagrange函数

L（w，b，e，α）=J（w，e）-

其中，αk为Lagrange乘子。

定义如下向量：

由式（4）可得如下线性等式：

其中：Ω=ZTZ；Ωij=yiyjφ（xi）Tφ（xj）=yiyjk（xi，xj）；IN是单位矩阵。

因此，对于一个新点x*，分类函数f为：

其中，阶跃函数为：

其中，α和b可通过对式（4）求导得出，如式（8）：

核函数可以取径向基函数，如式（9）：

其中，σ为径向基函数的宽度，是待定参数。

来自意大利的SCM公司自1952年以来一直是木工行业领先的设备与系统制造企业以及服务供应商。SCM顶尖的木工技术和应用方案能够全方位满足市场需要，既适用于工业环境也适用于手工作坊，既能用于板材加工也能用于实木加工。SCM的产品应用广泛，涵盖范围从家用家具、办公家具以及订做家具一直到结构建筑领域诸如木梁、隔墙和饰面，又诸如细木工、地板、楼梯等，可以说世界上哪里有木工，哪里就有SCM，SCM是木工机械行业的知名商标。

2 LS-SVM参数的粒子群算法选择

给定样本时，LS-SVM性能主要受误差惩罚因子γ和径向基函数宽度σ的影响。下面将通过建立一种性能指标，设定γ和σ的取值范围，利用粒子群优化算法的全局搜索能力选择γ和σ。

2.1 验证性能指标

为了优化γ和σ，从含有N个训练样本的初始样本集I中无放回地选取n个验证样本组成验证样本集合V，剩余的样本作为验证性能指标的训练样本集P，一般取n=1/3N，验证性能指标可用如下公式[5]：

式（10）第1部分表示用样本P作为SVM对样本V分类的误差，第2部分表示用样本P作为SVM对样本P分类的误差。对于二分类问题，式（10）除以2，即为初始样本集I的误分类误差，再除以N，即为初始样本集I的误分类百分比。用该性能指标求取LS-SVM的参数考虑了模型的泛化性能。通过对式（10）的优化即可求得γ和σ。

2.2 粒子群优化算法

PSO算法首先初始化一群随机粒子，然后通过迭代找到最优解。在每一次迭代中，粒子通过两个极值来更新自己。一个是粒子到目前为止发现自己的最好位置（pbest），另一个是整个种群到目前为止发现的最好位置（gbest）。PSO算法没有交叉和变异运算，因此算法结构简单，运行速度快。

粒子找到上述两个极值之后，根据下面2个公式来更新自己的速度和位置：

3 字符识别过程

上述介绍了LS—SVM和PSO算法的原理和参数优选步骤，这里采用收集的字符数据（包括0～9共10个数字、A－Z共26个英文字母）进行字符识别。

3.1 字符预处理

首先将得到的彩色字符图像（如图1所示）进行灰度化和二值化，得到黑白两色的二值图像，且白底黑字；然后进行字符分割，形成若干独立字符，并进行紧缩排列；第三步将字符区域进行归一化处理，大小为16×8，如图2所示，最后提取八方向特征作为输入向量。

3.2 字符识别

分别采用了基于网格搜索的LS－SVM和基于粒子群算法的LS－SVM对200个字符图像进行识别，其中200个字符作为训练样本，100个字符作为测试样本。表1是以上两种方法对训练字符样本的识别性能比较，表2是两种方法对测试字符样本的识别性能比较。

表1 训练样本识别结果比较

比较表1和表2，可以看出，本文提出的模型测试样本识别率明显提高，说明该模型网络泛化能力较强；此外，在拒识率的比较上表明，使用本文模型的拒识率均为零，说明该模型的抗噪能力比较强。

表2 测试样本识别结果比较

4 结束语

本文提出了应用粒子群优化（PSO）算法对最小二乘支持向量机（LS－SVM）参数（学习率γ和核函数参数σ）进行优化的方法，建立了基于PSO的LS－SVM模型，并将其应用到字符识别中。实验结果表明，该模型无论在训练时间、识别时间还是识别率上都远远优于传统的基于网格搜索的LS－SVM，同时表现了较好的泛化能力和抗噪能力。

［1］ VAPNIK V.The Nature of Statistical Learning[M].New York：Springer，1995

［2］ YAN H S，Xu D.An approach to estimating product design time based on fuzzy v－support vector machine[J].IEEE Transactions on Neural Networks，2007，18（3）：72－731.

［3］ CHERKASSY V，MA Y.Practical selection of SVM parameters and noise estimation for SVM regression[J].Neural Networks，2004，17（1）：113－126.

［4］ 董春曦，饶鲜，杨绍全，等.支持向量机参数选择方法研究[J].系统工程与电子技术，2004，26（8）：1117－1120.

［5］ 周辉仁，郑丕谔.基于遗传算法的LS－SVM参数优选及其在经济预测中的应用[J].计算机应用，2007，27（6）：1418－1419

［6］ 吴奇，严洪森.基于高斯损失函数支持向量机的预测模型[J].计算机集成制造系统，2009，15（2）：306－313.

［7］ 汪定伟，王俊伟，王洪峰，等.智能优化方法[M].北京：高等教育出版社，2007.

［8］ SUYKENS J A K，GESTEL T V，BRABANTER J D，et al. Least squares support vector machines[J].World Scientific，2002，50（6）：71－91.

LS-SVM character recognition model based on particle swarm optimization

LIU Ling，ZHANG Xing-hui
（School of Information Technology Engineering，Tianjin University of Technology and Education，Tianjin 300222，China）

A character recognition model based on Least Squares Support Vector Machines（LS-SVM）is proposed in this paper,of which related parameters are optimized using Particle Swarm Optimization（PSO）.A case study based on character data is carried out using the proposed method,and general LS-SVM method.The result shows that LS-SVM with parameters optimized by PSO is more effective than the other.

particle swarm optimization（PSO）；LS-SVM；character recognition

book=2,ebook=75

TP391.43

A

1673－1018（2010）02－0026－03

2010-04-07

天津工程师范学院科研发展基金项目（Z2004017）.

刘 玲（1978—），女，讲师，工学硕士，研究方向为神经网络、模式识别.