Hopfield网络的蚁群优化及其对笔迹图像的预处理

涂岩恺，鄢煜尘

（1.厦门雅迅网络股份有限公司，福建厦门361008；2.武汉大学电子信息学院，湖北武汉430072）

Hopfield网络的蚁群优化及其对笔迹图像的预处理

涂岩恺1，鄢煜尘2

（1.厦门雅迅网络股份有限公司，福建厦门361008；2.武汉大学电子信息学院，湖北武汉430072）

为了减小笔迹图像中的书写波动与噪声，研究了基于蚁群算法优化Hopfield神经网络的图像规范化预处理方法，使网络调整后的图像更接近标准样本，并对其进行特征提取和分类鉴别.同时引入动态组网的系统结构和网络联想自我评价方法，在大样本笔迹数据库上进行实验表明，该方法能够对笔迹图像中的复杂波动与噪声进行有效的规范化处理，以提高计算机笔迹鉴别的准确性，10候选鉴别正确率可提高到95.65%.

Hopfield网络；蚁群算法；图像处理；笔迹鉴别

计算机笔迹鉴别是将笔迹图像与数据库内大量样本图像进行比较，短时间内找出最相似的样本，从而判定书写人，它在安全领域有重要作用.目前对计算机鉴别正确率影响较大的因素是文字图像中的书写形变与图像噪声.书写形变包括字体倾斜、笔画厚度、形状偏差；图像噪声有复杂背景、笔画断裂等.质心归一化［1］或形状归一化［2］方法是以图像质心或形状均匀性作为标准进行图像的线性变换，这类方法能在一定程度上处理文字倾斜、笔划长短不一的问题.但由于只对图像进行线性变换，因而不能处理笔画厚度等非线性形变和噪声.细化算法［3］先对文字提取单像素骨架，之后根据骨架进行区域生长，使处理后的文字的笔划厚度相同，但在骨架提取和区域生长过程中会引入形状畸变.形态学方法［4］可以去除背景噪声，但不能处理笔画内部的断裂.由于Hopfield神经网络 （Hopfield neural network，HNN）具有良好的联想记忆性能，能够依据部分信息或偏差信息恢复出整体无偏信息.因此，本文采用HNN对笔迹图像进行一次规范化预处理，利用Hopfield网络吸引稳定作用使待鉴别图像向标准训练样本靠拢，校正图像中的书写波动和噪声，在Hopfield网络训练过程中引入蚁群算法 （ant colony algorithm，ACA）优化网络阈值提高图像处理效果.在系统结构上提出动态组网结构使训练样本符合网络容量，并采用网络联想自我评价防止互补收敛效应增强系统的鲁棒性.用本方法在1 680人的笔迹图像数据库上进行实验，结果表明，该方法能够提高计算机自动鉴别的准确率.

图1 HopfieId网络Fig.1 HopfieId network

1 Hopfield网络对图像的调整

Hopfield网络是反馈型神经网络模型，相对于前向网络，它具有更好的联想记忆性能，在模糊图像处理、图像分类等应用中均有良好的效果.HNN结构如图1，它本质上是一个非线性动学习系统，该网络所有神经元相互连接反馈，可用一组差分方程描述：

其中：ω为神经元的连接权值；θ为神经元阈值；f（x）用于模拟生物神经元的非线性特性，通常f（x）为sgn函数，由于变换函数为有界函数，故系统不会发生发散现象，并且渐近稳定于能量函数稳定的吸引子.网络能量函数定义为：

输入向量V经由网络差分方程 （1）的不断迭代计算，逐渐向与之最临近的吸引子收敛，收敛过程伴随着能量函数的不断减小.

利用Hopfield网络对笔迹图像进行调整的步骤：首先，对数据库中每一个书写者挑选一套质量较好的笔迹图像作为标准样本，用Hopfield网络对这些标准样本进行训练，即训练网络权值wij和阈值θi，使得每个人的标准样本成为网络的吸引子；然后，由待鉴别笔迹图像构造输入向量V，通过网络的迭代V向着最临近的吸引子方向逐渐收敛并且网络能量函数不断下降；最后，当网络收敛或能量函数小于某预定值时，由网络输出向量重构笔迹图像，重构图像即是向标准样本靠拢的图像，其倾斜、笔画厚度、结构偏差、笔画断裂等均得到调整.从另一个角度来说，在输入图像的激励下网络将向着最相近的标准模式渐近收敛，即表现出一种对记忆模式的联想能力.

1.1 网络权值训练

将单个字笔迹图像构造成一个向量，即将二值化的二维图像各像素依次排列成一个一维向量.由于每一个字的图像归一化为64×64大小，因此输入向量为4 096维.向量V1，V2，…，Vm代表数据库中m个人书写的相同字符V，由这些训练样本构成了网络的训练矩阵U=｛V1，V2，V3，…，Vm｝.

在传统的Hebb权值训练规则下，要求训练样本必须近似正交，否则由于很强的相关性，记忆模式在状态空间中不是准均匀分布，而是集中于某些区域，这将降低网络容量而且容易造成不同类之间的错误收敛，产生局部极小值点.现实条件下的训练样本很难满足正交性，为使记忆模式分布更为合理，这里采用伪逆规则训练网络权值矩阵：W=U（UTU）-1UT，伪逆规则只需训练样本线性独立，条件较为宽松.可以验证：WU=U（UTU）-1（UTU）=U，即表示如果将训练样本作为输入，则网络权值W能使训练样本收敛到自身，所以训练矩阵U中每个列向量都是吸引子.在训练权值时还可以对每一位书写者书写的相同字符输入多个样本，这样一个记忆模式有多个稳定点，从而能够提高网络的联想记忆能力.

1.2 基于蚁群算法阈值优化

合理选择网络节点的阈值能够避免局部极小值，从而得到更优的训练效果.实验发现，字型结构的变化影响HNN阈值的选取：字型结构越复杂、笔划密度越大的地方，其阈值越大，反之，阈值越小，甚至为负值.对不同字若都采用相同的经验值为阈值或人为筛选匹配阈值，不仅训练效率低，而且易陷入局部极小值.如何自适应地选取一套合适的阈值其实是一个组合优化问题，文献 ［5］研究表明，ACA算法全局收敛的迭代次数小于Hopfield网络，文献 ［6］利用ACA提高神经网络全局收敛速度，本文引入ACA搜索Hopfield网络阈值最优解，以提高图像规范化预处理效果.

蚁群系统是一个分布式系统，每个蚂蚁个体上工作相互独立，总体上相互关联，具体阈值优化步骤如下：

Step 1：初始化各阈值集合中所有元素的信息素pher（）（i代表集合中的不同元素），将所有蚂蚁置于蚁巢.

Step 2：蚂蚁按照路径选择法则选择每个节点阈值集合中的一个元素作为路径.路径选择法则为：在集合θmn内蚂蚁按照概率公式 （3）随机选择路径：

Step 3：重复Step2直到所有蚂蚁都由蚁巢经过所有节点到达终点.

Step 4：更新信息素，每只蚂蚁到达终点后，将会使其所走路径上的信息素得到更新：pher（）（t+其中ρ为消散因子，（1-ρ）代表在Δt时间内信息素蒸发程度，信息素挥发机制避免求解过程中过早收敛于局部最优解.代表第k只蚂蚁选择作为路径所留下的信息素，采用ant-cycle system模型计算：

其中：Q为信息素强度；Ek为所有训练样本在antk所走路径上收敛时网络的总能量函数 （由公式（2）计算）.Ek越小意味着antk路径越能保证有效收敛，于是由式 （4）蚂蚁留下更多的信息素，吸引其他蚂蚁向这条路径靠拢.

Step 5：当所有蚂蚁收敛到同一条路径上或迭代次数大于一预定值时，停止蚁群计算，得到的蚁群路径为Hopfield网络阈值的优化解.即：路径所经过的一套阈值能使网络的吸引子位于能量最小点，减少局部收敛可能性，增强了网络正确联想的能力.

2 动态组网的系统结构

当HNN用于类别数目较大的样本训练时，训练样本的类别数量有可能超过网络的记忆容量或者网络无法正确收敛.Hopfield通过实验估计N个神经元构成的HNN所能达到的最大存贮能力k≈0.15N.在实际情况下的训练样本数往往远大于网络容量，因此这里提出一种二级分类器级联的动态组网策略，总体系统结构见图2.第一级分类器采用计算速度较快的矩特征［1］和最小距离分类器对样本进行粗分类.选出和待鉴别笔迹图像最接近的20个候选，然后用这20人的标准样本训练HNN，保证网络容量不会超载.这样的网络由第一级分类器的前20项决策动态训练而来，因此我们称为动态组网.笔迹图像经训练好的HNN调整后获得输出向量，将输出向量中各元素依次排列到64×64矩阵中重构笔迹图像，然后对图像提取多个特征并进行融合，最后通过特征比对得到最终鉴别结果.

图2 动态组网系统结构图Fig.2 A system view of dynamic network

3 网络联想自我评价

经ACA优化的Hopfield网络能够使多数样本得到合理的调整，但是在实验中发现，网络难免存在未知的稳定点，这些稳定点通常是已知吸引子的互补点.当输入字符与记忆模式偏差过大时有可能向互补的稳定点渐近收敛.本文采用输入与输出的汉明距离对网络联想作出自我评价：

若网络输出Vout是互补收敛，则与输入Vin的汉明距离将远大于正常收敛.设定一阈值T作为评价标准，若d＜T，则系统接受网络调整结果，反之，拒绝网络对输入图像的调整，通过这样的评价机制提高系统的鲁棒性，另外也排除了类内差异过大的图像，有利于提高计算机自动鉴别的准确率.

4 实验结果与分析

采用本文方法在大样本笔迹数据库上进行实验，收集了1 680人书写的常用字笔迹图像建立数据库，其中的138人书写有两份笔迹，一份随其他样本入库，另一份作为实验测试样本.

通过HNN+ACA对输入图像调整的效果如图3.图3（a）由于笔墨不均在图像二值化时产生笔画断裂噪声，经过网络调整后 （图3（d））断笔得以修复；图3（b）书写较随意，和标准字相比存在结构偏差，网络对其调整校正的结果如图3（e）.图3（f）是由输入图3（c）错误收敛的结果，由于是向网络中的互补点收敛，因此这类错误处理结果呈现背景为白色而文字前景为黑色的显著差异特征，对于这种错误的互补收敛结果，用式 （5）计算的d值将远大于正常收敛结果，因此可用阈值将其识别并去除.

图3 ACA+HNN对图像处理效果Fig.3 ACA+HNN image processing

实验采用多种字符鉴别特征［7］，包括Wigner纹理特征、方向指数特征和矩特征，采用字符级综合决策［8］进行多特征融合.用测试图像在笔迹图像库中进行鉴别实验，实验结果见表1，可以看出，相对于没有经过调整的图像，经HNN+ACA调整之后鉴别准确率更为理想，并且经过网络调整后的正确率在不同特征下均取得较为良好的效果，经过特征融合之后的正确率最为理想，在大样本数据库中十候选鉴别率达到95.65%.分析其原因，由于HNN网络的吸引稳定作用，使输入图像向标准样本中最相似样本的方向收敛，自动处理了文字图像中的笔划厚度、笔划断裂、文字倾斜等复杂噪声，这相当于减小了同一人笔迹图像的类内方差，同时也在一定程度上拉大了不同人书写的文字图像间的类间方差，而类间方差与类内方差的比值越大，在相同的分类方法下分类结果的正确率越高.

表1 HNN+ACA实验结果TabIe 1 HNN+ACA identification resuIts %

表2 不同预处理方法对比TabIe 2 Comparison of different preprocessing methods %

将质心归一化、细化算法与本文方法进行对比，结果见表2.可见，归一化与细化方法由于只能处理某一类的特定图像噪声或形变，因此单独采用其中一种方法难使鉴别效果有显著提高，两种方法的一候选鉴别正确率在60%左右.而细化算法由于在提取一些复杂文字的骨架上会产生骨架形状畸变，因此在Wigner这种对局部形状纹理较敏感的特征下，反而取得更差的效果.而采用神经网络训练和处理文字图像，由于训练样本的标准性，使得复杂的较多样本能够自动向最相似的标准样本靠拢，这等于对复杂样本的各类噪声进行了规范化预处理，使得后续的鉴别准确率能够有效提高，最终一候选鉴别准确率达71.73%，十候选准确率达到95.65%，说明了该方法的有效性.

5 结论

本文研究的HNN+ACA方法，能够有效地对复杂笔迹图像波动与噪声进行规范化处理，证明了HNN网络在训练样本充分的情况下具有良好的联想记忆能力.采用ACA优化HNN网络阈值，融合了蚁群算法全局快速收敛的特点，增加系统的处理效率与鲁棒性，这使得该方法不仅可用于图像处理领域，还可推广应用于其他图像规范化处理领域.

在大样本数据库上进行实验，对规范化处理之后的笔迹图像进行特征提取和鉴别，其准确率得到了提高，证明了该方法的有效性.该方法还能扩展为连续型HNN，从而增加在其他领域内应用的灵活性.需要说明的是，本文方法对于训练HNN+ACA的笔迹样本质量要求较高，需要良好的图像信噪比，而且只针对文本依存条件下的图像鉴别.如何解决好这些问题及如何推广到文本独立方法是下一步研究的方向.

［1］刘成林，戴汝为，刘迎建.笔迹鉴别的字符预处理与匹配 ［J］.中文信息学报，1996，10（3）：50-55.

［2］王景中，胡贝贝.归一化算法在文字识别系统中的应用研究 ［J］.计算机应用与软件，2011，28（3）：95-97.

［3］陈庆虎，赵云，刘鸿翔.一种简单高效的二值图像并行细化算法PABIT［J］.武汉理工大学学报：交通科学与工程版，2004，28（2）：270-273.

［4］鄢煜尘，周前进，段柳云，等.形态学重度污染文本图像去噪处理 ［J］.武汉大学学报：信息科学版，2012，37（9）：1 100-1 103.

［5］房明星，王杰贵，朱宇.基于Hopfield神经网络算法的雷达干扰资源分配 ［J］.火力与指挥控制，2014，39（2）：76-80.

［6］YANG G，LI X，XU J，et al.A guided Hopfield evolutionary algorithm with local search for maximum clique problem［C］//SMC.2014 IEEE International Conference.San Diego：IEEE，2014：979-982.

［7］鄢煜尘.基于信息融合的中文笔迹鉴别研究 ［D］.武汉：武汉大学，2009.

［8］DENG W，CHEN Q，YAN Y，et al.Off-line Chinese writer identification based on character-level decision combination［C］//International Symposiums on Information Processing.Moscow：IEEE，2008：762-765.

ACA Optimized Hopfield Neural Network and Preprocessing on Handwriting Image

TU Yan-kai1，YAN Yu-chen2
（1.Xiamen Yaxon Network Co.Ltd.，Xiamen 361008，China；2.School of Electronic Information，Wuhan University，Wuhan 430072，China）

To reduce handwriting character image noise and distortion，the normalization preprocessing of ACA optimized Hopfield neural network was studied to modify input handwritten patterns based on its remembrance characteristic before feature extraction and classification.Besides，dynamic constructing network structure and self evaluating method are proposed.Experiments on large handwriting database proved that this method could effectively regulate the complex image noise and distortion，and could improve the accuracy of the computer’s handwriting identification，the top ten identification accuracy can be improved to 95.65%.

Hopfield network；ant colony algorithm；image processing；handwriting identification

TP391.4

A

1673-4432（2015）03-0080-05

（责任编辑 雨 松）

2015-01-23

2015-03-30

公安部重点实验室项目 （11KFKT002）；厦门市科技计划项目 （3502Z20130008）

涂岩恺 （1983-），男，工程师，博士，研究方向为智能信号处理.E-mail：tuyankai@yaxon.com