用于七段码识别的BP网络中虚拟样本的生成

付雅冰，徐 晓

（华南理工大学理学院，广东广州 510640）

0 引言

目前，工业仪表的自动化识别是一个热门的课题。目前主要的识别方法有许多种。顾晨勤等人运用基于模板匹配进行字符识别［1］，该方法受噪声、图像偏转影响较大，且较耗时。崔行臣等人［2］利用各数字背景四连通区域对象的个数和标识矩阵元素的分布来构造识别特征从而对数字进行分类识别，前提是需要对仪表图像进行一系列预处理，过程比较复杂。还有基于数字拓扑结构特征的分类识别［3，4］等。BP神经网络作为应用最广泛的人工神经网络，在仪表字符识别方面的效果也是相当显著，影响基于BP网络的七段码识别系统用于工业环境的主要因素是BP网络的泛化能力。

在现实应用中，为了使BP神经网络的泛化能力满足现实使用要求，理论上就必须搜集大量的训练样本，这通常要消耗大量人力物力，且在工业环境下难以实现，因此，如何在少量训练样本下，提高BP网络的泛化能力，就值得深入研究。1992年，Poggio T和Vetter T［5］提出了虚拟样本的思想，目前虚拟样本构造方法有:添加噪声［6］、基于模板［7］、基于高斯变换［8］等方法。本文根据工业用七段码数显仪表的特征，采用特定的构造方法在原有样本的基础上，模拟七段码码段重叠，构造一定量的虚拟样本，并增加到训练样本集中，使训练样本集的样本在样本空间的分布尽量均匀，提高用于识别七段码数显仪表的BP网络的泛化能力。

1 虚拟样本及其构造方法

1.1 概 念

虚拟样本［9］是指在未知样本概率分布函数的情况下，利用所研究的领域的先验知识，结合已有的训练样本产生待研究问题的样本空间中的部分合理样本。自从Poggio T和Vetter T提出虚拟样本概念以来［5］，虚拟样本生成技术引起了广大学者的关注，并在很多机器学习领域，尤其是小样本学习领域得到了广泛的应用。目前对于虚拟样本的构造的研究主要集中在某一特定领域内如何利用先验知识构造合理的虚拟样本。

1.2 评价标准

如何评价所构造虚拟样本是否合理，采用如下评价标准［9］:

1）合理性标准:通过虚拟样本生成技术产生的虚拟样本是真实特征空间的样本的概率期望。

2）适应性标准:虚拟样本生成技术适应领域的广泛性。

1.3 虚拟样本构造方法

通常假设各个类别在特征空间中组成一个紧致集，它具有下列性质:临界点的数量与总的点数相比很少;集合中任意2个内点可以用光滑线连接，在该连线上的点也属于这个集合;每个内点都有一个足够大的邻域，在该领域中只包含同一集合中的点。如图1，假设有n个类别，Ri表示第i个类别，Hij表示类别Ri与类别Rj的边界，要正确识别这n个类别，就是对样本空间进行区域划分，即要找出各类别间的边界Hij，使同一类别的样本尽量落在同一区域内，这样就能正确识别这n个类别。由此可见，划分区域的重点在于寻找各类别之间的边界。

图1 样本空间结构图（Hij表示边界，Ri表示类别）Fig 1 Spacial structure diagram of samples（Hijmeans boundary，Rimeans class）

工业用数显仪表通常是采用七段数码管显示数字，而根据七段数码管的显示特征，影响其正确识别的主要原因是七段数码管数字动态变化过程中码段的叠加。基于这种特点，可通过人为构造码段的重叠来生成虚拟样本，模仿处于特征空间的各类别的边界点，并将这些虚拟样本作为训练样本集的一部分来训练已设计好的BP网络，从而提高BP网络的工作性能。

以上介绍的虚拟样本构造方法具体如下:如图2中2个分属Ri类和Rj类的单字符原始样本分别用矢量Ii和矢量Ij表示。所有样本经过预处理时已归一化大小为20×16的图片，被看作是一个320维矢量，每个像素点对应一个维度。本文通过取2个原始样本Ii和Ij的中点Ii（见式（1）），即在320维样本空间中将Ii和Ij的对应像素点相加;再分别取原始样本Ii，Ij与中点Imid的中点Iij和Iji见式（2）），即得到四分之一边界点。计算过程如下所示

由Iij，Iji构成所需的虚拟样本。该方法得到的虚拟样本，分别为靠近Ri类和Rj类边界的Ri类虚拟样本和Rj类虚拟样本。该样本满足原始样本类别不变性，将原始样本向该类别的边界延伸，使训练样本集尽量覆盖整个样本特征空间。用这样的训练样本集训练的BP网络，是提高BP网络泛化能力的行之有效的方法。

图2 单个数字的原始样本（由采集到的仪表图像，经过预处理并归一化为20×16大小的二值图片）Fig 2 Original sample of single number（the collected instrument mage，after pretreatment and normalize to be 20 ×16 binary image

2 采用虚拟样本的BP网络的实现

BP网络实质上实现了一个从输入到输出的映射功能，它能通过学习带正确答案的训练样本集，识别训练样本集之外的同类样本。七段码的识别问题，实际上就是要通过BP网络在320维的高维空间做m个分界以区分n个分类（10个数字0～9）。本实验采用的是典型的三层BP网络，如图3所示，要识别的字符是七段码显示的10个数字0～9。

图3 三层BP网络结构示意图（括号内为各层节点数）Fig 3 Structure diagram of three layers BP network

图4 七段码数显仪表Fig 4 The seven-segment code digital display instrument

2.1 构造训练样本集

首先，采集仪表图像，如图4，经过一系列图像预处理得到600个单个数字的原始样本（如图2），并分为两部分:300个原始训练样本（以下简称样本A）和300个测试样本（T）。再在300个原始训练样本的基础上，通过上文提过的虚拟样本构造方法构造200个虚拟样本（以下简称样本B），如图5所示。

图5 虚拟样本生成示意图Fig 5 Diagram of virtual sample generation

2.2 训练BP网络并仿真

根据以上的分析，使用Matlab软件，利用其自带的神经网络工具箱，构造三层BP神经网络，并对其进行训练和仿真，具体步骤如下:

1）用样本A训练BP网络，并分别用训练样本A和T作为测试样本对网络进行仿真，记录其识别效果，重复100次实验取平均值，计算网络的识别率并记录。

2）将样本A和样本B合并为训练样本C（以下简称样本C），用样本C训练BP网络，并分别用训练样本C和T作为测试样本对网络进行仿真，记录其识别效果，重复100次实验取平均值，计算网络的识别率并记录。

3）用样本B训练BP网络，并分别用样本B和T作为测试样本对网络进行仿真，记录其识别效果，重复100次实验取平均值，计算网络的识别率并记录。

3 实验结果

通过以上实验方法得到的实验数据记录如表1所示。

表1 不同训练样本下的BP网络的识别率Tab 1 The BP network recognition rate under different training samples

从表中数据可明显看出:所训练的3个网络的正确识别率均达到90%以上，所以，这三个网络是收敛的。对测试样本的正确识别率表明该网络对训练样本之外的样本的识别情况，即网络的泛化能力。对比实验一和实验二对测试样本的正确识别率可看出:用包含虚拟样本的训练样本集所训练的BP网络对训练样本集之外的测试样本的正确识别率较高，即其泛化能力较好。其中用生成样本作为训练样本集的BP网络，由于生成样本主要是表示类别的边界，而采集到的样本一般集中在各类别的样本空间的中间位置，所以，该网络对测试样本的识别率较低，没有现实意义，故没有记录。

4 结束语

由于工业用环境较复杂，通常只能取得少量的样本，实验证明:本文提出的虚拟样本的构造方法是有效的。使用包含虚拟样本的训练样本集进行训练得到的BP网络，能够在小样本训练下得到较好的识别率，且泛化能力有所提高，有利于将这种用于识别七段码数显仪表的BP网络推广到复杂的工业环境中使用。对文中提出的构造方法进行改进，可以进一步考虑工业环境的光照等对仪表字符的识别的影响，构造更符合工业环境需求的虚拟样本。

［1］顾晨勤，葛万成.基于模板匹配算法的字符识别研究［J］.通信技术，2009，42（3）:220 －222.

［2］崔行臣，段会川，王金玲，等.数显仪表数字实时识别系统的设计与实现［J］.计算机工程与设计，2010，31（1）:214 －217.

［3］杨金伟，段会川.脱机手写数字识别方法［J］.计算机工程与设计，2008，29（20）:5379 －5382.

［4］陈家翔，龙建忠，陶青川，等.数字仪表显示值的快速识别方法［J］.中国测试技术，2006，32（6）:49 －51.

［5］Poggio T，Vetter T.Recognition and structure from one 2-D model view:Observations on prototypes，object classes，and symmetries［R］.A.I.Memo No.1347.Artificial Intelligence Laboratory，Massachusetts Institute of Technoloy，1992.

［6］Bishop C M.Training with noise is equivalent to tikhonov regularization［J］.Neural Computation，1995，7（1）:108 －116.

［7］Gavrila D M，Giebel J.Virtual sample generation for templatebased shape matching［C］//Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition，CVPR 2001，2001:I—676—I—681.

［8］Yang Jing，Yu Xu，Zhang Jianpei.A novel virtual sample generation method based on Gaussian distribution ［J］.Knowledge-Based Systems，2011（24）:740 －748.

［9］于 旭，杨 静，谢志强.虚拟样本生成技术研究［J］.计算机科学，2011，38（3）:16 －19.