卷积神经网络的民国纸币序列号识别系统

沈成龙 王笑梅 王晨

摘  要： 实现了深度学习的民国纸币序列号自动识别系统.提取、分割民国纸币序列号字符，对单个字符进行预处理，裁剪字符空白区域，归一化字符大小，并使用卷积神经网络进行识别.实验结果表明：在纸币存在污迹、褶皱的情况下，所提民国纸币序列号识别系统能够减少人工录入的工作量，单个字符的识别精度高于99.99%.

关键词： 民国纸币; 图像处理; 序列号识别; 卷积神经网络

中图分类号： TP 391.4    文献标志码： A    文章编号： 1000-5137（2020）04-0465-07

Abstract： An automatic recognition system of paper currency serial numbers of the Republic of China was realized by deep learning in this paper.Firstly，the characters of paper currency serial numbers of the Republic of China were extracted and segmented.Secondly，pre-processing for each character was conducted and the blank character zone was clipped in order to normalize the character size.Lastly，the characters were recognized by the convolutional neural network.The experimental results showed that the paper currency serial number recognition system proposed in the paper could reduce the workload of manual entry while there were stains and wrinkles existing on the paper currency.The recognition accuracy of a single character could reach more than 99.99%.

Key words： paper currency of the Republic of China; image processing; serial number recognition; convolutional neural network

0  引  言

民国时期（1912—1949年），纸币发行量大、种类丰富且保存相对完整，为博物馆研究民国时期的历史与文化信息提供了重要的载体.在数字博物馆建设过程中，通常会得到大量的民国纸币图像.在提取、录入、检索纸币关键信息时，通常采用人工操作，需要从事博物馆纸币研究的专业人员参与，工作量较大、容易出错，同时浪费较大的智力资源.纸币序列号是纸币的唯一编号，隐藏着印刷批次和数量等重要信息，对钱币的辨识和检索有重要的意义.

民国纸币因发行年代、纸币种类的不同，序列号的位置也不尽相同，可能出现在纸币的左上角、右上角、中部偏左或中部偏右等不同的位置.民国纸币在较长时间的流通、收藏过程中会受到不可避免的损伤，导致褶皱、污迹、破损，给民国纸币序列号字符的识别工作造成一定的难度.

目前，纸币序列号识别领域常用的识别方法有：差别不等式[1]、模式匹配[2-3]、支持向量机（SVM）[4-5]、神经网络[6-7]等方法.差别不等式算法人为选择每张纸币的阈值和特征差别点，易造成人力、物力的浪费，效率较低;模式匹配算法是一种基于统计的字符识别算法，通过匹配待识别字符与字符模板，实现字符识别功能，原理简单且速度较快，但受采集的字符质量影响较大，当纸币出现磨损、褶皱、破损时，匹配模板的特征维数较高，识别效果不佳;SVM是机器学习领域中一种基于统计的新型字符识别方法，能够较好地解决高维数和非线性问题，识别效率较高，且在小样本条件下具备较高的识别准确率，然而，该算法易受输入参数影响，智能程度不高.神经网络是一种广泛应用于图像处理领域的新型识别算法，为民国纸币字符识别提供了一种新的思路.目前，基于神经网络的纸币序列号识别主要分为特征提取和分类两个过程，在特征提取阶段，提取图像的特征向量、小波变换特征等;在分类阶段，使用back propagation（BP）神经网络、概率神经网络（PNN）进行識别操作.然而，这种识别方式识别准确率与特征选取关系较大，泛化性能较弱.

本文作者提出一种民国纸币序列号自动识别算法，对民国纸币图像进行预处理，依据颜色特征过滤色彩信息将纸币转为二值图像，作为提取字符区域的信息;采用形态学处理和改进的投影法实现字符的定位和分割;结合单个字符图像中字符本身结构分布特点，裁剪字符空白区域;使用卷积神经网络（CNN）识别字符，并对识别系统进行仿真，分析讨论实验结果.

1  民国纸币图像预处理

由于纸币存在褶皱、污迹、破损等情况，识别前，图像预处理是重要的操作步骤.在采集过程中，因光线、设备以及一些不可避免的因素干扰，纸币图像存在不同程度的噪声干扰，这些噪声会对纸币字符识别造成不利影响.另外，不同地区、银行、年代发行的纸币类型各异，其尺寸差异较大.对民国纸币图像进行预处理，包括：图像采集、纸币图像大小归一化、序列号的定位和字符的分割等操作，以获取纸币序列号单个字符图像.

1.1 民国纸币图像归一化及序列号定位

由于形态学处理中的膨胀运算具有一定的扩张功能，能够填补目标区域中空洞，使目标区域向外扩充.同时，考虑到纸币序列号的区域呈矩形且字符呈水平方向排列，使用矩形算子对图像进行膨胀处理，使序列号字符连接为一个矩形区域，结果如图2（c）所示.

由于民国纸币序列号字符区域具有明显的几何特征，字符区域形状为矩形，尺寸、长宽比满足一定条件，纸币四角不存在序列号字符，可依据以下准则选取字符区域：

1） 受序列号字符尺寸的限制，纸币连通区域面积需要在一定范围内，剔除纸币中连通区域中面积过大或过小的部分;

2） 序列号连通区域的位置不会存在纸币的四角和中部位置，剔除位于纸币四角或其中心位置的连通区域;

3） 虽然字符连通区域的外围矩形长宽比会因纸币的不同，存在些许差别，但该值始终在一定范围内波动，剔除连通区域长宽比不恰当的区域.

依据以上准则，依次剔除不满足条件的区域，如图2（d）所示.

1.2 民国字符的分割

纸币图像分割之前需要进行二值化处理，常用的二值图像方法包括：全局阈值和局部阈值.全局阈值对于目标和背景易于分离的图像处理效果较好;局部阈值对噪声有较好的抗干扰能力.由于民国纸币序列号字符色彩与背景色彩存在较大差异，使用全局阈值二值化图像.民国纸币序列号由数字和字母组成，识别字符时依据字符整体特征进行判断，因此在识别之前需要完成字符的分割.目前，分割纸币字符主要有投影法[18]、连通区域分析法[19]、模板匹配法[20]、整体识别法[21]等.投影法简单易操作，但要求字符无倾斜、污迹干扰.连通区域分析法对噪声较敏感，在有噪声、污迹干扰时，容易出现错分、漏分的情况;模板匹配法主要依据字符位置等先验信息建立模板实现分割，较为依赖边框，抗干扰能力不强;整体识别法将分割与识别相结合，对图像质量要求较低，但计算量和数据量要求较大.本文作者改进了投影法，采用形态学方法在垂直方向膨胀字符，增强字符投影在水平方向上的界限，利用字符投影间隙特征分割字符，如图2所示.

2  民国纸币序列号字符的卷积神经网络识别

卷积神经网络是深度学习中一种重要的网络结构，具有较强的容错、自适应能力和准确率.与BP神经网络不同，卷积神经网络能够直接将二值字符图像作为神经元的输入，借助卷积核在神经网络内部提取图像特征，因此减少单个字符图像周围的空白区域，使图像集中反映字符本身结构，能够有效提升识别准确率.在使用卷积神经网络识别字符之前，对字符进行预处理，提高识别准确率.

2.1 字符图像预处理

分割后的民国纸币序列号中，单个字符结构周围存在空白、噪声干扰，会对后续字符识别造成不利影响，因此在识别之前，需要裁剪字符空白区域.字符裁剪的关键在于寻找单个字符本身结构的最小外接矩形.最小外接矩形的边界即字符四周空白区域初次与字符结构本身接触的部分，考虑到不同字符中央区域空白分布不均，从字符图像边缘向中央检测第一个符合条件的边界点.为减少字符图像中噪声对边界检测的影响，选择投影点及其后的若干投影点的均值作为该检测点的投影值，经验证，投影点数为6时，效果较好.同时为防止过度剪裁造成字符本身结构的丢失，选择字符图像投影值中前10%的最大值的均值作为确定边界点阈值的基准值.经实验验证，当阈值选定为基准值的40%时，能较好实现各字符图片之间的均衡.

卷积神经网络识别字符的具体过程如下：

1） 对字符进行归一化处理，使其尺寸统一为28×28 pixels;

2） 将处理后的字符图像输入CNN进行训练，创建识别模型;

3） 处理待识别的字符图像，并将其输入识别模型进行识别;

4） 输出纸币各字符的识别结果.

3  实  验

为验证所提识别方法的有效性，在Inter（R） Core（TM）i5-7200处理器，8.00 GB内存，Windows 10 Pro（64-bit）操作系统的电脑上，采用MATLAB R2018b，PyCharm 2018.3.1（Professional Edition）进行实验.以一张编号为126605的民国纸币为例，将民国纸币字符识别库中的训练文件导入系统，经大小归一化处理后，系统对序列号进行自动识别.样本系统运行结果如图4所示.

采用一组在博物馆采集的民国纸币图像，共包含154张含序列号的民国纸币.在处理过程中，根据颜色特征和形态学处理进行定位，共成功检测出153张纸币序列号，1张误检;采用改进的分割算法对检测出的153张纸币序列号进行分割，共分割出单个字符图片1 006张，其中，有效字符图片991张，错分、漏分、多分字符图片15张;在识别过程中，将有效字符数据分为训练集（90%）与验证集（10%），经数据增强技术扩充数据后，实际的训练集和验证集样本量分别为51 200张和5 120张，并采用CNN识别处理后的单个字符图像，实验结果表明，单个字符识别准确率高于99.99%.另外，单张纸币序列号识别计算耗时约0.443 s，基本满足纸币识别系统的实时性要求.

4  结  论

以图像处理为基础，利用CNN实现民国纸币序列号识别系统.利用颜色特征和形态学处理的方法，解决民国纸币因流通过程中破损、污迹所造成的定位难的问题，采用改进的字符分割算法对字符进行分割，最后通过CNN实现单个字符的识别.实验结果表明，该方法能够有效地识别民国纸币藏品的序列号，具备较高字符识别率和运行效率.

尽管所设计的民国纸币识别系统在现有数据集上有较好的识别率，但考虑到民國纸币种类丰富，存在其他特殊种类的纸币，后期研究将致力于提升算法的泛化性.

参考文献：

[1] TRIER ? D，JAIN A K，TAXT T.Feature extraction methods for character recognition：a survey [J].Pattern Recognition，1996，29（4）：641-662

[2] 梁琎，包志强.人民币冠字号码的提取与识别 [J].现代电子技术，2013，36（11）：70-74.

LIANG Y，BAO Z Q.Extraction and recognition of RMB crown numbers [J].Modern Electronic Technology，2013，36 （11）：70-74.

[3] 张冬娇，甘早斌.基于模板匹配的人民币纸币序列号识别系统研究 [J].计算机与数字工程，2012，40（1）：104-108.

ZHANG D J，GAN Z B.Research on the serial number recognition system of RMB paper currency based on template matching [J].Computer and Digital Engineering，2012，40（1）：104-108.

[4] 任俊，黄丹丹，李志能.基于支撑向量机和小波的字符识别 [J].浙江大学学报，2005，39（12）：2016-2020.

REN J，HUANG D D，LI Z N.Character recognition based on support vector machine and wavelet [J].Journal of Zhejiang University，2005，39（12）：2016-2020.

[5] 李文宏，田文娟，王霞，等.基于支持向量机的人民币纸币序列号识别方法 [J].信息与控制，2010，39（4）：462-465，471.

LI W H，TIAN W J，WANG X，et al.Recognition method of RMB paper currency serial number based on support vector machine [J].Information and Control，2010，39（4）：462-465，471.

[6] 涂豫.神经网络的人民币序列号识别算法 [J].计算机仿真，2011，28（12）：376-379.

TU Y.Serial number recognition of RMB banknote based on neural network [J].Computer Simulation，2011，28（12）：376-379.

[7] 王崇駿，于汶滌，陈兆乾，等.一种基于遗传算法的BP神经网络算法及其应用 [J].南京大学学报（自然科学版），2003（5）：459-466.

WANG C J，YU W D，CHEN Z Q，et al.A BP neural network algorithm based on genetic algorithm and its application [J].Journal of Nanjing University （Natural Science），2003（5）：459-466.

[8] 陈绿平.人民币图像序列号识别及其在假币串并系统上的应用 [D].昆明：昆明理工大学，2016.

CHEN L P.Recognition of RMB image serial number and its application in the system of counterfeit currency serialization [D].Kunming：Kunming University of Science and Technology，2016.

[9] 阮雷.纸币序列号识别系统的算法研究 [D].成都：电子科技大学，2010.

RUAN L.Research on the algorithm of banknote serial number recognition system [D].Chengdu：University of Electronic Science and Technology of China，2010.

[10] 王瑞玲.人民币纸币序列号识别方法 [D].哈尔滨：哈尔滨工业大学，2006.

WANG R L.Recognition method of serial number of RMB paper currency [D].Harbin：Harbin Institute of Technology，2006.

[11] 赵楠楠，窦艳芳.纸币号码图像预处理及识别技术 [J].辽宁科技大学学报，2015，38（1）：22-25，31.

ZHAO N N，DOU Y F.Paper money number image preprocessing and recognition technology [J].Journal of Liaoning University of Science and Technology，2015，38（1）：22-25，31.

[12] 张志文，赵楠楠.卷积神经网络在纸币冠字号识别中的应用 [J].辽宁科技大学学报，2017，40（2）：133-137.

ZHANG Z W，ZHAO N N.Application of convolutional neural network in recognition of paper money crown numbers [J].Journal of Liaoning University of Science and Technology，2017，40（2）：133-137.

[13] 张颖，陈雪波，吴庆洪，等.人民币纸币识别系统 [J].仪器仪表学报，2004，25（增刊4）：669-670.

ZHANG Y，CHEN X B，WU Q H，et al.Identification system of RMB paper currency [J].Journal of Instrumentation，2004，25 （Suppl.4）：669-670

[14] 汤永华，张志佳，苑玮琦.基于DSP的纸币号码自动识别记录系统 [J].沈阳工业大学学报，2007（4）：442-446.

TANG Y H，ZHANG Z J，YUAN W Q.DSP-based automatic identification and recording system for banknote numbers [J].Journal of Shenyang University of Technology，2007（4）：442-446.

[15] 朱双东，张懿，陆晓峰.三角形交通标志的智能检测方法 [J].中国图象图形学报，2006（8）：1127-1131.

ZHU S D，ZHANG Y，LU X F.Intelligent detection method of triangle traffic signs [J].Journal of Image and Graphics，2006 （8）：1127-1131.

[16] 王义兴，黄凤岗，韩金玉，等.基于颜色搭配与纹理特征的车牌定位方法 [J].中国图象图形学报，2009，14（2）：303-308.

WANG Y X，HUANG F G，HAN J Y，et al.License plate location method based on color matching and texture features [J].Journal of Image and Graphics，2009，14 （2）：303-308.

[17] 常巧红，高满屯.基于HSV色彩空间与数学形态学的车牌定位研究 [J].图学学报，2013，34（4）：159-162.

CHANG Q H，GAO M T.Research on license plate location based on HSV color space and mathematical morphology [J].Journal of Graphics，2013，34 （4）：159-162.

[18] CHEN Z X，CHANG F L，LIU C S.Chinese license plate recognition based on human vision attention mechanism [J].International Journal of Pattern Recognition and Artifical Intelligence，2013，27（8）：1350024.

[19] 王兴玲.最大类间方差车牌字符分割的模板匹配算法 [J].计算机工程，2006（19）：193-195.

WANG X L.Template matching algorithm for segmentation of license plate characters with maximum inter-class variance [J].Computer Engineering，2006 （19）：193-195.

[20] 李文举，梁德群，王新年，等.质量退化的车牌字符分割方法 [J].计算机辅助设计与图形学学报，2004（5）：697-700.

LI W J，LIANG D Q，WANG X N，et al.Deterioration of license plate character segmentation method [J].Journal of Computer Aided Design and Graphics，2004（5）：697-700.

[21] 李偉，杨向东，陈恳.基于CNN和RNN联合网络的心音自动分类 [J].计算机工程与设计，2020，41（1）：46-51.

LI W，YANG X D，CHEN K.Automatic classification of heart sounds based on CNN and RNN joint network [J].Computer Engineering and Design，2020，41（1）：46-51.

（责任编辑：包震宇）