印刷体锡伯文图像数据集的构建

樊小超 新疆师范大学

引言：我国是一个由56个民族组成的统一的多民族国家，许多少数民族拥有自己的语言和文字，锡伯文就是其中之一。锡伯文记载着本民族的历史记忆和众多民俗，展示着本民族的特征和文化内涵，更是锡伯族非物质文化遗产的重要载体[1]。锡伯文保留着满文的完整性，同满文在词汇、词法、句法等诸多方面基本相同，可以相互通用[2]。

锡伯文是是满语支中至今任被使用的语言，研究锡伯文识别技术具有重大的理论价值和实际意义。首先，语言和文字是承载民族文化、沟通民族感情、构成民族各个组成部分的桥梁，锡伯文识别技术的研究对锡伯文、满文的传承和发扬有着重要作用；其次，清王朝统治中国二百六十多年，留下了浩如烟海的满文档案及文献资料，锡伯文识别技术的研究有利于保护和考据珍贵的历史文献；最后，锡伯文在新疆锡伯族聚居地有着十分广泛的使用，在锡伯族的交际活动中占主要地位，锡伯文识别技术的研究将有利于锡伯族群众更好的融入现代生活，转变生活方式，具有重大的实际意义。

本文的目的在于从语言学文字角度分析锡伯文的特点，在此基础上构建印书体锡伯文数据集，为今后的锡伯文识别算法提供公共的训练和测试样本，为锡伯文文字识别技术提供必要的前提。

1.锡伯语言文字特点

锡伯文按使用场合不同可以分为书面语和口语，二者存在较大差异。本文的研究对象为锡伯文书面语。锡伯文书写时，通常以单词为单位，词与词之间由空格或标点符号隔开，每个单词由一个或多个字母构成，行文从上到下，从左到右。现代锡伯文包含5个元音字母，25个辅音字母，根据字母所处位置的不同，字母有四种形体：独立形式，字母的前后没有其他字母连接；词首形式，字母只于其后的字母连接；词尾形式，字母只于其前的字母连接；词中形式，字母同时连接前后的字母。由此可以看出，锡伯文是一种字母具有独立、词首、词中、词尾不同形式，且每一种形式可以有多个不同的书写形体的、黏着连写的拼音文字。为了便于书写和传播，锡伯文字母可以转写成拉丁字母，且锡伯文字母和拉丁字母具有双向可逆性，能够以相似的方式进行双向转换。

2.锡伯文数据集的构建

2.1 词典来源

为了生成锡伯文词典，本文分析了不同的锡伯文书籍，最终选择了新疆维吾尔自治区察布查尔县中小学教材审定委员会2014年审查通过的锡伯文小学课本1-5册（试用版），《锡伯文双语速成课本》初级，以及《锡汉教学词典》作为锡伯文单词的来源。从以上书籍当中，本数据集收集整理3424个锡伯文单词，这些单词涵盖了目前印刷体锡伯文中最常用的名词、动词、形容词、副词。

2.2 渲染过程

通过扫描或拍摄得到的图像通常会存在倾斜或包含噪音，在预处理过程中需要消除这些影响。本文构建的印书体锡伯文数据集来自文本数据，使用程序自动生成文本图像，避免了引入噪声，也不会出现倾斜等现象。

由文本生成图像可以采用多种不同的方法完成，但是不同的方法通常都会导致目标图像的轻微变化。本文采用下采样和抗锯齿效果的渲染方法，这种方法能够在低分辨率下较好的保留图像的特征。该过程使用抗锯齿过滤方法将高分辨率源图像下采样为低分辨率图像。首先选择字体、字号和字型，对词典中的单词在高分辨率下（360像素/英寸）生成灰度图像。然后将白色像素点添加到图像的右侧和底部，形成大小相同的图像。最后采用抗锯齿过滤方法获得低分辨率（72像素/英寸）的目标图像。图像生成算法采用python 3.5实现，主要使用了PIL包中Image模块，为了优化下采样的质量和速度，采用了平滑方法。

2.3 标注过程

锡伯文图像数据集中的每个单词图像都使用一个XML文件完整地描述，该文件包含关于单词的主要信息和生成的信息，具体信息如图2所示。

图2 锡伯文图像标注

imageInfo标记中的id标识了图片的名称，是该图片的唯一标识。每个xml文件包含4个主要标记：

.Content：描述了当前单词，当前单词包含的字母数量及该单词的中文翻译。该标记包含次级标记，次级标记属性描述了该单词所包含的每个锡伯文字母，字母的罗马转写及该字母在单词中的位置。

.Font：描述了当前单词的字体，字号和字型。

.Specs：描述了图片的格式，高度，宽度和其他效果。

.Generation：描述了图片生成方式，使用工具及过滤方法。

3.结论

本文提出了一种印刷体锡伯文图像数据集，该数据集由多种常用的锡伯文字体组成，为了便于进一步的研究和对比实验，文中提出了对于数据集划分的指导性建议。锡伯文与汉文在基本笔画组成、连接以及书写方式上均不同，且有着较大的差异，许多在汉文上应用的识别技术不能够直接应用到锡伯文字的识别中。锡伯文数据集的建立，有利于对于锡伯文文字的切分和识别的研究，为今后有效的进行锡伯文、满文的高效识别打下了良好的基础。