基于Kinect的古文字识别系统探究

沈敏胤 杨亮 赵哲萱

摘要：以三维扫描为基础的图像识别和三维重建在文物领域作用显著，应用日广。本文使用kinect深度相机配合文字识别算法探究了这一技术在古文字识别方面的作用。通过Kinect相机扫描文字，接着对文字的点云数据进行分析，最后使用相应的Matlab程序进行识别，获得古文字对应的简体中文汉字。

关键词：Kinect; 点云配准;Matlab;图像识别;古代文字

1 kinect传感器

Kinect 是微软公司开发的一款获取 3D 体感信息的设备， 它由多阵列麦克风、RGB 彩色摄像头、红外线CMOS摄影机和红外发射器组成。位于中间位置的是RGB彩色摄影头，可以采集640×480的彩色图像，1s内可以采集30帧图像。红外线发射器和红外线CMOS摄影机分别位于传感器的两侧，构成3D结构光深度感应器，可以测量被测物体与摄像机之间的距离（即深度数据采集）。内部的阵列式麦克风，用来实现语音辨识和定位声源位置等功能。

2 识别原理

Kinect 设备与普通摄像头的区别在 于红外线发射和红外线接收功能，通过这个功能，Kinect 可以获取场景的深度信息。

Kinect 1.0 获取深度图像是基于 Light Coding[12] 技术， 该技术是将红外线光均匀分布投射在被测物体和空间中， 之后光谱将发生扭曲，反射出随机的斑点，即散斑。再通过红外摄像头读取空间和物体上的每个散斑。这些散斑有着高度随机性，而且随着距离的变化而变化。在得到原始数据后， 使用设备中的 PS1080 芯片计算出具有深度信息的图像. Kinect 2.0 则是基于 Time Of Flight （TOF） 技术获取深度图像， TOF 技术是通过向目标发射连续的特定波长的红外光线脉冲， 经过传感器接收待测物体传回的光信号， 计算光线往返的飞行时间或相位差得到待测物体的 3D 深度信息. 相比于 Kinect 1.0， 采用了 TOF技术的 Kinect 2.0 获取深度图像的精度更高， 被外界光影响的概率更低， 针对环境光具有更强的抗干扰性， 因此本文选用 Kinect 2.0。

3古文字的提取识别

本文中所提到的古文字是指，虽然时代久远，有从甲骨文到篆书隶书的演化，但都可以识别并将其转化为现代的简体中文，就比如我国先秦的篆书，汉代的隶书，这些文字构造结构与六书基本一致，传统上我们可以从他的文字本身触发，对文字进行分析和判断，通过一些古文字的工具书字典，从最简单的字和数字开始，进行逐一辨认，通过已经成熟的matlab程序进行识别。

但是由于古文字的繁多，以及文字复杂，没有过硬的专业知识，以及丰富的经验，实践很难在短时间内正确的翻译出来，因此是一件耗时耗力的工作。

于是我们在这基础上提出用现代的方法，对古代文字进行识别，我们先用相机，对这些出土印有文字的的文物进行拍照，对我们项目要求，所以我们使用的是kinet深度相机，可以从6D位姿的角度识别处理图像，获得全面、细节完善的文字笔画信息，然后通过matlab程序，把其中的文字字符给提取出来，使用色阶增加黑场，提高对比度，锐化方法使文字变得尽量清晰，完成文字的识别，然后将识别出来的图案输入程序，再通过比对大量已经建立的古文字数据库，找出最匹配的古文字，输出终端，再进行下一个古文字的識别。这样就能在短时间里对考古的文物中的古文字进行识别。

4实验结果与分析

我们对20几张照片进行了拍照，之后使用Matlab，中间的连字符程序，把一些有间断的模糊的的断点连接成单词，字母和汉字进行识别，大约有超过70%的字可以完全的识别出来，其余的20%多的字可以通过其他的程序，过滤掉低通滤噪声和高通噪声的干扰，以及锐化等处理后进行有效的识别出来，还有5%左右的程序需要经过更加复杂的程序进行图像处理，方能清晰地进行阅读，还有2%不到的字母单词或者数字，尚末识别清楚，从这个来看，使用相机进行拍照和Matlab程序进行数字图像识别，跟人肉眼识别的结果几乎差别不大不足的地方，可以从精度和分辨率入手也可以写识别对外部环境有要求（即光线太暗，字体笔画太细，没有庞大的数据库，不能很好识别等）之后我们将会与其他学院的同学们一起合作，把数据库和识别的深度学习机器统一起来，使我们这个识别的精度更高，更精准。

当然，我们这个识别还是存在很多问题的，首先是在器材上面，我们是使用的kincet相机的深度相机的分辨率为512X424，并且相机的固有敏感度存在一定的问题。这个相机的分辨率是比较低的，不能进行精确扫描，下一步的话，我们将会使用，分辨率更高的相机进行再一次的识别实验，同时，这个相机对光线的要求还是比较大的，在只使用连字符未能扫描识别出来的，20%的单词和字母中，很多都是由于光线问题而导致的，此外，文字和背景的颜色对比度，灰度锐度等一些问题也会导致文字的识别不出来，还有由于相机的距离和识别文字的数量的关系导致的，部分某些数字，它的笔画宽度比较小，小于能识别的范围，这个问题将会在之后的讨论中进行解决

同时，在识别方面，由于经费问题我们的识别，是由五位，没有拿到需要识别图片准确译文的同学进行肉眼观察，把他们观察的结果写在纸上，之后使用对照比对等手段进行，检查出来的，所以具有一定的实验误差。

5 结束语

基于 Kinect 的古文字识别是一个新颖而又充满意义的课题。本文使用 Kinect与 matlab 完成了一套用户功能完备，识别准确的古文字识别方案。该系统主要通过 Kinect 来获取文字数据，通过对数据的分析与综合识别出文字对应的现代文字，然后得出正确的文字结果。在相信这可以在文物领域中发挥很好的作用。

参考文献：

[1]李文怡，张蜓，杨洁.三维扫描及快速成型技术在文物修复中的应 用[J].文博，2012（6）：78-81.

[2]  Reddy G D， Saggau P. Fast three-dimensional laser scanning scheme using acousto-optic deflflectors.[J].Proc Spie， 2005， 10（6）：4379-4386.

[3]  Xie HY， Zhong YQ. Structure-consistent customized virtual mannequin  reconstruction  from  3D  scans  based  on optimization.  Textile  Research  Journal，  2020，  90（7 –8）： 937–950. [doi： 10.1177/0040517519883957]

[4] 吴剑锋， 蒋濛婷， 马梦鑫， 等. 基于点云融合算法的 Kinect 三维重建技术及其应用研究. 计算机应用与软件， 2018， 35（8）： 260–264. [doi： 10.3969/j.issn.1000-386x.2018.08.047]

[5] Zhao L， Shen XK， Long X. Robust wrinkle-aware non-rigid registration  for  triangle  meshes  of  hand  with  rich  and dynamic  details.  Computers  &  Graphics，  2012，  36（5）： 577–583. [doi： 10.1016/j.cag.2012.03.035

作者介紹：

沈敏胤，男，出生于2000年六月，汉族，上海人，扬州大学本科在读，自动化专业

基金项目：本文系2020年江苏省扬州大学大学生创新创业项，项目编号X20200389