基于电触觉替代视觉系统的汉字识别

【】刘捷，张竹茂，任秋实，柴新禹

上海交通大学生命科学技术学院生物医学工程系，上海，200240

基于电触觉替代视觉系统的汉字识别

【作 者】刘捷，张竹茂，任秋实，柴新禹

上海交通大学生命科学技术学院生物医学工程系，上海，200240

利用自行设计研制的电触觉替代视觉系统，通过简单的图像处理算法以及多通道分时复用技术，实现了在由16×16个电极组成的触摸电极阵列上的电触觉汉字显示。并以此为基础，进行了简单汉字的识别实验。实验结果表明，电触觉替代视觉是一种帮助盲人进行简单汉字阅读的可行方法。同时该实验也为进一步开展复杂图像识别的研究打下了基础。

电触觉；电触觉替代视觉；汉字识别

早在1969年，美国威斯康星大学生物医学工程系Bach-y-Rita、Collins等人在Nature中首次提出利用触觉替代视觉可以帮助盲人重新获取视觉信息的设想[1]。第二年，Collins科研小组便发明了这种触觉替代视觉的装置。该小组将400个微型震动器构成的触觉阵列安置于受试者背部，通过震动产生触觉，来感受CCD摄像头获取的图像信息，而该系统被取名为触觉替代视觉系统（TVSS）[2]。随后，国际上的相关研究主要利用机械装置来产生触觉感受，但是由于基于该构架的TVSS有成本高、笨重和能量转换率低等缺点，很难进入便携实用。近二十年来，TVSS的研究重心逐渐转向了利用电刺激来产生触觉感受[3-12]。通过大量的研究表明，电触觉显示装置具有成本低、分辨率高、功耗低、便于集成和小型化等一系列优点，被广泛用作TVSS的显示终端。在前人的研究基础上，我们课题组研制了作用于手指的电触觉替代视觉系统（ETVSS）[13]、[14]，具有电触觉显示阵列大和功耗低等特点。本文将着重介绍基于该系统实现的电触觉汉字显示，以及相应的汉字识别实验。

1 ETVSS的硬件组成

ETVSS主要由图像采集、图像处理、刺激器和电极阵列四个部分组成，其原理框图如图1所示，系统的实物图如图2所示。

图1 ETVSS系统原理框图Fig .1 Main block diagram of ETVSS

图2 ETVSS实物图[13]Fig.2 The object of the ETVSS[13]

1.1 图像采集和图像处理

图像处理部分包括数字信号处理芯片（DSP）、模拟/数字转换器、同步动态存储器（SDRAM）和闪速存储器（FLASH）。图像采集部分将采集到的原始图像经模拟/数字转换后存放在SDRAM中，DSP读取存放在SDRAM中的数字图像信号并对其有选择地进行图像去噪、图像增强、边缘检测和像素降低等处理，所得的图像信息也存放在SDRAM中。图像处理策略的程序和DSP对图像采集部分等的控制程序都存放在FLASH中。

1.2刺激器

刺激器部分包括ARM微型控制单元、手动调节模块、电极驱动模块和刺激电源模块。ARM微型控制单元与前端的图像处理部分通讯，接收DSP处理后的图像信息；与手动调节模块连接，接收由手动调节的刺激脉冲信息；与电极驱动模块连接，控制电极驱动模块产生需要的刺激。

电极驱动模块包括多路复用和光电耦合电路。多路复用电路主要实现256路刺激通道的分时输出，从结构上降低了系统的复杂性。光电耦合电路隔绝刺激电源模块与前端多路复用和处理控制模块，以防止高压电源损坏前端电路。

刺激电源模块输出恒定的电压0-300V，供应刺激脉冲相应的刺激幅值。

1.3电极阵列

刺激电极阵列由16×16个电极组成，受电极驱动模块驱动。当手指指尖直接触摸电极阵列时，会产生电触觉感受。电极采用镍材料的球型突起电极，电极的直径约为0.9 mm，具有良好的导电性、焊接性和耐腐蚀性，电极之间的中心间距约为2.5 mm。在电极阵列上，除凸起球形电极外，其余部分表面全部敷铜，作为接地网络。

2 电触觉汉字显示的软件实现

汉字，也可以被视作为一种图像，通过摄像头将其采集进来，进行一系列简单的图像处理，最终可以点阵的形式在电触觉显示阵列上显示出来。图3便是利用DSP和ARM来实现图像处理、传输与控制的程序流程图。对DSP与ARM芯片分别编写运行程序，然后将编译链接转换成的二进制文件，分别烧录到DSP的片外Flash与ARM的片内Flash中。

图3 利用ETVSS显示汉字的程序流程图Fig.3 Program flow chart of displaying Chinese character using ETVSS

对于实时采集的汉字图像，利用中值滤波去噪、降低其像素和阈值化一系列的方法对原图进行图像处理，将生成的16×16二值化图像按行以数组Uint16 OutputImage[16]的形式存放在DSP的SDRAM中。然后，在数组OutputImage全部被赋值后，DSP将改写引脚信号，ARM通过查询该引脚得知，通过HP I接口将数组OutputImage读取到自己的内存中并释放DSP总线。用HPI接口对图像数据的读取的好处是不影响到DSP的处理进程，使ARM能够与DSP并行的工作，从而保证了刺激信号的实时性。ARM中运行的程序分为后台任务和前台中断两部分，后台任务不断地查询HPI接口，负责更新输出图像；前台中断为定时器的中断服务程序，将接收的图像信息转换控制波形，通过ARM的10条通用输出口将控制波形传递给电极驱动模块。

图4 汉字“也”的刺激分布图Fig.4 Stimulation distribution of Chinese character “也”

图5 ARM控制信号Fig.5 ARM control signal

图4为汉字“也”的电触觉刺激在电极阵列上的分布图。我们将256电极划分为4个区，ARM的6条通用输出口作为地址线AD0-AD5，每个区共用这6条地址线，同时对各个区的64路通道实现分时扫描，而另外4条通用输出线作为数据线OUTPUT0-OUTPUT3，分别向每个区上的相应通道传送通道开关信息。图5上显示的ARM控制信号控制电极驱动电路在电极阵列上显示如图4所示的汉字“也”。

3 简单汉字的识别实验

6名来自上海交通大学的志愿者参与了本实验，其中3名男性和3名女性，年龄范围为23到30，具有正常的电触觉感受阈值。实验前每个被试者都被告知实验目的和步骤。他们均为第一次参加本实验。

汉字识别实验的汉字素材由三组组成，它们分别为汉字数字（一二三四五六七八九十）、根据中华人民共和国1988年颁布的《现代汉语常用字频度统计表》中的最常用汉字二画高频字（了人十二又力儿九几八）以及最常用汉字三画高频字（上大个子小下也工三于），共30个汉字。

实验中的采用的电刺激脉冲（图6）选用已有研究中对手指刺激的最佳参数[8]、[15]，脉宽设置为50 μs，脉冲周期为4.17 ms，脉冲串周期为33.33 ms，其中脉冲幅值需要通过测试适合的工作电压来确定。

图6 作用于指尖的刺激波形Fig .6 Stimulating waveform on the fingertips

本实验内容包括适合的工作电压幅值的测量、训练和正式实验三个部分。在这三部分开始之前，我们将向被试者介绍实验目的、实验步骤、实验时间以及实验方法等，同时让被试者先清洁手指，去除污垢，再用70%酒精棉花擦拭电极阵列，并在手指上涂抹少许导电膏，以减小手指移动的摩擦力，同时以减小皮肤阻抗，提高电触觉感受质量，并防止手指皮肤脱水。适合的工作电压幅值的测量目的是为了确定适合于不同被试者的刺激脉冲幅值。训练的目的是为了让被试者熟悉通过触摸电极阵列来识别汉字的实验过程。

适合的工作电压幅值的测量 由于每个人的指尖的皮肤特性不同，因而导致皮肤的阻抗特性因人而异，所以每个人对于电触觉的感受阈值是存在一定差别的。所谓的适合的工作电压幅值是指在该状态下，电触觉刺激的电压幅值不强也不弱，比较适中，从而适合在长时间的工作中使用。具体测试方法是受试者先后两次触摸电极阵列中心，每次触摸10 s，随机地在其中一次时间内在电极阵列的中心位置上显示3×3实心矩形，让受试者判断是前后哪一个时间段出现的。如果判断错误，电压上升30 V；如果两次判断正确下降30 V。每次下降后，增减的步长为原先的一半，如此往复，直至找到电触觉感受阈值。然后，从阈值开始逐渐升高电压值，电触觉感受会经历微弱震动感 → 强震动感 → 针刺痛感。微弱震动感无不舒适感，但对单个点的感受比较不清晰；针刺感会带来不适，但对单个点的感受相对集中。适合的工作电压幅值所产生的是没有达到针刺痛感之前的强震动感，它将作为受试者进行汉字识别实验的刺激脉冲幅值。

正式实验共分为4组：汉字数字识别，常用汉字二画高频字识别；常用汉字三画高频字识别和三组汉字的混合识别。

训练在前三组正式实验开始前进行，在电触觉阵列上逐个显示该组中的10个汉字，让受试者逐个体验与学习，每个汉字显示60 s。

在每组正式实验过程中，电触觉阵列上会随机显示出一个在该组范围内的汉字，要求被试者尽可能快地做出准确的判断，判断结果和判断时间会被记录下来，共随机显示20个汉字。最后一组混合汉字的实验没有训练的过程。

表1 电触觉汉字识别实验结果Tab.1 Result of Chinese character recognition experiment

图7 电触觉汉字识别实验结果图Fig.7 Result chart of Chinese character recognition experiment

实验结果考察 电触觉汉字识别的识别时间和准确率。这四组实验最终得到的平均识别时间和平均识别准确率，如表1和图7所示。

4 讨论与展望

从图7的统计结果中我们可以发现，汉字数字由于较常用且结构特异性比较强，所以平均识别时间比较短；随着汉字笔画的增多，判断时间也在增加；三组混合后的时间最长，因为需要识别的汉字范围增大了。同样，虽然汉字数字中不乏笔画数较多的汉字，但是由于汉字数字的结构差异性比较强，所以其平均识别准确率却很高。从二画汉字到三画汉字，平均识别准确率稍有减少，而三组混合汉字的平均识别准确率最低。但从错误的结果中我们可以发现，出现识别错误的主要原因是一些字形相近的字的混淆，如“了”和“下”，“六”和“大”，“几”和“儿”等。这可能是因为在短时间的电触觉汉字学习之后，受试者还没有能够完全熟悉电触觉刺激的环境，对电触觉显示的汉字的大体轮廓可以识别出来，但是细节部分却不能分辨出来。

从实验结果可知，在没有长时间训练的情况下，ETVSS的受试者已经能够通过电触觉识别汉字的大体轮廓、结构，并有较高的识别准确率。如果加以时日，就如盲人的听觉、触觉比一般人灵敏一样，电触觉汉字的识别时间可以进一步的缩短，而对于电触觉显示的汉字的细节的感受也能更加灵敏与清晰。不仅是汉字，利用相同的方法，使ETVSS给盲人提供实时的图像信息也成为了可能。随着科技的发展，我们坚信，感觉替代理论将不再仅仅停留在理论的层面，通过大家的努力一定能够改善盲人的生活质量。

[1] P. Bach-y-Rita, C. C. Collins, F. A. Saunders, et al. Vision substitution by tactile image projection[J], Nature. 1969, 221(8): 963-964.

[2] C. CC. Tactile television-mechanical and electrical image projection[J]. IEEE Trans on Man-Machine Systems, 1970, 11:65-71.

[3] K. A. Kaczmarek, M. E. Tyler, and P. Bachyrita. Electrotactile Haptic Display on the Fingertips - Preliminary Results[A]. Engineering in Medicine and Biology Society, Engineering Advances: New Opportunities for Biomedical Engineers, Proceedings of the 16th Annual International Conference of the IEEE[C]. 1994, 2: 940-941.

[4] K. A. Kaczmarek, M. E. Tyler, and P. Bach-y-Rita. Pattern identification on a fingertip-scanned electrotactile display[A]. Engineering in Medicine and Biology Society,. Proceedings of the 19th Annual International Conference of the IEEE [C]. 1997,4:1694-1696 .

[5] P. Bach-y-Rita, K. A. Kaczmarek, M. E. Tyler, et al. Form perception with a 49-point electrotactile stimulus array on the tongue: A technical note[J]. Journal of Rehabilitation Research and Development, 1998, 35(10): 427-430.

[6] K. A. Kaczmarek. Electrotactile adaptation on the abdomen: Preliminary results[J]. IEEE Transactions on Rehabilitation Engineering, 2000, 12(8): 499-505.

[7] K. A. Kaczmarek and S. J. Haase. Pattern identification as a function of stimulation current on a fingertip-scanned electrotactile display[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering 2003, 11(9):269-275.

[8] K. A. Kaczmarek and S. J. Haase. Pattern identification and perceived stimulus, quality as a function of stimulation waveform on a fingertip-scanned electrotactile display[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2003, 11(3): 9-16.

[9] W. Liu and H. Tang. Preliminary study on electrotactile sensitivity of the lips[A]. Engineering in Medicine and Biology Society, 26th Annual International Conference of the IEEE[C]. 2004, 2: 4811-4814.

[10] M. C. Pereira and F. Kassab. An electrical stimulator for sensory substitution[A]. Engineering in Medicine and Biology Society, 28th Annual International Conference of the IEEE [C].2006,1: 6061-6020.

[11] Y. P. Danilov, M. E. Tyler, and K. A. Kaczmarek. Electrotactile vision: Achievements, problems and perspective[J]. International Journal of Psychophysiology, 2008, 69(9): 162-163.

[12] O. Cakrt, P. Kolar, R. Cerny, et al. Electrotactile stimulation of the tongue: a new option in the rehabilitation of postural stability - a case report[J]. Ceska a Slovenska Neurologie a Neurochirurgie, 2009, 72:364-367.

[13] 张竹茂, 刘捷, 赵瑛, 等. 基于手指的触觉替代视觉系统的设计与实现[J], 中国医学物理学杂志, 2009, 26: 1293-1298.

[14] 柴新禹, 陆燕玉, 张竹茂, 等. 基于电刺激的触觉-替代视觉系统[P]. 公开号: 200810200430.2.

[15] H. Tang and D. Beebe. An oral tactile interface for two-way communication[A]. Microtechnologies in Medicine & Biology, 1st Annual International Conference on 2000[C], 2000, 1: 639-643.

Recognition of Chinese Character on Electrotactile Vision Substitution System

【Writers】Liu Jie, Zhang Zhumao, Ren Qiushi, Chai Xinyu
Inst. of Laser Medicine and Bio-Photonics, Shanghai Jiaotong University, Shanghai, 200240, China

Electrotactile, electrotactile vision substitution system, recognition of Chinese characters

】In this paper, we used the eletrotactile vision substitution system designed by ourselves to display Chinese characters on the 16x16 electrode array through some simple image processing algorithms and multiplexing technology. Based on this, simple Chinese character recognition experiment was conducted. The result of the experiment shows that the electrotactile vision substitution is a feasible solution for the blind to read simple Chinese characters and the result also solidi fi es the foundation of further study about more complex real-time image electrotactile display.

1671-7104(2010)05-0313-04

2010-05-21

国家高科技研究发展计划（2009AA04Z326）；国家重点基础研究发展计划（2005CB724302/3）；国家科技支撑计划（2007BAK27B04, 2008BAI65B03）；国家自然科学基金（60871091）；教育部111项目（B08020）

柴新禹（1963-），男，上海交通大学教授，博士生导师，从事

生物医学工程研究 E-mail: xychai@sjtu.edu.cn

R318.6

A

10.3969/j.isnn.1671-7104.2010.05.001

【