视听触同步刺激的数字化盲文学习方法①

陈楷闻,林 栋,钟泽栋,胡庆玲,吴新丽,刘 瑜,杨文珍,2

1(浙江理工大学 机械与自动控制学院,杭州 310018)

2(之江实验室 超级感知研究中心,杭州 311121)

根据世界卫生组织统计,全球约有2.85 亿视力障碍人士,其中3900 万人完全失去视力,2.46 亿人为视力残余人士[1,2].目前,我国视障群体庞大,约有1731 万人,其中824 万人完全失去视力,907 万为视力残余人士.盲文是视障人士获取信息,学习知识的重要媒介,高效的盲文学习方法对于广大视障人士而言意义重大.

长期以来,视障人士依赖纸质书籍学习盲文.当盲童指尖摸读纸质盲文教材时,盲校老师在旁边解释盲文点位触觉刺激的含义,通过语音帮助盲童建立起盲文点位触觉信息和文字之间的映射关系[3].为了提高盲文学习效率,Elliott 等人[4]以儿歌的方式,加深盲童对盲文点位触觉刺激的记忆.但是,纸质盲文教材造价高昂,工艺复杂,制作时间较长,内容滞后,存在不便携、不易用和学习效率低等问题.而且,基于纸质书籍的盲文学习方法,视障人士无法独立学会盲文,需要他人的辅助.因此,广大视障人士非常渴望一种高效且无障碍的盲文学习方法,来满足他们自主学习的需求.

Watanabe 等人[5]开发了一种盲文教材辅助教学装置,可以引导视障人士按照规定方向摸读盲文,并提供听觉刺激,但是,该装置仅支持有限且特定的盲文教材,无法提供其他盲文教材.Rantala 等人[6]设计了一种便携式盲文显示装置,每次只能呈现一个盲文点位,不便于视障人士快速掌握盲文.Matsuda 等人[7]研发了一种基于语音识别的盲文教学平台,需要在老师帮助下,盲童才能学习盲文.Doi 等人[8]研发了一种盲文触控笔,能够把盲文转化为语音,帮助视障人士快速获取信息,但不适用于视障人士指尖摸读学习盲文.蒋小艳等人[9]提出了一种基于电刺激的盲文显示方法,容易引起指尖皮肤的刺痛感,不适合视障人士长时间使用.赵宇等人[10]利用压电陶瓷驱动器研发了一种盲文点显器,需要配套的电脑读屏软件,不方便视障人士的自主学习.

学习盲文的本质是在视觉和听觉的辅助下,视障人士构建起盲文点位触觉信息与文字之间的映射,从而掌握盲文[11].完全失明的人只能依靠听觉学会盲文,视力残余的人可联合听觉和微弱的视觉学会盲文.为了提高盲文学习效率,本文提出了一种视、听、触同步感知的数字化盲文学习方法,能够提供视觉、听觉和触觉的同步刺激,以期实现视障人士无障碍地学习盲文.

1 多感知信息的匹配问题

1.1 多感知通道的盲文学习机

我们开发了一种多感知通道的盲文学习机,能够提供视觉、听觉和触觉的多通道刺激,辅助视障人士学习盲文.盲文学习机的4.3 寸LCD 液晶屏可以显示普通文字和盲文点位图形,提供视觉感知;盲文学习机的XFS5152 语音合成芯片可以播报语音,提供听觉感知;盲文学习机的点显装置可以动态生成盲文点位,提供触觉感知,如图1所示.

图1 多感知通道的盲文学习机

盲文学习机是基于STM32F103ZET6 芯片开发的嵌入式系统,通过FatFs 文件系统[12]对SD 卡内的文件进行管理.SD 卡内的文件包括普通文字的文本文件和盲文二进制的点序文件.文本文件控制普通文字的视觉和听觉信息输出,让液晶屏显示普通文字和语音合成芯片播报普通文字的语音,点序文件控制盲文点位的图形输出和触觉信息输出,供给液晶屏显示盲文点位的图形和点显装置动态更新盲文点位.

1.2 多感知文件载体

1.2.1 文本文件

为了便于视障人士的摸读,国家通用盲文规定在汉字语句转化为盲文点位前,必须经过分词连写处理,以提高视障人士理解语句的效率.例如,汉字语句“天气凉了,树叶黄了.”分词连写处理后,改为“天气_凉_了_,_树叶_黄_了_._”,“_”为空格表示空方盲文,占有6 个位.

文本文件就是由分词连写处理后的汉字语句组成,承载了视障人士学习盲文的文字和语音信息.盲文学习机读取某一文本文件的语句,比如“瑞金_城外_有个”,就可以让用户在液晶屏上看到文字,并听到此语句的朗读声音.

1.2.2 点序文件

一个盲文点字由3 行2 列的盲文点位组成,称为一方,占有6 个位,可组合出64 种盲文二进制点序.盲文二进制点序由“0”和“1”表示,“0”代表盲文点位不凸起,“1”代表盲文点位凸起,比如,空方的盲文二进制点序为“000000”,满方的盲文二进制点序为“111111”.通常,一个汉字转化为盲文点位,需要二方,分别表示声母和韵母,占有12 个位.例如,“盲”的拼音是“mang”,声母“m”的盲文二进制点序为“101100”,韵母“ang”的盲文二进制点序为“011001”,组合为“101100011001”.然而,也有一些汉字转化为盲文点位,只需要一方,占有6 个位.例如,“师”的拼音是“shi”,属于整体认读音节,只需要一方,其盲文二进制点序为“100011”.此外,有的汉字符号为转化盲文点位,需要二方,比如,“》”的盲文二进制点序为“001001010000”,然而,也有一些汉字符号为转化盲文点位,只需要一方.

点序文件就是由汉字转化为盲文点位的盲文二进制点序组成,承载了视障人士学习盲文的触觉信息.盲文学习机读取某一点序文件的点序,比如“111 110 011 011”,就可以让用户在液晶屏上看到盲文点位图形,指尖触觉感知到此盲文点位.

1.3 多感知信息的内容匹配

从1.2 节可知,汉字转化为盲文二进制点序具有位数不确定性的现象,这导致了文本文件和点序文件存在位数不匹配问题.例如,盲文二进制点序120 位可以对应不同字节数目的汉字语句,如图2所示;同样,20 个字节数目的汉字语句也可以对应不同位数的盲文二进制点序,如图3所示.如果不能解决这一问题,盲文学习机就会输出文字、语音和盲文点位内容不相同的信息,使得视障人士无法正确学习盲文.

图2 盲文二进制点序120 位可以对应不同字节数的汉字语句

图3 汉字语句20 个字节可以对应不同位数的盲文二进制点序

另外,依据国家通用盲文规定,一个汉字的盲文二进制点序不能分行呈现,即声母和韵母的盲文二进制点序要连续;一个词语和一个符号的盲文二进制点序也不能分行呈现,以保证盲文摸读的连贯性.所以,文本文件和点序文件也要满足这一规定.

为此,我们需要设计一种文字、声音和盲文点位的多感知信息匹配算法,能够实现文本文件和点序文件的内容相互对应,使得盲文学习机输出相同内容的视觉刺激、听觉刺激和触觉刺激,帮助视障人士正确且高效地学习盲文.

2 多感知信息的匹配算法设计

观察汉字语句的文本文件和对应的盲文二进制点序文件,如图4所示,我们发现文本文件以空格“_”字符切分,点序文件以空方“000000”切分.当文本文件中空格的数目与点序文件中空方的数目相等时,文本文件和点序文件的内容相同.这一特征为实现多感知信息匹配算法提供了依据.

图4 文本文件中空格的数目与点序文件中空方的数目

盲文学习机的点显装置共有120 个触点,每次最多可以显示20 方盲文.为了尽可能利用这120 个触点显示更多方盲文,多感知信息匹配算法从文本文件中读取37 个字节,从点序文件中读取126 字节,进行文本文件和点序文件的内容匹配处理.这里,37 个字节文本是预设值,已足够匹配点序文件中内容相同的126 字节.经过仔细分析,信息匹配算法需处理4 种情况:1) 第20 方和第21 方均不是空方;2)第20 方是空方但第21 方不是空方;3)第20 方不是空方但第21 方是空方;4)第20 方和第21 方都是空方.

情况1.第20 方和第21 方均不是空方.

此时,第20 方与第21 方构成了一个字(词或符号).如果信息匹配算法保留第20 方盲文,会导致一个字(词或符号)被分割,不符合国家通用盲文规定.因此,匹配算法必须把当前126 个盲文二进制点序中,舍去最后一个字(词或符号)的盲文二进制点序.具体实现过程为:

1)点序文本的处理:倒序统计前19 方中的空方数目,记录最后一个空方的位置,即找到最后一个字(词或符号)的位置,存储该位置之前的点序,然后添加“000000”至120 个字节并存储;

2)文本文件的处理:顺序存储文本并统计空格的数目,直到文本的空格数目和点序的空方数目相同,然后添加空格至37 个字节并存储.

情况2.第20 方是空方但第21 方不是空方.

此时,第20 方与第21 方不构成一个字(词或符号),第20 方分隔了前一个字(词或符号)和后一个字(词或符号),符合国家通用盲文规定.具体实现过程为:

1)点序文本的处理:顺序存储120 个字节的盲文二进制点序,并统计前20 方中的空方数目.

2)文本文件的处理:顺序存储文本并统计空格的数目,直到文本的空格数目和点序的空方数目相同,然后添加空格至37 个字节并存储.

情况3.第20 方不是空方但第21 方是空方.

此时,第20 方与第21 方不构成一个字(词或符号),第21 方分隔了前一个字(词或符号)和后一个字(词或符号),符合国家通用盲文规定.具体实现过程为:

1)点序文本的处理:顺序存储120 个字节的盲文二进制点序,并统计前20 方中的空方数目.

2)文本文件的处理:顺序存储文本并统计空格数目,直到文本的空格数目比点序的空方数目多一个,然后添加空格至37 个字节并存储.

情况4.第20 方和第21 方都是空方.

此时,第20 方与第21 方不构成一个字(词或符号).具体实现过程为:

1)点序文本的处理:顺序存储120 个字节的盲文二进制点序,并统计前20 方中的空方数目.

2)文本文件的处理:顺序存储文本并统计空格数目,直到文本的空格数目和点序的空方数目相等,然后添加空格至37 个字节并存储.

信息匹配算法遍历源文本文件和源点序文件,每次从源文本文件中读取37 个字节,从源点序文件中读取126 字节,进行上述4 种情况的处理,找到并截取内容相同的文本和点序,并存储到新的文本文件和新的点序文件.图5为算法的整体流程图.

图5 信息匹配算法流程图

3 算法结果

3.1 实例分析

为了验证信息匹配算法的正确性和通用性,本节列举了上述4 种情况的处理结果.

例子1.第20 方和第21 方均不是空方.

文本文件中汉字语句“第七课_《_开国大典_》_1949_年_10_月_1”中的字符“》”,在点序文件中第20 方和第21 方均不是空方,如图6(a)所示.算法首先找到点序文件中前20 方盲文最后空格的位置(第19 方),存储前19 方的二进制点序,统计前19 方盲文中的空方数目(3 个),并把第20 方用空方填补且存储;然后,算法顺序存储文本文件中的字符并统计空格数目,直到空格数目与空方数目相等(“典”后面的空格),再添加空格至37 个字节且存储.信息匹配算法处理后的结果,如图6(b)所示.

图6 算法处理第20 方和第21 方均不为空方的例子

例子2.第20 方是空方但第21 方不是空方.

文本文件中汉字语句“秋天_的_夜晚_,_月亮_升_起来_了_,_从”,在点序文件中第20 方是空方但第21 方不是空方,如图7(a)所示.算法首先找到点序文件中前20 方盲文最后空格的位置(第20 方),存储前20 方的二进制点序,统计前20 方盲文中的空方数目(6 个);然后,算法顺序存储文本文件中的字符并统计空格数目,直到空格数目(6 个)与空方数目相等(“升”后面的空格),并添加空格至37 个字节且存储.信息匹配算法处理后的结果,如图7(b)所示.

图7 算法处理第20 方是空方但第21 方不是空方的例子

例子3.第20 方不是空方但第21 方是空方.

文本文件中汉字语句“那边_升_起来_了_._是_在_洱海_里_淘洗”,在点序文件中第20 方不是空方且第21 方是空方,如图8(a)所示.算法首先顺序存储120 个字节的盲文二进制点序,并统计前20 方中的空方数目(5 个);然后顺序存储文本并统计空格的数目,直到文本的空格数(6 个)比点序的空方数(5 个)多一个,再添加空格至37 个字节并存储.信息匹配算法处理后的结果,如图8(b)所示.

图8 算法处理第20 方不是空方且第21 方是空方的例子

例子4.第20 方和第21 方都是空方.

文本文件中汉字语句“数不清_的_雨点_.__太阳_从_彩云_里_升”,在点序文件中第20 方和第21 方都是空方,如图9(a)所示.算法顺序存储120 个字节的盲文二进制点序,并统计前20 方中的空方数目(4 个),然后顺序存储文本并统计空格的数目,直到文本的空格数(4 个)和点序的空方数相等,然后添加空格至37 个字节并存储.信息匹配算法处理后的结果,如图9(b)所示.

图9 算法处理第20 方和第21 方均为空方的例子

通过这4 个实例分析,信息匹配算法能够正确匹配文本文件和点序文件的内容,输出相同内容的文字、语音和盲文点位信息.

3.2 盲文学习机的多感知信息呈现

我们把经过信息匹配算法处理后的新文本文件和新点序文件,存入盲文学习机的SD 卡,测试盲文学习机的输出结果.

盲文学习机能够输出相同内容的视觉刺激、听觉刺激和触觉刺激,帮助视障人士正确且高效地学习盲文.如图10所示,LCD 液晶屏显示出“咏鹅(唐)骆宾王”的文字和盲文点位图形;语音合成芯片播报出“咏鹅(唐)骆宾王”的语音,点显装置生成出对应的盲文点位,提供指尖触觉感知摸读.

图10 盲文学习机的输出结果

4 盲文学习效果评价实验

本实验经过浙江理工大学心理委员会批准,招募了20 名被试,10 男,10 女,年龄处于10～20 岁之间,均为视力残余人士.被试均掌握汉语拼音和阿拉伯数字,实验之前没有任何盲文学习的经验,没有做过类似实验.为了保证实验材料的学习难度相近并且避免在短期学习后表现出地板效应[13],每组实验材料的盲文均占一方盲文字.我们选取54 个汉语拼音和6 个阿拉伯数字的盲文,分成数量相等的6 组,每组10 个盲文,且每组实验材料的内容由2 个两点盲文,4 个三点盲文,3 个四点盲文和1 个5 点盲文组成.

实验目的是探究视觉刺激、听觉刺激、触觉刺激对盲文学习效果的贡献程度.被试在视、听、触这3 种自变量的不同组合下,借助盲文学习机学习实验材料内的盲文,学习完毕后进行测试.根据薛红莉等人的实验[14],本实验将学习时间设定为8 分钟.

实验的因变量为回答的正确率;自变量有3 个,分别为视觉、听觉和触觉,均为被试内变量.每个自变量都有两个水平,分别是有和无.理论上,3 个自变量有8 种组合条件,但是如果只有盲文点位的触觉刺激,被试无法建立盲文点位与普通文字的映射关系,无法在这种学习条件下学习盲文.此外,如果不借助视觉、听觉和触觉的刺激,被试也无法学习盲文.因此,实验共有6 种学习条件:视觉学习盲文,听觉学习盲文,视觉和触觉学习盲文,听觉和触觉学习盲文,听觉和视觉学习盲文,视觉、听觉和触觉学习盲文.

针对本实验的6 种学习条件,分成两种情况进行方差分析:(1)以听觉学习盲文为对照组,分析视觉和触觉对于盲文学习的影响;(2)以视觉为对照组,分析听觉和触觉对于盲文学习的影响.使用双侧t 检验,分别对视觉和触觉的交互项,听觉和触觉的交互项进行两两比较.当P＜0.05 时认为差异具有统计学差异.

表1罗列了6 种学习条件下盲文学习的正确率.以听觉学习盲文为对照组:1)视觉因素的主效应极其显著[F(1,76)=486.13,P＜0.001],说明视觉刺激对学习盲文的效率有影响;2) 触觉因素的主效应极其显著[F(1,76)=96.34,P＜0.001],说明触觉刺激对学习盲文的效率有影响;3)视觉和触觉的交互效应同样极其显著[F(1,76)=14.75,P＜0.001].因此,我们需要对视觉和触觉交互项进行两两比较.

表1 视力残余人士学习盲文正确率(%)

如图11所示,固定触觉因素考察视觉因素的效应,成对比较结果显示视觉因素对于盲文学习的效率有极其显著影响(P＜0.001).固定视觉因素,考察触觉因素的效应,成对比较结果显示触觉因素对于盲文学习的效率也有极其显著影响(P＜0.001).在听触学习条件下,加入视觉因素,对盲文学习效率有明显提升,正确率均值提升了(45.5±2.5)%.因此,在听觉因素存在的前提下,视觉因素和触觉因素的交互作用对于盲文学习有促进作用.

图11 视觉和触觉因素对盲文学习效果的影响(听觉学习为对照组)

以视觉学习盲文为对照组:(1)听觉因素的主效应极其显著[F(1,76)=43.07,P＜0.001],说明听觉刺激对学习盲文的效率有影响;(2)触觉因素的主效应极其显著[F(1,76)=156.98,P＜0.001],说明触觉刺激对学习盲文的效率有影响;(3)听觉和触觉的交互效应同样显著[F(1,76)=4.36,P＜0.05].因此,我们需要对听觉和触觉交互项进行两两比较.

如图12所示,固定触觉因素考察听觉因素的效应,结果显示在没有触觉因素的条件下,听觉因素对于盲文学习的效率有显著影响(P＜0.05).在有触觉因素的条件下,听觉因素对于盲文学习的效率的影响是极其显著的(P＜0.001).在固定听觉因素考察触觉因素的效应,成对比较结果显示触觉因素对于盲文学习的效率是有显著影响(P＜0.001).在视听学习条件下,加入触觉因素,对盲文学习效率有明显提升,正确率均值提升了(24.5±2.4)%.因此,在视觉因素存在的前提下,听觉因素和触觉因素的交互作用对于盲文学习有促进作用.

图12 听觉和触觉因素对盲文学习效果的影响(视觉学习为对照组)

上述实验结果表明:(1)在听觉刺激学习条件下,加入视觉刺激和触觉刺激都对盲文学习效果产生促进作用,其中,视觉刺激对盲文学习效果的提升更多;(2)在视觉刺激学习条件下,加入听觉刺激和触觉刺激都对盲文学习的效果产生促进作用,其中,触觉刺激对盲文学习效果的提升更多;(3)在视觉刺激、听觉刺激和触觉刺激的共同作用下,盲文学习效果的提升最好.

5 总结

本文提出了一种多感知信息匹配算法,能够输出文字、声音和盲文点位内容相同的信息.多感知通道的盲文学习机可以同步提供视觉、听觉和触觉的刺激,辅助视障人士高效且无障碍的学习盲文.

对于视力残余人士,在盲文学习过程中,加入视觉刺激,比如,特大号字体显示盲文点位,是很有必要的,可以显著提升他们的盲文学习效率.然而,对于只能依靠听觉和触觉的全盲人士,学习盲文并不是一件容易的事,需要较长时间的学习和反复强化训练.不幸的是,仅在听觉刺激下,盲文学习效率是很低的,人们很难学会盲文,因此,语音APP 学习盲文的方法,近似于安慰剂,并无多大实效.

经过短期记忆的实验研究,本文提出的视听触同步刺激的数字化盲文学习方法,可以有效提高盲文学习效率,但是,有必要进一步探究此学习方式对于盲文学习长期记忆的影响.