实时生成海量数字盲文,AI帮视障人士无障碍阅读
2022-05-30
盲文AI实时翻译算法是本软件的核心技术之一,可以实时生成海量盲文数字资源。其运行逻辑是首先将中文、英文等文字编码格式统一转换为Unicode格式,然后选择盲文类型,再调用盲文AI实时翻译算法,就可以输出国家通用盲文、现行盲文、全拼盲文、双拼盲文。
“西湖十景位于浙江省杭州市西湖区境内……”近日,在浙江杭州举行的之江实验室专场开放活动上,视障志愿者陆林松通过现场展示的智能盲文阅读机,准确读出了自己触摸到的盲文内容。
他所体验的盲文阅读机,是由之江实验室科研团队联合多家机构共同研发的集视、触、听等多类型感知为一体的盲文数字化智能设备,与之一并展出的还有盲文教学机及英语机,涵盖盲人学习、阅读、公共服务等三大核心应用场景。
“这三款盲文机搭载了团队全球首创的密集点阵电磁驱动毫牛级精准触觉再现技术,以及国内领先的盲文数字资源AI实时生成技术、视听触同步感知技术。”之江实验室类人感知研究中心研究专家杨文珍介绍道,团队盲文数字化科研工作始于2011年,经过4轮技术攻关和更新迭代,产品性能日益完善,已经在全国21个省份地区试点推广。
视障群体受困于数字鸿沟
一套盲文读物相比同样内容的普通读物,价格可贵数倍乃至更多。记者现场看到,一本盲文版的小学语文教材,不但纸张宽大,厚度也堪比一本字典。
“盲文图书制作工序复杂、出版周期很长、信息承载量少、且易磨损不耐用。”之江实验室类人感知研究中心工程专员陶文韬说,纸质盲文书依然是国内盲人学习知识和获取信息的主要工具,盲文数字化设备普及率非常低。
相关统计显示,我国视障人士人数达到1700多万,其中800多万为全盲,占世界失明人口的20%,每年会出现新盲人大约45万。由于多方面原因,我国视障群体不会盲文的现象较为普遍,盲文师资同样短缺。
2017年,财政部、中国残联等多部门联合启动“盲人数字阅读推广工程”,促成1000台盲文电脑和盲文电子显示器被配置到全国100所盲人教育机构,但仍难以滿足我国广大视障群体的巨大需求。
“在知识爆炸且快速迭代的信息时代,盲文数字资源严重缺乏,视障群体的数字鸿沟问题越显突出。”杨文珍表示,目前将人工智能技术用于盲文信息无障碍产品的还很少。结合我国视障群体的国情,团队应用自研的柔性界面触觉计量测试技术、视触融合感知技术以及盲文AI实时翻译算法等,专门研制了三款功能各有侧重的产品。
杨文珍介绍,团队提出了一种视觉、听觉和触觉同步刺激的数字化盲文学习方法,能够提高视障人士的盲文学习效率,设计了一种多感知信息匹配AI算法,能够输出文字、声音和盲文点位相同内容的信息,为视障人士无障碍学习盲文提供条件。
智能系统提高翻译准确率
“盲文AI实时翻译算法是本软件的核心技术之一,可以实时生成海量盲文数字资源。”杨文珍介绍说,其运行逻辑是首先将中文、英文等文字编码格式统一转换为Unicode格式,然后选择盲文类型,再调用盲文AI实时翻译算法,就可以输出国家通用盲文、现行盲文、全拼盲文、双拼盲文。
汉盲翻译是把汉字源文本自动转化为对应的盲文文本,目前存在多音字混淆、未登录词不能增加、不符合盲文分词连写规则等问题。记者了解到,该团队构建了一个基于逆向最大匹配分词算法的汉盲翻译系统,能够较好地识别多音字,自主添加未登录词,得到较正确的分词连写结果,有效提高汉盲翻译的准确率。针对英盲翻译,团队设计了盲文形符Unicode码到盲文ASCII码和盲文点序的转换算法。
“该系统通过智能分词和翻译程序将文字输出为盲文点序,最后按照输入字符串的先后顺序,合并盲文点序,就实现了盲文数字化。”杨文珍说,团队还研发设计了一套适合盲人摸读的自然人机交互程序,在盲文机上实现目录识别、书签存储和文本阅读等功能,构成完整的文件管理系统,便于盲人自主操作。
将U盘连接设备,通过简易的按键操作,盲人即可快速上手使用……通过科研人员演示操作,记者注意到,智能盲文阅读机各项模块分工明确:视觉显示模块显示普通文字和盲文,语音模块则播报普通文字,盲文显示装置呈现盲文点字。
据介绍,该团队研发的这三款产品目前已应用于全民阅读工程、乡村文化礼堂、融合教育、图书馆、城市书屋等场合,得到中国盲人协会、中国盲文图书馆、北京市盲人学校等单位或个人的良好反馈。
“数字时代,除了文字信息,图像信息对于盲人来说也是很难理解和感知的。”杨文珍表示,团队接下来将研发数字图像触觉二维图形触觉智能感知设备,基于人工智能技术快速准确地生成点阵式触觉图像,将图像信息以触觉获取方式传递给盲人,以期建立视障人士与数字空间的触觉通道,促进数字鸿沟问题的解决。