“互联网+”思维及其与聋哑人教学改革的思考

杨小义

(重庆师范大学教育科学学院，重庆 401331)

一、引言

随着网络信息技术的飞速发展，3G生活已经走进了千家万户，4G技术也已经开始崭露头角。这些高新技术使人们工作更加快捷，生活更为便利，同时对处于弱势群体的聋哑人群体也更加关注。全世界的听障人士共有5亿多［1］，而且正呈现上升趋势，估计到2016年全球可能会有7亿多听障人士。在中国，根据最新的人口普查统计，目前就有2 075万人以上的听障人群，约占中国人口总数的1.7%［2］。为使他们更好更快地融入到正常社会生活之中，消除健全人士与聋哑人士之间交流的障碍，聋人视觉识别研究已受到国内越来越多的专家和学者关注。聋哑人主要通过手势语言［3－4］、肢体动作、面部表情等肢体语言同他人进行交流和沟通。然而，手语在健听人群中的普及度较低，虽然有些健听人可以看懂一些简单的肢体语言，但却远远达不到与聋人交流的程度，而在聋人群体中，肢体语言还存在地区差别［5］、年龄差别［6］等。因此，即使是聋人之间的交流也不十分顺畅，这就直接导致了听障人与其他人(包括健听人和听障人)之间的交流障碍，使他们孤立于正常的社会交流之外。基于互联网思维，人们可借助现代高新的互联网技术、计算机技术和信息技术，将听障人的各种肢体语言(包括手形语言，各种面部表情信号等)转换成有声语音或者文字符号，从而促进听障人士更好更快地融入到正常社会生活，消除聋哑人士与他人之间交流的障碍，提高聋哑人的生活质量，真正地实现融合共生，因此这种思路无疑对聋哑人教学改革具有重要的社会现实意义。

二、聋哑人教学中存在的问题

手语是听障人士使用的一种肢体语言［7－9］。手语是包括了手势语言、面部表情信号、眼神信号、头部以及身体多个部位动作和姿态的一个统称。真正听障人士的手语，其自然手语的面部表情非常丰富，手势的变化也非常复杂，比健听人士伴随说话而产生的简单肢体语言更具有规律性、连续性和精确性，所传递给他人的信息也要多得多，具有与口语和书面语言相当的信息表达和传递能力。此外，在某些场合，手语具有比口语和书面语言更广泛的适用性，比如，在较远的距离，手语传递信息的效果更为理想。而且手语受区域、国度等的限制更小，两个只懂自己母语的异地人，用口语交流可能会出现障碍，而用手语交流的听障人士却能较快地交换信息。在目前的聋人教育和教学过程中，存在诸多弊端，主要归结为以下几类问题:

(1)教学内容重点不突出，因手语本身及课堂教学的局限性，往往省略特殊教育课程用语而强化日常生活用语的教学;

(2)教学方式单一，传统手语教学以词汇课堂讲授为主，缺少多样化的互动和练习，以及与听力障碍人士间的交流实践，死记硬背词汇导致手语学习枯燥无味，沟通交流能力得不到提高;

(3)缺乏纵向和横向衔接的教学组织模式，致使学生不知为何而学，不知如何为用而学，使手语工具失去生命力，难以用手语与人们进行流畅的沟通;

(4)能力评价方式不科学，难以采取有效方式对手语应用的综合应用能力进行评估［10］。

针对上述存在的问题，基于“互联网+”的思路，可以开发聋哑人教学辅助软件系统，借助信息技术解决类似的问题。

三、互联网思维的本质及应用

(一)互联网思维本质

在信息网络时代，借助微博、微信、视频等信息传播工具与人们进行交流沟通已经成了部分人群的生活常态，实际上这也是一种互联网思维的应用。互联网思维是一个多元性的概念，涉及到应用的各个不同方面，互联网思维包含了多个元素，不同的人使用互联网思维概念时可能会有不同的侧重点，它涉及到时间、空间、媒体与关系等诸多因素，因此至今也没有人对互联网思维给出一个完整的定义。一般认为互联网思维是由众多点相互连接、非平面、立体化的，无中心与无边缘的网状结构，类似于人的大脑神经和血管组织的一种思维结构。比如在电脑写作中，信息载体几乎没有空间限制，完全可以突破时间和逻辑的线性轨道，自由翱翔于思维的广阔天地，思维不再被强制地运行在一个线性维面上，电子文本可利用“查找”或“定位”功能，超越时空顺序，瞬间到达具体目标;超文本的链接功能，让作者可以随意地从电子文本的一点跳到另一点，从而打破了线性叙事的神圣规律。“互联网+”就是将互联网技术和互联网思维应用于各个领域，使得该领域与互联网相互结合形成聚合效应，从而促进各个领域与各行各业的快速发展。现在“互联网+”已经成为一种新的发展趋势。比如，政府正在推动“互联网+”的落实，“互联网+”服务商正在崛起，最热门的职业是“互联网+”技术，“互联网+”的职业培训正在兴起，平台(生态)型电商一再受到热捧，供应链平台更受到重视，O2O已经成为“互联网+”企业的首选，创业生态及孵化器正在深耕“互联网+”，互联网企业正在投资加速对传统企业的并购与收购，政府正在促进部分互联网企业快速落地等等，上述表明，“互联网+”已经成为未来发展的思路与趋势。

(二)互联网思维的应用思考

对聋哑人教学改革而言，互联网思维无疑是值得借鉴的。因为“互联网+”思维的本质就是将互联网技术、现代信息技术、软件开发技术和互联网思维等相融合，以实现具体的教学目标。在聋哑人教学过程中，可借助“互联网+”思维改进聋哑人的教学模式、教学方法，以促进教学效果的提高。人们常说“十聋九哑”，也就是说，90%的聋人在失去听力的同时，也往往失去了言语功能，而人类在接收外界信息的过程中，有70%来源于视觉。因此，对于失去听觉和言语功能的聋哑人来说，视觉信息的获取对他们尤其重要。同时，为了补偿听觉的缺失，更好与外界进行信息交流，聋人会从多个渠道，以多种方式获取视觉信息，如手语、肢体语言、人脸表情等。针对聋人视觉识别的特点，可以开发相应的聋哑人辅助视觉识别应用软件系统，以解决手语、肢体语言、人脸表情等因环境复杂而导致的难于识别的技术瓶颈，弥补聋哑人的视觉缺陷。与通常视觉识别相比较，聋人的视觉识别主要具有以下特点:

(1)聋人视觉识别具有综合性和多通道获取信息的特性。聋人的视觉识别包括了手语语言、肢体语言、人脸面部表情等多方面的视觉识别。仅仅只靠其中某种视觉，如手语或肢体语言等的识别，难以帮助聋人较好地理解对方的信息，有时还可能会生产歧义。

(2)聋人的视觉识别具有区域性。聋人视觉识别的地方性可能与健听人在言语交流中交流具有地方性类似。健听人在言语交流方面具有地方特点，如北京话、广东话等，聋人由于生长环境的区别，作为与外界交流的主要工具，手语也具有典型的地方特点，每个国家、地区的手语也具有一定的差异，只是这种差异较健听人的语言更少一些。

(3)聋人视觉识别具有更多的多义性。由于手语表达具有一定的局限性，手语的主义单元较之语言来说是相对较少的。手语主要是通过事物形状，特征或动作的模拟来描述事物或交流信息，但对一些外形较为相似，动作差异较小的事物的描述就存在一定的多义性，可能会导致交流中的歧义。

(4)聋人视觉识别更重视手语与人脸面部表情的融合识别。聋人在交流的过程中，他们的面部表情非常丰富，这有助于让对方更好地理解他们手语所表达的含义，尤其是在描述如骄傲、胆怯、勇敢等一些抽象词汇的交流中，他们会带有非常强烈的面部表情，让对方能较好地接收到他们所传递的信息，在聋人之间的交流中，让人真正能体会到“眉飞色舞”的含义。

尽管聋人视觉识别还涉及到心理学、行为认知等多方面的特性，针对聋人视觉识别的典型特点，应用现代信息技术，借助开发新的聋人辅助识别软件系统，这些问题还是可以逐步解决的。事实上，“互联网+”思维的研究成果往往体现在具体应用对象的软件开发上，就聋人视觉识别软件开发而言，国内外学者已经取得了许多阶段性的研究成果。在国外，代表性的有数据手套［11］，借助数据手套的聋人视觉识别方法，可对手语进行识别［12－13］，基于计算机视觉和的数字图象处理聋人视觉识别［14－16］，以及其他聋人视觉识别方法［17－21］。国内研究起步较晚，同样也取得了不少研究成果，如连续动态手势的时空表现建模及识别方法，基于多模式接口技术的聋人与正常人交流系统［22］，基于Hausdorff距离的手势识别［23］，基于 VRML的中国手语三维显示［24］，多模式行为协同韵律模型［25］，虚拟人行为交互方法研究［26］，基于WEB的手语新闻虚拟主持人的研究与实现［27］，以及基于虚拟人合成技术的中国手语合成方法［28］等，这些研究成果为聋人手语视频或图像识别奠定了良好的基础。

四、聋人教学软件开发实例

为了适应现代聋人教育教学改革的新要求，笔者开发了一套随堂教学手语辅助软件。该软件可充当同声翻译角色，或者将手语实时地转化为文字符号或语音信息，以弥补手语理解的差异性与某些教师或听障学生手语理解与表达不充分的不足。该系统基于Win7系统，借助matlab2009平台通过编程实现，其中手形库基于《中国手语》中的30个汉语手指字母语和2 000多个常用词汇建立，表情库建立基于《中国手语》中常用词汇的表情和用传感器进行自行采用的表情实现。现以手语“勇敢”的两幅人脸表情图像为例，这两幅图像具有不同的光照条件，因此图像中存在不同程度的扭曲。为了较好地消除光照产生的图像扭曲，系统对采集到的人脸表情图像首先进行预处理，计算图像的ALBP特征值，进行相应的表情识别;再将表情识别结果与手形识别结果进行融合识别，从而得出手语的识别结果，再与后台手语模板进行匹配，从而将识别结果转化成手语信息或文字符号。图1为手语“勇敢”表情经教学手语辅助软件系统处理后的结果图像。从处理结果可知，它可较好地消除复杂光照的影响，使两张在不同光照条件的图像识别结果视觉差异不大，为系统的初步试验奠定了可靠的应用基础。

图1 “勇敢”ALBP处理结果

五、结束语

在“互联网+”思维的启发下，手语辅助软件系统可在听障人士之间、听障人士和健听人士之间搭建立起一个良好沟通交流的桥梁。辅助软件可将手语方便地转换为健听教师或健听学生便于彼此理解的语音信息、图像信息或文字符号，也可将语音信息转换为听障学生能理解的手语序列，从而消除教学过程中的交流沟通障碍。因此，在聋哑人教学改革中，引入“互联网+”的思想有助于提高对聋哑人的教学效果，这正是聋哑人教学改革的方向。

［1］ YOOK Y D．Automatic Sound Recognition for the Hearing Impaired［J］．IEEE Transactions on Consumer Electronics，2008，54(4):2029 －2036．

［2］ Http://www．cdpf．com．cn/ggtz/content/2008 － OS/04/content_25053452．htm．

［3］ 游顺钊．视觉语言学论集［C］．北京:语文出版社，1994．

［4］ 赵锡安．中国手语研究［M］．北京:华夏出版社，1999．

［5］ Gestures for Human-Computer Interaction:A Review．IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19(7):677 － 695．

［6］ 洪卡娜．上海手语类标记手形调查报告［D］．上海:复旦大学，2008．

［7］ 薛玲．上海手语基本手势的年龄差异［D］．上海:复旦大学，2004．

［8］ VASILIKI E，LEONTIOS I．Using sample entropy for automated sign language recognition on SEMG and accelerometer data［J］．Medical and Biological Engineering and Computing，2010，48(3):255 －267．

［9］ 衣玉敏．上海手语语音调查报告［D］．上海:复旦大学，2008．

［10］张墨．高职院校“手语会话”教学改革思考与实践［J］．职业与教育，2013(36):132－133．

［11］ GRIMES G J．Digital Data Entry Glove Interface Device［J］．Technical Report US Patent 4，414，537，Bell Telephone Laboratories，1983:1 －10．

［12］ KONG W，RANGANATH S．Signing Exact English(SEE):Modeling and Recognition［J］．Pattern Recognition，2008，41(5):1655 －1669．

［13］ BUI T，NGUYEN L．Recognizing Postures in Vietnamese Sign Language with Mems Accelerometers［J］．IEEE Sensors Journal，2007，7(5):707 －712．

［14］ BAUER B，HIENZ H．Relevant features for video－based continuous sign language recognition［C］．Proceedings of the Fourth International Conference on Automatic Face and Gesture Recognition，2000:440 －445．

［15］ BAUER B，KRAISS K F．Towards an automatic sign language recognition system using subunits［C］//Proc．of the Gesture Workshop．London:ACM Press，2001:64 －75．

［16］ DENG J W，TSUI H T．A two-step approach based on PaHMM for the recognition of ASL［C］．The 5thAsian Conf．Computer Vision，Melbourne，Australia，2002．

［17］ MEKALA Y G，FAN J，DAVARI A．Real-time Sign Language Recognition based on Neural Network Architecture［J］．System Theory，2011:195 －199．

［18］ MUNIB Q，HABEEBA M B，TAKRURIA H A．Al-Maltka．American sign language(ASL)recognition based on Hough transform and neural networks［J］．Expert Syst．App1，2007，32(1):24 －37．

［19］ YANG Q，PENG J．Application of Improved Sing Language Recognition and Synthesis Technology in IB［C］．The 3rd IEEE Conference on Industrial Electronic and Applications，June 2008．

［20］杨全．基于基于7Hu不变矩特征量的中国手指语字母识别算法［D］．西安:西安建筑科技大学，2007．

［21］ Oya Aran，Thomas Burger，Alice Caplier，Lale Akarun，A belief-based sequential fusion approach for fusing manual signs and non-manual signals［J］．Pattern Recognition，2009，42(5):812 －822．

［22］WEN GAO，JI-YONG MAETAL，HAND TALKER．A multimodal dialog system using sign language and 3-D virtual human［C］．Advances in Multimodal Interfaces，Beijing，China，2000，565 －71．

［23］张良国，吴江琴，高文，等．基于Hausdorff距离的手势识别［J］．中国图像图形学报，2002，7(11):1 －7．

［24］ FELS，GLOVE TALK II．Mapping hand gestures to speeeh using neural networks-an approach to building adaptive interfaces［D］．Computer Science Department，University of Torono，Torono 1994．

［25］王兆其，高文．基于虚拟人合成技术的中国手语合成方法［J］．软件学报，2002，13(10):2051 －2056．

［26］王兆其，高文，陈益强，等．虚拟人行为交互方法研究［J］．系统仿真学报，2001，13(4):45 －48．

［27］杨长水，王兆其，高文．基于WEB的手语新闻虚拟主持人的研究与实现［J］．系统仿真学报，2001(13):408－411．

［28］ HAN J，AWAD G，SUTHERLAND A．Modelling and Segmenting Subunits for Sign Language Recognition Based on Hand Motion Analysis［J］．Pattern Recognition Letters，2009，30(6):623 －633．