振动触觉编码的研究现状
2021-09-25杜静宜黄志奇陈东义雷涛玮
杜静宜,黄志奇,陈东义,雷涛玮
电子科技大学自动化工程学院,成都 610000
人体表面(如皮肤)是一个巨大的触觉感受器,我们依靠它与外界进行形形色色的沟通. 尽管视觉在我们的日常生活中占据着不可撼动的位置,但皮肤才是我们最大且最古老的感知器官. 一直以来,科学研究都低估了借助触觉传递丰富信息的能力,这与触觉的一些特殊的属性有关. 例如触觉很少独立于其他的感觉通道(如听觉、视觉或嗅觉)而存在,因此触觉常被作为其他感官的补充,但是触觉相比于其他感官而言优势也相当显著,触觉不仅可以实现全方位的感知,减轻试听负担,而且能够有效感知一些很难被视觉或听觉形式表达的更真实复杂的信息,和外界环境进行一系列的交互互动. 触觉指一种或多种接触感觉,包括本体感受的反馈、人体主动接触触觉以及基于各种驱动技术产生的被动接触感知. 触觉感受器遍布人体皮肤,覆盖率超过98%[1].
人们日常生活中的一个微小的动作如走路、吃饭等可能蕴含皮肤感受器和大脑神经网络复杂海量的触觉信息加工,基于人体各部位感知分辨率的差异,由此催生了针对不同落点的可穿戴触觉表达和再现装置,这些装置为不同场景的触觉再现提供了丰富的实现手段.触觉包括皮肤触摸觉和肌肉运动力觉. 按照刺激模块的工作原理,将触觉刺激分为振动触觉、气动触觉、电触觉和功能性肌肉神经刺激等类别,其中振动触觉是触觉感知的最有效手段,因为振动触觉的装置简单小巧、响应速度快、舒适度好,安全性高,可作用于人体各个部位的皮肤.
触觉信息利用触觉硬件系统和触觉编码向用户传递单个振动器的振动或者刺激脉冲的组合.这些信息是由触觉特征或参数组成,包括振动频率、振动幅度、波形和持续时间,应用于身体的不同部位.这些参数的组合可以用来创建节奏或者模式,并产生明显不同的触觉的“词语”,称为触觉语言. 借助于触觉交互设备,将触觉语言编码后呈现给使用者是触觉表达技术研究的热点.针对一些特殊场景的需求,如盲人的方向导航、飞行员的高空方向信息提示、潜水员的水下作业、消防员的紧急救火等,基于振动触觉对信息进行编码及合理表达的研究与应用应运而生. 本文从触觉感受机理入手,探讨不同参数的振动触觉的分辨率以及触觉信息编码手段,并对主流的振动触觉编码方案及应用进行归类研究.
1 振动触觉感知的基础研究
1.1 触觉感知机理
通常认为,人体的触觉感知如湿、压、痛、痒、关节位置、肌肉感知、运动等是由多种触觉感受器综合作用的结果[2],即特定种类的感受器对作用物体的特定属性进行分析时会受到该作用物体其他干扰属性的影响,这些干扰属性会接收来自其他皮肤感受器的编码. 例如,对特定条件下特定时间内的持续刺激,慢适应受体如鲁菲尼小体和麦克尔氏盘会配合做出反馈;对于刺激的开合和关闭(如皮肤变形),快适应受体如麦斯纳氏小体和帕西尼氏小体会配合做出反馈.人体的触觉感受器主要包括四种,分别是鲁菲尼(Ruffini)小体感受器、麦克尔氏(Merkel)盘感受器、麦斯纳氏小体(Meissner)感受器和帕西尼氏(Pacinian)小体感受器. 它们各自分工又互相协作,这四种感受器的特性如下表1所示. 其中,Ruffini小体对皮肤变形做出反应,变形程度和诱发的电位成正比,因此Ruffini小体对高频振动十分敏感,Meissner小体集中在四肢末端无毛发区域,特别是在手指尖等部位,它主要负责身体周围的高敏感性侦察. 上述两种感受器属于快适应受体,即对短时间的刺激拥有敏锐的反应.与之相对的Merkel盘和Pacinian小体属于慢适应受体,它们对于持续性刺激反应良好,给人们提供形状感和粗糙感. 按照触觉刺激方式的不同,可将触觉刺激分为振动刺激[3]、压力刺激[4]、电刺激[5]、热刺激[6]、喷射刺激[7]等. 其中,振动触觉表达方法因其简单实用、一致性好、结构紧凑、安装灵活等优点被认为是最有前途的一种触觉表达方法.
表1 四种触觉感受器的特性Table 1 Characteristics of four tactile receptors
要想设计良好的振动触觉编码,实现高效实用的触觉表达装置,就要充分了解振动触觉的感知特性.人体的振动触觉感知不仅受到主观、客观特征因素的影响,还受到环境、心理等多重因素的影响,例如触觉后效应、触觉错觉、触觉跃迁等.
Kapper和Bergmann Tiest[8]认为人所接触的一切均会影响如何感知下一个物体. 触觉后效应指的是由于视听触或其他感知先前刺激的方式而引起的知觉变化.他们采用大小等分任务的方法测量触觉大小后效,球体的体积范围为2~14 cm3,实验结果表明,触摸完较大的适应球体之后的手认为随后触摸的普通测试球体比实际情况更小,触摸完较小的适应球体之后的手认为随后触摸的普通测试球体比实际情况更大,这两种触觉差异均为测试球体体积大小的24%,这一结论表明人手的触觉大小后效是相当大的,同时在习惯了适应球体的大小之后,触觉大小后效明显强于未适应球体大小的对照组实验. 人体的触觉感知是多维度的,故除了触觉大小尺寸后效以外,还有触觉温度后效和触觉曲率后效.目前国内外针对触觉后效的研究大多集中于大小尺寸研究,因为大小尺寸的研究更容易被量化,且更容易在生产实践中得到验证,例如医生在手术中利用触觉感知囊肿或者肿瘤的大小. 关于触觉大小后效的产生原因,有研究表明触觉大小后效与形状密切相关[9],测试物体和适应物体的形状越相近,触觉大小后效越显著,因此可将触觉大小后效称为触觉大小−形状后效. 影响触觉感知的具体因素多样,且引起人体触觉感知的机制十分复杂,目前也没有探究出影响因素和触觉感知特性有明确的映射关系,触觉感知和神经生理学相关的理论还需进一步的研究和探索.
1.2 振动触觉感知阈值
感知阈值指的是人体能感受到物体的刺激或刺激强度/数量变化的最小量,例如指尖的两点阈值约为2.5 mm. 感知阈值的研究包括绝对阈值和差别阈值两方面.绝对阈值指的是能恰好引起人心理感受的最小刺激量或者恰好引起人心理感觉消失的最大刺激量,绝对阈值强烈依赖于振动频率[10],每个触觉感知通道都有不同的与频率相关的绝对阈值,阈值最小的通道决定该频率的绝对阈值.当某个刺激足够强,强到可以刺激多个通道,所有这些通道都会做出反应,并对感知做出贡献. 差别阈值亦称最小可视差,指的是引起人差别感觉刺激的最小变化量. 前者是一个恒定值,不受外界因素的影响而有所改变,后者受振动强度影响显著,会随振动强度的增大而有所增加. 针对不同的感知阈值参数,感知阈值的主要研究集中在空间两点阈值、时间阈值和强度阈值三个方面.德国物理学家心理物理学家费希纳提出三种方法来量化测量感知阈值,分别是最小变化法、恒定刺激法和平均误差法.最小变化法指的是按照适当的变化量递增或者递减刺激序列,随机选择起点,直到被试感受到刺激为止,这一方法常用于测量差别阈值.恒定刺激法是以相同的次数呈现少数几个恒定的刺激,一般向被试呈现成对刺激,一个标准刺激,一个比较刺激,让被试判断能否区分两次刺激.目前针对人体振动触觉感知阈值的研究中,相关参数主要包括空间落点、振动频率、振动强度和振动时间.
(1)空间落点:身体不同部位的振动触觉敏感性各不相同,触觉振动实验的选择原则是在保证敏感度和操作可行性的前提下,尽可能地提高舒适度. 针对触觉振动空间落点的研究大多集中在敏感部位如手指、手腕处,或者次敏感部位如腰部、背部或脚踝处.不同的空间落点位置各有优劣,手指、手腕处的振动识别精度更高,但面积较小,背部、腰部的振动面积更大,可以提供更大的阵列,却具有较差的触觉灵敏度.因此,针对性地选择空间落点的位置可以有效提高振动触觉编码信息的传递效率. 人体不同空间落点的触觉差别阈限差异很大[11].
(2)振动频率:尽管人类可以听到的频率范围为20~20000 Hz,但是人类的皮肤可以感受到的频率范围只在10 Hz到400 Hz之间[12],其中人体最为敏感的频率为250 Hz[13]. 研究表明,振动强度和振动频率之间有着密不可分的关联性,即使在振动强度未发生变化的情况下,当振动频率改变时,人体可以感知到的主观振动强度也会随之改变[13]. 尽管存在这种令人头疼的关联性,对振动频率的研究仍是有意义的,因为人体对振动频率的变化十分敏锐,所以常常使用振动频率的变化来表达一些更细腻精密的触觉信息.
(3)振动强度:皮肤可以感知的振动强度,即振动的力量,是振动触觉的重要参数. 关于振动强度的设置,过低的振动强度会导致人体的感受器无法感知到具体的振动,过高的振动强度会让人产生疼痛[12].人手腕部能感知的适宜振动强度范围为0.80~2.00 N[14].除此以外,影响振动强度的因素不仅仅是单个振子的振动强度,还与同时振动的振子数量有着显著的相关性.在对作用在大腿上的振动触觉装置的实验中,Cholewiak[15]发现,即使在每个振子振动强度保持不变的前提下,随着振动振子的数量的递增,被试感受到的振动强度也会随之递增,这与人体皮肤上某些特殊的感知特性有关.
(4)振动时间:振动时间包括两个关键的时间参数,即振动持续时间和振动间隔时间. 不同振动间隔时间和振动持续时间的组合反映了振动的节奏快慢,而振动的节奏极大地影响了人们接收振动触觉信息的效率,此外,不同振动节奏的组合能传递更为丰富的语义信息.Gunther[16]的研究表明,刺激作用时间小于0.1 s时会产生刺痛感,而随着强度与时间的增加,振动的刺痛感会减轻并产生平滑的触觉感知. 在大多数的触觉表达装置中,振动持续时间的范围在80 ms到500 ms之间.人识别触觉图案的能力与振动时间相关,研究表明,振动持续时间从80 ms增加到320 ms时,人的触觉识别能力逐渐增强,若高于这一范围,将会使被试者产生不适.
1.3 振动信息编码理论
振动信息编码是振动触觉表达装置的理论基础,振动触觉信息表达包括触觉信息编码和辨识两个过程,人首先根据感知到的振动强度、振动时间和空间落点形成触觉短时记忆,再将短时记忆整理成触觉编码,其次进行触觉表达的辨识过程,在大脑中比对固有的振动信息编码方案,将编码解释成可理解的信息,如字母、数字、文字等.因此振动信息编码包括两方面的内容,一方面是根据短时记忆容量和阈值实验探究合适的参数范围,另一方面在探究到的参数范围内合理设置振动信息编码方案,之后根据实验数据优化编码方案,实现人和触觉表达装置之间的高效便捷交互.振动信息编码的数字、字母表达常用的借鉴编码是布莱叶盲文和莫尔斯电码,在文献[17]中,东南大学的郝飞提出了一种三角码的方案来表达字母a~z,三角码本质是一种三进制码,三角码的三个落点分别排列在三角形的三个顶点处,感知定位清晰准确,通过三次单点振动(即3个三进制数)表征字母a~z和数字0,通过两次单点振动(即2个三进制数)表征数字1~9. 这种编码方式简单且识别率高,识别准确率和识别时间均优于类布莱叶盲文和类莫尔斯编码.
根据对三种编码方案的横纵向比较,可得振动触觉编码设计的几个原则:相容性原则、可靠辨识原则、简单易记原则、适当训练原则以及表达排序原则.在设计振动强度编码时应尽量保证振感一致,尽可能使用先弱后强模式,慎用“弱−强−中”模式,在设计振动持续时间编码时应尽量压缩时间,方波间隔振动优先和方波数量优先原则,在设计空间落点编码时应尽量集中在同一部位或相邻部位,先部分再整体,按照笔顺次序依次振动.
2 振动信息编码的应用
本节主要讨论使用振动触觉对不同振动信息的编码方式. 按照振动信息的种类,信息可分为方向方位信息,表情和图案信息以及数字和字母信息. 针对方向方位的振动编码研究众多,这是源于盲人导航领域对振动触觉的强烈需求.因此,本节按照方向信息和其他语义信息分别讨论其特征及具体应用.
2.1 面向方向导航的振动信息编码
使用振动信息编码传递环境感知信息是目前最广泛和流行的手段,因为环境感知信息简单明确,区分度大,而振动触觉适于传递语义集小但语义间区分度大的信息.
振动信息编码在盲人导航领域有着广泛的应用.中国是全世界盲人最多的国家之一,眼部疾病在中国也是一个主要的公共卫生问题.由国家统计局网站2014年公布的数据可知,截止2014年,中国约有盲人600万~700万,占世界盲人总数的18%,另有双眼低视力患者1200万. 基于数量庞大的盲人群体,为盲人提供一定程度的方向导航信息,是研究者迫切想解决的难题.目前,为盲人提供类似于视觉信息的主要方式有听觉和触觉两方面. 盲人的听觉感官十分灵敏,他们使用听觉接收抽象的信息,助听器就是借助盲人敏锐的听觉为他们提供方向信息的有效手段,但是助听器会屏蔽盲人对其他非方位听觉信息的接收,因此涌现了更多借助于触觉表达的振动编码方案.当盲人在道路上行走时,通过不同振动参数如空间落点、振动频率、振动强度和振动时间的组合编码,可以向盲人提供丰富多样的环境感知信息.
除此以外,国内外的研究者还将振动触觉编码应用于驾驶导航和信息提示. 2018年,东南大学的杨怀宁等[18]设计了一套组合式振动编码为飞行员提供空间方位信息,飞行员对偏转方向和偏转角度两种姿态信息的表达有需求. 其中偏转方向分为俯仰和横滚两大类,可表达俯仰和横滚的前后左右四个具体的偏转方向. 偏转角度为[0°,90°],对低偏转角范围[0°,50°)内的提示精度要求更高,为 5°,在 [50°,90°]范围内提示精度则为 10°.表中分别对飞行姿态的方位信息进行单一参数模式的编码和组合参数模式的编码,组合参数包括振动位置、振动节奏和振动次序,将这些参数进行有序组合成5种组合模式.
研究人员针对5种组合编码模式设计了测试实验,测试指标分别为学习难易度、认知载荷和准确率3个方面.被试每人接受240次振动提示(其中包括个60个组合振动编码模式,为保证可靠性,每种振动编码模式重复4次),实验人员除了要记录被试的测试结果,还要记录被试从感知振动到做出选择的反应时间. 实验结果表明PRM模式(振动位置+振动节奏+振动次序)的学习时间为187 s,准确率高达98%,相比于其他组合振动模式,拥有更短的学习时间和更高的准确率.PRM模式示意图如图1所示[18].
图1 PRM模式示意图Fig.1 PRM pattern
2.2 面向文字交互的振动信息编码
在触觉文字编码领域,主要的研究方法有莫尔斯码和布莱叶盲文. Nila等[19]使用莫尔斯码作为盲人间的交流通信手段,为盲人提供了一个人机交互平台. 在文献[20]中,研究人员研制了一个手持式振动触觉系统,其概念是利用手指的压力,借助莫尔斯电码将信息转化为振动,在文献[21]中提出了一种使用三键键盘传输莫尔斯电码的简单而有效的方法,为聋哑人翻译正常人的声音提供了一个可行和有效的解决方案. 郝飞等[17]分别使用类莫尔斯码、类布莱叶盲文以及三角码的方法对文字信息进行编码,实验结果表明类莫尔斯电码的文字交互效果优于类布莱叶盲文,这是因为莫尔斯码和触觉信息都拥有相同的被动感知特性,同时说明触觉信息编码的关键是简洁性和快速性.三角码相较另两种方法传递文字编码信息的效果最佳,三种方法的正确率和反应时的参数对比如图2和图3所示[17],其中*代表相较于其他参数有显著性差异,**代表有较显著的差异,***代表有极显著的差异.三角码编码规则简单,由三个码字分别对应脐部、左肩和右肩三种空间落点,符合人体感知的客观规律,使用三位码可表征26个字母及数字0,使用二位码可表征1~9数字.三角码同时也符合人体的触觉感知特性,相较莫尔斯码更直观和便于记忆,因此可作为面向文字交互的一种重要编码方案.
图2 类莫尔斯码、类布莱叶码和三角码的正确率[17]Fig.2 Accuracy of Braile-like, More-like, and Triangle[17]
图3 类莫尔斯码、类布莱叶码和三角码的反应时[17]Fig.3 Reaction time of Braile-like, More-like, and Triangle[17]
除此之外,在康复医疗领域,触觉再现技术利用触觉信息编码结合触觉反馈可以辅助外科医生做手术,有研究表明,配备了触觉反馈传感器的腹腔镜抓握器显著提高了外科手术医师抓取控制的能力[22],如图4所示,当使用腹腔镜抓握器的抓握力不在安全区域时,集成在抓握手柄上的微型执行器可为外科手术医师提供增强的触觉反馈,这一技术已逐渐由单手抓握转向双手抓握的科研探究中,并逐渐投入实际生产.
图4 腹腔镜抓握器装置Fig.4 Laparoscopic grippers
在教育领域,基于文字交互的振动信息编码应用十分广泛,褚少微和朱科颖[23]根据左右滑动、向右滑动、向下滑动的方式编码盲文,提出了一种利用触觉反馈用指尖在手机屏幕上摸读的方式传递触觉信息.
在虚拟现实领域,振动信息编码也有广泛的应用.利用振动触觉背心和振动触觉手套配合VR眼镜,佩戴者可以体验到沉浸式的四维画面,触觉表达装置作为第四维空间的承载者,更是推动了触觉信息编码的深入研究. Heibeck等[24]的摩擦力感知触觉背心,佩戴者可根据书中情节感受例如心跳、温度和压力变化等情绪变化.Israr和Poupurev[25]提出了一种触觉笔刷算法,在椅子上放置4×3的振动点阵,如图5,利用触觉错觉,通过组合振动触觉编码的参数如振动频率、强度、方向等向使用者传递丰富的动画特效,如图6,这一技术可用于游戏和体育,盲人辅助,驾驶和导航辅助,移动计算等领域.
图5 触觉笔刷算法表达装置Fig.5 Tactile apparatus
图6 触觉反馈示例Fig.6 Application: in-game footage and sensations
3 总结与展望
纵观国内外针对不同触觉信息进行的编码方案,基于方向导航的振动信息编码应用明显多于对文字信息的编码研究.这与要传递的信息属性有着直接关系,由于有关方向性的语义集拥有较强的简洁性和较大的区分度,且基于方向导航的信息更贴近人体触觉的感知特性,人体的不同空间落点可以建立与方向方位信息一一映射的对应关系. 但是由于方向信息本身的局限性,无法传递类似于文字那样复杂的描述性信息.随着技术手段的进步,越来越多的方位信息编码装置走向精密化,致力于为盲人或其他特殊群体提供更细腻、人性化的触觉方位信息.
针对触觉编码的方案设计仍是一个新型领域.如何更好的将人体的感知特性与针对触觉的信息编码高效地结合起来,仍需进一步的研究和探索.同时,在探索方位信息编码表达的研究中,振动触觉的参数设置与信息编码效率关系紧密,更好地组合这些参数信息,设计准确的触觉信息编码,快速传递丰富的语义信息,成为振动触觉编码领域研究的重中之重.
除此以外,振动触觉表达技术和触觉再现技术也正在上升期,要想为这些触觉表达和再现技术提供更完善贴切的振动触觉编码,必须结合触觉感知的特殊性,考虑触觉织物的温度、纹理、形状等,实现丰富有层次的触觉表达,制定拥有可移植性和高扩展性的信息编码,在提高信息的识别率的同时,兼顾舒适感.
目前国内外振动信息编码的研究仍处于初步阶段,人们对触觉体验的高阶追求以及特殊行业对触觉编码的迫切需求必然会推动它迅速发展起来.