触觉传感与显示技术现状及发展趋势*
2017-01-09帅立国陈慧玲怀红旗
帅立国, 陈慧玲, 怀红旗
(东南大学机械工程学院 南京,211189)
◀专家论坛▶
触觉传感与显示技术现状及发展趋势*
帅立国, 陈慧玲, 怀红旗
(东南大学机械工程学院 南京,211189)
阐述了触觉感知、触觉传感及触觉显示等方面的国内外技术现状。在分析综合的基础上,指出触觉传感和显示技术已经逐渐脱离了最初紧密关联的临场感应用环境,两者分离并独立发展成为全新的学科方向已经成为一个趋势。触觉传感主要围绕智能机器人领域和康复医疗领域,而触觉显示除传统的机器人临场感及视觉功能替代应用外,还包括虚拟现实、电影电视、游戏娱乐、工业设计、制图绘画、教育培训以及工业触控屏等领域。最后给出了触觉领域的未来发展趋势。
触觉感知; 触觉传感; 触觉显示; 虚拟现实
引 言
触觉是人体最大的器官。利用触觉,人们可以感知物体的硬度、质感、纹理以了解对象的材质特性,感知物体的几何特征以获得认知或完成复杂而精细的作业。借助于触觉,盲人能够更好地认识世界并实现自主生活。对于具有运动趋势或运动中的物体,人们可以通过触觉感知来自物体的力、振动及转矩等以掌握对象的态势,感知滑移、阻尼、速度及速度变化以判断其运动特征。我国中医代代相传的脉诊是通过按触人体脉搏以体察脉象变化的切诊方法,人体生病时,血脉运行受到影响,脉象就会有变化,有经验的医生在望闻问的基础上可以通过指法切脉充分掌握病情,从而更好地对症下药。对于具有触须的动物,以及具有侧线的水生两栖类与鱼类,触觉还可以通过触须和侧线的接触感觉进行环境定位,从而有效避障。侧线器官可以感知水流压力、低频振动及温度变化等刺激,许多生活在黑暗水域中的鱼类,甚或眼睛机能已退化至看不见的鱼,能够准确发现障碍物并自由游动,依靠的就是侧线系统对水中障碍物的探测和感知。此外,触觉还是人与人之间情感的一种表达方式,触觉训练对于婴儿的感觉神经体系的发育也具有积极意义。
1 触觉技术概况
在技术层面,人们对触觉的兴趣始于19世纪末期,稍晚于视觉技术的研究,然而时至今日,触觉领域尚无可市售的面向公众的成熟产品,与视觉领域种类繁多、品质优良的图像传感器和显示器产品相比,差距巨大。
触觉技术发展总起上可以分为以下3个阶段。
1) 自由探索阶段。该阶段没有特别明确的目标,人们出于对生物触觉感官的好奇,试图通过生物学方法和技术手段研究了解触觉器官的感知特性和内在机理。
2) 触觉再现阶段。该阶段伴随主从机器人的崛起,人们试图通过触觉传感技术采集从机械手侧的机械接触状态并反馈到主机械手一侧进行触觉再现,使人们获得身临其境的感觉,也称为触觉临场感。触觉临场感的架构如图1所示,从机械手所处的现场环境以及从机械手的接触状态分别通过视觉传感器、听觉传感器和触觉传感器反馈到主机械手侧进行虚拟重建或触觉再现,同时主机械手通过相应的操作控制从机械手各关节的运动轨迹,进而实现各种抓取等动作。
图1 触觉临场感架构图Fig.1 The frame of tactile telepresence
3) 触觉显示阶段。随着触觉再现技术研究的深入以及新兴学科的兴起,在应用层面,研究人员开始尝试将触觉再现与触觉传感进行分离,以满足不同的应用需求。触觉传感器的数据不一定通过触觉方式去再现,而触觉再现的内容也不一定来自触觉传感器,如视觉感官功能的触觉替代。在该应用中,触觉所显示的数据并非来自触觉传感器,而是视觉传感器,其目的在于帮助盲人以触觉方式获得视觉信息的感知。又如自主机器人研究中,机器人目标是一个具备人类感知能力,并能与外部世界进行交互的独立个体,其触觉传感器的信息主要用于机器人自身对环境的感知,以便更好地完成作业任务。近年来,随着虚拟现实的普及,传统的立体电影已难以满足体验需求,人们迫切希望在虚拟世界中,在获得视觉和听觉体验的同时,还能够以触觉方式感知虚拟目标并与之进行交互。
触觉显示与触觉传感的分离是触觉研究从理论研究走向应用研究的标志,也是其从小众研究走向大众研究、从冷门变成热门的重要标志。触觉研究是虚拟现实、视障康复、远程医疗、虚拟制造、教育培训、空间和海洋机器人及影视娱乐等领域的应用急需和研究重点。美国政府对触觉研究工作非常关注,在空间探索项目中,NASA长期开展面向空间站、哈勃望远镜和火星计划的触觉临场感及虚拟现实系统研究。在视障康复领域,美国科学基金和抗盲基金会等多家机构为触觉研究提供长期资助。此外,欧洲和日本的政府部门也分别有相应的经费资助计划对触觉研究给予重点支持。与国外相比,我国在触觉领域仍属于小众研究,在规模和深度上均有较大差距。目前,国内已有十余所高校和研究机构专注于触觉研究,并有多个虚拟现实相关的企业开始涉足触觉技术研究。
触觉研究主要涉及电子技术、计算机科学、生物医学、神经科学及仪器技术等多个学科,其研究内容主要包括触觉感知特性、触觉传感技术及触觉显示技术等3部分,笔者拟重点针对上述内容分别阐述其技术概况和发展趋势。
2 触觉感知特性
触觉是皮肤基本感觉之一,绝大多数动物拥有遍布全身的触觉器官。狭义的触觉是指外部轻微刺激作用于皮肤触觉感受器所引起的肤觉,广义的触觉还包括外部作用力使得皮肤变形所引起的肤觉,即压觉,亦称为“触压觉”。
人们之所以能感知触觉,是因为皮肤组织中散布着若干不同类型的触觉感受器。触觉感受器的分布极不规则,通常指腹处较多,其次是头部,小腿及背部则较少,所以人类指腹触觉非常敏感,可以完成很多精细的操作,而小腿及背部则较为迟钝。解剖学上,触压觉感受器主要包括游离神经末梢、毛囊感受器及4种触觉小体,其中,压觉感受器帕氏小体存在于皮下各组织中,与深部感觉有关。Vallbo等[1]在1968年记录了手部触觉受器的神经冲动讯号,并依照时间特性与空间特性对神经细胞进行了分类。从时间特性的角度,神经细胞可以分为慢适应型(slowly adapting fibers,简称SA)和快速适应型(rapidly adapting fibers,简称RA),即两种不同类型的神经细胞对于外部刺激具有不同的时间反应特性。SA型反应温和,持续时间长;RA对刺激变化率敏感,反应强烈。从空间特性的角度,神经细胞可以分为局限型(punctate fibers)和扩散型(diffuse fibers)。局限型触觉感受器接受域较小,具有相对清晰的边界;扩散型与局限型相反,没有明确的边界。触觉神经据此分为4类,即SA局限型(SAI),RA局限型(RAI),SA扩散型(SAII)及RA扩散型(PC)。其中:RA局限型接近皮肤表层,呈卵圆形,长轴与皮肤表面垂直,外包有结缔组织囊,称为Meissner Corpuscles;SA局限型深入真皮且无膜囊包裹,称为Merkel Disks;SA扩散型再深入一层也无膜囊包围,称为Ruffini Endings;RA扩散型位于真皮最内层,由膜囊包围,称为Pacinian Corpuscles。实验发现[2],不同类型的感受小体具有不同的触觉感知特性,轻触手掌,只有RA型反应被观测到,SA型在增加刺激强度和持续时间才会出现,这反映了SA和RA对外部刺激的频率响应特性。不同神经细胞的反应频率分别为: Merkel Disks(SAI) 0.3~3 Hz; Ruffini Endings(SAII) 15~400 Hz;Meissner Corpuscles(RAI) 3~40 Hz;Pacinian Corpuscles(PC)>500 Hz。在触觉感受器的信息获取方面,以色列神经生物学专家Ehud Ahissa博士发现大脑对触觉信息的获取由空间和时间两个通道的数据同时编码而成。
描述触感觉特性的指标主要包括触觉敏感度和两点辨别阈。历史上,触觉敏感度的测量最早由Max von Frey于1896年提出,该方法沿用至今。他根据不同类型毛发的力距特性进行筛选后制成了不同力矩的探针,然后在体表皮肤的不同位置进行探测,发现不同位置处的皮肤具有不同的触觉敏感度,嘴唇的触觉敏感度好于背部,女性的触觉敏感度优于男性。Verillo等[3]在Max von Frey的基础上引入振动刺激并进行了实验,发现触觉对频率的感知最高可达到200Hz。两点辨别阈方面的工作最早由Weinstein于1968年进行,研究发现将两个刺激分别施加在皮肤的不同位置,随着距离的接近,触感会逐渐变成一个刺激。实验表明,指尖处具有2 mm左右的最好两点辨别阈,手臂处为30 mm,而背部则为70mm左右。两点觉阈实验结果显示,指尖的触觉受器密而小,手掌上的感受器则疏且大[2,4]。两点刺激进一步的研究表明,当刺激为连续刺激并存在幅度或相位差异时,两点刺激会出现由时间和振幅抑制导致的幻感觉。其中,时间抑制会导致两个等强度的连续触觉刺激不会被分别感觉到,而是形成一个位置随两个刺激之间的时延而改变的感觉,增加时延将导致感觉的位置移向较早的刺激,当刺激间隔达到8~10 ms时,两个刺激的融合消失;振幅抑制中,当两个相同的刺激同时施加到皮肤上时,幻感觉将出现在刺激器中间位置,如果改变相对振幅,幻感觉将移向强度较大的触觉刺激。当两点刺激变为更多的刺激并等间隔排列时,幻感觉会异常特别。1972年,Frank Geldard和Carl Sherrick在前臂上间隔布置了3个内装扬声器作为振动器的臂章,当顺序施加刺激时,受试者不仅感觉到了两个振动器之间的轻拍,而且感到有一个东西从手腕一路跳到肩膀上,这就是有名的“皮肤兔子”现象[5]。除上述幻感觉现象外,近年来,日本学者还发现了多种触觉现象,如鱼丝线效应、天鹅绒效应及鱼骨效应等。
触觉可以感知到滑移、力、变形及力矩等物理量的相对大小,从而帮助人们更好地了解触感对象。利用力感觉可以感知对象的质地如软硬等,利用变形量可以了解对象的凹凸程度或者识别对象,而利用力矩则可以感觉对象的动态特性并进行运动预测。此外,利用滑移感觉还可以很好地感知对象的表面光滑程度以及纹理特征。1925年,David Katz指出手指与物体表面之间必须发生摩擦滑移才能触觉感知对象的纹理质地。瑞典皇家理工学院Mark Rutland教授的研究也表明,利用滑觉,人类对表面纹理差异的敏感度可以达到惊人的13 nm,接近一个分子的大小,这相当于地球一样大的手指可以感觉出一辆汽车和一栋房子之间的大小差异。触觉的这些特性极大地丰富了人们的认知,并为指爪和手臂的灵活操控提供了重要依据。
触觉感觉对外部刺激具有很好的类似听觉的空间定位能力。触觉感觉定位主要基于触感觉的强度差异,而声音定位则是基于强度差异和时间差异。1997年,Gescheider[6]实验比较了触觉和听觉对声音定位的精度,实验表明,随着练习次数的增多,触觉定位具有和耳朵使用声脉冲与滴答声进行定位一样好的精确性,并显著好于耳朵使用低频音(187 Hz)的情况。另一个与听觉类似的现象是触觉刺激的环境发射,即尽管刺激作用在感受器上,但主观感觉也许会向外发射到环境中并对相关刺激源做出响应。
触觉敏感度、两点辨别阈和空间定位能力是触觉器官响应外部刺激的能力指标。除此之外,触觉器官对外部刺激的响应还存在适宜刺激的问题。适宜刺激是指触觉感官最敏感、最容易感受的刺激形式,包含两层含义:a.从引起触觉感觉的最小刺激到不出现不舒服感觉的最大刺激的阈值范围;b.使得触觉感官获得最佳触觉体验的外部刺激的阈值范围。适宜刺激中,刺激要素的梯度对触觉感觉影响较大,梯度越陡触感觉越强烈。针刺皮肤容易引发触觉感觉就是因为接触部位出现了较大的压力梯度,置于水体中的手指,在分界面处感觉比较清晰也是这个道理。此外,触觉感觉还存在时间适应性问题,即触觉感觉会随着时间的延续逐渐减退,直至几乎没有知觉。为了保持触觉感觉有效,不仅要维持触觉刺激要素,通常还需要通过技术手段克服触觉的时间适应性等问题。
触觉感知特性是触觉科学的基础,也是触觉传感器设计的理论依据,对触觉显示器的研制与开发具有重要价值。
3 触觉传感技术
触觉传感器由敏感材料或者结构制成,主要用于测量自身与外部物体相互作用时所引起的物理量的变化。触觉传感器是触觉操控和目标识别的数据源头。
机器人应用中,触觉传感器可以分为点接触型触觉传感器、面接触型触觉传感器和滑觉传感器。其中,点接触型触觉传感器主要用于判别传感器与目标之间的接触状态,可以测量接触力的大小,也可以只是简单地用0或1表示是否接触,点接触型触觉传感器在躲避障碍物、控制机械手的运动等方面具有重要价值。面接触型触觉传感器由点接触型触觉传感器以阵列方式组合而成,用于测量传感器区域垂直作用力的分布情况,并可形成敏感面与物体相互作用时的触觉图像。在自主机器人应用中,面接触型触觉传感器常常面积较大,以更好地完成环境探测、目标识别和精确操控。近年来,随着仿生机器人的兴起,面接触型触觉传感器与人工皮肤常常以一体化的方式出现,并更多地强调柔顺性。滑觉传感器主要用于测量物体与传感器之间的相对运动趋势,可以是专门的滑觉传感器,也可以由触觉传感器解析得到。此外,作为实际应用中的现实需求,热觉也已经成为触觉传感器的重要内容。
在技术手段上,触觉传感器主要有机械式、压阻式、压电式、光电式、电容式、电磁式、光纤式及生物信号式等几类。
1) 机械触觉传感器。最简单的触觉传感器是机械微动开关,微动开关输出0和1,相对于一个bit的二进制触觉传感器。硅微机械是比较前沿的传感器技术,硅具有很好的抗拉强度和较低的热膨胀系数,这些优良特性使得微机械传感器成为可能。基于硅微机械加工技术的传感器可以融合集成电路的先进处理能力组成微机电系统。硅微机械目前成功的应用是压力和加速度传感器,未来可基于硅微机械技术研制结构复杂的触觉传感器,由于涉及复杂的三维物体,加工过程需要特别的工艺技术。
2) 阻抗型触觉传感器。阻抗型触觉传感器通过测量两点之间的导电体的阻抗获得接触情况,外力引起导电体变形,从而引起阻抗的变化,因而可以检测外力作用情况。阻抗型触觉传感器结构简单,噪声低,易于构建高分辨率的触觉图像,不足之处可能存在迟滞,因而带宽较低,另外长久使用后导电体可能会出现不可恢复的变形。应变片是一种常用的阻抗型传感器,应变片采用电阻材料或半导体材料制造,在外力作用下产生机械变形时,阻抗发生相应的变化。导电橡胶是另一种理想的压阻材料,其阻抗可随着外力而变化。在结构上,导电橡胶触觉传感器是由导电橡胶层和绝缘橡胶相间制成的叠层橡胶片,两层叠合在一起后,导电橡胶条的交叉点就构成一个触觉单元。导电橡胶富有弹性,但弹性受温度影响较大并可能失效,应用中宜限制温度。
3) 压电式触觉传感器。压电材料是在压力作用下会在两端面间出现电压的晶体材料,对压电材料施加压力会产生电位差;反之,施加电压则产生机械应力。压电材料具有较高的频响特性,是测量振动的理想材料,但由于阻抗很大,通常只适合动态力的测量。PVDF属于高分子聚合物材料,具有压电性和热电性,其材质特性与人体皮肤非常接近。外力作用于极化后的PVDF薄膜时,垂直于作用力的薄膜表面会产生一定数量的电荷,电荷与作用力成正比,该特性可用于制作触觉传感器。PVDF薄膜频率响应极宽,热稳定性好,而且轻薄,其柔顺性及加工性能也非常好,可以做成大面积器件、阵列式器件及各种复杂形状的传感器。PVDF不能响应静态压力,输出信号比较微弱,电稳定性也较差,不利于长时间测量。 PVDF温度上限为80℃,使用场合相对受限。意大利的P.Dario较早采用PVDF制成触觉传感器,该传感器底部通过印刷电路板为厚厚的PVDF薄膜提供支撑,PVDF薄膜上面是一层力敏导电硅橡胶,导电硅橡胶上面又是一层PVDF薄膜。印刷电路上有电极网络,每个电极通过金属孔与印刷电路底部的相应电极相连。当薄膜受压时,测量印刷电路上下电极之间的电压可以知道压电效应产生电荷多少,从而完成触觉测量。
4) 光电型触觉传感器。光电传感器包括光源、传导介质和光电探测器,光电探测器通常为相机或光电二极管。触觉作用力引起的传导介质的变化通常会导致频谱、传输或反射强度的变化。光电型传感器具有很高的空间分辨率,抗电磁干扰,缺点在于环境适应性较差,常因污染而失效。光电触觉传感器的电信号通常由压力变化引起的机械位移转换而来,传感器与物体接触表面的压力变化会引起测量机构的机械位移,进而通过光电转换器转换为电信号。
5) 电容型触觉传感器。电容极板间距的改变会导致电容参数的变化,该特性可用于触觉测量,为最大限度地提高灵敏度,宜使用高介电常数的电介质。采用微电子工艺可以制造由微小电容阵列构造的具有高分辨率的触觉传感器,但是单个传感器的容抗将减少。电容式传感器的问题在于容易引入杂散电容,通过优化电路布局和机械设计可以减少杂散电容的的影响。
6) 电磁式触觉传感器。电磁式触觉传感器的设计有两种方法:外力作用下运动的小磁铁会导致测量点附近磁通密度的变化,而磁通可以通过霍尔效应或磁阻进行测量,据此可以对外力进行测量;变压器或电感器的铁芯受外力变形或移位将改变磁耦合状态,据此也可以实现对外力的测量。磁敏传感器优点在于灵敏度高,动态范围大,没有迟滞,鲁棒性好。
7) 光纤触觉传感器。光纤作为传感器可以利用的特性包括光路传输特性以及相位、强度和偏振方向等内在特性,这些均可用于接触状态、力矩和力的测量。光纤的优点在于安全、体积小、重量轻及抗外部电磁干扰,并可实现远距离测量。相位和干涉法比较复杂,工业应用不多。触觉传感器的设计一般通过光强对触觉过程进行测量,如通过光纤处于微弯状态时的光强衰减可以检测光纤外表面所受到的机械弯曲或扰动(几微米量级)。
由于简单有效,上述传感器中,电容、压阻、压电和光电类传感器在触觉应用中往往优先选用。随着智能机器人和虚拟现实等领域的快速发展,触觉传感出现了全局检测、多维力检测以及微型化、智能化和网络化的趋势,传统的触觉传感器已难以满足应用需求,特别是近年来微电子工艺的成熟和普及,为这种需求提供了技术可行性。
在全局触感方面,触觉传感器通常覆盖很大的区域,在仿生机器人等应用中,机器人皮肤要求具有人类皮肤的柔顺性,其肤感触觉传感器为超大面积阵列式结构,安装在较薄的柔性基底上,并且十分坚固。这种触觉传感器可用于表面形状和表面特性的检测。PVDF、碳纤维[7]和光纤是触感皮肤比较理想的材料。PVDF可以方便地被制造成大面积的“人工皮肤”,碳纤维和光纤可以通过编织工艺构造大面积可穿戴的柔顺型触觉传感器,可用于任意表面的触觉测量,并测量多维接触力分布。此外,在PVDF人工皮肤表层制作阵列式电极也是一种可行的全局触觉传感方案,当皮肤触碰物体时,相互交错的电极会因触碰而导通,其原理与数字键盘类似,优点是抗干扰能力强,不足之处在于无模拟量输出,难以反映接触力的大小。
多维力检测对于智能机器人的环境感知和精确操控具有重要价值。早在1984年,Kinoshita等[8]即已关注3D目标的感觉以及传感器设计问题。2010年,Van等[9]利用MEMS 技术研制成功用于机器人指部的三维力触觉传感器。国内高校和机构对多维力的检测也非常关注,2009年,中科院合肥智能机械研究所研制成功三维力柔性触觉传感器, 实现了对三维力的检测[10]。2014年,Yu[11]开发成功一种可检测x(4 N),y(4 N)和z(20 N)方向的触觉传感器。
当然了,以问题来促进学生阅读,还是要留下时间与空间让学生去阅读,同时在阅读过程中更要注意培养学生的阅读兴趣,提升学生的阅读能力,从而达到提升学生语文综合素养的能力。
触觉传感器的微型化、智能化和网络化也是虚拟现实和现代机器人系统的迫切需求,带有微处理器的触觉传感器能够在探测现场即时采集和处理数据,并实时地与外界进行触觉数据交互。微电子工艺的技术进步促进了智能传感器的快速发展,未来触觉传感器除具备基本的触觉传感功能外,还将具备自诊断、校准和测试等附加功能。2011年,Muroyama[12]报告了LSI微型触觉传感器系统的研制工作。
此外,多模感知也是触觉传感器的一个方向。在人工皮肤中内置一层可以检测温度变化的传感器以实现热觉检测是通常的做法。2014年,Wettels等[13]报告了一种可用于目标设别和抓取作业的指型触觉传感器阵列,该传感器可以象人类皮肤一样具有感知力、热和微振动的能力。此外,文献[14]也报告了一种采用MEMS悬臂梁的多功能触觉传感器,该传感器不仅能够探测到目标的接近,而且能够检测接触、滑移和表面纹理等情况。
在性能指标方面,触觉传感器尚无统一的标准。工业应用中,触觉传感器应该具有较好的强度、重复性好、噪声低、迟滞小、鲁棒性好及不易受环境影响而损坏的特点,空间分辨率应达到1~2 mm,敏感度范围在0.4~10 N,并能够允许一定的过载,带宽不小于100 Hz。此外,对于单点触觉,还存在接触区域的要求,一般为1~2 mm2。
触觉传感当前的困境在于如何感知狭小空间微小接触区域中的作用力,如先进的DaVinci手术机器人,由于作业空间有限,并且作业环境中充满血水,手术过程中医生无法通过触觉反馈提供手感,只能依赖视觉进行操作。
4 触觉显示技术
触觉显示是与触觉传感相对应的一个概念。触觉传感是获取物体之间相互作用的接触情况和力的大小,触觉显示则是把这种接触情况和力的大小显示还原出来,让有知觉能力的主体知晓和掌握相互作用情况,进而更好地完成操控作业或进行决策。
触觉显示源于主从机器人领域,其目的是把远地从机械手侧的接触情况在本地主机械手侧进行还原,以便主机械手侧的操作者能够获得远地机械手作业时的真实感觉。主从机器人领域的触觉显示最初被称为触觉临场感或者触觉再现,后来随着虚拟现实应用的兴起,触觉再现作为一个概念逐渐被触觉显示所取代。图2为触觉显示应用的一个经典案例[15],图中操作者借助镜面虚像可看到虚拟物体,并可利用触觉显示技术用右手的拇指和食指去触摸该虚拟物体。该应用的目的在于强化操作者对虚拟物体的感知。
图2 借助镜面虚像的虚拟触觉显示Fig.2 Aexample of virtual tactile display with the integration of mirror reflectivitly and tactile feed-back
触觉显示主要包括两个要素,即接触状态和相互作用力。
触觉临场感中接触状态的显示有两种方式:一是视觉显示;二是基于物理刺激的触觉显示。触觉信息的视觉显示在早期有些价值,由于需要额外的显示屏并占用操作者的视觉资源,逐渐被弃用。在基于物理刺激的触觉显示方面,早期的技术手段主要包括顶针刺激、气动刺激、振动刺激和电刺激。
1) 顶针刺激。顶针刺激通过顶针阵列实现,顶针可以停留在上下两个位置,也可以在垂直方向上振动,以给皮肤施加压力和振动。顶针可以通过压电[16]、电磁(螺线管、声音圈)、形状记忆合金(SMA)和气动等多种方式驱动。顶针刺激为静态刺激,操作者触觉体验较好,但每个触点均需要单独驱动,机构复杂,成本较高。
2) 气动刺激。气动刺激是将具有一定压力的气体通过泵阀和管道施加到人体皮肤上,使人产生接触到物体的感觉。气动刺激包括喷气、气囊、气环和气针等多种形式。1971年,美国Bliss的研究团队研制了12*12的气体喷嘴阵列,可以用于帮助盲人识别字母或者字符[17]。日本的Katsuhiko Sato设计了一种气环式触觉刺激器,为遥操作系统提供反馈[18]。气动刺激能够提供感觉,但是分辨率低,带宽也很低,通常只有5~10 Hz,另外,操作者容易肌肉疲劳并因此减低感觉能力。
3) 振动刺激。振动刺激使用钝针、音圈或压电晶体等产生振动。振动触觉装置体积小、带宽高,是一种应用广泛的触觉刺激方式。文献[19]报告了一种产生侧向拉伸感觉的振动式触觉显示装置。该装置由64个紧密排列的压电激励阵列构造而成,也可通过底部薄膜变形成一个112个刺激接触点的触觉阵列,从而在指端皮肤上形成可编程的侧向应力场。STReSS是基于上述原理构建的触觉显示系统[16],能以700 Hz的频率对触觉图像序列快速刷新,从而产生“触觉电影”。显示器具有100个侧向移动的接触点阵列,阵列密度为每平方毫米一个接触器,具有较高的空间与时间分辨率。
4) 电刺激。电刺激是将电脉冲施加到用户指端的微小电极上,从而形成触感觉。电触觉能够在没有机械激励的情况下产生压力或震动感觉。电刺激触觉体积小、重量轻,不足之处在于动态范围较小,易引起电刺痛等不舒服的感觉。文献[20]提出了一种SmartTouch增强现实皮肤感觉系统,该系统采用电刺激方式,物体的触觉图像数据来源于数据传感器。电极直径为1.0 mm,采用不锈钢制作,按4×4排列,电极纵向间距为2.5 mm,横向间距为2.0 mm。为确保接触阻抗的稳定性,MIT采用了舌部刺激的技术方案,达到了理想的触觉效果。2014年MIT电触觉显示器成功用于我国山西被挖眼男孩的视觉功能重建。
随着国内外研究人员对触觉技术的关注,本世纪初,很多合理可行的触觉显示技术相继被提出。这些新颖的技术手段如下。
1) 超声刺激。超声刺激通过变频超声或超声脉冲提供触感觉,超声波压力可模拟出一种虚构的形状和力度,这种压力被称为声发射压力。如果用手指在此位置表面进行抚触,就能产生触感觉。虚拟现实中,利用此现象可提供“空中超声波触觉”。
2) 电流变液。电流变液由具有高介电常数的固体微粒均匀分散在低介电常数的绝缘油中形成悬浮液。正常情况下该悬浮液表现为牛顿体,在电场作用下,电介质固体颗粒可瞬间极化形成微细结构,从而使液体在几毫秒内变成塑胶状态,流体的黏性与电场强度成正比。电流变液的特殊性质可以应用于离合系统及生物医学等很多领域,多工作在剪切模式。触觉显示应用中,主要利用其剪切力和压力,在触点上施加刺激时,表层液体层在电场作用下变硬,顶针会因为水平和垂直方向的阻力而不能下按。
3) 磁流变液。磁流变液体是一种新型智能材料,其原理与电流变液相似,是把微米级的铁磁颗粒以不同比例混和在各种非铁磁液体中形成的悬浮液体。外磁场作用下,磁流液在流变学上呈现出快速且可逆的变化。和电流变液一样,没有外部刺激时,磁流变液也呈液体状,在磁场激励下可表现为类似于干燥牙膏一样的固态凝胶体。磁流变液的触觉显示应用模式与电流变液相似。
4) 射流刺激。射流刺激利用以一定速度喷射出的水流作用于皮肤表面,从而形成一定强度的压力斜坡,同时由于水流可以带走一定的热量,又可以在指端接触处形成一定的温度斜坡,两种因素交互作用,可在皮肤表面形成清晰的压力温度融合触觉刺激[21]。其优点在于不仅可以提供触觉图文显示,还能够实现热图像的显示,在建立温度色彩映射关系后还可以实现其他技术手段难以提供的彩色图文触觉显示。在实际应用中,通过对流速稳定的水流柱给予一定强度的低频振动处理,以引起皮肤表面压强瞬时变化,还可以有效地消除操作者的触觉时间适应性。水射流具有较高的带宽,且不会导致不舒服感觉,易于为操作者所接受,不足之处在于装置复杂,体积偏大。
除上述刺激外,其他刺激方式还包括表面声波刺激、热刺激和神经功能刺激等,但应用报告很少。
相互作用力的显示和反馈一直是领域内的一大难点。早期的作用力显示是借助机械手臂完成的,机械手臂一方面通过级联的臂杆为指爪提供空间定位,另一方面也借助机械手臂的基座完成相互作用力的显示。由于需要机械手臂并需要精确的控制系统,这样的力反馈装置价格极其昂贵,通常只在实验室及特别场所使用,难以普及推广。2005年左右,陆续有机构推出了桌面型触觉力显示器,如delta和 phantom等,这些装置的推出大幅度降低了力反馈显示装置的成本和价格,使得商业推广成为可能,但是价格仍高达20万元左右,难以为普通消费者所承受。
Delta是Force Dimension公司研制的多自由度多功能力反馈系统,可在较大的工作空间内实现大范围作用力的反馈,实现对运动知觉以及触摸玻璃或者海绵等物品时触感的高保真、高品质显示。 Omega 是低成本的桌面型力反馈设备。Omega采用铝制构件,减少了惯性效应,Omega可产生持续的12.0 N的作用力,闭环强度为每毫米14.5 N。
Phantom是SensAble Technologies推出的力反馈系统。Phantom力反馈装置可以提供沿x轴、y轴和z轴的力反馈,以及偏航、俯仰和侧滚等,可模拟虚拟碰撞、反作用力和转矩等不同的感觉。Phantom力反馈装置可帮助操作者完成精准的3D对象操作,并能够提供虚拟装配、虚拟样机、维护路径规划、远程操作以及分子模拟等多种形式的力感觉探索。
除上述点触觉力反馈系统外,业内还推出了以指爪控制为特征的手套型触觉反馈控制器,该类控制器通过固定于指爪外侧的外骨骼机构限制指爪自由度,从而提供力反馈。典型方案包括Mcgill,Cyber和Dexmo等。手套型触觉反馈的特点在于通过指爪控制提供力感觉,由于放弃了手臂的自由度限制,没有复杂机构,极大降低了成本,但力反馈通常只限于局部应用。
近年来,受虚拟现实氛围的影响,很多个人爱好者和公司介入了力感觉显示的研究和产品开发中,并推出了多种概念产品,如Gloveone,Impacto和IMotion等。
Gloveone由Neuro Digital Technologies 公司开发。Gloveone 手套的手掌和指尖分布着10 个制动器,可以产生不同频率和强度的震动,从而还原真实的触感。Gloveone可模拟风、雨、夹持力和重力感觉。与Glovene类似,Cybertouch也是在手指与手掌部位上设置了许多小型触觉振动器。每个振动器可以独立显示不同强度的触感压力。该振动器能发生单一频率或持续性的振动,从而可以感受虚拟物体的外形。
Impacto由德国Hasso Plattner提出。Impacto结合了肌肉电刺激触觉振动引擎来制造一个推或拉的感觉,可以更真实地模拟实际物理对象接触的感觉。佩戴者可以感受到力反馈作用,用户用胳膊挡拳时会有被击中的感觉,也可以感受到每次足球落下时与脚的相互作用力。
iMotion由 Intellect Motion开发,可以为 Oculus Rift 及很多配备摄像头的 Mac,PC及 Android 设备等提供动作操控体验。iMotion内置陀螺仪、加速计,可检测x轴、y轴、z轴的坐标和平面仰角、旋转角度等判断用户身体在3D空间的位置,并通过内置部件改变其与掌部的距离进而提供触觉反馈。
随着陀螺仪和视觉定位等技术发展,触觉反馈手套有望克服自由空间定位的难题,成为极有前途的发展方向,并彻底解决触觉显示应用层面成本高昂的问题,成为和视觉显示器一样的廉价产品。
5 发展趋势
触觉传感和显示技术发展至今,已经逐渐脱离了最初的紧密关联的临场感应用环境,两者分离并独立发展成全新的学科方向已经成为一个趋势。触觉传感主要围绕智能机器人领域和康复医疗领域发展,重点解决智能机器人的触觉操控和仿生机器人的仿生触感,以及义肢触觉功能重建等问题。触觉显示除传统的机器人临场感应用及视觉功能替代应用外,还包括虚拟现实(包括增强现实/混合现实)、电影电视、游戏娱乐、工业设计、制图绘画、教育培训以及工业触控屏等,发展空间极为广阔。
触觉传感和显示技术从功能开发到技术成熟及至产业化是一个漫长的过程,就当前技术状况来看,未来在如下几个方面仍须进一步增加研发投入并进行持续的研究。
1) 触觉传感器的智能化和网络化。触觉传感的技术方案很多,并已实际应用,这些传感器的问题在于传感器输出信号为模拟信号,在传输过程中极易引入噪声,如果能够在现场即时进行数字化处理,可显著提高数据的准确性和可靠性。另外,网络接口已经成为工业应用的标准配置,具备网络接口的传感器应用极为方便。触觉传感器的智能化和网络化需要引入集成电路工艺,使传统的传感器成为一个可与外部交互数据的独立系统。
2) 接触觉的显示与力觉显示合二为一。传统的研究中,由于空间定位的困难,力的反馈需要借助精确的手臂连杆系统构成精确的空间定位平台,这个平台非常昂贵,因此,出现了单纯用于触觉显示的触觉显示器。随着九轴陀螺仪、视觉定位等技术手段的出现,手部空间定位已经可以达到较为满意的精度,基本可满足应用需求,因此,完全可借助手部指爪相对位置的约束提供全空间的接触感觉和力的反馈,这将极大地降低触觉和力觉反馈装置的成本,为其技术普及和应用推广带来发展机遇。触觉显示器在未来有望像显示屏和音响一样成为家庭的标准配置。
3) 彩色触觉。彩色触觉可提供类似RGB的多要素刺激,帮助盲人及操作者获得彩色触觉感知。彩色触觉的技术可实现触觉显示与视觉显示的完美对接。无论对于视障人群还是影视娱乐或者工业应用都具有积极意义。
4) 触觉文件及触觉重现。迄今为止,触觉领域尚无统一的文件格式和存储规范。随着触觉显示技术的成熟,统一的文件格式已经迫在眉睫。文件格式的意义在于可以对触觉过程进行存储,并可像图片和声音一样拷贝和传输,并在异地还原,这对于丰富人们的触觉体验具有重要意义。
5) 增强现实及触觉游戏应用。虚拟现实可能是触觉手套最大的应用领域。2016年被誉为虚拟现实元年,里约奥运会也首次采用了全景直播和3D直播,旅游、地产和很多领域均启动了VR模式,触觉手套的介入在未来不仅可以使人们看到3D对象,还可以触觉方式与之进行交互。触觉手套还有望为触觉游戏的开发创造巨大空间,如今年风靡全球的PokeMon Go,未来几年内应该会有若干触觉游戏被开发出来。
6) 触觉服务器。随着触觉显示和应用的成熟,基于网络空间的触觉交互将成为可能,人们即便相隔遥远的时间和空间也可以通过触觉表达问候和传递感情。今天的我们可以给100年后的家族成员像说“hello”一样送出一个有力的“握手”,也可以给相隔万里的家人送出一个拥抱,而所有这些均离不开触觉服务器和文件系统的支持。
[1] Vallbo A B, Hagbarth K E. Mechnoreceptor activity recorded from human peripheral nerves[J]. Electroencephalography & Clinical Neurophysiology, 1968,25(4):407.
[2] Johansson R S, Vallbo A B. Tactile sensibility in the human hand: relative and absolute densities of four types of mechanoreceptive units in glabrous skin[J]. Journal of Physiology, 1979,286:283-300.
[3] Verrillo R T. Investigation of some parameters of the cutaneous threshold for vibration[J]. Journal of the Acoustical Society of America, 1962,34(11):1768-1773.
[4] Kandel E R, Jessell T. Early experience and the fine tuning of synaptic connections[J]. Principles of Neural Science, 1991(4):945-948.
[5] Geldard F A,Sherrick C E. The cutaneous “rabbit”: a perceptual illusion[J]. Science, 1972,178(4057):178-179.
[6] Gescheider G A. Psychophysics: the fundamentals[J]. Lawrence Erlbaum Associates, 1997,31(4):1035-1042.
[7] Park C S, Park J, Lee D W. A piezoresistive tactile sensor based on carbon fibers and polymer substrates[J]. Microelectronic Engineering,2009,86(4-6) :1250-1253.
[8] Kinoshita G. Tactile sensor design and tactile sensing on 3-D objects[J]. Journal of Robotic Systems, 1984,2:657-662.
[9] Van A H, Dzung V D, Susumu S, et al. Design of a small-scale tactile sensor with three sensing points for using in robotic fingertips[C]∥IEEE International Conference on Robotics and Automation(ICRA). Anchorage,Alaska:[s.n.], 2010:4855-4860.
[10]徐菲,黄英,丁俊香,等.一种新型三维力柔性阵列触觉传感器研究[J].传感技术学报,2009,22(11):1542-1546.
Xu Fei, Huang Ying, Ding Junxiang, et al. Research of a novel three-dimensional force flexible tactile sensor[J]. Chinese Journal of Sensors and Actuators, 2009,22(11):1542-1546. (in Chinese)
[11]Yu Ping. Development of a compliant magnetic 3-D tactile sensor with AMR elements[J]. Lecture Notes in Computer Science, 2014(8918):484-491.
[12]Muroyama M, Makihata M, Nakano Y,et al. Development of an LSI for tactile sensor systems on the whole-body of robots[J]. IEEE Transactions on Sensors and Micromachines, 2011,131(8):302-309.
[13]Wettels N, Fishel J A, Loeb G E. Multimodal tactile sensor[J]. Springer Tracts in Advanced Robotics, 2013,95:405-429.
[14]Sohgawa M, Watanabe K, Kanashima T, et al. Texture measurement and identification of object surface by MEMS tactile sensor[J]. Sensors, 2014,44(6):1706-1709.
[15]Ernst M O, Banks M S. Humans integrate visual and haptic information in a statistically optimal fashion[J]. Nature, 2002,415(24):429-433.
[16]Pasquero J, Hayward V. Stress: a practical tactile display system with one millimeter spatial resolution and 700 Hz refresh rate[C]∥Proceedings of Eurohaptics. Dublin, Ireland:[s.n.], 2003:94-110.
[17]Shimoga K B. A survey of perceptual feedback issues in dexterous tele-manipulation: part II. finger touch feedback[C]∥Virtual Reality Annual International Symposium. Washington DC, USA:IEEE, 1993:263-270.
[18]Sato K, Igarashi E, Kimura M. Development of non-constrained master arm with tactile feedback device[C]∥Proc International Conference on Advanced Robotics, ICAR′91. Pisa, Italy:[s.n.], 1991:334-338.
[19]Hayward V, Cruz-Hern J M. Tactile display device using distributed lateral skin stretch[C]∥Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems, IMECE 2000 Conference. Orlando, Florida:[s.n.], 2000:1309-1314.
[20]Kajimoto H, Kawakami N, Tachi S, et al. Smart touch: electric skin to touch the untouchable[J]. IEEE Computer Graphics and Applications, 2004,24(1):36-43.
[21]帅立国,周芝庭,姜昌金,等.基于射流技术的触觉图文显示装置及显示方法: 中国,CN200510094474.8[P]. 2006-03-08.
10.16450/j.cnki.issn.1004-6801.2016.06.001
*国家自然科学基金资助项目(61175069)
2016-07-20;
2016-09-01
TP242.6; TP23; Q415
帅立国,男,1968年10月生,东南大学教授、博士生导师。河南科技学院特聘教授、甘肃省特聘科技专家、美国SJCE(Scientific Journal of Control Engineering)控制工程期刊主编。主要研究方向为虚拟现实及触觉显示技术、物联网及远程监测监控技术、无损检测及关键零部件在役寿命评估技术。曾发表《触觉显示技术及其发展趋势》(《工业仪表与自动化装置》2006年第6期)等论文。 E-mail:liguo.shuai@126.com