一种面向视触融合人机交互的柔性触觉传感阵列

王爽 吴兵 刘倩

摘要：提出了一种面向视触融合人机交互的三维柔性触觉传感器以及相应的触觉采集软硬件装置，用于采集真实物理操作过程中的触觉力信息。该触觉传感器由前、左、右3面组成，可佩戴在人手指尖部位并捕捉抓取过程中的触觉信息。通过实验测量，该传感器的测量范围是0～20N，检测精度为0.1N，平均响应时间为23.8ms，能够提供实时、高精度的触觉信息采集。

关键词：柔性触觉传感器;触觉互联网;虚拟现实

Abstract：Aflexible3Dhapticsensorandthecorrespondingsignalacquisitionsoftwareandhardwaretocollecttactileinformationduringrealphysicaloperationareproposed.Thetactilesensorconsistsofthefront，left，andrightsides，whichcanbewornatthefingertipsofthehumanhandandcapturethetactileinformationduringgrasping.Throughexperimentalresults，thesensorcanrangefrom0to20Nwithadetectionaccuracyof0.1Nandanaverageresponsetimeof23.8ms，whichenablestoprovidereal-timeandhigh-precisionhapticacquisition.

Keywords：flexiblehapticsensor;tactileInternet;virtualreality

1触觉通信的发展

早在1948年，美国Arogonne国家实验室开发的用于核反应堆操作的机械式力矩反馈主-从系统开创了遥操作研究的先河。随后，美国Utah大学开发了具有高保真力反馈的主-从遥操作系统，用以完成多种海底精细作业任务[1]。日本港湾空港技术研究所也研制了水下作业工程机械力反馈遥操作系统，使水下作业的效率基本达到了陆地水平[2]。2010年，日本庆应义塾大学成功研制了触觉钳子手术机器人，并通过小鼠肝脏组织剥离实验证实：该触觉钳子能够实现在医院的楼宇范围内高性能的触觉传递，使医生在远离“患者”的位置也能清晰地感觉到钳子与活体组织间微弱的触感[3]。近年来，随着中国空间站计划、“嫦娥”探月计划、“蛟龙”深海潜水器等项目的启动实施，有触觉传递功能的机械臂也正逐渐获得更密切的关注。可以看出，触觉通信技术目前在医疗外科、水下勘探、军事排雷等各个领域的应用不断增加，这使得人类用户可以在安全距

离执行复杂的甚至是非常危险的任务[4]。

随着5G通信、云计算和虚拟现实（VR）等技术的发展，低延迟高可靠的触觉互联网通信成为可能。触觉互联网能够提供实时的触觉控制和远端物理触觉体验，在视触觉融合的人机交互等领域有广泛的应用前景。特别是在VR领域，触觉可以作为目前主流基于视觉VR技术的补充，给用户带来更加强烈的沉浸感。这主要体现在与皮肤接触时使用振动或静电冲击来模拟触感。通过使用触觉执行器（专门开发的手套、鞋子、操纵杆等），用户可以从手中或身体的其他部位获得计算机程序的反馈。史蒂文·斯皮尔伯格的《ReadyPlayerOne》展示了未来VR世界，让用户注意到高质量沉浸式体验不仅需要视觉，还需要触觉反馈。现在越来越多的公司开发了面向触觉的设备，如GloveoneVR手套、微软PIV?OT[5]等。然而，人类的触觉感知和通过触觉导向设备进行的触觉演示之间仍然存在一定差距。在多模态人机交互应用中，这种差距一般通过触觉渲染[6]来弥补，而触觉渲染算法的基础是真实物理操作过程中的触觉信息。因此，能够提供原始触觉数据基础的触觉传感器成为实现高保真视触觉融合人机交互应用的必然需求。

本文提出了一种新型的柔性分布式触觉传感器，该传感器采用压阻式原理，具有多接触面多（底、左、右3面）、重量轻、体积小等特点。它可以穿戴于人体的指尖、机械手或机械臂的末端夹持器上。同时，针对该分布式柔性触觉传感器，本文提出相应的信号检测软硬件系统。由于独特的3面设计，使触觉传感器更适用于采集人手或灵巧末端夹持机构（例如五指灵巧机械手）抓取时多姿态、多接触面的触觉信息，进而能够更准确地为VR触觉渲染和机械手仿人抓取提供数据支撑。

2触觉传感器介绍

Z.KAPPASSOV将触觉传感器定义为一种能够获取被接触物体属性的设备[7]。触觉传感器按照工作原理可分为压阻式、压电式、光学式、磁力式等。其中，压阻式触觉传感器通过测量敏感材料的电阻值变化来检测施加力的大小和位置等信息。压阻式触觉传感器的原理简单、成本低，因此得到了广泛应用。压阻式触觉传感器根据敏感材料的不同，又分为微机电系统（MEMS）应变计类、导电聚合物类、导电橡胶类和导电溶液类。MEMS应变计利用的是导体或半导体在外力作用下产生机械变形时电阻会发生变化的特性。典型器件是美国伊利诺伊大学香槟分校利用聚酰亚胺（PI）作為基底设计的仿生皮肤。导电聚合物类触觉传感器是以导电聚合物（例如离子聚合物Fle?mion导电膜）作为敏感材料的。导电橡胶类传感器是在有机弹性材料（如硅橡胶）中添加炭黑、碳纳米管等导电颗粒制成柔性导电复合材料。典型器件是美国马里兰大学研发的触觉传感器，使用混有碳纳米管的聚二甲基硅氧烷（PDMS）作为敏感材料，以PDMS作为基底封装。导电溶液类触觉传感器的典型代表是美国南加州大学研制的BioTac触觉仿生手指，可以直接安装在机械手上[8]。压阻式触觉传感器各种类别的优缺点总结如表1所示。

S.TESHIGAWARA等设计了一种基于压阻效应的触觉传感器，并利用物体滑动时的频率变化进行滑移检测[9]。A.SCHMITZ等设计了一款电容式压力分布传感器，并部署在iCub仿人机器人上[10]。P.A.SCHMIDT等设计了一款电容式传感器，能够感知到5mN的力值变化，但传感器优缺点传感器在抓取过程中容易损坏[11]。B.CHOI等设计了一种具有微型指尖触觉传感器的拟人机械手SKKU-HandII，其机械手指尖安装了由基于偏氟乙烯（PVDF）和压变电阻组成的触觉传感器，能够感知机械手抓取过程中的力变化[12]。BioTac是SynTouch公司开发的一款能够感知压力、温度和振动信息的触觉传感器，3种触觉信息通过3组独立的传感器实现，然后集成到一起。M.K.JOHNSON等设计一款能够显示物体表面几何信息的触觉传感器GelSight，主体由凝胶和相机构成[13]，传感器表面是一块涂有反光材料的透明弹性体膜。当物体接触到传感器时，弹性体发生变形。通过相机捕捉弹性体的变形信息，即可重建出接触物体的表面信息。S.SUNDARAM等设计了一款由压阻膜组成的可伸缩触觉手套，每个触觉手套上含有548个触觉传感器。通过触觉手套可以识别单个物体、估计其重量，还可以探索抓取物体过程中的典型触觉模式[14]。

3触觉传感阵列设计与触觉信号检测套件

3.1传感器设计与制作

传感器采用双面布线的方式，一共分为5层，整体结构如图1所示：第1层为柔性非导电材料层，使用聚对苯二甲酸乙二醇酯（PET）薄膜;第2层为电极层，采用喷墨打印的方式将导电银浆在第1层上印刷4行导线和28个圆形电极;中间层（第3层）是力敏材料层，可将石墨烯力敏油墨印刷于圆形电极处;第4层为对称电极层，也采用喷墨打印的方式将导电银浆在PET层上印刷7列导线和28个圆形电极;第5层也是柔性非导电材料PET聚酯薄膜，第4层的导电银浆也印刷在其上。第2层和第4层可以互换。因此，传感器有4行7列，共有28个传感单元、11条输出导线。其中，11条导线分别代表4行和7列，用来定位每个感应点。

为了更好地贴合机械手，传感器表面设有引导线，可按引导线进行弯折。另外，考虑弯折处应力产生的测量误差，我们需要在弯折引导线附近对基材进行镂空设计。这时信号采集的电极线向远离弯折线的方向避让。

触觉传感器的制作过程共分为3步：第1步是在150°下预缩PET聚酯薄膜，并将它作为双面基底，厚度为50um;第2步是在上层基底喷墨印刷7列导电银浆布置电路，厚度为5um，下层基底喷墨印刷4行导电银浆布置电路，厚度为5um;第3步是在两层银导线中间喷墨印刷石墨烯力敏油墨，厚度为20um。整个传感器一共有4行7列，共28个单元，左边第2列和第3列以及右边第2列和第3列中间有引导线（可弯折形成3面结构）。这4列传感单元圆心距为8mm，其他列传感单元圆心距为7mm。传感器成品整体长58mm，列宽32mm，厚度为130um。

3.2触觉信号采集

传感阵列的等效电阻如图2所示，触觉信号的采集通过循环扫描电路实现，并利用零电位法（红色小电阻）来消除环路干扰（原理如图3所示）。当硬件实现时，7条列导线用单片机循环选通，并通过模数转换器（ADC）采集4条行导线的输出电压。假设位于第i行、第j列的传感单元受压力，则力敏电阻值ri，j发生变化。由式（1）可知，输出电压Vout的值将发生变化;受到的压力越大，输出电压值越大。

（1）

其中，Vdd表示电源输入电压，Rref表示参考电阻。因此，通过循环扫描开关阵列1（Switch1）的第i行和开关阵列2（Switch2）的第j列，测量输出电压值，即可获得触觉传感器28个传感单元的受压力大小。

触觉信号的具体采集流程如图4所示。首先我们初始化7个通用型输入输出（GPIO）引脚口，用于选通并拉高电压;然后定义4路ADC采集通道，用于将模拟信号转换为单片机可以处理的数字信号;最后初始化通用异步收发器（UART）模块，用于将单片机采集回的数据上传给上位机。初始化完成后，待上位机发送指令，触觉信号采集软硬件设备开始采集触觉信号。首先，GPIO选通某一列，然后激活ADC，从而对四行电压进行采样。如此循环7次，得到28个电压采样值，再通过图5所示的测力计进行标定。

4有限元仿真

当传感器受力时，中间的力敏材料层产生微小位移，阻值发生改变。通过测量电阻值的变化量可求出每个传感单元上方的一维力大小，通过获取多个单元的电阻变化就可以计算出整个传感器的三维合力大小。

传感器为集成在机器人指端的触觉传感器。通过将传感器贴附在机器人指端，我们可以获取指端接触物体时的触觉信息。传感器三维模型与尺寸如图6所示，每个传感单元可等效为直径3mm、厚30um的圆柱。传感器主要由PET聚酯薄膜、导电银浆和石墨烯力敏油墨组成，贴附在指端基体上。为简化仿真实验，我们将导电银浆和石墨烯力敏油墨合并成一层。

我们使用有限元分析软件对传感器进行仿真实验，分析每个传感单元受法向载荷和切向载荷作用时对应的应力分布情况。图7展示了不同情况下的指端与接触面的相对表现和受力分析。

综上所示，本项目设计的触觉传感器切实可行，具有触觉压力场和滑移剪切力场三维的精确感知能力。

5实验结果及参数指标

我们使用如图5所示的测力计作为标准压力信号值，从而将力信号的大小与传感器测量的电压信号一一对应。实验结果如图8中的绿点所示。为了对力与电压的关系进行建模，我们对测试数据进行曲线拟合，具体如图8中的蓝线所示。力与电压的关系为：f（x）=p1?x3+p2?x2+p3?x+p4。其中，p1、p2、p3、p4分别等于4.121、-4.129、8.506、-0.8206。如圖8所示，当压力处于20N以下时，力与电压的关系是非线性关系，可以认为此区间为传感单元非线性受力区间。从图8可以看出，该传感器在0～20N具有较高的灵敏度。当测力计以0.1N稳定施加时，传感器有稳定的反馈，即所提出的触觉传感器测量精度为0.1N。触觉传感器的另一个关键性能参数是响应时间，它表示测力计开始向传感器单元提供压力与计算机打印出电压信号的时间差。响应时间即响应延迟，由周期延迟（由DSP扫描过程引起）和输出延迟（由计算机引起）组成。由于提出的触觉传感器阵列包含4×7个传感器单元，因此ADC每次读取4行，循环7次则可以完成一个周期的采集。其中，一次循环延迟≈ADC采集延迟+电压稳定延迟，周期延迟≈（ADC采集4行信号的采集延迟+电压稳定延迟）×7（列），多次测量获得平均响应时间为23.8ms。

图9展示了传感器在不同受力情况下的触觉热力图。可以看出，在传感器底部均匀受力情况下，每一列上的压力大致相同;在传感器底部受力不均匀情况下，从左到右各列压力值依次减小。图10展示了传感器在物体表面滑动时的实时受力情况。在传感器上固定了一个橡皮擦，然后拖动它滑过在桌面上固定好的牙签。可以看出，本文提出的传感器准确地感知了整个过程中力的变化。

6结束语

本文中，我们提出了一种基于压阻原理的三维柔性触觉传感器阵列。该传感器通过测量所有单元的电阻变化来确定整个三维阵列的力。该传感器的关键性能参数在0～20N的测量范围内，检测精度为0.1N，平均响应时间为23.8ms。该传感器可为多模式人机交互应用中的触觉算法提供数据基础，对仿人机器人抓取也有一定的指导意义。

参考文献

[1]JACOBSENS.Designofamultipledegreeoffreedom，forcereflectivehandmaster/slavewithahighmobilitywrist[EB/OL].[2021-11-04].https：//scholarsarchive.byu.edu/facpub/2108/

[2]HIRABAYASHIT，AKIZONOJ，YAMOMOTOT，etal.Teleoperationofconstructionma‐chineswithhapticinformationforunderwaterapplications[J].Automationinconstruction，2006，15（5）：563-570

[3]MOTOOKAW，NOZAKIT，MIZOGUCHIT，etal.Developmentof16-DOFtelesurgicalfor‐cepsmaster/slaverobotwithhaptics[C]//IECON2010-36thAnnualConferenceonIEEEIndustrialElectronicsSociety.IEEE，2010：2081-2086.DOI：10.1109/IECON.2010.5675353

[4]XUX，SINGHH，LIUQ，etal.Anovelenergycompensationschemeforqualityenhance‐mentintime-delayedteleoperationwithmulti-DoFhapticdatareductionandcom‐munication[J].IEEEtransactionsonhaptics，3379（99）：1.DOI：10.1109/TOH.2021.3103379

[5]KOVACSR，OFEKE，GONZALEZFRANCOM，etal.HapticPIVOT：on-demandhand‐heldsinVR[C]//Proceedingsofthe33rdAn‐nualACMSymposiumonUserInterfaceSoftwareandTechnology.ACM，2020：1046-1059.DOI：10.1145/3379337.3415854

[6]ZHOURG，WANGDX，ZHANGYR.Hapticrenderingoftissueboundaryforsurgicaltraining[C]//2008IEEE/ASMEInternationalConferenceonAdvancedIntelligentMecha‐tronics.IEEE，2008：949-954.DOI：10.1109/AIM.2008.4601789

[7]KAPPASSOVZ，CORRALESJA，PER‐DEREAUV.Tactilesensingindexterousro‐bothands-review[J].Roboticsandautono‐moussystems，2015，74：195-220.DOI：10.1016/j.robot.2015.07.015

[8]WETTELSN，SANTOSVJ，JOHANSSONRS，etal.Biomimetictactilesensorarray[J].Advancedrobotics，2008，22（8）：829-849.DOI：10.1163/156855308X314533

[9]TESHIGAWARAS，TSUTSUMIT，SUZUKIY，etal.Highspeedandhighsensitivityslipsensorfordexterousgrasping[J].Journalofroboticsandmechatronics，2012，24（2）：298-310.DOI：10.20965/jrm.2012.p0298

[10]SCHMITZA，MAIOLINOP，MAGGIALIM，etal.Methodsandtechnologiesfortheimple‐mentationoflarge-scalerobottactilesensors

[J].IEEEtransactionsonrobotics，2011，27（3）：389-400.DOI：10.1109/TRO.2011.2132930

[11]SCHMIDTPA，MA?LE，W?RTZRP.A

sensorfordynamictactileinformationwithapplicationsinhuman-robotinteractionandobjectexploration[J].Roboticsandautono‐moussystems，2006，54（12）：1005-1014.DOI：10.1016/j.robot.2006.05.013

[12]CHOIB，LEES，CHOIHR，etal.Develop‐mentofanthropomorphicrobothandwithtactilesensor：SKKUhandII[C]//2006IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems.IEEE，2006：3779-3784.DOI：10.1109/IROS.2006.281763

[13]JOHNSONMK，COLEF，RAJA，etal.Mi‐crogeometrycaptureusinganelastomericsen‐sor[J].ACMtransactionsongraphics，2011，30（4）：1-8.DOI：10.1145/2010324.1964941

[14]SUNDARAMS，KELLNHOFERP，LIYZ，etal.Learningthesignaturesofthehumangraspusingascalabletactileglove[J].Na‐ture，2019，569（7758）：698-702.DOI：10.1038/s41586-019-1234-z

作者簡介

王爽，大连理工大学在读硕士研究生;主要研究领域为机器人触觉抓取。

吴兵，大连理工大学在读硕士研究生;主要研究领域为机器人抓取、视触觉融合。

刘倩（通信作者），大连理工大学计算机学院副教授、IEEE触觉编码国际标准任务组秘书长;主要研究领域为视触觉融合人机交互、多模态感知与信息传输;发表论文20余篇。