触觉反馈技术在虚拟代理交互设计中的应用

郑心怡　金泽慧　王玫

摘要：为提升虚拟代理在提供服务过程中的交互体验，文章分析了将触觉反馈技术应用于虚拟代理交互设计中的意义和影响机制，并通过搭建振动触觉反馈装置进行用户测试，验证了触觉反馈对用户信任体验和社会临场感知的正向影响关系。同时，排除了振动触觉反馈信号本身引起的用户情绪效价及唤醒度的影响和过程解释，说明了社会临场感的中介作用，补充了虚拟代理触觉社会线索设计的理论依据，也为虚拟代理的交互体验设计提供参考。

关键词：触觉交互；振动触觉；社会临场感；虚拟代理；用户信任

中图分类号：TP391.9文献标志码：A0引言触觉是人类主动感知和与外部世界交流最直接的感官渠道，能够促进与他人的情感沟通和人际信任［1］。通过触觉反馈技术能够将人与人之间的沟通模式迁移到人机互动中，呈现人机触摸的效果，跨越距离形成虚拟的“中介社交触摸”。如今，人机交互技术的进步使购物网站中的虚拟代理具备了交互性和类人化特征的社会性线索，在一定程度上弥补了用户在网络购物中真实感的缺乏，提升了网络购物体验。然而，作为社会性线索的重要维度，针对虚拟代理触觉反馈的交互体验仍缺乏相关的理论和实践研究。因此，本文以购物网站虚拟代理为研究对象，探讨触觉反馈对用户信任体验的影响作用和机制，分析触觉反馈技术在虚拟代理交互设计中的应用意义。

1文献回顾与研究假设1.1触觉反馈技术与用户情感体验触觉在人感知外部世界并做出回应的过程中起到关键性作用，良好的触觉体验能够提升用户愉悦度和满意度，并影响其相应的行为反应。Guguen等［2］描述了“Midas触摸”，认为偶然发生的人际触摸也可以改善人们对服务的态度，加强人与人之间的联系，甚至增加对请求的接受度。

触觉反馈技术通过对皮肤施加力、振动或运动来呈现触觉信息，能够将皮肤接触产生的社会情感效应转移到计算机介导的互动当中，触发用户相应的情感体验，远距离产生虚拟的“中介社交触摸”感受［3］。Haans等［3］在中介社交触摸的场景下复刻了“Midas触摸”效应，通过振动触觉反馈模拟人际触摸效果，感受到触觉反馈的被试也表现出了更加愿意接受请求和给出回报的反应。

1.2触觉反馈技术在虚拟代理交互体验中的作用机制媒体等同理论提出，人们会无意识地将媒体技术视为社会临场，即感受到与对话伙伴共同生活在同一个世界并将其视为“真实的人”的心理状态，并触发用户在真实的人际交流中所表现出的情感、认知或行为反应［4］ 。因此，当购物网站中的虚拟代理呈现出类人化的社会性线索时，用户可能会相应地做出人际交流中相似的社会性反应，感知到社会临场感，并进一步影响其购物体验和后续行为［5］。王宇飞等［6］对社区电商平台的体验设计研究表明，社会临场感能够触发用户在惠顾过程中的信任体验、功利体验和享乐体验，Lu等［7］的研究也表明，社会临场感是用户信任及在线购买意图的重要影响因素，用户的社会临场感及信任体验感知也逐渐成为当前虚拟代理人机交互设计的重点考量内容。

触觉在社会性线索中至关重要，而触觉反馈技术则实现了跨越距离代表他人触摸的中介社交触摸，通过触觉通道更多地调动起用户感性因素，从而激发后续购物态度和行为。Hadi等［8］研究发现，伴随消息通知的振动触觉反馈，即在并没有明确描述为来自另一个人的触摸的偶然触觉刺激可以影响用户对互动的态度以及相应的下游行为，同时证明了这种正向的影响是通过增加用户的社会临场感感知产生的。因此，基于触觉反馈技术的触觉社会线索如何誘发用户的社会性知觉，引发用户社会临场感，并进一步影响用户在与虚拟代理互动中的信任体验，是本研究重点关注的内容。

2实验一振动触觉反馈是在中介社交触摸研究中使用的触觉反馈标准形式［9］，因此本研究选用振动触觉反馈进行实验。为研究触觉反馈线索应用于虚拟代理交互设计中的作用机制，通过实验分析不同振动信号对用户情绪变化的影响，并筛选出引起用户不同情绪变化的振动信号，用于正式实现模拟用户与虚拟代理互动的场景，以探讨用户情绪感受的过程解释作用。

2.1实验装置搭建的振动装置及操作方式如图1所示，使用Arduino UNO开发板来控制振动马达模块，并通过PC端的用户图形界面（GUI）调节Arduino UNO发送给振动马达模块的PWM（脉冲宽度调制）波，控制输出的平均电压，从而产生不同强度的振动信号，程序代码使用Matlab软件进行编写和执行。

同时，为模拟用户在日常生活中使用手机的情景，将振动马达模块固定于与手机大小一致的塑料外壳中。在实验时，被试手持振动装置，不接触振动执行马达，通过点击PC端控制界面中的按钮来产生振动刺激。

2.2实验设计基于产生振动的最小电压值及感知差异阈值，实验采用PWM波值分别为0.5，0.6，0.7，0.8，0.9，1的6种不同强度的振动信号，在每次测试中，每个信号随机出现，并在整个测试中重复出现3次。

实验采用自我情感评定量表（Self-Assessment Manikin，SAM），从愉悦度和唤醒度两方面对不同振动信号所引发的情感体验进行评分，评分选用9点量表，愉悦度 1 分代表令人非常不悦，9 分代表令人感到非常愉悦；唤醒度 1 分代表令人感到非常平静、 放松，9分代表令人觉醒和眼前一亮。

2.3实验程序实验共招募到17名被试，其中有10名男性，7名女性，年龄在20—30岁（M=25，SD=2.40），没有被试报告有已知的感觉运动障碍。

开始前，由实验主试简单介绍实验内容，并向被试解释效价和唤醒度相关的概念，随后被试可自由练习，以熟悉实验GUI界面和振动模拟装置的操作方式。实验开始后，被试操作GUI中的按键触发振动刺激，在感受到振动刺激信号后填写自我情感评定量表，对其进行效价和唤醒度评分，允许重复点击感受同一个振动信号。此外，在实验中被试全程佩戴耳机，播放没有节奏的白噪声，以排除振动产生的声音和其他可能影响振动刺激感知的环境声音影响。

2.4数据分析与实验结果采用IBM SPSS 26软件对不同振动强度下自我情感评定量表评分进行单因素方差分析，如图2所示，结果发现，不同振动强度对用户情绪效价无显著影响（P＜0.05），对情绪唤醒度有显著影响（P＞0.05）。PWM波值为1时，效价得分最低，PWM波值为0.7时，效价得分最高，且PWM波值为0.7时，在唤醒度上与PWM波值为1时有显著差异（P＜0.05），当PWM波值为0.8时，效价及唤醒度评分均近似为PWM波值为0.7和1时的中间值。因此，选择PWM波值分别为0.7，0.8和1的振动刺激作为后续实验中使用的振动信号，并分别代表高、中、低水平的情绪效价及低、中、高水平的情绪唤醒度。

3实验二为研究触觉反馈技术对虚拟代理社会存在感和信任体验的影响作用与机制，模拟用户与虚拟代理的交互过程，测试在加入触觉反馈后被试社会存在感感知与信任体验的感知水平，并结合“实验一”筛选出的引起用户不同情绪水平的振动信号，探讨触觉反馈技术对用户信任体验的影响过程。

3.1实验材料为模拟网络购物智能售前营销服务场景，实验任务设定为被试准备在网络购物平台中购买一款耳机，为了解耳机及相关服务的信息与虚拟代理进行互动。PC端GUI设计为与虚拟代理的对话界面如图3所示，交互行为仿照现有电商平台与虚拟销售代理的互动模式，由被试点击对话框中预设的问题按钮查看相应的回复，对话语料则参考目前电商平台中耳机相关商家的服务助手预设问题，同时考虑用户在购买商品时关注的信息，设置6个可选问题，被试点击问题按钮后出现相应的回复。

“实验二”采用与“实验一”相同的振动装置，实验组设置为没有振动反馈的控制组及根据“实验一”结果所选的PWM波值分别为0.7（效价高、唤醒度低），0.8（效价中、唤醒度中），1（效价低、唤醒度高）的3种振动触觉反馈，振动刺激在用户点击问题按钮后与问题回复界面同时呈现。

3.2实验程序正式实验之前，邀请了5名被试对实验界面进行测试，检验振动刺激感知、对话语料和实验任务的设定是否能够接近实际应用场景，避免无关变量的影响。

实验共邀请了43名被试参加，年龄大多在22—30岁（M=25.116，SD=2.27），包括19名女性和24名男性。实验时，由主试对实验任务和操作方式进行介绍，随后被试可通过PC端的GUI与虚拟销售代理进行互动，振动触觉刺激伴随被试点击预设问题后的回复内容同时呈现。

实验为4种不同振动反馈的组内实验，被试需与虚拟销售代理进行4轮互动，在每组互动中，随机出现任意一种振动反馈，且被试需单独填写调查问卷，在所有实验任务结束后，对被试进行开放式访谈。各实验组的测试顺序随机排布，避免由于学习时间和场景重复影响被试主观评价，同时被试在实验中全程佩戴播放白噪声的耳机。

3.3数据测量社会临场感及信任体验测量采用Toader等［10］通过信效度检验的7级李克特量表（见表1）。由于题干选自外文文献，处理时先由英文翻译成中文，再由翻译好的中文译回英文，以检验是否保持原意。

3.4数据分析3.4.1振动触觉反馈对社会临场感及信任体验影响作用分析对被试社会临场感感知、信任体验水平进行单因素方差分析，检验均具有方差齐性（P＞0.05），可进行下一步分析。结果表明，振动触觉反馈对被试社会临场感感知、信任体验水平均有显著影响（P＜0.05），如表2所示；加入振动触觉反馈的3个实验组的被试社会临场感和信任体验评分显著高于控制组，如图4所示；且3个实验组之间无显著差异，仅存在微小波动。

结合访谈内容，被试表示在没有振动的控制组下互动内容像机械的自动回复，因此缺少“人际接触”的体验感。这表明伴随信息的振动触觉反馈对被试社会临场感感知及信任体验有显著正向影响作用，且不受振动信号本身所引起被试情绪感受的影响。

3.4.2振动触觉反馈对社会临场感及信任体验影响关系分析为研究振动触觉反馈对用户社会临场感及信任体验的影响关系，采用线性回归分析，模型系数及摘要如表3—4所示。模型1以振动触觉反馈为预测变量，社会临场感感知为因变量，结果表明振动触觉反馈对被试社会临场感感知有显著影响（P＜0.05），模型拟合度良好。以振动触觉反馈类型、社会临场感感知为预测变量，信任体验为因变量，采用多元线性回归分析，模型2结果表明，与控制组相比较，振动触觉反馈对信任体验影响显著。与模型2相比，模型3在加入社会临场感后，社会临场感对信任体验有显著正向影响关系，振动触觉反馈对信任体验无显著影响，拟合优度为0.485，模型拟合度良好，即所建立的振动触觉反馈与社会临场感对信任体验影响的模型在统计学上具有显著意义（P＜0.05）。

此外，对社会临场感进行中介效应分析，如表5所示。以控制组为参照时，加入振动触觉反馈的3个实验组的95% Bootstrap 置信区间均不包含“0”，表明中介效应显著。且在加入中介变量社会临场感后，3个实验组对信任体验直接效应的95% Bootstrap 置信区间均包含“0”，说明其直接效应不再显著。

线性回归分析及社会临场感中介效应分析表明，振动触觉反馈能够显著提升用户社会临场感感知，且社会临场感在振动触觉反馈与用户信任体验之间起到中介作用，信任体验主要通过振动触觉反馈所引起的社会临场感感知影响和预测。同时，3种引起用户不同情绪感受的振动均有同样的影响路径，因此，排除了振动反馈强度、用户情绪效价和情绪唤醒度的影响和过程解释，说明了社会临场感为振动触觉反馈对用户信任体验的主要影响机制。

4结语随着虚拟代理的广泛应用，研究在时空分离的网络购物场景下如何增加与用户之间互动的社会临场感与信任体验尤为重要，文中通过实验验证了基于触觉反馈技术的中介社交觸摸线索能够有效提高用户对虚拟代理社会临场感感知与信任体验水平，并且排除情绪效价和唤醒度的过程解释，证实了社会临场感在触觉反馈线索及用户信任体验之间的中介作用，解释了触觉反馈对用户信任体验的影响路径，补充了虚拟代理交互体验设计中的社会性线索，也说明了触觉反馈技术在虚拟代理交互设计中的应用意义。

此外，在與被试进行访谈时发现，有些被试认为较强的振动能够更好地吸引注意力，使其更加关注消息的内容，而有些被试认为更强烈的振动会引起不适感，并且太多频次的振动会使被试产生烦躁情绪，尤其在较为安静的环境下会对被试造成打扰。因此，在设计虚拟代理的中介社交触摸线索时，如何设计适当强烈程度以及出现频次的触觉刺激，仍需在之后的研究中更加细致地考量。

参考文献

［1］ANDREASSON R，ALENLJUNG B，BILLING E，et al.Affective touch in human-robot interaction： conveying emotion to the nao robot［J］.International Journal of Social Robotics，2018（4）：473-491.

［2］GUGUEN N.Nonverbal encouragement of participation in a course：the effect of touching［J］.Social Psychology of Education，2004（1）：89-98.

［3］HAANS A，IJSSELSTEIJN W.Mediated social touch：a review of current research and future directions［J］.Virtual Reality，2006（2）：149-159.

［4］NASS C，MOON Y.Machines and mindlessness：social responses to computers［J］.Journal of Social Issues，2000（1）：81-103.

［5］衡书鹏，赵换方，孙丽君，等.虚拟销售代理的拟人效应［J］.心理科学进展，2019（5）：884-904.

［6］王宇飞，蒋晓.社会临场感视角下社区电商平台的体验设计研究［J］.包装工程，2020（14）：222-227.

［7］LU B，FAN W，ZHOU M.Social presence，trust，and social commerce purchase intention：an empirical research［J］.Computers in Human Behavior，2016（56）：225-237.

［8］HADI R，VALENZUELA A.Good vibrations：consumer responses to technology-mediated haptic feedback［J］.Journal of Consumer Research，2020（2）：256-271.

［9］GALLACE A，SPENCE C.The science of interpersonal touch：an overview［J］.Neuroscience & Biobehavioral Reviews，2010（2）：246.

［10］TOADER D C，BOCA G，TOADER R，et al.The effect of social presence and chatbot errors on trust［J］. Sustainability，2019（1）：256.

（编辑 沈强）

Application of haptic feedback technology in virtual agent interaction designZheng  Xinyi Jin  Zehui Wang  Mei

（1.School of Mechanical Engineering， Sichuan University， Chengdu 610065， China;

2.Department of Psychology， Sun Yat-sen University， Guangzhou 510275， China）Abstract：  Objective To improve the interaction experience of virtual agents in the process of providing services， analyze the significance and impact mechanism of applying haptic feedback technology to the interaction design of virtual agents. By building a vibrotactile feedback experimental device for user testing， the positive relationship of haptic feedback on user trust experience and perception of social presence was verified. At the same time， the influence and process explanation of emotional validity and arousal degree caused by the vibrotactile feedback signal itself were excluded， confirming the mediating role of social presence. The study complements the theoretical basis for the design of haptic social cues for virtual agents and provides a reference for the design of interactive experiences for virtual agents.

Key words： haptic interaction; vibrotactile; social presence; virtual agent; user trust