基于情感识别的用户行为研究<br/>——以邮轮空间的信息传播为例①

基于情感识别的用户行为研究
——以邮轮空间的信息传播为例①

2022-06-24上海交通大学媒体与传播学院上海200240

南京艺术学院学报(美术与设计) 2022年2期

席涛（上海交通大学媒体与传播学院，上海 200240）

余非石（上海交通大学媒体与传播学院，上海 200240）

岳鸿雁（上海交通大学上海交大-南加州大学文化创意产业学院，上海 200240）

一、缘起

人工智能技术的发展，驱动创新设计；同时，对用户空间信息传播方法的有效性提出了挑战。公共空间信息爆炸、商业行为模糊、文化传播迟缓及伴随高密度经济体带来的服务问题，亟须建设优化公共信息服务的智能传播系统。测量用户的情感信息，获得有效准确的情感反应指标，将对信息交互传播本体方法论研究起到指导性作用。本文以大型邮轮空间的游客信息交互传播和信息设计为例，论述情感识别在用户信息交互设计中的重要性及情感识别研究的路径和方法。

现代城市建设发展趋于饱和状态，面临资源枯竭的城市文化和旅游业亟须转型。随着邮轮旅游成为人类向往的度假方式，大型邮轮成为“海上移动城镇”。邮轮的空间局限性很大，因此需要考虑在有限的特殊空间，调整游客情绪，并有效传播信息。在航行过程中，游客情感、心态及信息诉求都不断变化，使得在邮轮这一特殊空间中人们获取信息的方式更加依赖公共空间体验、认知的方式更表现为情感反应、信息呈现的方式强调约束性、系统性。在邮轮空间封闭的传播环境内，有三种典型的信息传播方式，一是公共空间内信息交互多媒体，二是每日通讯和闭路电视，三是人际传播，三种信息传播方式共同作用于游客。在邮轮旅游研究中，基于用户研究的公共空间的复杂信息传播关系还没有确立。对邮轮公共空间的用户行为和情感识别进行探讨，可以对大型空间的信息交互设计传播提供有效的研究路径参考。

二、情感识别是什么

人与空间复杂性关系问题，包括复杂的情感问题，也是信息传播研究的核心问题之一。情感是人对客观事物是否满足自己的需要而产生的态度体验（《心理学大词典》）。包括道德感和价值感两个方面，具体表现为爱情、幸福、仇恨、厌恶、美感等。情感在用户的沟通和决策中起着重要作用。

情感识别，也称为情感计算。从生理学实验研究角度，主要是对心率、脑电、肌电、心电、皮电及自主神经系统等生理信号与用户情感表现的相关性研究。通过传感检测系统采集人的情感所引起的表情、语气和生理反应等信号，加以识别和分析。情感识别的客观本质和动机是用户为了解和掌握对方的价值关系，因此具有哲学本质，涉及事物本质和定义。情感是基于知觉、信念、欲望，以及个人情况的；情感的合理性也转移到了贯穿哲学的情感和伦理问题的中心，情绪的理性可以与体验性、清晰的活动评价相比较。

国际标准化组织（ISO9241-210，2008）对用户体验的定义是“个体使用或期望使用某产品、系统和服务的感受，包括用户使用前、使用中和使用后的情感、信仰、偏好、感受、生理和心理的反应、行为和成就。”用户体验受三种因素影响，一是人的需求，二是交互的情感因素，三是体验的本质。本研究根据用户研究的这一经典研究范式，将对用户行为的情感识别分为三个过程加以考察，如使用前的旅游动机理解，旅游需求了解，使用中的生理信号识别、心理测试反映以及使用后的满意度调查，从情感的需求、情感的生理信号识别和情感的心理反应测试三方面探讨用户研究中情感识别的方法与路径。

从情感的需求角度，现有研究从经验上证实了游客情绪在决定其行为意图方面的重要性，总结如表1。邮轮游客研究中的情感形成理论，表明多篇研究论文都承认情感的多维性，但对游客行为的理论模型中具体情感的研究很有限。游客情感是多维度的，情绪的维度是“快乐、爱和积极的惊喜”。根据对游客感性语义的采集，游客感受到“有序的”认知时，呈现“快乐”的情感维度，其次是安全性认知，呈现正惊喜情感维度。将情感测量指标从结构类型、测量指标两个方面加以分析测试，见表2。本研究在此基础上设计了用户感性分析对情绪测量的方法以及用户情绪和生理反应的感性量表，如图1、图2。

图1 用户感性分析对情绪测量（席涛、徐一帆绘）

图2 用户情绪和生理反应的感性量表（席涛、徐一帆绘）

表1 游客基本动机和示范应用[4]

表2 情感测量指标[5]

三、基于生理信号的情感识别

生理信号识别技术可以应用于情感识别。许多用来描述情绪的隐喻都涉及身体状态。这些隐喻大多特别涉及一般生理过程。心理现象的直觉往往是不精确的，但心理生理学已经证明，以自主（即内脏）和躯体（如运动、表达）形式出现的外周过程确实与情绪过程有关。通过传感检测系统采集人的情感所引起的表情、语气和生理反应等信号，加以识别和分析。如图3所示。

图3 邮轮游客意念测试的过程图

在测量过程中，用于情感识别的生理信号采集技术主要有：脑电（EEG）、多导仪皮电活动（SC/GSR）、面部肌电（EMG）、心电图（ECG）等，系统准确性、识别情绪数量和移动性各不相同。本研究根据不同项目，整理了其对应功能和情感识别测试的方法，如表3所示。

表3 邮轮公共空间的信息设计与情感识别功能区分表(自绘)

在情感的生理信号识别中，脑电图中的情感识别研究引起了从心理学到工程学等众多跨学科领域的广泛关注，其中包括情感理论基础研究和情感脑机交互affective Brain-Computer Interaction（aBCI）的应用，这一研究增强了脑电图中的情绪识别能力。BCI系统能够使用生理信号检测、处理和响应提取游客的情感状态，获得影响情绪的设计素材。脑电具有混沌和非平稳的动力学特性，这表明非线性分析可以更系统地描述这种复杂的生物信号。脑电的相空间包含了有关脑电动力学和转变的可靠信息，其流程如图4所示。

图4 脑电信号的情绪识别基本流程[8]

日本2010年的一项关于情绪识别测量生理数据（心电图（ECG）、心率变异性（HRV）、脑电图（EEG）、面部识别（FR）、前额生物信号（FBS）、语音识别（SR）、皮肤电活动（EDA）、皮肤温度（SKT）、血容量脉冲（BVP）、呼吸（RSP）的研究，为交互设计提供了快速客观指导意见和评价，如表4、表5所示。其中脑电图的情绪识别能力强，使用生理信号检测、处理和响应用户的情感状态准确度较高，将脑电结合皮肤电活性测试准确度达到89%。通过人工神经网络方法获得唤醒效价的数据分析，准确度达到89.73%唤醒63.76%效价，游客的情绪变化与生理体温成正相关性；皮肤电活性对信息图形的认知较为明显；比较适合在实验室完成测试，可以结合实地测试获得更精确数据。

表4 情绪测量在邮轮旅游的最新代表性研究[10]

表5 游客情绪识别测量生理数据分析

四、基于心理反应测试的情感识别

除生理测试外，还可通过优先测验、判断和处理游客情绪信息，通过游客自我报告获得实时信息。常见的方法包括运用李克特心理量表，目的地情感量表，运用语义差异法过滤感性语义词汇，最后，应用多维标度分析法获得情感识别特征。此外如游客情感状态的PAD测量以及日内瓦情感轮GEW测量也较常用，本节以日内瓦情感轮GEW测量为例阐述情感识别的心理反应测试过程。

日内瓦情感轮GEW对游客情绪测定是基于潜在维度视觉识别，从多维度更加准确描述游客的情绪曲线。GEW的设计有自由响应格式、离散的情绪响应元素、格式和情感的维度方法。自由响应格式反映在回答选项“其他情绪”，并给被试者很大的自由表达空间。纯自由响应格式可能对实验不利，因为可能存在被试者用自己的语言表达自己的方式和差异。离散的情绪反映在GEW周围的情绪术语中，如图5所示。

图5 术语配价和控制等级散点图

与其他离散的情绪反应形式一样，被试者在与情绪强度相对应的尺度上表示他们对有限数量的离散情绪（如愤怒、幸福）的感受。这种格式很容易使用，因为离散的情绪术语对应于讨论情绪的自然方式，结果也很容易解释，如图6所示。例如让被试者对一款情绪游戏产品进行3分钟左右体验，之后对体验进行自我评价，并填写问卷。游客的评价会帮助设计师验证一款用户体验评价工具的可行性，从而帮助研究者改善工具设计。如图7所示。

图6 日内瓦情感轮

图7 情感轮雷达分析图（自绘）

日内瓦情感轮GEW的20个情感术语排列，构成情绪的基本结构（通过网站http://www.affective-sciences.org/researchmaterial，2012年3月）。当使用GEW作为测量仪器时，不可见的化合价和控制尺寸用黑线表示。40个GEW情绪术语的配价和控制等级的散点图，如图8所示。例如将GEW情感轮理论运用在大型邮轮皇家加勒比量子号的智能信息平台APP的情感图形设计上，开发一个定制的服务器端，配置10个情感术语将游客拍摄的照片进行情感识别与分析，如图9所示，软件能自动识别配置出适合情景的音乐，编辑成电子音乐相册，供游客纪念和收藏。这是一个人工智能驱动的体验，设计、开发的软件根据个人喜好为图像分配音乐，用机器学习算法生成的图像与音乐合成，分析音乐，并用google cloud vision评估所有图片。然后将这些图像的内容、原始像素和提取的音乐特征信息输入到机器学习模型中学习。在整体情绪和内容方面相匹配；分析游客假期中的情绪反应，创建可共享视频，设置为自定义的配乐。音乐理论、图像创作、机器学习、动画和信息与交互设计一起合成工作，创造出一个完全模块化的系统。通过该实验，发现影响用户情绪反应的因素主要为内容质量、交互体验和视觉传播设计。