基于机器学习的用户情感意象多模式测量方法研究

屈庆星，郭伏

(东北大学 工商管理学院，沈阳 110167)

1 引言

在市场竞争日趋激烈的环境下，产品不仅要有好的使用功能，更重要的是能使用户感到愉悦，能带给消费者良好的心理感受和情感满足。考虑消费者情感需求的设计正在成为产品设计的发展趋势[1-4]。在情感需求测量阶段，需要准确获取用户的情感需求信息，这是情感设计的核心步骤[5-6]。现有研究表明，由于用户情感意象感知过程的复杂性以及产品形态本身所蕴含意象的丰富性，设计师要在产品投放市场之前得到目标用户对产品形态的情感意象感受反馈仍然是一件十分困难的事情[7-8]。

目前，实体产品设计领域采用的情感测量方法主要为语义差异法(Semantic Differential Method)、PrEmo等主观测量方法[9-11]。主观测量方法虽然应用简单，但由于测试对象心理响应的不确定性，情感表达的动态性，语言表达的双关性、多义性等特性，会使测量结果的客观性和准确性受到影响。生理测量方法能客观、动态反应消费者的生理唤醒程度，行为测量方法可通过人的行为动作特征反应情感状态。由于情感是多维结构、多成分的复合过程，包括主观体验、生理激活和外部行为表情，具有模糊性、复杂性、变动性特点，因此，研究用户情感的多模式测量方法，可以有效弥补单独使用主观情感测量方法测量用户情感时带来的不确定性和模糊性。

生理信号是伴随着情感变化由人体内部器官产生的一种生物电信号，生理数据能够以持续的方式获得，从而能够实时地评估用户的情感状态。常用的情感生理测量方法有脑电测量技术[6,12-13]、眼动追踪技术[14-15]、心率、皮肤电等外周生理测量技术[16-17]等。通常采集的生理信号包括脑电(Electroencephalogram，EEG)、眼动(Eye Movements)、面部肌电图(Facial Electromyography，fEMG)、心电(Electrocardiography，ECG)、心率(Heart Rate，HR)、脉搏数(Pulse Rate，PR)、呼吸频率(Respiration Rate，RSP)、皮肤电反应(Galvanic Skin Response，GSR)、皮肤温度(Skin Temperature，SKT)、眼电(Electro-oculogram，EOG)等。生理测量方法能够客观地反应生理激活水平，实时记录用户情感体验信号，避免干扰用户体验过程。

近些年来，在多模式情感测量方面，已有学者对产品设计中的情感测量进行了尝试。Mandryk等(2006年)通过记录用户的生理、语音和面部表情等相关信号，对情感状态进行测量，用于评估娱乐交互系统的设计[18]；Hans等(2011年)在研究人机交互过程中人对系统信息的情感反应时，运用主观情感评估量表和生理测量方法[19]。Tuch等(2011年)测量了用户观看不同视觉复杂度的网页时的主观情感体验(愉悦和唤醒)、眼动特征(眼电EOG)和生理反应(心率、手指血容量)，结果表明较少的复杂度与更积极的情感、减少的眼部运动、心率反应以及增加的手指血容量幅度有关[20]。Sheng和Joginapelly(2012年)结合主观体验和生理测量来了解电子商务网站的氛围(交互性和生动性)对用户情感体验的影响，结果表明网站氛围对用户的效价和唤醒评估有积极的影响，生理数据表明用户的心率变异与用户自我报告的效价评估有一致的趋势，但是唤醒评估与皮电反应或者瞳孔直径值没有这样的趋势[21]。郭伏等(2013年)对用户在浏览电子商务网站时的生理反应、眼动指标以及主观情感体验进行测量和分析，结果表明：用户浏览不同电子商务网站时的初始情感体验差异主要体现在主观情感体验及眼动指标的差异，情感体验的三个方面相互影响，用户情感影响用户行为意图。Guo等(2016年，2018年)利用主观情感体验和事件相关电位(Event-related potential，ERP)分别分析了智能手机外观和加湿器外观的用户情感偏好和用户情感的神经加工进程[12]。Guo等(2019年)结合眼动追踪和脑电EEG技术，测量了用户在观看机器人情绪行为时的情感响应。Maffei等(2020年)使用SAM主观情感测量方法和脑电EEG技术研究用户在观看电影片段时的用户情感反馈。

文献研究表明，已有研究中情感测量主要采用语义差异法(SD)、PrEmo法等主观情感测量方法。产品交互设计的情感测量虽然使用了部分测量模式的结合，但主要还是主观测量方法，综合运用脑电EEG测量技术、眼动追踪技术和外周生理测量技术开展用户情感测量的研究较少，而且缺少对不同模式情感测量指标有效性的分析。因此，多模式情感测量应是情感测量理论研究及实践的发展趋势。

2 对象与方法

2.1 实验设计

2.1.1 实验目的

本研究运用主观情感测量方法、脑电测量技术、眼动追踪技术和外周生理测量技术，以SUV汽车原型为实验材料，通过多模式情感测量实验，同步收集用户浏览不同产品时的用户情感意象数据、脑电数据、眼动数据和外周生理数据。通过对实验数据的分析处理，分别对脑电EEG指标、眼动指标和外周生理指标进行提取和选择，分析用户情感意象与脑电指标、眼动指标以及外周生理指标之间的关系，建立用户情感意象与多模式生理测量指标之间的关系模型。通过多模式情感测量实验研究适合产品外观的情感测量方法，探索用户情感多模式测量的有效性。

2.1.2 实验材料

实验材料为通过正交实验设计生成的81个SUV汽车产品原型。在本次实验中，把81款外观设计特征存在显著差异的SUV汽车作为实验材料。在同一张刺激图片中需要展示同一款SUV汽车的不同视角图片，整个实验需要在实验编程软件E-Prime 2.0软件中设计，将其添加为Image刺激。

2.1.3 实验对象

选取东北大学36名师生作为被试，其中男性被试17名，女性被试19名，被试年龄分布在21-43岁，平均年龄30.5(30.5±5.39)岁，均身体健康，无心血管疾病及神经系统疾病，无色觉缺失，视力或矫正视力正常，均右利手。被试实验前均知晓实验并同意进行实验。

2.1.4 实验设备

本实验在东北大学人因工程实验室中进行，实验室提供的可用于实验研究的仪器实验设备主要包括Neuroscan公司生产的EEG/ERP多导联神经电生理分析定位系统，德国SMI公司生产的RED桌面型遥测式眼动追踪系统和美国BIOPAC公司生产的MP150型16通道多导生理记录仪。

2.1.5 实验程序

正式实验前，邀请两名有效被试(无色盲、散光，且视力矫正或裸眼视力在1.0以上)进行预实验，以发现实验设计和实验流程中的问题和不足，并及时修改和完善，保证正式实验的顺利进行。实验开始前，先进行实验前准备，由主试向被试介绍实验须知与实验流程，并让被试熟悉实验环境，然后在征得被试同意的情况下，请被试填写知情同意书和基本情况调查表，最后，为避免光线对眼动追踪系统校正的影响，将实验环境光调为低度照明，被试实验环境如图1所示。

图1 实验环境

在眼动精度达到目标要求后，主试打开Acknowledge 4.2数据采集软件，在观察到生理信号平稳之后，主试点击Curry 7.0开始记录脑电信号按钮，在实验刺激呈现之前要求被试保持头脑放松休息三分钟，在基线测量期间，主试和被试都保持安静状态，保证生理信号不受外界因素的干扰。待被试脑电波形和外周生理信号达到平稳之后，主试点击鼠标左键开始脑电Eprime 2.0软件事先编程并保存好的本研究实验任务设计和流程。当被试浏览完刺激图片之后，点击鼠标右键，完成用户情感意象反馈。本实验操作流程如图2所示。

图2 实验流程

2.2 数据收集与处理

用户情感意象反馈由用户情感偏好“喜欢的—不喜欢的”(W01)和“笨重的—轻盈的”(W02)、“华丽的—朴素的”(W03)、“细腻的—粗犷的”(W04)等情感意象词对组成，使用7级李克特量表(得分从-3到3)进行打分。本次实验共有36名被试参与实验，由于每名被试需要对81款实验样本方案进行主观情感意象评价(实验过程中会根据被试的需求安排休息时间)，本次试验共收集有效问卷2916(36×81)份，调查对象包含在校学生和教职工。

脑电数据使用Neuroscan(Neurosoft Labs Inc)EEG/ERPs多导联神经电生理分析定位系统持续记录，脑电数据收集选用的Ag/AgCl电极帽上的电极点一致共包含34个电极点采集脑电信号。参考电极置于左侧乳突，同时记录右侧乳突电极。接地电极为位于FPZ和FZ中间的GND电极。每个电极与头皮之间的电阻均<5 kΩ，连续记录时滤波带通为0.05-100 Hz，采样率为1 000 Hz。使用BeGazeTM3.4眼动数据记录和分析软件对被试眼动实验数据进行持续记录，采样频率为500 Hz。为准确收集用户浏览不同产品设计特征时的眼动数据，需要对刺激材料中每一个SUV汽车图片的兴趣区域(Area of Interests,AOIs)进行划分，从而可以有效避免屏幕中留白空间对实验数据准确度的影响。使用AcqKnowledge 4.2软件对外周生理信号进行持续记录，在数据采集时，将RSP，SKT，GSR，ECG，PPG，EMG等模块信号通道的采样频率均设置为1000 Hz。

2.3 多模式情感测量指标选取

(1)脑电EEG指标选取

本研究采用Khushaba等人(2013年)和Bigdely-Shamlo等人(2015年)中关于节律波相对能量值和样本熵的计算方法，运用脑电EEG信号处理程序对实验中获取的脑电EEG信号进行预处理，并获得每个被试各个电极点在相应频段的波形，然后计算各节律波的能量值和样本熵。根据低方差特征过滤原则，依据用户情感意象得分高低将样本分为用户情感意象高、中、低三组，并将用户情感意象作为自变量，对EEG指标进行方差分析，从而将低方差的EEG指标过滤掉，筛选出能够有效反映出用户情感意象得分差异的EEG指标。根据相关特征过滤原则，计算EEG指标之间的Pearson相关系数，其结果如图3所示。结果表明，Delta、Theta、Alpha、Beta、Gamma五种节律波的相对能量值之间的相关性较低，而五种节律波的样本熵之间的相关性较高。筛选得到能够有效反应出情感意象词对得分差异显著的有效EEG指标如表1所示。

图3 EEG指标之间的相关性分析

表1 EEG指标选取

(2)眼动指标选取

本文选取的眼动指标包括平均瞳孔直径，注视次数，平均注视持续时间，眨眼次数，平均眨眼持续时间，眼跳次数，平均眼跳持续时间，平均眼跳幅度，平均眼跳速度。根据低方差特征过滤原则，依据用户情感意象得分高低将样本分为用户情感意象高、中、低三组，并将用户情感意象作为自变量，对眼动指标进行方差分析，从而降低方差的眼动指标过滤掉，筛选出能够有效反映出用户情感意象得分差异的眼动指标。根据相关特征过滤原则，计算眼动指标之间的Pearson相关系数，其结果如图4。结果表明，注视次数和注视时间的相关系数较高(0.755)，并具有显著性(P<0.001)，筛选得到能够有效反应出情感意象词对得分差异显著的有效眼动指标如表2所示。

表2 眼动指标选取

图4 眼动指标之间的相关性分析

(3)外周生理指标选取

本文选取的外周生理指标包括皮肤电导，皮肤温度，呼吸频率，呼吸幅度，脉搏频率，脉搏幅度，心率，心率变异性，积分肌电值。根据低方差特征过滤原则，依据用户情感意象得分高低将样本分为用户情感意象高、中、低三组，并将用户情感意象作为自变量，对外周生理指标进行方差分析，从而将低方差的外周生理指标过滤掉，筛选出能够有效反映出用户情感意象得分差异的外周生理指标。根据相关特征过滤原则，计算外周生理指标之间的Pearson相关系数，其结果如图5所示。结果表明，脉搏频率和心率的相关系数较高(0.779)，并具有显著性(P<0.01)，筛选得到能够有效反应出情感意象词对得分差异显著的有效外周生理指标如表3所示。

表3 外周生理指标选取

图5 外周生理指标之间的相关性分析

3 结果

(1)用户情感偏好与多模式生理测量指标关系模型

将脑电指标(EEG)，眼动指标(EM)，外周生理指标(PP)以及它们的组合指标分别作为自变量，分别采用偏最小二乘回归(PLSR)，BP神经网络(BPNN)和支持向量机回归(SVR)等机器学习算法建立用户情感偏好与多模式生理测量指标之间的关系模型。将训练样本所得模型的均方根误差MSE(Mean Squared Error)和拟合优度R2(相关系数平方)作为评价关系模型的逼近能力和泛化误差性能的指标，MSE越小，说明关系模型的预测精度越高，R2越接近于1表示模型的拟合性和总体预测精度越好。用户情感偏好与多模式生理测量指标之间的关系模型如表4所示。

表4 用户情感偏好与多模式生理测量指标之间的关系模型

由表4可知，对于PLSR，BPNN和SVR算法来讲，综合使用脑电指标、眼动指标和外周生理指标中的两类或两类以上指标组合的关系模型预测效果优于单独脑电指标、眼动指标或者生理指标关系模型的预测效果。综合使用脑电指标、眼动指标和生理指标的关系模型效果最佳。具体来讲，对于PLSR关系模型，采用交叉有效性检验确定偏最小二乘回归方程中选取成分的个数，PLSR关系模型的均方根误差MSE和拟合优度R2分别为0.125和0.665；对于BPNN关系模型，采用包括输入层、单一隐含层和输出层的三级结构，BPNN关系模型的均方根误差MSE和拟合优度R2分别为0.019和0.931，BPNN迭代过程如图6所示；对于SVR关系模型，基于网格化寻优参数方法，用ε-SVR进行优化后得到模型的最优参数，SVR关系模型的均方根误差MSE和拟合优度R2分别为0.011和0.962，SVR迭代过程如图7所示。

图6 用户情感偏好与多模式生理测量指标关系模型的BPNN迭代过程

图7 用户情感偏好与多模式生理测量指标关系模型的SVR迭代过程

(2)情感意象“笨重的—轻盈的”与多模式生理测量指标关系模型

分别采用偏最小二乘回归(PLSR)，BP神经网络(BPNN)和支持向量机回归(SVR)等机器学习算法建立情感意象“笨重的—轻盈的”(W02)与多模式生理测量指标之间的关系模型。情感意象W02与多模式生理测量指标之间的关系模型如表5所示。

表5 情感意象W02与多模式生理测量指标之间的关系模型

由表5可知，对于PLSR，BPNN和SVR算法来讲，综合使用脑电指标、眼动指标和外周生理指标中的两类或两类以上指标组合的关系模型效果优于单独脑电指标、眼动指标或者生理指标关系模型的预测效果。综合使用脑电指标、眼动指标和生理指标的关系模型效果最佳。对于PLSR关系模型，采用交叉有效性检验确定偏最小二乘回归方程中选取成分的个数，PLSR关系模型的均方根误差MSE和拟合优度R2分别为0.131和0.741；对于BPNN关系模型，采用包括输入层、单一隐含层和输出层的三级结构，BPNN关系模型的均方根误差MSE和拟合优度R2分别为0.013和0.913，BPNN迭代过程如图8所示；对于SVR关系模型，基于网格化寻优参数方法，用ε-SVR进行优化后得到模型的最优参数，SVR关系模型的均方根误差MSE和拟合优度数R2分别为0.010和0.953，SVR迭代过程如图9所示。

图8 情感意象W02与多模式生理测量指标关系模型的BPNN迭代过程

图9 情感意象W02与多模式生理测量指标关系模型的SVR迭代过程

(3)情感意象“华丽的—朴素的”与多模式生理测量指标关系模型

分别采用偏最小二乘回归(PLSR)，BP神经网络(BPNN)和支持向量机回归(SVR)等机器学习算法建立情感意象“华丽的—朴素的”(W03)与多模式生理测量指标之间的关系模型。情感意象W03与多模式生理测量指标之间的关系模型如表6所示。

表6 情感意象W02与多模式生理测量指标之间的关系模型

由表6可知，对于PLSR，BPNN和SVR算法来讲，综合使用脑电指标、眼动指标和外周生理指标中的两类或两类以上指标组合的关系模型效果优于单独脑电指标、眼动指标或者生理指标关系模型预测效果。综合使用脑电指标、眼动指标和生理指标的关系模型效果最佳。具体来讲，对于PLSR关系模型，采用交叉有效性检验确定偏最小二乘回归方程中选取成分的个数，PLSR关系模型的均方根误差MSE和拟合优度R2分别为0.128和0.702；对于BPNN关系模型，采用包括输入层、单一隐含层和输出层的三级结构，BPNN关系模型的均方根误差MSE和拟合优度R2分别为0.018和0.899，BPNN迭代过程如图10所示；对于SVR关系模型，基于网格化寻优参数方法，用ε-SVR进行优化后得到模型的最优参数，SVR关系模型的均方根误差MSE和拟合优度R2分别为0.013和0.939，SVR迭代过程如图11所示。

图10 情感意象W03与多模式生理测量指标关系模型的BPNN迭代过程

图11 情感意象W03与多模式生理测量指标关系模型的SVR迭代过程

(4)情感意象“细腻的—粗犷的”与多模式生理测量指标关系模型

分别偏最小二乘回归(PLSR)，BP神经网络(BPNN)和支持向量机回归(SVR)等机器学习算法建立情感意象“细腻的—粗犷的”(W04)与多模式生理测量指标之间的关系模型。情感意象W04与多模式生理测量指标之间的关系模型如表7所示。

表7 情感意象W04与多模式生理测量指标之间的关系模型

由表7可知，对于PLSR，BPNN和SVR算法来讲，综合使用脑电指标、眼动指标和外周生理指标中的两类或两类以上指标组合的关系模型效果优于单独脑电指标、眼动指标或者生理指标关系模型预测效果。综合使用脑电指标、眼动指标和生理指标的关系模型效果最佳。对于PLSR关系模型，采用交叉有效性检验确定偏最小二乘回归方程中选取成分的个数，PLSR关系模型的均方根误差MSE和拟合优度R2分别为0.137和0.741；对于BPNN关系模型，采用包括输入层、单一隐含层和输出层的三级结构，BPNN关系模型的均方根误差MSE和拟合优度R2分别为0.021和0.856，BPNN迭代过程如图12所示；对于SVR关系模型，基于网格化寻优参数方法，用ε-SVR进行优化后得到模型的最优参数，SVR关系模型的均方根误差MSE和拟合优度R2分别为0.007和0.918，SVR迭代过程如图13所示。

图12 情感意象W04与多模式生理测量指标关系模型的BPNN迭代过程

图13 情感意象W04与多模式生理测量指标关系模型的SVR迭代过程

综上所述，融合脑电指标，眼动指标和外周生理指标的情感意象与多模式生理测量指标关系模型在偏最小二乘回归(PLSR)，BP神经网络(BPNN)和支持向量机回归(SVR)关系模型中拥有较低的均方根误差(MSE)和较高的拟合优度(R2)。相较于PLSR和BPNN，在构建情感意象W25与多模式生理测量指标关系模型时，SVR算法模型表现出更低的MSE和更高的R2。

4 讨论

本研究针对用户情感意象多模式情感测量方法进行探究，并构建了用户情感意象与多模式生理测量指标关系模型。首先，通过多模式情感测量实验收集用户浏览不同产品时的用户情感意象数据、脑电数据、眼动数据和外周生理数据；其次，对多模式情感测量实验数据进行分析处理，提取脑电EEG指标、眼动指标和外周生理指标；第三，运用特征工程方法分别筛选出能够有效反应用户情感意象的脑电EEG指标、眼动指标和外周生理指标；最后，采用机器学习算法分别构建了不同测量模式下的用户情感意象与多模式生理测量指标之间的关系模型。研究结果表明，融合脑电指标，眼动指标和外周生理指标的用户情感意象与多模式生理测量指标关系模型在偏最小二乘回归(PLSR)，BP神经网络(BPNN)和支持向量机回归(SVR)关系模型中拥有较低的均方根误差(MSE)和较高的拟合优度(R2)。相较于PLSR和BPNN，在构建用户情感意象与多模式生理测量指标关系模型时，SVR算法表现出更低的MSE和更高的R2。

在本研究中发现，顶区和中央区Delta节律波的相对能量值，前额区和额叶区Theta节律波的相对能量值，前额区、额叶区和中央区Alpha节律波的相对能量值，前额区、额叶区和中央区Beta节律波的相对能量值和顶区和枕区Gamma节律波的相对能量值可以用来有效地反映用户情感意象的变化，这与已有文献中的研究结果一致。眼动数据分析结果表明，瞳孔直径、注视次数、眨眼次数和眼跳次数能有效反映用户情感意象的变化。瞳孔直径的变化与认知和情感信息处理有关，对于特定区域的注视表明用户对该区域注意力资源的分配，即对所呈现信息的心理加工，注视次数反映用户执行某一项任务时需付出的认知努力，注视次数越多，表明用户付出的认知努力越多，认知负荷越大，更高的注视次数表明用户找到相关信息的搜索效率更低。眨眼次数与人的情感有密切关系，眨眼次数越少，表示用户越专心，越不想被打扰。眼跳在很大程度上受到多种认知因素的影响，涉及情感、注意、记忆、学习和决策等。外周生理数据分析结果表明，皮肤电导，皮肤温度，呼吸频率，呼吸幅度，脉搏幅度，心率，心率变异性和面部肌电积分肌电值能够有效反映用户情感意象的变化。当用户有强烈的情绪反应或受到外界听觉、视觉、触觉等感官刺激的时候，会导致皮肤表面两点之间的电阻降低。当用户情绪发生改变时，用户的呼吸信号会相应地发生变化，这主要体现在呼吸频率以及呼吸幅度的改变。当用户处于不同情绪状态下，脉搏信号的特征参数也表现出了差异。相比于积极的情感状态，消极的情感状态会产生更大的心率值。肌电信号能够反映出情绪变化的神经和肌肉的变化过程，用户的肌肉会随着情绪状态的变化而变化。

5 小结

本研究主要从主观情感测量方法、脑电测量技术、眼动追踪技术以及外周生理测量技术等几个方面探索用户情感测量模式，通过不同模式的情感测量实验研究适合产品外观的情感测量方法，研究用户情感多模式测量的有效性。采用机器学习算法分别构建不同测量模式下的用户情感意象与多模式生理测量指标之间的关系模型，使用户情感意象测量结果更加客观和准确，避免了主观情感测量方法带来的不确定性和模糊性。多模式情感测量反应了用户不同方面的情感体验，该研究构建的多模式情感测量模型能够更加准确地反映用户的情感状态。研究成果是对产品情感设计理论与方法的完善和补充。研究成果的应用对提高企业产品情感设计水平，减少产品市场投入风险，提高市场竞争力具有重要意义。