移动终端用户交互行为的情感预测方法研究

平正强， 吕 健， 潘伟杰， 刘征宏

(贵州大学现代制造技术教育部重点实验室，贵州 贵阳 550025)

移动终端用户交互行为的情感预测方法研究

平正强， 吕 健， 潘伟杰， 刘征宏

(贵州大学现代制造技术教育部重点实验室，贵州 贵阳 550025)

交互设计中用户的情感体验关系到设计的成功与否，对用户情感的研究一直是交互设计的研究热点。人在与移动终端交互的过程中会产生情感，由于该情感具有主观性，很难对其进行客观衡量。为此提出一种利用眼动指标和PAD情感量表进行情感预测的方法，选择中文版PAD情感量表作为情感测量的工具，通过偏最小二乘回归分析建立眼动指标和PAD情感值的数学模型，进行实验设计。实验结果表明该数学模型能较为准确的进行情感预测。

眼动指标；情感预测；交互行为；偏最小二乘回归

随着经济社会的发展，市场竞争越来越激烈，产品设计已由以市场为中心的设计转变为以用户为中心的设计[1]，以人为本、以用户体验为中心的设计已成为产品设计中最重要的法则[2]。用户使用APP过程中的情感体验是APP设计水平的重要反映，因此，如何准确衡量用户的情感体验是用户体验研究的重要内容。由于情感具有复杂性、多维度性、模糊性、主观性等特性，设计者难以准确把握用户的情感需求[3]。因此，要有效地完成产品情感设计及创造，必须在理论驱动、实验和经验结合为背景的前提下，以有效可靠的情感测量为基础[4]。

从目前研究来看，用户的情感测量和预测方法主要包括基于心理学的心理反应测量技术和基于心理学的生理反应测量技术。基于心理学的心理反应测量技术主要包括言辞式自我报告法：语义差异法、语义法、口语分析法、语意比较法和非言辞式自我报告法：PANAS量尺法[5]、PAD情感测量法[6]、产品愉悦测量问卷、PreMo测量法[7]、Emocards(emotional cards)测量法[8]、SAM(self assessment manikin)自我评估模型等。基于心理学的生理反应测量技术主要包括面部表情测量技术、声音表现性测量技术、多维评估技术和眼动追踪技术等[9]，这些技术都是以测量情感引发的各种生理指标为基础的测量技术。眼动数据因为能客观、真实地反映被试者的情感状态而被用来测试用户的情感水平。孙敏[10]运用眼动技术对被试者在观看情感图片时的过程进行观察，通过对注视点数及注视持续时间的数据进行分析，证明了相对于消极情绪的图片人们更关注于积极情绪的图片；刘青等[11]以眼动数据为基础探索人机界面的可用性，证明了眼动数据可以很好地为界面可用性研究提供参考；费广洪等[12]利用眼动仪考察阅读中的图文信息对不同认知的大学生的影响，结果表明高相关插图有助于提高场依存型读者的阅读成绩，场依存型读者在阅读不同相关程度图文时会主动调整加工对象。

从目前研究来看现有的情感测量方法中基于心理学的生理测量技术主要测量基本情感如喜怒哀乐等，对于复杂的多维度情感难以测量；基于心理学的心理测量技术多为定性测量，并且不利于不同文化间的交流，测试者难以表达出刹那间所发生的情感状态。本文提出一种PAD情感模型和眼动指标相结合的方法进行情感测量，既可以定量测量用户刹那间的情感又可以对情感进行多维度的测量。

1 PAD情感量表和偏最小二乘回归方法

选择中文版 PAD情感量表作为情感测量工具，该PAD量表具有较好的信度与结构效度。该量表由 12对表示不同情感状态的形容词对构成(图1)，每4个形容词对分别代表情感反应的3个维度之一：愉悦度P(pleasure)、唤醒度A(arousal)、支配度 D(dominance)，每个形容词对代表的情感意义在其所属维度上相反而在其他两个维度上相同，每个形容词对从左到右分值为“-4”分到“4”分，被试者根据自己的情感状态进行打分，最后某个维度的分值为该维度下 4个项目的平均值。作为评测情感反应的3个维度，根据P，A，D 3个维度值的正负情况将整个情感空间划分为 8个具有不同情感特点的区域，即情感的8个类别。其中，+ P + A + D代表高兴的，- P - A - D 代表无聊的，+ P + A - D代表依赖的，- P - A + D代表蔑视的，+ P - A + D代表放松的，- P + A - D代表焦虑的，+ P - A - D代表温顺的，- P + A + D代表敌意的。

图1 中文版PAD情感量表

本文选择偏最小二乘回归方法(partial least squares，PLS)作为眼动指标和PAD情感值的回归建模方法，其由瑞典计量经济学家 Wold等人于1983年首次提出[13]，相较于传统的回归分析该方法的优越之处在于可以同时完成多个自变量和多个因变量的回归建模工作，尤其当两组变量的数目很多，或样本量较少且大多存在多重相关性时，偏最小二乘回归建模方法的优点就显得更加明显了[14]。不仅如此该方法还集典型相关分析、主成分分析和线性回归分析等方法的特点于一身，故采用该方法进行分析不仅可以得到相应更为精确可靠的数学模型，与此同时更能完成一些类似于主成分分析和典型相关分析的分析结果，因此偏最小二乘回归分析方法应用性更高[15]。

2 眼动指标和情感值关系模型建立流程

眼动指标和PAD情感值数学模型建立流程主要由眼动指标筛选和数学模型建立两部分组成。由于眼动指标包含眨眼时间、注视时间等几十种指标，为了更好、更准确地进行情感预测，应该对眼动数据进行筛选，通过单因素方差分析，获取可用于情感预测的眼动指标。获取眼动指标后将PAD情感值作为因变量、眼动指标作为自变量，建立眼动指标的和情感值数学模型，为检验数学模型是否能良好的反映人的情感，再次进行实验设计获取用户的PAD情感值，将获取的PAD情感值与预测值进行比较，从而验证模型的可靠性、准确性。该流程如图2所示。

图2 眼动指标和情感值数学模型建立流程图

3 眼动指标和情感值多元回归数学模型

将眼动指标作为自变量x，PAD情感值作为因变量y，设有q个因变量和p个自变量，为了研究因变量与自变量的统计关系，选择n个样本点，由此构成自变量与因变量的数据表为了数学推导方便起见,首先将数据做标准化处理。X经标准化处理后的数据矩阵记为Y经标准化处理后的数据矩阵记为

步骤1. 记t1是E0的第一个成分，t1=E0w1， w1是E0第一个轴，其是一个单位向量，即记u1是F0的第一个成分，u1=F0c1,c1是F0的第一个轴，并且如果t1、u1能分别很好地代表X和Y中的数据变异信息，根据主成分分析原理，应该有

另一方面，由于回归建模的需要，又要求 t对u有最大的解释能力，由典型相关分析的思路，t1与u1的相关系数应达到最大值，即

因此综合起来，在偏最小二乘回归中，要求t1与u1的协方差达到最大。正规的数学表述应该是求解下列优化问题，即

根据拉格朗日法求得第一个轴w1和c1后，即可得到成分：t1=E0w1，u1=F0c1。w1是对应于矩阵E0F0F0E0最大特征值的单位特征向量，c1是对应于矩阵 F0E0E0F0最大特征值的单位特征向量。然后分别求E0、F0对t1和u1的3个回归方程，即

步骤2. 用残缺矩阵E1和F1取代E0和F0，然后求第二个轴w2和c2以及第二个成分t2和u2。

还原成原始变量的偏最小二乘回归方程，即眼动指标和PAD情感值数学关系模型为

E (yk)、 E (xi)分别为yk和xi的样本均值；Syk,Svi分别为yk和xi样本均方差。

4 实验设计

4.1 实验APP选取和交互任务设计

本实验选取了目前市场上应用广泛的 7个团购类APP作为实验对象：“美团”、“大众点评”、“百度糯米”、“窝窝”、“团800”、“点评团购”和“拉手团购”。为了将被试者在交互过程中产生的情绪波动达到最大化，本实验选取可用性方面差异化最大的两款APP。

选取在校大学生20名，年龄在18～24周岁，上网年龄均超过的3年。20名学生分别对7个APP进行简单的日常使用操作，实验者使用完后分别对7个APP的可用性满意度打分。结果显示用户满意度最高和最低的APP分别为“美团”和“百度糯米”(表1)。

表1 APP用户满意度表格

人与APP的交互过程中，因为产品的易用性和可用性等差别，会使人产生不同的情感，因此设定一定的交互任务就能检测到用户的情感波动。本实验设定 2个交互任务分别为搜索任务和购买任务。具体如下：

(1) 搜索任务：用户选择团购里面的“电影”版块，搜索出距离较近的电影院，查看促销详情和电影院硬件后选择《奇幻森林》电影。

(2) 购买任务：用户选择自己满意的时间和坐位。购买《奇幻森林》电影票一张，选择支付宝作为支付方式进行购买。

4.2 实验设备与材料

实验设备包括：

(1) Tobii Glasses眼动仪；

(2) 一台安装眼动仪软件Tobii studio的笔记本电脑；

(3) 安装了“美团”、“百度糯米”的 iPhone 6S手机1部；

(4) 中文版PAD情绪体验量表；

(5) 签字笔若干支，用于测试者和研究人员使用。

4.3 实验流程

20名学生首先熟悉实验环境及要求，由主试向学生介绍实验目的，并简单介绍实验设备及实验过程当中的注意事项。帮助学生正确佩戴眼动仪,并且打开眼动仪进行调整，确保能够正确采集到信息。实验开始后每名学生按照设定的交互任务使用“美团”APP，完成任务后有10 min左右的时间填写PAD情感量表和休息，休息结束后使用同样的流程进行“百度糯米”APP的测试(图3)。

图3 眼动实验

5 数据处理及模型建立

由实验过程可知，实验数据包括 2个部分，每个部分由20名学生的眼动数据和相对应的PAD情感量表组成。

5.1 基于单因素方差分析的眼动指标选取

通过实验，可以获得 20名学生分别使用“美团”和“百度糯米”完成设定的交互任务时的眼动数据，以及PAD量表数据。将PAD情感值分为8个空间区域，分别标注为1、2、3、4、5、6、7、8。整理20名同学所测的PAD情感空间如表2所示。

剔除异常的实验数据，然后使用SPSS软件以情感分类作为影响因素，对实验数据进行方差齐性检验，将显著性水平小于0.05的眼动指标剔除，显著性水平大于 0.05的眼动指标说明具备方差性，可以进行下一步的单因素方差分析。 进行单因素方差分析(表3)，发现交互任务下平均扫视幅度、最大扫视幅度、眨眼率、注视率、瞳孔最大值、瞳孔平均值、扫视率、最大扫视时间和平均扫视速度等 9个眼动指标的显著性水平均小于0.05，可用于情感的预测。

表2 交互任务情感分类表

表3 眼动数据单因素方差分析

5.2 情感模型建立

将眼动指标作为自变量，将情感值P、A、D 3个维度作为因变量，使用 PLS[16]建立眼动指标与用户情感的模型，并将标准化的变量系数还原成原始数据的变量系数以及常数项，最终获得还原后的回归方程，即

其中，X1为眨眼率；X2为注视率；X3为扫视率；X4为最大扫视时间；X5为平均扫视幅度；X6为最大扫视幅度；X7为平均扫视速度；X8为瞳孔最大值；X9为瞳孔平均值。

6 模型检验

6.1 模型有效性检验

为了检验模型的有效性，另选20名同学进行上述相同的实验2次，得到40组PAD数据和眼动数据，将实验数据代入到还原后的关系模型，预测用户情感值。采用SPSS软件对预测值和实际值进行配对样本t检验，结果显示显著水平分别为0.230和 0.456，均大于 0.05，即通过数学模型预测的PAD情感值和真实数据没有明显的差异，说明该回归模型有效，可以有效地预测用户在使用APP过程中的情感状态。

6.2 模型适用性检验

20名同学用同样的流程和方法以“窝窝团”APP为实验对象，进行交互任务情感测量实验，得到眼动数据和PAD情感值，将眼动数据分别代入相应模型中得到情感预测值，将预测值和实际值汇总，结果如图4所示。

图4 PAD预测值和实际值对比图

从图 4可以看出，通过数学模型预测的情感值和真实的情感值之间数据大小相差不大，曲线图分布趋势相同，正负值相同，说明该模型对交互任务下用户的情感预测有较好的适用性。

7 结 束 语

本文为了解决用户在使用APP过程产生的情感难以客观预测的问题，提出通过眼动指标和PAD情感量表进行情感预测的方法，建立了移动终端界面交互过程中眼动指标和PAD情感值的数学模型。通过计算该实验的函数映射关系，并对该映射关系进行了验证，证明该数学模型能较为准确地预测交互过程中用户的情感值，并且具有良好的适用性。

[1] Hsiao S, Chiu F, Lu S. Product-form design model based on genetic algorithms [J]. International Journal of Industrial Ergonomics, 2010, 40(3): 237-246.

[2] Aktar D E, Anagun A S, Koksal G. Determination of optimal product styles by ordinal logistic regression versus conjoint analysis for kitchen faucets [J]. International Journal of Industrial Ergonomics, 2009, 39(5): 866-875.

[3] Seva R R, Duh H B, Helander M G. The marketing implications of affective product design [J]. Applied Ergonomics, 2007, 38(6): 723-731.

[4] Khalid H M. Embracing diversity in user needs for affective design [J]. Applied Ergonomics, 2006, 37(4): 409-418.

[5] Cotigă M I. Development and validation of a Romanian version of the expanded version of Positive and Negative Affect Schedule (PANAS-X) [J]. Procedia - Social and Behavioral Sciences, 2012, (33): 248-252.

[6] 李晓明, 傅小兰, 邓国峰. 中文简化版PAD情绪量表在京大学生中的初步试用[J]. 中国心理卫生杂志, 2008, 22(05): 327-329.

[7] Pentus K, Mehine T, Kuusik A. Considering emotions in product package design through combining conjoint analysis with psycho physiological measurements [J]. Procedia-Social and Behavioral Sciences, 2014, (148): 280-290.

[8] Kamp I. The influence of car-seat design on its character experience [J]. Applied Ergonomics, 2012, 43(2): 329-335.

[9] 林 丽, 阳明庆, 张 超, 等. 产品情感研究及情感测量的关键技术[J]. 图学学报, 2013, 34(01): 122-127.

[10] 孙 敏. 基于眼动技术的情感测量方法研究[D]. 沈阳:东北大学, 2012.

[11] 刘 青, 薛澄岐, Hoehn F. 基于眼动跟踪技术的界面可用性评估[J]. 东南大学学报(自然科学版), 2010, 40(02): 331-334.

[12] 费广洪, 王细英, 龚桂红. 图文相关性对不同认知方式大学生阅读影响的眼动研究[J]. 心理学报, 2013, 45(07): 783-789.

[13] 吴开亚, 王玲杰. 生态足迹及其影响因子的偏最小二乘回归模型与应用[J]. 资源科学, 2006, (6): 182-188.

[14] 陆洪涛. 偏最小二乘回归数学模型及其算法研究[D].北京: 华北电力大学, 2014.

[15] 罗 批, 郭继昌, 李 锵, 等. 基于偏最小二乘回归建模的探讨[J]. 天津大学学报, 2002, 35(6): 783-786.

[16] 许凤华. 偏最小二乘回归分析中若干问题的研究[D].青岛: 山东科技大学, 2006.

Research on Emotional Forecast Method of the Mobile Terminal User Interaction Behavior

Ping Zhengqiang, Lü Jian, Pan Weijie, Liu Zhenghong
(Key Laboratory of Advanced Manufacturing Technology, Ministry of Education, Guizhou University, Guiyang Guizhou 550025, China)

User’s emotional experience in the design of interaction is related to the success of the design, the study of user’s emotion has been the research focus in the interaction design. People with mobile terminals produces emotion in the process of interactive behavior. Because of the emotion of subjectivity, it is difficult to measure objectively. This paper proposes a method predicting the emotion with eyes’ movement indices, choosing Chinese PAD emotional scales as the tool of emotional measurement, by partial least squares regression analysis to establish the eyes’ movement indices and PAD the emotional value of multivariate linear regression model, then carry on the experiment design, whether the the mapping function relation can accurately predict the emotion, the experimental results proved that the relational expression can accurately forecast emotion.

eye movement index; emotional forecast; interactive behavior; partial least squares

TB 472

10.11996/JG.j.2095-302X.2016060765

A

2095-302X(2016)06-0765-06

2016-05-09；定稿日期：2016-06-27

国家科技支撑计划项目(2014BAH05F01，2014BAH05F02，2014BAH05F03)；贵州省科技计划项目(黔科合J字 [2013]2108，Z字[2013]4005)；黔发改投资项目([2012]2747，[2012]2484)

平正强(1990−)，男，河南驻马店人，硕士研究生。主要研究方向为交互与体验设计、产品创意设计、产品智能设计。E-mail：1075836105@qq.com

吕 健(1983−)，男，河北承德人，博士研究生。主要研究方向为先进制造模式及制造信息系统、数字化设计与制造、工业设计。E-mail：305515940@qq.com