基于表情识别技术的用户研究方法

王欢欢，吕紫藤，李现昆

基于表情识别技术的用户研究方法

王欢欢1,2，吕紫藤1,2，李现昆1,2

（1.天津科技大学，天津 300222；2.天津市轻工与食品工程机械装备集成设计与在线监控重点实验室，天津 300222）

为了以更加客观的方式评估用户体验，拓展用户研究的途径，引入表情识别技术对已有用户研究方法进行优化与探索。以阅读APP为研究载体，以表情识别与卷积神经网络算法为技术手段，通过设计人机交互实验将其应用于用户研究过程中，建立用户面部表情与用户主观满意度的映射关系。针对阅读APP“X”，开展了基于表情识别技术和传统问卷访谈的双向设计研究，并采用对比验证的方法得出了基于表情识别技术的用户满意度客观度量方法的有效性和可行性，进而挖掘了基于表情识别方法的用户研究优势。基于表情识别技术的用户研究方法在产品交互设计中具有一定的通用性。通过识别分析用户与产品进行人机交互时的面部表情动态变化，可以使用户体验评估更加客观并容易解读，准确定位产品交互体验问题，为设计领域中的用户研究和认识提供了新思路，同时也为表情识别技术与产品设计的交叉融合提供了理论和实践意义的参考。

用户研究；表情识别；交互设计；KANO模型

随着社会经济的迅速发展和人们生活水平的不断提高，产品设计逐渐向用户体验驱动型转变，这加速了设计本源的回归，即基于对人类行为、意识与动作反应的细致研究，致力于优化一切为人所用的物与环境的设计，在使用操作界面上清除那些让使用者感到困惑、困难的“障碍”，为使用者提供最大可能的方便。HCI（Human-computer Interaction）领域的研究重点也从之前的可用性测试转移到体验式启发，在理解和定义用户体验方面设计了一系列研究活动[1]。西班牙蒙德拉贡大学学者LASA G、JUSTEL D和RETEGI A提出了眼动追踪方法，通过统计积极和消极的情绪比例研究用户体验[2]。位于中国台湾的台湾义守大学的CHOU J R提出了基于模糊测度方法的心理测量用户体验模型[3]。韩国BANG G，KO I等学者建立了一种模拟人类活动的用户体验环境模型，该模型是一个收集用户体验信息的空间，由空间模型、用户活动模型和对象模型组成，通过用户与对象交互获得体验信息[4]。STICKEL C等学者利用人对不同感觉、运动或认知活动产生不同脑电的原理，通过分析人类脑电信号读取认知思维[5]。尽管其研究结果发现，脑电监测可能是认知工作量和情绪状态的常见指标，但如何在用户与产品互动时识别情绪效价仍尚未解决。针对体验评估的用户研究存在测量手段与心理认知映射关联不强、数据反馈不够直观等问题，本研究借鉴国内外生理和心理学研究中主观评价与生理测量相结合的手段，通过记录被试者在完成特定任务过程中的面部表情变化[6-7]，对测试任务的交互满意度进行量化评价[8]。帮助设计师更加客观、理性地了解用户的真实感受，分析用户行为，从而开展更加符合用户心理预期的设计[9]。

1 基于表情识别技术的用户研究

用户研究是理解用户、获取用户相关数据和信息的重要手段，是一系列方法的统称。凡是能够协助设计师理解用户并通过研究得到的结论，以及能够指导设计师设计产品和优化产品的方法或工具都可以算作用户研究的范畴。将表情识别技术应用到用户研究的目的是使设计的产品更加符合用户心理模型，实现人机之间更为自然的交互，大大提升交互体验和用户体验[10]。美国软件世界的先驱COOPER A从不同角色出发提出了实现模型、心理模型与呈现模型3个概念[11]。其中的实现模型对应的是工程师角色，他们必须按照既定的方式开发软件，因而软件如何运作的模型被称为“实现模型”；用户认为需要用什么方式完成工作，以及应用程序如何帮助用户完成工作的方式被称为用户与产品交互的“心理模型”，这种模型是基于用户自己对产品的理解。而设计师将软件运行机制呈现给用户的方式被称为“呈现模型”。不同于其他2个模型，设计师对呈现模型有更大的控制权。因此，设计师的一个重要目标就是努力让呈现模型尽可能匹配用户心理模型，呈现模型越趋近于用户的心理模型，用户就会感觉产品越容易被使用和理解，学习成本也就越低，随之用户体验自然也会提升。

2 表情识别的关键技术及实现

表情识别作为一个跨学科的交叉领域，涉及机器视觉、心理学、神经学及计算机科学等多门学科[12]。随着深度学习的发展，表情识别逐渐由基于传统机器学习的算法转变为基于深度学习的算法[13]。将深度学习引入表情识别，可以把特征提取和表情识别2个步骤合并共同学习，通过自动学习选择与人脸表情相关的特征来完成表情识别任务，亦可以使计算机深度理解人脸表情图像的表达意义[14]。本次研究主要将深度学习应用到特征提取与选择中，然后再连接表情分类器，以此实现对表情的识别及分类。

本研究采用的是基于卷积神经网络实现的表情识别。卷积神经网络作为目前深度学习技术领域中具有代表性的神经网络之一，在图像分析和处理领域取得了众多突破性的进展，尤其是在表情识别领域，卷积神经网络相较于传统的图像处理算法具有易实现且识别度高的优势[15]。其具有自动学习特征的能力，可以直接输入原始图像进行一系列工作，避免了人工参与的图像前期预处理过程，因此将其作为本研究中表情识别的神经网络。卷积神经网络的框架主要包含卷积层、激活函数、池化层、全连接层4个方面[16]。

1）卷积层。卷积层主要负责提取特征，由于卷积核参数是随机初始化的，所以很有可能提取出不同的特征；由低层的卷积层提取简单特征，然后逐层堆叠卷积层，将简单特征逐渐抽象为更高层次的语义概念。

2）激活函数。激活函数可以避免把大的数值在高层次处理中进行累加。它可以带来非线性的结果，进而更好地拟合各种函数。同时，激活函数对压缩来自神经元的无界线性加权和也很重要。

3）池化层。池化是一个降采样、减少输入维度的过程，通过减少参数的数量降低了计算的复杂度，并为内部提供一个基本的不变性转换。

4）全连接层。全连接指先前的层里面的所有的神经元都与后一个层里面所有的神经元相连。全连接层是一种传统的多层感知机，在输出层，全连接后是输出的结果。

3 实例研究

3.1 确定研究对象

为集中反映同一类目标用户对某个产品的评价与诉求，保证被试者的背景相似，通过控制变量减少实验误差。招募的被试者均为年龄在20～30岁的青年人，并且有使用阅读APP的习惯，共计40人，其中男性20人，女性20人。

在选择实验所需的阅读APP时，通过分析调查市面上各类APP特点，最终选择“X”阅读APP作为研究载体。主要原因有3个：首先是功能单一，所有功能都是以阅读这一功能为核心的，避免被试者因其他功能的操作而影响实验的有效性；其次是其用户量较小，实验过程中被试者均未接触过此APP，在一定程度上保证了被试者的受试经历相同；最后是其信息架构简单易懂，被试者上手操作较为迅速，从而减少了实验过程中被试者的学习成本。实验过程中需要被试者按照要求完成以下几个交互任务：打开APP—选择文章—阅读文章—收藏—评论—退出文章—搜索文章—阅读文章—退出APP。

3.2 实验平台设备

本研究应用的表情识别程序是基于深度学习理论和计算机视觉识别技术自编完成的，实验选择CK and CK+作为表情识别程序训练、测试数据集，采用Python3.7作为编译程序语言，Tensor Flow作为程序框架，最终可达到93%的准确率，符合实验要求。该程序可以将实验对象的表情分为愤怒、恐惧、高兴、平静、悲伤、惊讶和厌恶7种表情标签。表情识别结果见图1。

实验设备用的是1080p CMOS工业级相机，用于表情识别的图像采集软件是相机自带的MV viewer，该软件可以将采集的图像按照图像序列进行存储。通过对软件的调节可以控制采集过程中的光线补偿、自动白平衡等效果，从而提高后期表情识别效率，保证识别结果的准确性。除此之外，通过设置图像采集的帧速率（30帧/秒）及图片格式，可以合理设置采集图像文件的大小。

图1 表情识别结果

实验过程中需要采集被试者在使用阅读APP过程中的交互视频。为保证被试对象和测试图像同步采集，在不影响被试者操作过程的前提下，实验采用便携录屏设备自带的录屏软件。

3.3 实验过程

为保证被试者心理状态平稳，实验前两天联系被试者预约实验。实验选择在光照充足的时间段进行，尽量减少外部环境对被试者心理的影响。为方便后期实验分析，提高实验精确度，在正式实验开始前，利用已标定图片对每位被试者进行测试，确定被试者的情绪处于稳定状态。正式实验主要分为实验准备、图像采集、用户访谈和问卷调查3个阶段。正式实验流程见图2，正式实验场景见图3。

4 实验数据处理

表情识别作为情感理解的基础是计算机理解人们情感的前提。本研究通过建立面部表情状态与交互流程视频的对应关系，具体分析被试者在完成交互实验过程中的情感动态变化，以期为用户研究提供有效途径与方法。

图2 正式实验流程

图3 正式实验场景

4.1 表情识别结果的处理

利用MV viewer采集图像的时间间隔与便携录屏设备的帧率之间的关系，推导出交互视频与被试者面部图像之间的对应关系：

其中，P为第张图片，为采集的图片总数量，t为第张图片对应的交互时间点，为交互总时间。表情变化趋势见图4，利用视频处理软件并结合式(1)可以将采集到的面部表情图像与交互流程对应起来。

通过表情识别的结果图可以发现，不仅有识别出来的表情标签，还有其概率分布，利用概率分布数据可以绘制出被试者的情感变化曲线，更直观地反映被试者在交互实验过程中的心理变化。

4.2 用户访谈记录的处理

实验之后通过问卷和访谈的方式收集45名被试者的主观感受，完成主观评价表格，最终收回有效问卷40份。对多种主观评价方法进行比较分析，选取等级评分法作为本实验的主观评价方法，该方法不仅能达到本次主观评价实验的实验目的，并且对评价者没有专业要求，评价时间也在评价者可接受范围内[17]。将所有被试者的数据量化归一，量化标准按很差、比较差、一般、挺好和很好5个等级，并分别赋值为1、2、3、4、5，量化后汇总主观评价，见表1。

图4 表情变化趋势

表1 被试者主观评价参数

注：量化标准（很差：1；比较差：2；一般：3；挺好：4；很好：5）

5 实验结果的分析与验证

5.1 实验结果分析

首先，对问卷调查及用户访谈结果进行分析。为凸显被试者的心理情感变化趋势，将被试者问卷调查的结果整合为曲线图，图中最高点为体验最好点，最低点则对应体验最差点，见图5。

从图5中可以看出，被试者在“搜索文章”环节体验最差，“收藏文章”环节体验最好。为更好理解被试者心理变化原因，科学分析情感变化，将用户访谈结果与数据曲线结合绘制用户情感分析曲线，见图6。

图5 主观评价总体变化曲线

图6 情感曲线

通过两种方法结合分析可以得出结论。首先，被试者对APP“搜索”功能评价较低，这是由于搜索的过程不符合被试者使用习惯，操作流程不顺畅，从而导致被试者在使用过程中无法快速完成交互任务。其次，“收藏”功能与大部分的阅读APP交互方式相似，被试者可以快速完成指定的交互任务。最后，对没有表现出突出情绪变化的其他任务，通过访谈被试者认为这些交互操作与常见阅读APP并无明显差异，不需要太多学习成本，基本符合被试者的心理预期。

分析表情识别结果。在处理了有效的被试者实验数据后发现，虽然被试者在完成整个交互流程中表情会有变化，但是并没有出现较为极端的表情（厌恶和惊讶），因此在处理、分析表情识别结果时，不再考虑这两种表情。为实现对所有有效被试者的数据的整合分析并将结果进行可视化，在分析阶段将5个情绪标签参照问卷调查的数据结果进行赋值，通过此方法可将独立的被试者数据整合为一个整体变化曲线。

将“高兴”标签对应问卷调查合计中最高数值160，“愤怒”标签对应最低数值108，其他按等差数列依次赋值，即高兴、中立、悲伤、恐惧、愤怒5个表情标签对应的合计赋值分别为160、147、134、121、108。此方法可以将被试者的每一个交互流程进行求和、求均值，将均值按照数值大小绘制为表情变化曲线，并将问卷调查及用户访谈得到的用户情绪变化绘为曲线，最后将两个结果比较，见图7。

通过两种方法对比分析可得，除“阅读文章”这一交互任务外，表情识别与问卷调查及用户访谈得到的用户情绪变化趋势大致相同，因此可得出表情识别方法可以实现典型用户研究方法的效果。然而在“阅读文章”这一交互任务的用户体验中，表情识别方法与问卷调查及用户访谈方法得到的结果产生了较大差异。为探究其原因，实验后针对“阅读文章”这一交互任务，随机抽取了6位被试者再次完成正式实验中的交互操作，并进行深度访谈。

图7 表情总体变化曲线

根据访谈结果的分析得出，被试者在“阅读文章”过程的后期会潜意识寻找当前阅读进度，但实验应用的APP中并没有此功能，致使被试者产生了很多“恐惧”的表情，“恐惧”不仅包含了担心、恐惧心理，也包含了疑惑、烦躁不耐的心理。然而由于这些情绪出现的时间极短，所以绝大多数被试者在后期的问卷调查及用户访谈中忽略了这一细节。为了验证分析结果的正误，通过KANO模型进行了进一步的调查分析。

5.2 KANO模型验证

通过二次深度访谈了解到“进度条指示功能”的设计是导致差异的主要原因，为验证这一结论，利用KANO模型研究“进度条”在设计中的具体功能属性，通过确定功能属性判断其是否为两种方法产生差异的主要原因，同时验证表情识别方法的科学有效性[18-19]。KANO模型的问卷见表2，其次根据被试者的回答情况统计出答案占比，见表3。根据KANO模型的图表可知，调查统计可疑结果为0，即表示调查结果均有效。

之后根据KANO模型问卷得到的结果计算Better系数B与Worse系数W：

(2)

(3)

其中：—魅力属性；—期望属性；—必备属性；—无差异属性；—反向属性；—可疑结果。

表2 KANO模型的问卷

表3 KANO模型问卷的结果

经计算得到值为0.65，值为–0.25，即该阅读APP的Better系数大于0.5，Worse系数小于0.5，表示半数以上的受访者喜欢阅读APP具有进度条指示功能，可以将其归为魅力因素。据KANO模型分析方法的定义，可以将该阅读APP中进度条功能对用户的影响阐述为如果不提供进度条指示功能，用户的满意度不会明显降低，但是如果提供此功能，用户的满意度会出现较大提升。

6 结语

本文采用对比验证的方法研究了表情识别技术在用户研究中的可行性与科学性，发现了用户主观满意度与表情波动的关系。以客观生理指标衡量用户满意度，去除了用户主观态度的偏差，并且能方便得到用户满意度动态变化图，有效满足了一些不便任务拆分或交互操作类产品的用户研究需求。此外，将表情识别技术应用于交互设计中的用户研究可以挖掘出传统研究方法易于忽略的潜在用户需求，为之后的用户画像、用户行为分析、设计产品框架等工作奠定基础。因此，可以将本文研究的方法作为传统用户研究方法的一种补充或辅助工具并用，以得到更为科学的用户研究结果。

[1] LALLEMAND C, GRONIER G, KOENIG V. User Experience: A Concept without Consensus? Exploring Practitioners’ Perspectives through an International Survey[J]. Computers in Human Behavior, 2015, 43(43): 35-48.

[2] LASA G, JUSTEL D, RETEGI A. Eyeface: a New Multimethod Tool to Evaluate the Perception of Conceptual User Experiences[J]. Computers in Human Behavior, 2015, 52(8): 359-363.

[3] CHOU J R. A Psychometric User Experience Model Based on Fuzzy Measure Approaches[J]. Advanced Engineering Informatics, 2018, 38(10): 794-810.

[4] BANG G, KO I. A User Empirical Context Model for a Smart Home Simulator[J]. Lecture Notes in Electrical Engineering, 2016. 48(9): 555-560.

[5] STICKEL C, FINK J, HOLZINGER A. Enhancing Universal Access: EEG Based Learnability Assessment[C]. Verlag: International Conference on Universal Access in Human-computer Interaction, 2007.

[6] LI Jing, MI Yang, LI Gong-fa, et al. CNN-Based Facial Expression Recognition from Annotated RGB-D Images for Human-Robot Interaction[J]. International Journal of Humanoid Robotics, 2019, 16(4): 504-505.

[7] TAKALKAR, MADHUMITA, XU, et al. A Survey: Facial Micro-expression Recognition[J]. Multimedia Tools & Applications, 2018, 48(7): 158-162.

[8] CHAPMAN C N, LOVE E, ALFORD J L. Quantitative Early-Phase User Research Methods: Hard Data for Initial Product Design[C]. Waikoloa: 41st Hawaii International International Conference on Systems Science (HICSS-41 2008), 2008.

[9] 徐峰, 张军平. 人脸微表情识别综述[J]. 自动化学报, 2017, 43(3): 333-348.

XU Feng, ZHANG Jun-ping. Facial Microexpression Recognition: a Survey[J]. Zidonghua Xuebao/acta Automatica Sinica, 2017, 43(3): 333-348.

[10] 曾栋, 刘鹏, 于信涛, 等. 用户心理模型的构建方法及灭火器设计应用[J]. 包装工程, 2019, 40(16): 140- 144.

ZENG Dong, LIU Peng, YU Xin-tao, et al. A Building Method of User Mental Model and Its Application in Fire Extinguisher Design[J]. Packaging Engineering, 2019, 40(16): 140-144.

[11] COOPER A. About Face 3: The Essentials of Interaction Design[M]. London: John Wiley & Sons, Inc, 2007.

[12] PANTIC M. Facial Expression Recognition[M]. New York: Encyclopedia of Biometrics, 2014.

[13] 王剑云, 李小霞. 一种基于深度学习的表情识别方法[J]. 计算机与现代化, 2015, 46(1): 84-87.

WANG Jian-yun, LI Xiao-Xia. A Facial Expression Recognition Method Based on Deep Learning[J]. Computer and Modernization, 2015, 46(1): 84-87.

[14] ZHU Yong-pei, FAN Hong-wei, YUAN Ke-hong. Facial Expression Recognition Research Based on Deep Learning[J]. Design Studies, 2019, 48(5): 159-164.

[15] CHEN Xiao-guang, YANG Xuan, WANG Mao-sen, et al. Convolution Neural Network for Automatic Facial Expression Recognition[C]. Sydney: International Conference on Applied System Innovation. IEEE, 2017.

[16] LIU Kuang, ZHANG Ming-min, PAN Zhi-geng. Facial Expression Recognition with CNN Ensemble[C]. Tokyo: International Conference on Cyberworlds. IEEE Computer Society, 2016.

[17] 赵颖, 谭浩, 朱敏, 等. 智能音箱主动交互行为的用户满意度研究[J]. 包装工程, 2021, 42(14): 224-229.

ZHAO Ying, TAN Hao, ZHU Min, et al. User Satisfaction of Proactive Interaction Behavior of Intelligent Speakers[J]. Packaging Engineering, 2021, 42(14): 224-229.

[18] CHEN Chun-chih, CHUANG Ming-chuen. Integrating the Kano Model into a Robust Design Approach to Enhance Customer Satisfaction with Product Design[J]. International Journal of Production Economics, 2008, 114(2): 667-681.

[19] 陆明琦, 周波, 谭敏. 基于Kano模型的城市标识系统使用需求研究[J]. 包装工程, 2021, 42(12): 312-319.

LU Ming-qi, ZHOU Bo, TAN Min. The Use Demand of Urban Signage System Based on the Kano Model[J]. Packaging Engineering, 2021, 42(12): 312-319.

User Research Method Based on Expression Recognition Technology

WANG Huan-huan1,2, LYU Zi-teng1,2, LI Xian-kun1,2

(1.Tianjin University of Science & Technology, Tianjin 300222, China; 2.Tianjin Key Laboratory of Integrated Design and On-line Monitoring for Light Industry & Food Machinery and Equipment, Tianjin 300222, China)

In order to evaluate the user experience more objectively and expand the way of user research, the expression recognition technology is introduced to optimize and explore the existing user research methods. Taking reading app as research carrier, expression recognition and convolution neural network algorithm as technical means, through the design of human-computer interaction experiment, it is applied in the process of user research, and the mapping relationship between user's facial expression and user's subjective satisfaction is established.Aiming at reading app "X", this paper carries out a two-way design research based on facial expression recognition technology and traditional questionnaire interview, and obtains the effectiveness and feasibility of objective measurement method of user satisfaction based on expression recognition technology by using comparative verification method, and then explores the advantages of expression recognition method in user research. The user research method based on expression recognition technology has certain universality in product interaction design. By identifying and analyzing the dynamic changes of facial expressions when users interact with the product, the user experience evaluation can be more objective and easier to interpret, and the product interaction experience problems can be accurately located. In addition, it provides new ideas for user research and understanding in the field of design, and provides theoretical and practical reference for the cross integration of expression recognition technology and product design.

user research; facial expression recognition; interaction design; KANO model

TB472

A

1001-3563(2022)02-0116-06

10.19554/j.cnki.1001-3563.2022.02.015

2021-11-12

国家自然科学基金（51505333）

王欢欢（1982—），女，天津人，博士，天津科技大学副教授，主要研究方向为工业设计、视觉交互与设计、体验设计和创新设计方法。