从用户视角理解智能推荐系统*

罗婷予 Miguel Baptista Nunes

从用户视角理解智能推荐系统*

罗婷予 Miguel Baptista Nunes

（中山大学，广州 510006）

随着推荐系统的广泛应用，探讨用户对推荐系统的理解，了解影响用户感知推荐系统的因素可以为推荐系统的评价以及开发设计提供理论参考。本研究为探索性研究，旨在验证研究的可行性以及研究问题的价值，本文采用定性研究方法，对4名普通用户进行焦点小组访谈，并借助NVivo 11软件通过内容分析法对访谈数据进行分析。研究发现用户感知到的推荐依据有用户偏好、用户行为以及业务需求。感知交互成本、多样性、覆盖率、感知有用性、环境背景兼容性、控制度、灵敏度、跨平台数据共享、推荐精度、新颖性和透明度是影响用户感知推荐系统的因素。

推荐系统；用户感知；质性研究；感知因素

随着互联网时代的到来，信息的供求关系发生明显的转变，用户在使用信息服务的过程中，不再只是信息的消费者，同时也是信息的生产者，其行为通过各类推荐系统的分析与利用影响着信息的传播，从而决定着信息的价值。在信息过载问题日趋严重的当下，推荐系统的发展为基于海量数据的信息服务带来新的市场、提供新的契机，同时也引起了用户信息需求和信息行为的改变。在这种转变之下，用户作为推荐系统形成与发展的动因，其行为受到推荐系统的影响，最终对推荐系统提出新的要求。因此，探索用户对推荐系统的认识有助于为推荐系统的评价提供理论依据，并为系统的设计开发提供参考，改善现有的信息推荐服务。本文以此为目的，从用户感知到的推荐标准、用户对推荐系统的正面与负面感知等方面深入分析用户对推荐系统的理解。

1 文献综述

随着信息社会的发展，信息过载问题日趋严重，推荐系统的开发设计与评价得到了学术界和工业界的广泛关注。根据Isinkaye等[1]对推荐系统的定义，推荐系统是根据用户偏好，利用可观测的行为数据解决信息过载问题的信息过滤系统。笔者认为推荐系统是从资源到用户的中介系统，一方面，推荐系统在资源与用户之间架起了一座桥梁；另一方面，系统的存在影响着资源与用户的相互关系，甚至影响着用户的信息行为。

目前，关于推荐系统的研究包含推荐技术与算法设计、交互界面设计、系统评价、用户感知4个方面。就推荐技术与算法设计而言，推荐系统兴起于协同过滤推荐技术的出现。最早的推荐系统是针对垃圾邮件过滤提出的电子邮件过滤系统，使用Goldberg等[2]提出的协同过滤（collaborative filtering）推荐技术。如今，推荐技术已经从协同过滤推荐扩展到包括基于内容的推荐、基于知识的推荐、基于人口统计数据的推荐和混合推荐等技术在内的5种常用的核心推荐技术[3]，应用领域覆盖电子商务[4-5]、图书[6-7]、电影、社交网络、音乐、邮件、广告等。人工智能技术在推荐系统领域的应用也越来越广泛，其中最具代表性的是基于深度学习和基于语义网的推荐系统。

就系统评价而言，算法的准确率和覆盖率常作为评价推荐系统效率的重要指标[1]。但有学者表明，准确的预测并不代表好的推荐[8]，评估指标的设计应该以用户为中心。随后，Pu等[9]提出将用户满意度、预测准确度、覆盖率、多样性、新颖性、惊喜度、信任度、实时性、鲁棒性，以及是否能够辅助实现商业目标作为推荐系统的评价指标。

推荐系统的人机交互是影响用户体验的重要因素。Resnick等[10]在早期的GroupLens系统设计中提到了界面设计要尽可能地减少用户的交互成本等原则。Swearingen等[11]提出交互界面的导航和排版与用户感知有用性和感知易用性密切相关，在对信息架构和导航系统进行设计时应让用户尽可能方便地获取推荐信息或生成新的推荐集。Cosley等[12]通过实验方法验证了评分界面对用户意见和其意见表达的影响。

目前，涉及推荐系统用户感知的研究主要集中在用户对于某一特定推荐系统的感知评价[13]，以及某些感知因素对用户接受意愿[14-17]、用户体验[18-19]、用户抗拒心理[20]、风险感知[21]等方面的影响，未将推荐系统作为一个整体去探讨用户对推荐系统及其推荐依据的认识。因此，本文初步探索用户对推荐系统的整体认知，从用户视角给出关于用户使用以及推荐系统设计的参考。

2 研究设计

2.1 研究方法与研究工具

本研究的目标是理解用户对推荐系统的认识以及推荐系统对用户产生的影响，因而采用定性研究的方法进行探索性研究，以用户感知到的推荐标准、用户对推荐系统的正面与负面感知为主题进行焦点小组的访谈。焦点小组访谈以西方解释学理论及交往行为理论为依据，强调通过组员间对研究者拟定话题的交流对话进行数据的收集。相比于个人访谈，焦点小组访谈的优势在于进一步增加了总体研究结果的公正性，并且参与成员间可以互相汲取力量，互相表达自己的想法或观点，丰富采集的数据。研究进一步借助NVivo 11软件对访谈数据进行管理分析，NVivo 11是由QSR International公司开发的质性分析软件，其优点在于可以对访谈资料（包括音频、视频和文本在内的资源文件）进行统一管理，利用自由节点编辑和可视化工具对资料进行编码分析。在Nvivo 11中，用于存储主题或想法的容器称为“节点”，节点可以实时创建，也可以预先创建。笔者借助NVivo 11的节点编辑功能，使用内容分析法归纳了用户对推荐系统的认识以及其认识的基本特征。

2.2 研究步骤

2.2.1 数据收集

（1）确定访谈对象。本研究采用非随机抽样中的目的抽样方法，在选择访谈对象时为避免随机抽样导致的样本不具代表性的问题，根据研究的问题和目的刻意地抽取那些能够为本研究提供最大信息量的样本。根据中国互联网信息中心在2019年2月发布的《第43次中国互联网络发展状况统计报告》，我国网民的年龄分布主要集中在20~29岁，占比26.8%；网民中学生群体规模最大，占比为25.4%[22]。以上数据表明，年龄在20~29岁的学生群体有较大概率接触智能推荐系统，在选取访谈对象时，确定以大学生群体为焦点小组访谈对象。由于本研究为探索性研究，旨在基于有限的资源对理论进行初步的构建，为后续研究提供参考。本次访谈样本数量为4人，均为信息管理与信息系统专业学生，其中男生3人、女生1人，年龄分布为22岁2人、21岁2人；访谈时间为52.01分钟，访谈内容转换为文本后共计11 562字。

（2）访谈大纲设计。访谈前根据研究的问题和目的拟定访谈大纲，在访谈前对访谈大纲进行预测试，并采用专家咨询的方式对大纲进行修改，确保其具有良好的信度和效度，能够针对要解决的问题获得关于访谈对象的真实数据。大纲共设计了关于推荐系统的定义、推荐依据和用户感知3类问题，先确认用户认知中的推荐系统与研究所定义的推荐系统是同一概念，再进行更为深入的关于用户对推荐系统的理解和感知的访谈。问题的设置均为开放性引导性问题，如“请描述使你印象深刻的几次使用推荐系统的经历”“你认为推荐系统可以怎样帮助你探索你感兴趣的内容，服务你的信息需求”等，在实际的访谈过程中依据现场的实际情况对问题进行弹性调整。

（3）访谈过程。提前预约访谈对象，并告知参与者研究的主题和目的。访谈前与参与者签订知情同意书并获得录音许可。访谈过程中采用圆桌式讨论，以拉近受访人与采访人之间的距离，营造舒适自由的交流空间。访谈过程中采访人不对谈话进行干预，不对被采访人的观点进行任何评价，只提出问题并在谈话内容明显偏题的时候做一定的引导。访谈时间52.01分钟，全程进行录音。访谈结束后，对音频材料进行人工转录，将访谈数据逐字逐句地记录在word文档。在处理访谈材料时，对4名被访谈对象的访谈资料进行匿名处理，用字母（ABCD）代替访谈者姓名。

2.2.2 数据编码与分析

将转录后的Word文档资料导入NVivo 11软件并进行规范化处理，采用主题（内容）分析法对文本资料进行逐级编码，并最终归纳出用户对推荐系统的认知以及其认识的基本特征。内容分析是一种系统的、可复制的内容压缩技术，旨在基于明确的编码规则将文本中的许多单词压缩到更为抽象内容类别中[23]，可以帮助研究人员发现和描述个人、团体、机构或社会关注的焦点，辅助研究人员作出推理，并在后续的研究中采用其他的数据收集方法对推理进行验证[24]。本研究按照开放式编码、主轴编码和选择式编码的顺序，采用Haney等[25]提出的应急编码（emergent coding）方式以及先天编码（priori coding）方式[24]，以提纲中预设的命题（用户感知到的推荐标准、用户对推荐系统的正面与负面感知）为编码单位对文献进行分析和归纳，具体操作流程见图1。

第一阶段为开放式编码。该阶段对文本进行逐行分析，并为可以进行编码的句子附上概念化标签，进一步将层次较低的标签进行抽象化处理及提炼成范畴。如经过编码后出现的层次较低的标签“喜欢的”“感兴趣的”“需要的”“准确的”，将这些概念聚拢，提炼成一个范畴“符合用户需求”。在初步分析word文本的基础上，找到访谈对象常用的范畴，最终得到13个关于用户感知的推荐标准的自由节点、13个关于推荐系统负面感知的自由节点和14个关于推荐系统正面感知的自由节点。

第二阶段为主轴编码。在开放式编码阶段发现的3个方面40个自由节点中寻找关联，查看数量较多的范畴是否能够抽象到更高层次。经过反复比较与辨析，最终分别为用户感知的推荐依据和正负面感知识别出19个节点作为副主题。

第三阶段为选择式编码。在主轴编码的基础上进一步系统地处理范畴之间的关联，从而找出核心主题。最终确定了3个用户感知的推荐依据（即用户认为系统在向用户进行推荐时主要考虑哪些数据或指标），以及11个影响用户感知推荐系统的因素。

3 数据分析

3.1 用户感知的推荐依据

探讨用户感知的推荐依据有助于了解用户对推荐系统的认识，发现用户缺失或错误的认知，引导用户安全高效地使用推荐系统，并在使用过程中提升隐私保护的意识。用户感知到的推荐依据包括业务需求、用户偏好和用户行为，具体如图2所示。其中用户行为是访谈对象最常提到的依据，主要包括浏览行为和搜索行为两个方面。例如，A表示曾经在京东和淘宝浏览过相机后，在微信公众号推送的文章下方出现了关于相机的广告；B认为推荐系统会首先询问用户的喜好，并结合用户搜索行为及浏览记录，判断用户的需求，给出相应推荐。另外，用户偏好也是一个频繁被受访者提到的推荐依据，偏好数据采集的具体表现为邀请用户对项目进行评分和在注册时进行数据标记。例如，B认为音乐播放软件会根据用户对音乐“喜欢”或“不喜欢”的标记推断用户喜欢的音乐类型，从而推荐要播放的音乐；A认为一些资讯类软件会在用户注册时询问其感兴趣的话题，并根据用户选择的主题进行内容的推荐。最后，业务需求是用户感知到的推荐依据之一。例如，C将推荐系统定义为“算法+业务”；A表示淘宝将商家付费购买流量作为商品排名的关键依据。

3.2 用户对推荐系统的正面感知

探讨用户对推荐系统的正面感知有助于了解哪些因素会激发用户对系统的好感，从而辅助推荐系统的设计，提高用户的满意度。由于目前关于推荐系统的评价指标已经较为完善，本研究参考已有的文献[11]和文献[26]整理出先验范畴并以此为基础对数据进行分析，在分析的基础上对范畴进行修改。经过分析发现，用户对推荐系统的正面感知主要包含低互动成本、感知有用性、高覆盖率、高精度、高灵敏度、高控制度6个方面，如图3所示。

其中，高控制度是最常被提及的一种正向感知。例如，B对能够自由地切换推荐的歌曲表现出一定的好感；A表示因为可以自主地选择要浏览的内容，所以并不觉得被推荐系统所操控。高灵敏度和高精度也是两个较常被提到的正面感知。高灵敏度是指系统能敏捷地对用户需求的变化作出反应，能够及时甚至实时地根据用户行为改变推荐内容。例如，B表示淘宝可以实时地根据用户的搜索及查询调整首页推荐的商品，反应速度很快；D表示如果在淘宝上搜索了某商品但未完成购买，首页会出现大量相关商品的推荐，一旦完成对该商品的购买，首页就不会再大量出现同类商品，对用户的需求反应十分灵敏。高精度体现在推荐结果符合用户的喜好和需要。例如，D表示抖音能根据用户的视频停留的时间捕捉用户喜欢的内容，并作出准确的推荐。低互动成本体现在系统可以利用已有的数据对项目进行推荐，而不需要让用户进行多次额外或重复的操作来采集用户数据。例如，B表示网易音乐会在新用户第一次使用该软件的时候自动读取用户手机里的音乐文件，以此判断用户可能喜欢的音乐类型，节省了人工标注的时间。高覆盖率体现在对项目长尾的发现能力，即推荐系统不仅能对被广泛喜爱的项目进行推荐，还能对小众的项目进行推荐。例如，B认为网易音乐不但能够推送大众喜爱的音乐，对一些被判断出来符合用户喜好的小众音乐也能作出合理的推荐。感知有用性是用户对使用推荐系统是否可以有效地帮助他们获取想要的东西的感知，包括辅助信息需求表达和辅助用户发现信息需求两方面。例如，B表示对于一些较难用文字形容的领域（如音乐领域），推荐系统可以帮助用户在不能明确地表达自己需求的情况下给出符合自己喜好的推荐；A表示在浏览推荐系统所推荐的项目时可以帮助自己发现感兴趣的话题。

3.3 用户对推荐系统的负面感知

探讨用户对推荐系统的负面感知有助于了解哪些因素会激发用户对系统的负面评价，在对推荐系统进行设计时应尽量避免引起用户反感的因素，从而提高用户的满意度。经过分析发现，用户对推荐系统的负面感知主要包含低透明度、低新颖度、感知有用性低、环境背景兼容性弱、控制度低、跨平台数据共享和缺乏多样性7个方面，如图4所示。

其中，跨平台数据共享是提及频率最高的引起用户对推荐系统产生负面评价的因素。例如，D认为在微信、百度搜索、淘宝及京东上留下的浏览痕迹都会在抖音里有所体现，这是令人害怕的。其次是推荐的内容缺乏多样性。例如，C表示因为推荐的内容过于相似，因此不希望在资讯类APP上使用推荐系统。另外，推荐结果的新颖度较低也是引起用户产生负面感知的原因之一，新颖度是指给用户推荐那些他们以前没有听说过的项目。例如，C认为一些推荐系统仅对他已经了解的事物进行了推荐，不能帮助他了解新知识、获取新事物。用户对推荐系统的信任受到透明度的影响，当透明度较低时用户对推荐系统会产生负面的感知。例如，C表示因为对推荐系统的排序机制不够了解和信任，为避免广告推荐，在真正选择要购买的商品时恰恰会避开排位靠前的商品。当推荐系统给予用户低控制权限，甚至剥夺用户对是否接受推荐的控制时，用户会产生较明显的负面感知。例如，A表示不受控制的弹窗资讯会引起他的反感。环境背景兼容性是指一个推荐系统具备的在相关使用场景给出建议的能力，包括推荐结果的实时性以及是否考虑当时用户所在的情境，如在推荐电影时考虑的环境因素（观众当时的情绪、是否有同伴等）。例如，D表示希望推荐系统不仅能够知道用户的兴趣，也可以对用户兴趣所处的不同生命周期进行考虑。最后，感知有用性低也是引起用户产生负面感知的原因之一。例如，C表示抖音向其推荐的内容既无用也无趣，A认为抖音很无聊。

4 讨论

4.1 用户感知的推荐依据

对访谈资料进行分析发现，虽然目前学界对推荐系统的定义强调以用户数据作为判断用户是否会对某一内容或项目感兴趣为标准，即推荐系统是以用户画像为基础，根据用户偏好利用可观测的行为数据解决信息过载问题的信息过滤系统[1]。但用户认为推荐系统推荐的依据除以用户为导向、反应用户需求的行为数据、偏好数据外，还包括反应平台商业需求的数据（如推广和广告收益）。在目前的研究中，学术界在对推荐系统的相关技术进行探讨时更强调用户数据对推荐结果的影响，而工业界已经将业务需求作为影响推荐结果的重要指标。总体上来说，用户对业务需求作为推荐依据也并不敏感，其表现在单独询问用户关于推荐系统的推荐依据时，他们往往不太提及业务需求，但在进一步剖析对推荐系统的负面感知时会强调因为纳入广告带来的困扰。

为进一步对比用户感知的推荐依据、理论探讨中的推荐依据和实际应用的推荐依据，本研究结合文献[11]中提到的推荐依据制定表1，以观察哪些是被用户忽略的依据。在本次调查中，用户除对用户行为、用户偏好有较强感知，对业务需求有较弱感知以外，对推荐系统所利用的用户标签数据、上下文信息和社交网络数据均未提及，这启发我们在对推荐系统进行推广时可以更明显地标识系统利用的数据，提高推荐的透明度以取得用户的信任。

4.2 影响用户感知的因素

由于用户对系统的正负面感知同时作用于影响用户感知推荐系统的因素，因此，此处不再将两者区分，而是把它们看作统一的整体进行讨论。虽然目前已有研究探讨了影响推荐系统用户感知的因素，但本研究尝试将正面感知和负面感知进行分别分析，以探索各个因素的正向和负向作用。本研究共发现11个影响用户感知的因素，表2对这些因素进行罗列并对是否作用于正向和负向感知进行了标识。

经过对比发现，用户提到的仅作用于正向评价的因素有互动成本、覆盖率、灵敏度和推荐精度，仅作用于负向评价的因素有多样性、环境背景兼容性、跨平台数据共享、新颖度和透明度。同时作用于正向感知和负向感知的因素为感知有用性和控制度。但由于本研究样本量较小，且未做定量的验证，因此不能明确假设是否成立，可以在未来研究中进一步探讨。

另外，本研究除验证了文献[11]和文献[26]中所提到的影响用户感知的因素外，还发现用户对推荐系统的感知与交互成本、是否跨平台共享数据、系统响应用户需求变化的感知灵敏度均会影响用户对推荐系统的感知。通过分析还发现文献[26]中提到的环境背景兼容性除包含对用户所处环境的实时考虑外，还包括对需求生命周期的考量。解释度与透明度构成用户信任推荐系统的两个维度，在对推荐结果进行呈现时可以通过向用户说明使用了哪些数据和规则来增加用户对推荐系统的信任。此外，用户并不避讳用隐私换取便利，但是当出现跨平台的数据利用时会产生比较强烈的隐私泄露感，因此在需要共享数据时最好先取得用户的许可。最后，用户并不反感在使用推荐系统的过程中浏览广告，但当广告质量较差或严重打断用户使用的时候会使用户产生负面感知。

5 结论

在信息过载的时代，推荐系统的广泛应用为用户提供信息个性化过滤服务的同时，还带来了新的商业模式。本文通过对用户感知的推荐依据和影响用户感知的因素进行了定性研究，发现用户偏好、用户行为和业务需求是用户感知到的3个推荐依据，感知成本、多样性、覆盖率、感知有用性、环境背景兼容性、控制度、灵敏度、跨平台数据共享、推荐准确性、新颖性和透明度是影响用户感知的因素。由于本研究属于探索性研究，其最大的意义在于验证了研究的可行性以及研究问题的价值，为进一步研究夯实基础。另外，本研究通过了解用户对推荐系统的认识发现了用户对推荐依据认识的不足，可以作为用户有效安全地使用推荐系统的参考。研究对影响用户感知因素的认识也可以作为深入探讨推荐接纳意愿、推荐系统信任度以及推荐系统的评价提供理论支持，同时为系统的开发与设计提供参考。但本研究仍存在样本量过小，数据分析具有主观性等不足。未来的研究可以扩大样本量，进行多个焦点小组的访谈，继续完善以上发现，使其成为一个通用性理论，并通过定量研究的方法验证各因素与感知倾向的关系。

［1］ ISINKAYE F，FOLAJIMI Y，OJOKOH B. Recommendation systems：principles，methods and evaluation［J］. Egyptian Informatics Journal，2015，16（3）：261-273.

［2］ GOLDBERG D，NICHOLS D，OKI B M，et al. Using collaborative filtering to weave an information tapestry［J］. Communications of the ACM，1992，35（12）：61-71.

［3］ ALYARI F，JAFARI N. Recommender systems：a systematic review of the state of the art literature and suggestions for future research［J］. Kybernetes，2018，47（5）：985-1017.

［4］ GUO Y，YIN C X，LI M F，et al. Mobile e-commerce recommendation system based on multi-source information fusion for sustainable e-business［J］. Sustainability，2018，10（1）：147-160.

［5］ JESSENITSCHNIG M，ZANKER M. ISeller：A Flexible Personalization Infrastructure for e-Commerce Applications［C］//

International Conference on Electronic Commerce and Web Technologies，EC-Web，2009：336-347.

［6］ RANA C，JAIN S K. Building a book recommender system using time based content filtering［J］. WSEAS Transactions on Computers，2012，11（2）：2224-2872.

［7］ MOONEY R J，ROY L. Content-based book recommending using learning for text categorization［C］//Proceedings of the fifth ACM conference on Digital libraries，ACM，2000.

［8］ MCNEE S M，RIEDL J，KONSTAN J A. Being accurate is not enough：how accuracy metrics have hurt recommender systems［C］//CHI’06 Extended Abstracts on Human Factors in Computing Systems，ACM，2006.

［9］ PU P，CHEN L. A User-Centric Evaluation Framework of Recommender Systems［C］//Proceedings of the ACM RecSys 2010 Workshop on User-Centric Evaluation of Recommender Systems and Their Interfaces，Barcelona，Spain. 2010.

［10］ RESNICK P，IACOVOU N，SUCHAK M，et al. GroupLens：an open architecture for collaborative filtering of netnews［C］//Proceedings of the 1994 ACM Conference on Computer Supported Cooperative Work. ACM，1994.

［11］ SWEARINGEN K，SINHA R. Beyond algorithms：an HCI perspective on recommender systems［C］//ACM SIGIR 2001 Workshop on Recommender Systems，2001.

［12］ COSLEY D，LAM S K，ALBERT I，et al. Is seeing believing? how recommender system interfaces affect users’ opinions［C］// Proceedings of the SIGCHI Conference on Human Factors in Computing Systems，ACM，2003.

［13］ 高梦晨. 推荐系统用户感知调研［J］. 工业设计研究，2018：320-326.

［14］ 刘新民，傅晓晖，王松. 个性化推荐系统的感知价值对用户接受意愿的影响研究——基于心理资本的调节作用［J］. 技术与创新管理，2017，38（4）：403-411.

［15］ 刘蓓琳. 电子商务用户个性化推荐技术接受影响因素研究［D］. 北京：中国矿业大学（北京），2009.

［16］ 张红. 基于用户认知的电子商务网站知识推荐服务接受模型研究［D］. 南京：南京理工大学，2013.

［17］ 李楠. 移动生活服务用户接受行为研究［D］. 上海：上海工程技术大学，2016.

［18］ 张凤羽. 电子商务推荐系统的用户体验影响因素研究［D］. 南宁：广西民族大学，2017.

［19］ 曹杜鹃. 电子商务推荐系统满意度研究［D］. 湘潭：湘潭大学，2014.

［20］ 赵冲. 用户对购物网站信息推荐服务的心理抗拒研究［D］. 重庆：西南大学，2016.

［21］ 肖海清. 电商个性化推荐采纳中用户隐私风险感知的影响因素分析［D］. 武汉：华中师范大学，2015.

［22］ 中国互联网络信息中心. 第43次中国互联网发展状况统计报告［EB/OL］.［2019-07-07］. http://www.cnnic.net.cn/hlwfzyj/hlwxzbg/hlwtjbg/201902/t20190228_70645.htm.

［23］ STEMLER S. An overview of content analysis［J］. Practical Assessment，Research & Evaluation，2001，7（17）：137-146.

［24］ WEBER RP. Basic content analysis［M］. London：Sage，1990：9-14.

［25］ HANEY W，RUSSELL M，GULEK C，et al. Drawing on education：Using student drawings to promote middle school improvement［J］. Schools in the Middle，1998，7（3）：38-43.

［26］ CRAMER H，EVERS V，RAMLAL S，et al. The effects of transparency on trust in and acceptance of a content-based art recommender［J］. User Modeling and User-Adapted Interaction，2008，18（5）：455.

Understanding Recommender Systems from Users’ Perspective

LUO TingYu NUNES Miguel Baptista

( Sun Yat-Sen University, Guangzhou 510006, China )

In order to solve the problems of information overload and information anxiety, recommendation system have been applied widely in many different areas. In order to effectively solve these problems, it is necessary to understand how users perceive recommendation systems and what factors affect their perceptions of usefulness and effectiveness of recommendations. This is very necessary in order to design and evaluate systems. This research is an inductive exploratory pilot study that aims to give a first indication towards understanding what type of factors influence these perceptions. Data was collected through one focus group interview and was then coded using content analysis supported by NVivo 11. The findings of the study reveal that users’ preference, users’ behaviors and business characteristics are 3 criteria which interviewees perceived as important evidence of recommendation. Moreover, interviewees expressed that the factors which affects their perceptions of usefulness and effectiveness of recommendations are perceived interaction effort, diversity of recommendation results, coverage, perceived usefulness, contextual compatibility, perceived controllability, flexibility, cross-platform data sharing, accuracy, novelty, and transparency. This study is not generalizable due to the small numbers of respondents, but provides an initial informed emergent theory that can help designers and developers of recommendation systems improve their efforts.

Recommendation Systems; User Perception; Qualitative Study; Impact Factor Study

*本研究得到广东省自然科学基金面上项目“基于人工智能的虚拟现实古籍理论与模型研究”（编号：2019A1515011260）以及中山大学信息科学、信息管理和信息系统学科交叉的培育研究科研启动经费（经费号：20000-18841200）资助。

G251

10.3772/j.issn.1673-2286.2019.10.005

罗婷予，女，1991年生，博士生，研究方向：信息获取、推荐系统，E-mail：luoty7@mail2.sysu.edu.cn。

Miguel Baptista Nunes，男，1963年生，博士，教授，研究方向：信息系统、知识管理、数字人文。

（2019-10-08）