基于“重点改善”区域相关指标的社会问答平台答案质量研究

叶建华 罗毅

摘 要：社会问答平台答案质量绩效感知与重要性期望感知的差异性，运用重要性—绩效性分析（Importance Performance Analysis，IPA）方法可以分为四个象限，即“继续保持”区域、“重点改善”区域、“毋需优先”区域和“过度表现”区域。文章运用顾客满意度模型理论，构建基于“重点改善”区域相关指标的用户答案质量满意度概念模型，并通过调研来修正和检验概念模型。通过研究发现，用户的期望感知质量、绩效感知质量和感知价值，对用户的总体满意度产生直接显著的影响，并且总体满意度对用户的持续使用产生强正相关影响，表明提高“重点改善”区域质量的相关指标能够有效地增加用户的满意度，增强用户持续使用社会问答平台资源的意愿，并为社会问答平台答案质量的提升提供相关建议。

关键词：社会问答平台；答案质量；用户满意度模型

中图分类号： G203 文献标识码： A DOI：10.11968/tsyqb.1003-6938.2016018

Quality Research of Answers in Social Q&A; Platforms Based on Indexes of the“Concentrate Here”Region

Abstract Answers on social Q&A; platforms show differences between quality performance perception and importance expectation perception. According to the method of IPA（Importance Performance Analysis）， the differences can be divided into four regions：“Continue to Maintain”region，“Key to Improve”region，“No Need for Priory”region and “Over Expression”region. Based on pilot studies， this paper uses customer satisfaction model theory to structure the conceptual model of customer satisfaction to the quality of answers on social Q&A; platforms with indexes of the“Key to Improve”region， and then corrects and tests it through user surveys. This paper finds that users expectation perception quality， performance perception quality and perception value have direct and great influences on users general satisfaction degrees， which has a strong positive correlation influences on users continuance. This paper also finds that improving the four quality indexes of “Key to Improve” region can effectively enhance users satisfaction and the willingness to use social Q&A; platforms continuously. This paper also gives suggestions on bettering the quality of answers on social Q&A; platforms.

Key words social Q&A; platform； answer quality； user satisfaction model

1 引言

社会问答平台（Social Q&A; Platform，SQA）又被称为社会问答社区或者问答平台等，目前对其还没有一个统一的标准定义。 Shah[1]从用户服务的角度将其定义为一种提供用户使用自然语言表达信息需求的方式；一个提供参与者满足用户需求的平台和一个构建包含鼓励参与的社区。同时，Shah也从用户、内容和技术三个角度来定义当前社会问答平台研究的相关领域。从用户角度出发，用户的分类[2-5]、专家发现[6-9]和用户动机[10-13]是其研究的重点。从技术角度出发，其研究的重点包括数据挖掘技术[14-16]、问题自动生成[17-18]以及答案的自动摘要[19-20]。而以内容为核心的研究主要分为两个层面，首先是基于问题的相关研究，包括问题的分类[21-23]、检索[24-26]和推荐[27-29]；其次是基于答案的研究，其重点包括付费型问答平台答案质量的研究[30-31]和基于文本与非文本特征的答案质量评价研究[32-35]。

本课题小组在文献[36]中研究了社会问答平台答案质量绩效感知与重要性期望感知之间的差异，运用重要性—绩效性分析方法，对答案质量绩效感知与重要性期望感知差异性进行分析，以每个维度的绩效感知质量与期望感知质量的平均值为横、纵坐标值，以所有维度绩效感知质量与期望感知质量的平均值为分割线，将十三个维度分为四个象限，即“继续保持”区域、“重点改善”区域、“毋需优先”区域和“过度表现”区域（见表1）。其中，“重点改善”区域的“专业性、权威性、客观公正、完整性”四个指标是本文研究的重点，其突出特点是用户的期望感知较高，而社会问答平台答案质量的实际答案质量较低。这种期望质量与绩效感知质量的差异不一致性，仅能表明社会问答平台的答案质量尚不能满足用户的信息需求，还有较大的提升空间，但“重点改善”区域相关指标的改善是否能够提高用户的满意度，是否能够激励用户持续使用社会问答平台的信息资源是本文重点研究的目的。

表1 答案质量的“四个象限”特征与指标

2 概念模型的构建

本文主要采用的是中国用户满意度指数模型——CCSI模型，融合了用户的“期望感知质量”和“绩效感知质量”，构建社会问答平台答案质量“重点改善”区域指标的用户满意度概念模型。首先采用“期望不一致”的顾客满意度测量模型，将用户期望的信息质量（即重要性期望感知）与感知的信息质量（绩效感知）进行对比，同时考虑到用户获取答案的成本因素，引入感知价值，并考虑用户对当前社会问答平台答案质量的总体满意程度，以及用户是否会继续使用社会问答平台作为信息源来获取知识，因此引入总体质量满意度和用户忠诚两个隐性变量。基于“重点改善”区域的用户满意度概念模型的构成要素主要有[37-38]：

（1）用户感知质量，即绩效感知质量。绩效感知是指信息用户在使用社会问答平台过程中或者使用后对其答案质量的感知与判断，他是决定用户对社会问答平台答案质量满意程度的一个十分重要的因素，感知质量作为内生潜在变量无法直接测量，本文以“重点改善”的四个指标为观测变量来衡量感知质量，故感知质量的观测变量包括四个：社会问答平台答案质量的专业性、权威性、客观公正性和完整性。

（2）用户期望质量，即重要性期望感知质量，指用户根据自身的学习、科研需要和过去使用社会问答平台的经历，对其希望社会问答平台答案质量所能达到的一种理想状态的描述与认知。Oliver指出期望质量对用户的满意度产生直接的影响，主要是因为顾客总是习惯于一定的实际表现，而对这种习惯往往形成预期，成为满意度的评价标准。它包括两个方面：一是用户根据自身需求，希望能满足需求而对质量的期望；二是用户根据过去的使用经验而产生的质量期望。重要性期望感知质量作为内生潜在变量无法直接测量，本文以“重点改善”的四个指标为观测变量来衡量感知质量，故感知质量的观测变量包括四个：社会问答平台答案质量的专业性期望质量、权威性期望质量、客观公正期望质量和完整性期望质量。

（3）感知价值。感知价值表示用户所获得的信息资源质量相对于其花费的成本的比值。本研究主要对象是获取社会问答平台答案信息资源的用户，其花费的主要成本是付出的努力成本，包括时间和精力。因此本文的感知价值的观测变量包括两个：相对于所获取的信息资源质量的努力成本（感知价值一）和相对于努力成本所获取的信息资源质量（感知价值二）。

（4）用户满意度。用户的满意度主要是指用户在使用社会问答平台中的相关信息资源后对其整体的满意度进行评价。用户满意度作为潜在内生变量，其测量的指标主要包括三个方面，即用户对信息资源质量总体的满意程度、相对于用户信息需求的满意度和相对于用户期望的满意度。

（5）持续使用。持续使用是指用户在结合对社会问答平台信息源质量满意度认知的基础上决定是否继续使用社会问答平台中的信息资源，用户持续使用意愿受用户总体满意度的直接影响。持续使用作为潜在内生变量，其测量的主要指标包括两个方面：第一是用户是否还会继续使用社会问答平台来满足自身的信息需求；第二是当用户满足自身信息需求所花费的时间和精力增加时，是否还继续使用该社会问答平台。

本文主要是使用结构方程模型的方法，通过验证性因素分析来研究“重点改善”区域的相关指标对用户对社会问答平台答案质量的满意度感知与持续使用意愿的影响（见图1）。其中矩形方框代表的是观测变量，椭圆形代表潜在内生变量，且潜在变量之间由加粗有向线表示二者之间的因果关系，假设潜在变量之间存在正向的因果关系。

3 模型验证

本文以社会问答平台使用者为研究对象，问卷调查包括三个方面：第一，根据用户近三个月使用社会问答平台的经历，对答案质量进行评价；第二，根据用户学习和科研情况，对社会问答平台答案质量的期望进行评价；第三，根据用户使用社会问答平台的经历，对其答案质量以及总体感知进行评价。

3.1 感知质量与期望质量的信度和效度检验

通过上述研究表明，“专业性”“权威性”“客观公正性”和“完整性”是社会问答平台重点改善的要点，基于这四种测量指标构建用户满意度模型的感知质量与期望质量的测量指标。为了保证该测量工具的有效性，在进行正式调查前对感知质量与期望质量的信度和效度进行检验（见表2），本文采用预调查的方式，前期共发放问卷100份，回收有效问卷86份。

从检验数据可知，感知质量与期望质量的Cronbach α值均大于0.7，且各题项的项已删除Cronbach α值小于总体值，说明变量之间具有良好的一致性。将感知质量与期望质量做一个因子分析，对其KMO值设定一个大于0.7的标准，提取一个共同因素的因素负荷量，因素负荷量的值越大表示题项与共同因素间的关系愈密切，可以得到各变量的因子负荷量均大于0.45的结果（见表3），说明变量之间具有一致性，通过效度检验。因此感知质量与期望质量的信度和效度满足要求。

3.2 数据描述

后期数据的收集主要通过调查问卷的形式进行获取，其中纸质问卷200份，共收回195份，有效问卷186份；网络问卷315份，收回283份，有效问卷数268份，获得总问卷数为454份，有效率为88.2%。调查对象在学科的分布上较为平均，其中文科背景的被调查者235人，理科背景的219人各占总数的51.8%和48.2%；在知识层次上，本科学生的数量与硕士及硕士以上的人数基本相等，各占总数的53.5%和46.5%。且被调查的用户超过50%使用社会问答平台的年限在两年以上。由此可以得出，被调查者对于社会问答平台答案质量的评价能在一定程度上反映用户对资源质量的认知。

3.3 数据的信度与效度检验

在对全部问卷数据进行分析之前，需要对总体数据进行信度和效度检验，量表只有通过了信度和效度检验，其所测数据才具有可靠性和有效性。信度指问卷具有稳定性和一致性，本研究利用SPSS19.0软件对问卷内容的15个观测变量分组进行内在一致性分析，内在一致性分析往往用Cronbach α值来衡量。每组的Cronbach α值均大于0.7，说明变量具有良好的内部一致性（见表4）。

表4 每组观测变量的信度检验

在效度检验中，本研究主要采用建构效度，即因子分析法进行效度检验。在进行因子分析前先计算两组变量的KMO值，以确定样本是否进行因子分析。KMO检验值为0.912，大于给定的0.7的标准，表明其两组数据适合进行因子分析。

成本矩阵中显示了提取一个共同因素的因素负荷量，因素负荷量的值越大表示题项与共同因素间的关系愈密切，各变量的因子负荷量大于0.45，说明变量之间具有一致性，通过效度检验（见表5）。

表5 成分矩阵

3.4 模型检验

本文采用结构方程模型（Structural Equation Modeling， SEM）对上文的概念模型进行验证，SEM是一种理论模型检定的统计方法，用来检定关于观测变量和潜变量之间假设关系的一种多重变量统计的实证分析方法，即以所收集的数据来检定基于理论所建立的假设模型。利用AMOS7.0构建基于“重点区域”相关指标的用户满意度的概念模型图，经过多次修正模型最终得到通过验证的概念模型图（见图2）。

（1）模型适配度检验。由图2右下方整体模型适配度描述可知，该模型的卡方值为88.771，P=0.87>0.05，未达到显著水平，接受虚无假设，表示理论模型和实际观察数据相适配。但是卡方值易受到样本数大小的影响，因此也考察其他适配度的统计量（见表6）。由表中数据可知指标均达到适配标准，因此可以认定该模型可以很好的拟合样本数据。

（2）模型标准化路径系数分析。图2中的数值表示的是潜在变量间以及潜在变量与观测变量的标准化回归系数。潜在变量之间的标准化回归系数表示变量间的相关关系，数值的大小表示因变量对果变量的影响因素大小，本文在概念模型构建阶段的假设，即潜在变量之间的因果关系假设成立。潜在变量与观测变量的标准化回归系数为因素负荷量，因素负荷量的平方值为潜在变量对观测变量的解释变异量，因素负荷量越大，表示潜在变量的观测变量的个别信任度较好。图中15个观测变量对其潜在变量的因素负荷量均在0.61～0.97之间，表示观测变量能较好地反映潜在变量的特征。

4 模型数据分析

本文在文献[36]的基础上，以社会问答平台答案质量“重点改善”区域的四个相关指标为基础，研究用户对社会问答平台答案质量的期望感知和绩效感知与用户的总体满意度以及持续使用的相关关系。通过图2用户满意度模型的标准化系数图以及变量间的相关关系可知：

（1）用户期望感知质量作为外生潜在变量，对绩效感知质量、感知价值和用户满意度有着直接的影响关系。用户期望感知质量对绩效感知质量的影响（0.373）大于对感知价值（0.232）和用户满意度（0.151）的影响。原因在于用户衡量绩效感知质量时，习惯于用期望质量与其相比较，因此对其影响较大。感知价值受到期望感知质量和绩效感知质量的影响，而后者（0.622）对感知价值的影响要明显大于前者（0.232）。感知价值的观测变量包括相对于花费成本所获得答案的质量和相对于获得答案的质量所花费的成本，两者都是将花费的成本与实际获得的答案质量即绩效感知质量进行比较，因此绩效感知质量相对于期望质量对其影响度更大。

（2）用户满意度受到期望质量、绩效质量和感知价值三个潜在变量的影响。感知价值（0.486）对用户满意度的影响高于绩效感知质量（0.402）和期望质量（0.151），表明在质量满意度的方面，用户更加倾向于从价值的角度去衡量，同时问答平台答案质量的绩效质量也是影响用户最终满意度的重要方面，其也通过对感知价值的影响来间接的影响用户的总体满意度。而期望质量对用户满意度也产生影响，但是影响效果有限，原因在于用户对社会问答平台答案质量的总体满意度主要来源于问答平台答案使用效果后的感知评价，而期望质量大多作为用户感知答案质量的评价标准，因此其对总体满意度影响相对较小。

（3）持续使用潜在变量受到满意度潜在变量的直接影响，满意度对待续使用的直接效果值为0.998，表明用户对社会问答平台的满意程度决定了用户是否会持续使用社会问答平台的信息资源，用户的满意度越大，持续使用社会问答平台信息源的可能性也就越高。对于持续使用变量的两个观测变量，即用户是否会继续使用社会问答平台以满足自身信息需求（持续使用一）和用户所花费的成本增加时用户是否还会继续使用该信息资源，从两者路径系数的因素负荷量来看，用户会持续使用社会问答平台信息资源来满足自身的信息需求，但是当所花费的时间和精力出现变化时，用户继续使用该信息资源的意愿就会有所变化。

5 讨论与建议

（1）本文以“重点改善”区域的四个指标为期望感知质量与绩效感知质量的观测变量，来研究这些指标与用户对社会问答平台的满意度以及是否会持续使用该信息资源的相关关系。通过上面分析得出，用户对社会问答平台答案质量的期望价值与绩效感知价值之间存在差异，且这种不一致性也对用户关于问答平台的总体满意度产生直接性的影响，而满意度的大小在很大程度上决定了用户是否会继续使用社会问答平台的信息资源。说明提高“重点改善”区域的相关指标一方面对于满足用户对相关质量标准的期望具有十分重要的作用，同时通过改善相关指标来提升用户对社会问答平台的总体满意度以及将这些满意度转化为用户持续使用该信息资源的动力具有十分重要的意义。

（2）用户持续使用社会问答对社会问答平台答案质量的满意度受到用户期望质量、绩效感知质量和感知价值三者的正向影响。其中用户的感知价值与用户的绩效感知质量是影响用户满意度最重要的两个潜在变量。这种显著的影响关系为提高用户的满意度提供了相关的思路。第一，着重提高社会问答平台答案质量，特别要重视“重点改善”区域相关指标的改善，从而提高用户的满意度，促使用户持续使用社会问答平台资源；第二，优化社会问答平台的用户服务与用户体验，节省用户使用社会问答平台资源的时间和精力，提高用户获得高质量信息的性价比，从而提供用户满意度，间接影响用户持续使用的意愿，同时持续使用潜在变量的“持续使用二”观测变量，也表明了当用户在只用社会问答平台所花费的成本变化时，其使用意愿也会发生相应的变化。

参考文献：

[1] Shah C，Oh S，Oh J S.Research agenda for social Q&A;[J].Library & Information Science Research， 2009，31（4）：205-209.

[2] 毛波，尤雯雯. 虚拟社区成员分类模型[J].清华大学学报（自然科学版）2006（S1）：1069-1073.

[3] 王伟军，甘春梅.Web2.0信息资源管理[M].北京：科学出版社，2011.

[4] 张中峰，李秋丹.社区问答系统研究综述[J].计算机科学，2010，37（11）：19-23.

[5] Gazan R.Seekers，sloths and social reference：Homework questions submitted to a question-answering community[J]. New Review of Hypermedia and Multimedia， 2007， 13（2）： 239-248.

[6] Chen L，Nayak R. Expertise analysis in a question answer portal for author ranking[C].Web Intelligence and Intelligent Agent Technology， 2008. WI-IAT'08. IEEE/WIC/ACM International Conference on.IEEE，2008：134-140.

[7] Jurczyk P，Agichtein E.Discovering authorities in question answer communities by using link analysis[C].Proceedings of the sixteenth ACM conference on Conference on information and knowledge management.ACM，2007：919-922.

[8] Jurczyk P，Agichtein E.Hits on question answer portals：exploration of link analysis for author ranking[C].Proceedings of the 30th annual international ACM SIGIR conference on Research and development in information retrieval. ACM， 2007： 845-846.

[9] Zhou G，Lai S，Liu K，et al.Topic-sensitive probabilistic model for expert finding in question answer communities[C].Proceedings of the 21st ACM international conference on Information and knowledge management. ACM， 2012： 1662-1666.

[10] Raban D R. Self‐presentation and the value of information in Q&A; websites[J]. Journal of the American society for information science and technology， 2009， 60（12）： 2465-2473.

[11] Raban D，Harper F. Motivations for answering questions online[J].New media and innovative technologies， 2008， 73.

[12] Nam K K，Ackerman M S， Adamic L A. Questions in， knowledge in？：a study of naver's question answering community[C].Proceedings of the SIGCHI conference on human factors in computing systems. ACM， 2009： 779-788.

[13] Oh S.The characteristics and motivations of health answerers for sharing information， knowledge， and experiences in online environments[J]. Journal of the American Society for Information Science and Technology， 2012， 63（3）： 543-557.

[14] 王宝勋.面向网络社区问答对的语义挖掘研究[D]. 哈尔滨：哈尔滨工业大学， 2013.

[15] Jeon J， Croft W B， Lee J H. Finding similar questions in large question and answer archives[C].CIKM 05. New York， NY， USA： ACM， 2005：84-90.

[16] Soricut R， Brill E. Automatic question answering using the web： Beyond theFactoid[J].Inf. Retr.， 2006， 9（2）：191–206.

[17] Ignatova K，Bernhard D， Gurevych I.Generating high quality questions from low quality questions[C].Proceedings of the Workshop on the Question Generation Shared Task and Evaluation Challenge，（NSF， Arlington， VA）.2008.

[18] Zhao S，Wang H，Li C，et al. Automatically Generating Questions from Queries for Community-based Question Answering[C].IJCNLP，2011：929-937.

[19] Liu Y，Li S，Cao Y，et al. Understanding and summarizing answers in community-based question answering services[C].Proceedings of the 22nd International Conference on Computational Linguistics-Volume 1. Association for Computational Linguistics，2008：497-504.

[20] Tomasoni M， Huang M. Metadata-aware measures for answer summarization in community Question Answering[C].Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics. Association for Computational Linguistics， 2010：760-769.

[21] Ignatova K，Toprak C，Bernhard D，et al. Annotating question types in social Q&A; sites[C].Tagungsband des GSCL Symposiums ‘Sprachtechnologie und eHumanities，2009：44-49.

[22] Harper F M，Weinberg J，Logie J，et al.Question types in social Q&A; sites[J].First Monday，2010，15（7）.

[23] Pomerantz J.A linguistic analysis of question taxonomies[J].Journal of the American Society for Information Science and

Technology，2005， 56（7）：715-728.

[24] Wu H，Wu W，Zhou M，etc.Improving search relevance for short queries in community question answering[C].Proceedings of the 7th ACM international conference on Web search and data mining.ACM，2014：43-52.

[25] Cao X，Cong G，Cui B，et al.The use of categorization information in language models for question retrieval[C].Proceedings of the 18th ACM conference on Information and knowledge management.ACM，2009：265-274.

[26] Ji Z，Xu F，Wang B.A category-integrated language model for question retrieval in community question answering[M].Information Retrieval Technology. Springer Berlin Heidelberg， 2012： 14-25.

[27] Xu F，Ji Z，Wang B.Dual role model for question recommendation in community question answering[C].Proceedings of the 35th international ACM SIGIR conference on Research and development in information retrieval. ACM， 2012：771-780.

[28] Guo J，Xu S，Bao S，et al.Tapping on the potential of q&a; community by recommending answer providers[C].Proceedings of the 17th ACM conference on Information and knowledge management.ACM，2008：921-930.

[29] Zhou T C，Lyu M R，King I.A classification-based approach to question routing in community question answering[C].Proceedings of the 21st international conference companion on World Wide Web.ACM，2012：783-790.

[30] Chen Y， HO T H U A， KIM Y M I.Knowledge market design：A field experiment at Google Answers[J].Journal of Public Economic Theory， 2010， 12（4）： 641-664.

[31] Jeon G Y J，Kim Y M，Chen Y.Re-examining price as a predictor of answer quality in an online Q&A; site[C].Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. ACM，2010：325-328.

[32] Zhu Z，Bernhard D，Gurevych I.A Multi-Dimensional model for assessing the quality of answers in social Q&A; sites[J].Technische Universit？覿t Ukp Lab，2009：264-265.

[33] Jeon J， Croft W B， Lee J H， et al. A framework to predict the quality of answers with non-textual f eatures[C].Proceedings of the 29th annual international ACM SIGIR conference on Research and development in information retrieval.ACM，2006： 228-235.

[34] Agichtein E，Castillo C，Donato D， et al. Finding high-quality content in social media[C].Proceedings of the 2008 International Conference on Web Search and Data Mining.ACM，2008：183-194.

[35] Shah C，Pomerantz J.Evaluating and predicting answer quality in community QA[C].Proceedings of the 33rd international ACM SIGIR conference on Research and development in information retrieval.ACM，2010：411-418.

[36] Luo Y，Li X，Jiang Y.Research on Cognition of Answer Quality of Social Q&A; Sites Based on Analysis of Perceptions of User Expectations[J].Geomatics and Information Science of Wuhan University，2014，39（10）：72-77.

[37] 莫祖英， 马费成. 数据库信息资源内容质量用户满意度模型及实证研究[J].中国图书馆学报，2013 （2）：85-97.

[38] 廖颖林. 顾客满意度指数测评方法及其应用研究[M].上海：上海财经大学出版社，2008.