信息系统成功模型的荟萃分析
——基于我国十年研究文献*
2019-03-20黄剑锋
韩 啸,黄剑锋
0 引言
随着工作、生活中信息技术/信息系统的应用越来越多,如何对信息技术/信息系统的使用效益进行评估成为了学界和业界关注的热点问题[1]。在学者们不断努力下,一些评估模型被提出,如技术接受模型、整合技术接受模型、期望确认模型和信息系统成功模型等。其中,学者DeLone和Mclean所建构的信息系统成功模型(以下简称D&M模型)是被信息系统评价研究参考最多的理论模型[2],被称为最具里程碑意义的模型[3]。2004年,国内学者开始运用D&M模型开展研究,在之后的十几年间该模型的应用范围迅速扩散,从企业ERP、图书馆、政府网站到团购网站与社交媒体等。不过,国内基于D&M模型进行应用研究时,存在着一些差异,甚至不断出现与D&M模型建构的变量关系不一致、甚至矛盾的结论[4-6],例如针对社交媒体的研究显示,信息质量、系统质量与满意度之间不存在相关关系[6];有关电子政务的研究发现信息质量、系统质量与使用意愿之间没有相关关系[7]。这些不一致的研究结论不仅造成了认识上的分歧,也对D&M模型的有效性和变量关系的稳定性提出了质疑,不利于后续研究的深化。荟萃分析作为对实证研究文献进行综述的一种方法,可将独立的研究结果进行整合形成一致性的研究结论,得出客观评价结果,解决争议性议题,实现从个别结论到一般结论的科学归纳[8-9]。自70年代荟萃分析法被提出后,已在医学、心理学、教育学、管理学、经济学等领域广泛应用,被公认为是社会科学领域最常用的定量合成方法[10]。鉴于此,本文采用荟萃分析方法,整合国内涉及D&M模型的所有定量研究,合并相关系数,计算Q值、效应值和失效安全系数以检验模型的有效性和变量关系的稳定性,剖析和探讨当下研究结论存在不一致的原因,为后续研究提供经验证据。
1 文献综述
在信息系统研究的早期,学界广泛使用计划行为理论(TPB)和技术接受模型(TAM)等去解释为什么用户更容易采纳新技术的原因。尽管采纳是实现信息系统成功的必要前提,但不能将用户采纳等同于系统成功。由于影响信息系统成功因素的复杂性、相互依赖性和多维性,学界缺乏对信息系统成功的系统研究[11]。DeLone和McLean受到信息可分为技术层(Technical)、语义层(Semantic)、效用层(Effectiveness)的启示[12],把“信息系统成功”这个概念划分为6个变量(技术层:系统质量;语义层:信息质量;效用层:使用、用户满意、个人影响和组织影响)[1],通过对比信息系统研究领域最权威的7种期刊在1981-1987年期间发表的关于影响信息系统成功的论文,证实了信息系统成功可以使用这相互作用的6个变量来进行诠释[13],据此创建了第一代D&M模型。详见图1。
图1 第一代D&M信息系统成功模型(1992)
第一代模型中,系统质量是指信息系统运行时表现出的稳定性、易用性和响应性等;信息质量是通过信息系统输出信息的完整性、时效性、准确性等因素来衡量;使用是指用户对系统的使用情况,例如使用时间、频率以及对系统的依赖度;满意度指用户使用信息系统后的自身感受,是用户对信息系统最直接的评价和决定是否使用该信息系统的重要变量[14]。个人影响是指员工使用信息系统后工作效率得到提高、决策质量获得提升;组织影响涉及的内容较多,有生产效率、产品质量、竞争优势等,是信息系统成功的最终目标。但由于很难将组织影响与其他因素进行很好的分离,所以学界避免对组织影响进行直接测量[15]。
自1992年第一代信息系统成功模型提出后,学界对D&M模型进行了大量实证研究,这些研究中有的变量关系显著,而有的变量关系则不显著[3],例如使用会对满意度产生正向影响,但满意度并不一定会对使用产生正向影响;还有研究指出初始模型忽略了服务质量对信息系统成功的影响,在未来研究需要补充对该变量的评估[14];以及使用信息系统对个人和组织所产生的影响可能是正向的也可能是负向的,初始模型中假定使用信息系统产生的影响为正向,太过片面。为了回应学界的批评和建议,提高模型的解释度,DeLone和McLean对1993-2002年期间有关D&M模型研究的全部论文进行分析后,更新初始D&M模型,提出第二代模型(见图2)。更新后的D&M模型包括7个变量,12组变量关系,新增加变量“服务质量”和“使用意愿”,将“个人影响”和“组织影响”合并成为“净利益”,并且“净利益”正向影响“使用意愿”和“满意度”。
第二代模型中7个变量的概念内涵如下:(1)系统质量,是针对信息系统自身特征的测度,如易用性、灵活性、可靠性以及容易操作、系统功能直观等;(2)信息质量,包含信息系统输出的理想特点,即相关性、可理解性、准确性、简明性、完整性、及时性和有用性;(3)服务质量,指用户从信息系统部门和信息技术支持人员那里获得的帮助质量,如响应力、准确性、技术能力和同理心;(4)使用,即员工和客户利用信息系统能力的程度和方式,如使用数量、使用频率、使用性质、使用适当性、使用范围和使用目的;(5)满意度,是指用户对使用信息系统、服务支持的满意程度;(6)使用意愿,指个人对使用信息系统的态度,相比利用行为,更适用于因果模型,并且它不像“使用”那样存在多重含义;(7)净收益,指信息系统在多大程度上为个人、团体、组织实现目标做出的贡献,如:改善决策、提高效率、增加售量、降低成本和经济发展等[16-17]。
图2 第二代D&M信息系统成功模型(2003)
第二代D&M模型自2004年起被国内学界运用于具体的实证研究中[18],在不同领域进行了广泛应用,如网络教育、商业、网络社区、政府信息化等。为勾勒出国内研究现状,笔者根据两项标准,即发表时间与下载量,选择了10篇代表性文献来介绍D&M模型的应用情况,参见表1。通过表1,可以了解这些研究涉及的背景、样本量以及D&M模型中变量之间的显著性关系。
表1 我国D&M信息系统成功模型的部分研究情况
周炜[3]通过对企业ERP系统使用情况的考察,发现系统质量、服务质量对使用意愿具有显著正向作用,信息质量不会对使用意愿产生影响;信息质量、服务质量显著正向影响用户满意度,系统质量与满意度之间没有相关关系;使用与满意度分别正向影响用户的净收益。在信息检索研究领域中,成颖[4]通过929份问卷对所构建的学术信息检索系统成功模型进行实证检验发现,系统质量、信息质量对满意度具有显著正向影响,信息质量、系统质量和满意度对使用意愿具有显著正向影响,但服务质量不会对满意度产生影响,会对使用意愿产生负向影响。武海东[19]的研究则发现,系统质量、信息质量和服务质量虽然不会对检索系统的使用意愿产生正向影响,但是会显著正向影响用户的满意度,满意度对净收益会产生显著正向影响。
在移动商务服务方面,张冕[5]的研究发现,信息质量正向影响用户使用意愿与满意度,系统质量与服务质量对用户使用意愿不会产生显著影响,服务质量与满意度之间具有显著正向影响,系统质量对满意度的作用并不显著,满意度越高用户的使用意愿越强。项玥[20]针对电子地图用户行为的调查发现,用户满意度和使用意愿均会受到信息质量和系统质量的正向影响,满意度正向影响用户的使用意愿。庞咏[21]通过发放190份问卷调查安卓应用商店中用户行为的影响因素后发现,用户满意度受到信息质量、服务质量的正向影响,系统质量对满意度的影响不显著,满意度影响用户的使用意愿。
在关于图书馆信息系统的研究中,谢佳琳和张晋朝[22]通过分析高校图书馆用户行为,发现系统质量、信息质量和服务质量对用户的使用意愿产生显著正向影响,满意度正向影响用户的使用意愿。李浩君和冉金亭[23]对235名图书馆服务系统的用户进行调查分析后发现,移动图书馆服务系统的信息质量、系统质量对用户系统使用和满意度均具有正向影响,服务质量对用户使用和满意度的假设没有通过检验;用户对图书馆系统的使用和满意度会对净收益产生显著正向影响。
在电子政务的相关研究中,吕怀伟[24]通过问卷收集数据,对G2C模式下的电子政务成功因素进行了评价,研究证实系统质量、信息质量和服务质量对用户使用和满意度均有显著正向影响,用户使用和满意度对净收益有显著正向影响,但使用对用户满意度之间的关系没有通过检验。曾星[7]在对影响电子政务成功的因素研究中发现,信息质量、系统质量和服务质量都会显著正向影响用户满意度,满意度与服务质量会正向影响使用意愿,而信息质量和系统质量不会对使用意愿产生影响。
通过对上述研究的比较分析,可发现基于中国情境下的D&M模型研究结果呈现出不一致性,一些研究所证实的变量关系却被另一些研究所否定,模型建构的变量关系是否有效及适用会对研究发现造成直接影响,这些彼此矛盾的结论会给研究者们造成不少困惑,不禁质疑D&M模型是否有效?所建构的变量关系是否稳定?是否适用于中国情境?针对这些问题,需要一个能整合多项研究发现、有效降低甚至排除单一研究结果中存在的测量误差和抽样误差[25]、对彼此矛盾的研究结论进行客观判断的循证分析方法。荟萃分析作为循证分析最重要的方法[26],具有“客观量化标准、整合不同结论、提高统计效度和获得新发现”等方面的优势[26]。Glass[27]在20世纪70年代首次提出荟萃分析的概念和研究方法后,不同研究领域的学者对该方法进行完善,应用日渐成熟。近年来,荟萃分析法在图书情报领域的运用呈现快速上升趋势,相关研究论文不断发表在国内外高水平期刊上。表明荟萃分析法作为一个成熟的研究方法,其科学性、实践性已被学界广泛接受、认可。鉴于此,本文选择荟萃分析作为研究方法,针对D&M模型中变量关系的稳定性展开研究。回应国内研究发现的不一致,分析其中存在差异的原因,以期深化认识、推进未来研究。
2 研究设计
参考现有研究[28-29],结合研究目的,本研究的具体步骤为:(1)选择研究对象,确定检索词,开始检索文献;(2)根据文献纳入标准,筛选文献;(3)逐篇阅读文献,提取数据;(4)进行计算分析;(5)撰写分析结论。
2.1 研究文献的选择
笔者选择全文信息量规模最大的文献数据库:中国知网(CNKI)作为文献检索数据来源,为最大限度地将国内D&M模型研究文献检索出来,进行了多种检索方案的尝试,最终确定“信息系统成功模型”或“D&M模型”或“Information Systems success model”或“D&M-ISSM”为检索主题进行文献检索得到的文献数量最多,即153篇。在确定文献纳入标准上,笔者参考PRISMA标准,即:(1)研究必须是定量研究;(2)研究变量有采纳意愿或采纳意向;(3)论文报告了研究模型的相关矩阵或可以转换为相关系数的其他数值;(4)报告了样本量;(5)至少测试了原始或修正模型的两个变量关系[30-31]。针对最初检索发现的153篇论文对照文献纳入标准进行筛选,排除重复、不符合纳入条件的文献,最终获得45篇论文。笔者对分析样本进行全文阅读,提取作者、发表年份、样本量、分析方法、相关系数以及系统属性等内容进行编码,为后面分析提供基础。
2.2 数据转换
进行荟萃分析前,需要将不同的研究结果转换为效应值,使研究者能够进行综合比较。计算效应值是荟萃分析的核心步骤,因为它代表着标准化的度量指标,体现变量关系的强度和方向,即效应值为正,变量关系为正相关;效应值越高表明变量关系越强,变量关系越强则反映变量关系的稳定性越好。本文采用皮尔森相关系数r作为效应值的度量数据,在45篇研究样本中,71.11%(32篇)的研究报告了相关系数,另外28.89%(13篇)研究报告的是T值或Beta系数,参考转换公式,将其进行整合计算[32]。
基础数据整理完毕后,开展进一步分析。首先,计算Q值,进行同质性检验,观察同质性检验结果的显著性水平,判定是否需要讨论调节变量。然后,将每个研究的皮尔森相关系数r转化为Fisher’s Z,获得综合相关系数,以便各研究之间能够综合比较大小;其后,进行Z检验,评估Zr的加权平均效用值的统计意义;最后,计算失效安全系数,考察需要增加多少篇未出版或者未达显著性的研究才能推翻荟萃分析的显著效应值,以此检验荟萃分析结果的稳定性。
3 数据分析与研究发现
3.1 描述性分析
统计样本中,D&M模型的12组变量关系的研究数量、相关数量、P值范围以及样本量等数值,共得到210个相关系数,54186个样本。但针对“净收益-使用意愿”(NB-IU)、“净收益-满意度”(NB-S)这两组变量关系,没有一篇论文报告了它们的相关系数或其他数值。Delone和McLean的研究指出现有研究很少对完整模型进行讨论,更多的是选择其中某些变量展开分析[33]。因此,荟萃分析只针对其余10组变量关系(见表2)。从表2可知,在D&M模型的10组变量关系中,IQ-IU、SyQ-IU、SeQ-IU、SeQ-S的P值跨度较大且出现了负相关,这点与原模型的假设相矛盾;从样本数量的统计可知,最小样本量为102名受访者,最大的有929名受访者,样本总量最高的变量关系是SyQ-S,11066人;最低的是U-S,770人。所有研究变量的平均样本量为5418名受访者,说明10组变量关系中调查样本的人数差距较大。
表2 变量关系的描述性统计
3.2 同质性检验与调节变量分析
同质性检验的目的在于判定所收集到的研究效果值是否属于相同的母群,即各项研究间所显示的差异源自同一母群的抽样变动。如同质性检验的结果未达显著,即表示可直接将这些效果值合并以求得变量关系的效应值与计算效应值的95%置信区间;如同质性检验结果达到显著,即表示这些研究并非估计相同的母群,或有其他调节变量产生了影响,需要进一步分析原因。笔者通过对模型中的变量关系进行同质性检验(见表3),发现10组变量关系均未能通过同质性检验,以“信息质量-使用意愿”为例进行同质性检验结果说明,Q值=583.09(P=0.000),I2=97.60%(>75%),Tau2=0.179(>0.04),说明具有显著异质性,需要进一步分析是否受到调节变量的影响。
表3 D&M模型中变量关系的同质性检验结果
为了检验调节变量对模型变量关系的影响,本文借鉴已有研究[34]并根据样本特征,选择使用层次(个人/组织)、系统属性(盈利/非盈利)、被试类型(学生/非学生)这三个因素对10组变量关系的调节效应进行随机模型分析,由于使用-满意度,使用-净收益的研究数量过少,结果无法进行计算,未纳入表格。当Q值的显著性<0.1时,则可以判定检验的变量关系受到调节变量的影响,如表4内容显示,信息质量-使用意愿、信息质量-满意度、系统质量-满意度、服务质量-使用意愿、满意度-使用意愿、满意度-净收益受到调节变量的显著影响,但调节变量不会对系统质量-使用意愿,服务质量-满意度产生显著影响;参照根据点估计的结果进行具体说明,例如在个人使用层次背景下,信息质量与使用意愿之间有着高相关(r=0.545),在组织使用层次背景下,两者之间有着低程度相关(r=0.136);当系统属性为盈利时,服务质量与使用意愿之间具有中等相关(r=0.467),在非盈利背景下,两者呈现低相关(r=0.160)。
表4 调节变量对变量关系的影响结果
3.3 计算效应值与失效安全系数
在进行同质性检验和调节变量分析后,参考Hunter和Schmidt研究中所使用的公式[34]进行效应值计算,表5给出了10组变量关系的计算值。效应值从高到低依次为:满意度-使用意愿(0.523)、满意度-净收益(0.509)、信息质量-使用意愿(0.443)、系统质量-使用意愿(0.421)、系统质量-满意度(0.383)、使用-满意度(0.382)、信息质量-满意度(0.375)、使用-净收益(0.334)、服务质量-使用意愿(0.250)、服务质量-满意度(0.237)。随后进行了失效安全系数检验,该数值越大说明研究结果越稳定,被推翻的可能性越小,反之,则说明研究结果存在着被推翻的可能性。根据失效安全系数(FSN)计算公式[35]进行失效安全系数的计算,表5显示10组变量关系均通过失效安全系数检验,信息质量-使用意愿的显著相关关系,需要增加85项额外研究才会消失,信息质量-满意度的显著相关关系,需要增加210项额外研究才会消失。
表5 变量关系的效应值和失效安全系数
根据J.Cohen的定义,效应值取值大于或等于0.1且小于0.3时为低;当取值大于或等于0.3且小于0.5时,效应值为中;当取值大于或等于0.5时,效应值为高[36]。透过表5可知,满意度-使用意愿、满意度-净收益的效应值为高,服务质量-使用意愿和服务质量-满意度的效应值为低,其余变量关系的效应值为中等水平。且所有变量关系的效应值都通过了失效安全系数的检验,在理论层面上证实了D&M模型所提出的假设(图3),但部分变量关系的失效安全系数较低,如使用-满意度、使用-净收益与满意度-净收益。随着研究数量的增加,可能存在效应值降低的情况。
图3 D&M信息系统成功模型中变量关系的效应值
4 研究结论
本文针对2007-2017年间国内的D&M模型实证研究进行荟萃分析,对模型中10组变量关系进行同质性检验、效应值和失效安全系数的计算,以检测该模型的有效性和变量关系的稳定性。研究发现,模型中的每组变量关系均为正向,符合原始模型假设,模型整体通过有效性检验。各组变量关系的稳定性存在着差异,具体而言:满意度-使用意愿、满意度-净收益两组变量关系的效应值得分为高,具有较好的稳定性;信息质量-使用意愿、信息质量-满意度、系统质量-使用意愿、系统质量-满意度、使用-满意度和使用-净收益这六组变量关系的效应值为中等水平,稳定性尚可;另外,服务质量-使用意愿、服务质量-满意度的效应值得分低,稳定性弱。
据以往文献来看,对服务质量-使用意愿、服务质量-满意度两组变量关系的研究充满着争议[4-6][23]。这两组变量关系的效应值低,表明稳定性不强,且存在被推翻的可能。这点发现与2008年Stacie,DeLone和McLean的荟萃分析中对服务质量-使用意愿、服务质量-满意度两组变量关系的判定一致[11]。
据此,笔者综合已有研究发现,提出了几点可能的原因:
(1)变量关系之间存在着中介变量或调节变量的影响。一项针对社交媒体的研究指出,服务质量不会直接影响受众的满意度,而是通过动机满足程度这个中介变量作用于满意度[6]。根据表4可知,服务质量-使用意愿受到调节变量系统属性和被试类型的影响,当使用具有“盈利”属性的信息系统时,服务质量对使用意愿的影响将增强;当用户为非学生时,会更加强调服务质量,使用意愿会随着服务质量的提高而增加。鉴于此,建议未来研究可重视中介变量、调节变量的影响。
(2)D&M模型是基于西方社会文化背景所发展出来的理论模型,模型中的变量关系存在着一些有待进一步探讨、分析之处,正如Sabherwal批评模型中服务质量-使用意愿、服务质量-满意度的显著相关性一直无法被有效证明[37]。现今,本文基于来自中国的研究样本,再次证实了这两组变量关系存在效应值低,缺乏稳定性等问题,为后续研究提供了经验证据。从模型发展的角度来看,这两组变量关系或成为未来D&M模型发展的突破口。
(3)来自样本的影响。关于服务质量-使用意愿、服务质量-满意度的样本量情况:最少的只有108份,最大的有929份,抽样方法较随意,缺乏科学性。众所周知,P值分析会受到样本量大小、抽样方法、样本来源等因素的影响,未来研究尤其要重视规范、科学的数据收集与分析,这是保证研究质量的关键。