电子商务监管系统绩效评价体系研究

■ 蹇洁 刘松 张谧（重庆邮电大学经济管理学院 重庆 400065）

引言

2014年，电子商务市场全年交易额为2.79万亿，增幅高达49.7%，约占社会消费品零售总额的10.7%，毫无疑问，电子商务已成为我国发展最快、影响最广的产业之一。电子商务持续繁荣的同时，各类欺诈现象也层出不穷，电子商务欺诈不仅损害了消费者的合法权益，更阻碍了电子商务的健康发展。近年来，以工商行政总局为代表的政府管理部门从政策层面制定了相应的管理制度，并建立了一套“以网管网”的监管系统，该系统依托信息技术来进行网络搜查以及网络监管任务，实现对电子商务交易的监管以及对违法行为的处理。从试点到现在，电子商务监管系统在交易监管方面取得了一定的成效，但随着工作的深入，系统暴露出信息系统标准化与监管工作个性化不兼容、信息孤岛等问题，实际效果与理想目标之间存在的差距引起了各方的高度关注。

当前，对电子商务监管系统进行合理的、科学的、量化的评价显得十分迫切，这将有助于政府管理部门评估该系统的实施和应用效果，发现影响整个系统绩效水平的因素，进而改善系统后期建设。与此同时，学术界关于信息系统绩效评价的研究方法相对成熟，研究内容比较完善，但鲜有学者专门针对电子商务监管系统进行绩效评价研究。基于此，本文针对该系统进行了绩效评价量表开发，形成评价体系，帮助管理部门对该系统进行正确的综合评判，同时也为“以网管网”监管策略在全国的推广普及提供一定的借鉴和参考。

构成要素定义

本文所提及到的电子商务监管系统属于“服务提供者”（即为组织工作提供服务），政府管理部门管理人员是该系统的使用人员，对于该系统性能的优劣有切身体会，因此，通过用户视角来调查分析问题是一个可行的方式。并且，在基于用户视角的信息系统绩效评价领域内，D&M模型是一个具有里程碑意义的成果，它包含系统质量、信息质量、系统使用、用户满意度、个人影响和组织影响6个维度，是信息系统绩效评价的通用模型。在此基础上，结合本次研究主体的特殊性，本文针对性地借鉴D&M模型的评价方法对我国电子商务监管系统的各项指标进行评价。在政府管理部门调研的过程中，本文发现该部门已经将信息系统运用到电子商务监管工作中，系统的使用率非常高，而D&M模型的“系统使用”指标是用来评价系统用户对系统的使用频率、使用时间。所以，“系统使用”这个指标在本次研究中意义不大，我们将其剔除。剔除“系统使用”指标之后，通过“系统质量”、“信息质量”、“用户满意度”、“个人影响”和“组织影响”5个维度来对电子商务监管系统的绩效进行测量评价。系统质量、信息质量、用户满意度、个人影响和组织影响，这五个核心概念是本文研究的重点，属于构成概念。构成概念具有一定的抽象性，不能够对其直接进行测量。为了度量这些抽象概念，本文只能选择一些显性变量来对其进行间接测量。下面依次给出了这五个核心概念的定义，并根据定义将每个核心概念分解为对应的几个可观测的评价维度：

系统质量。指系统运行过程中所表现的各项特性指标，不同学者对系统质量提出了不同的评价维度。本文在众学者研究成果的基础上，结合对电子商务监管系统的调研，选定系统稳定性、系统智能性和系统安全性为系统质量维度下的子维度。

表1 电子商务监管系统绩效测量维度

表2 测量子维度与问题项

表3 电子商务监管系统绩效评价构成因子命名表

信息质量。指系统在信息的采集、处理、交换、流转以及利用方面的能力。本文选定信息搜索、信息处理、数据交换与整合、信息查询与统计、信息流转为信息质量维度下的子维度。

用户满意度。指系统使用者对信息系统的满意程度。本文选定技术满意度，环境满意度为用户满意度维度下的子维度。

个人影响。指系统应用对于政府管理部门管理者和普通工作人员在工作层面的影响。本文选定管理者工作影响和普通员工工作影响为个人影响维度下的子维度。

组织影响。指系统应用对于政府管理部门在工作绩效、组织变革、成本节支和战略地位层面的影响。本文选定组织绩效、组织变革与创新、成本节支、战略地位为组织影响维度下的子维度。

基于以上的文献梳理，形成电子商务监管系统的绩效评价测量维度（见表1）。

数据收集与数据分析

（一）数据收集

为了研究系统质量、信息质量、用户满意度、个人影响和组织影响对电子商务监管系统绩效的影响，本文通过问卷设计的方式将测量子维度表现为一组问卷问题，再通过数据分析来判断系统绩效。问卷问题将抽象化的测量子维度变得可观测，称之为观测变量或者显变量。本次研究所设计的调查问卷共包含了36个测量问题，在绩效评价测量维度的基础上，根据“量表基本上以5-9级为宜”的原则，采用李克特（Liker Scale）5分制量表设计了调查问卷，问卷问题统一采用正向提问的方式。其中，问卷问题与测量维度之间的关系如表2所示。

由于本次研究的电子商务监管系统的使用群体仅限于政府管理部门的工作人员，并且该系统正在全国进行试点工作，使用该系统的群体人数较少。因此，本次调查共发放问卷274份，回收问卷274份。其中，有效问卷259份，有效回收率达到了94.53%。在回收的259份有效问卷中，答卷者男性居多，占67%；年龄集中于中年，31-40岁的占比48%，41-50岁占比37%；学历多为大学本科，占比51%；所属单位分别为4省市工商局；工作年限集中于6-10年，占比40%；系统使用时长以6-24月为主，6-12月的占比34%，12-24月的占比39%。

问卷问题的鉴别度检验。通过鉴别度检验发现，Q1-Q5，Q9，Q13-Q20，Q22-Q26，Q28-Q29，Q31-Q36的F值均不显著，其Sig.＞0.05，通过查看EVA的t值，发现t值均显著，其Sig.＜0.05；另外，Q6-Q8，Q10-Q12，Q21，Q27和Q30的F值显著，其Sig.＜0.05，查看EVN的t值，t值均显著，其Sig.＜0.05。数据表明这些问题都具有鉴别度。

问卷问题的结构效度检验。第一次对34个量表问题进行结构效度检验后发现Q15、Q16、Q19的最大因子载荷没有显示，因此将这三个因子删除。按照结构效度判定准则，采用主成分分析法，对剩余的31个问题提取出10个因子，发现其对总方差的累积解释比重为70.523%，整体结构效度判定中KMO值为0.784，Bartlett球形检验显著水平达到1%，由此看出，该31个量表问题适合整体上进行因子分析。再将提取的10个因子进行方差最大旋转，得到31个问题的正交因子载荷矩阵，其中，31个量表问题的因子共同度均＞0.50，最大因子载荷也均为正值且＞0.50，且构成同一因子的量表问题均有相同的物理意义。

（二）数据分析

问卷问题的信度检验。在31个量表问题经过了结构效度检验的基础上，对其进行信度检验。本次信度检验的标准为：对上述31个量表问题构成的10个抽象因子进行信度检验，因子整体Cronbach α系数值≥0.60，且任意删除一个量表中的问题后，其Cronbach α系数值没有明显的提高，这样我们就判定其通过信度检验。结果显示，整体Cronbach α值的最小值为0.685，大于0.60，且删除后Cronbach α系数值没有明显提高的。因此，31个量表问题都通过了信度检验。

验证性因子分析。本文利用结构方程模型软件LISERL 8.70中的验证性因子分析进行量表问题的结构稳定性的验证，并采用X2/df、RMSEA、NNFI、GFI等指标来简要说明模型的拟合情况。其中31个项目作为观察变量（x），10个因子作为潜在变量（ξ），通过模拟，发现模型的X2/df<5，CFI和NNFI均可达到1.000，RMSEA也可达到0.000的理想状态，且90 Percent Confidence Interval for RMSEA=（0.0；0.034），也在0.1范围内，但GFI和AGFI小于0.9。由于本文变量较多，因此，从整体模型适配度的角度来说，认为模型和数据达到了可以接受的拟合程度，所以说，结构模型通过了整体模型拟合度检验。

因子的重新命名。通过前文的分析基础上，对量表测量项进行了因子命名（见表3）。

二次验证。生成量表和性能验证是两个完全不同的分析过程，二次验证能够发现量表性能是否优秀。因此，在第二次数据收集的基础上，采取量表的信度和效度来对量表的性能进行检验。在二次验证的问卷中增加了两个用于“效标效度”检验的问题：系统能够胜任对电子商务市场的监管工作、系统通过后期的优化建设，能够进一步提高应用功能和应用效果。与第一次调研的形式一样，在政府管理部门工作人员中发放网络问卷，共回收197份问卷，有效数据181份。

表4 电子商务监管系统绩效评价指标体系

在信度检验方面，本文采用Spearman相关系数验证量表的等值性，采用Cronbach α系数验证量表的内部一致性，观察结果发现，Spearman分半信度为0.721，大于0.6，说明等值性较好；10个因子的Cronbach α系数都大于0.6，说明量表内部一致性较高。在效度检验方面，运用SPSS 16.0计算变量与整体量表间的相关系数，发现相关系数（CITC）、因子内变量间相关系数大部分都大于0.6，这表明量表具有良好判别效度和收敛效度。经过计算，spearman相关系数分别为0.845和0.787，说明量表整体得分与该两题显著正相关，即量表通过了效标效度检验，性能优秀。

电子商务监管系统绩效评价指标体系的确立

通过实证分析，对电子商务监管系统绩效评价量表进行了优化。在优化的过程中，得到因子得分矩阵，通过将因子得分矩阵上的系数进行标准化，让各公共因子的总权重为整数“1”。也得到了表4中三级指标对应二级指标的权重wj。再将公共因子的贡献率除以总方差贡献率，即得到下表中二级指标对应一级指标的权重Wi。因此，就形成了电子商务监管系统绩效评价指标体系（见表4）。

结论与展望

电子商务监管系统的建设，不仅关系到消费者的合法权益，而且还直接影响到整个电子商务行业的发展。本文运用SPSS等分析软件对电子商务监管系统进行了实证研究，将电子商务监管系统绩效评价的影响因素从36个缩减到31个。提取出了系统稳定、工作支撑能力、系统安全、系统智能、组织绩效、战略地位、后台保障能力、数据流转能力、组织变革与创新、信息搜索能力等10个影响因子，最终确立了电子商务监管系统绩效评价指标体系。本次研究运用现有理论来解决实际问题，为“以网管网”在全国工商行政管理系统内普及应用提供一定的决策参考。由于调查问卷发放范围的局限性，在本量表的调查过程中仍存在一定的不足，因此量表在实际应用中还有待于进一步修正和完善。

1.国家统计局.2014年国民经济和社会发展统计公报，2015

2.人民网.国家工商总局：对网络商品交易行为监管将“以网管网”[EB/OL].http://politics.people.com.cn/GB/1027/9635862.html，2009-7-10

3.国家工商行政管理总局市场规范管理司.网络商品交易监管手册[M].新华出版社，2010.7

4.黄国涛.一种现代信息系统的评价指标体系研究[J].情报杂志.2006（6）

5.徐维祥，张全寿.从定性到定量的信息系统项目评价方法研究[J].系统工程理论与实践，2001（3）

6.Sob，C，Markus，M.L.，How IT Creates Business Value：A Process Theory Synthesis [C].Proceedings of the Sixteenth International Conference on Information Systems，Amsterdam，1995

7.袁胜军，黄立平.基于知识管理的信息系统评价研究[J].情报杂志，2007（6）

8.Delone，W.H，Mclean，E R.Information System Success：The Quest for the Dependent Variables[J].Information System Research，1992（3）

9.许振宇，郭雪松.基于用户满意的应急管理信息系统评价研究[J].情报杂志，2011（3）

10.闵庆飞.中国企业ERP系统实施关键成功因素的实证研究[D].大连理工大学，2005

11.王少君.企业资源计划（ERP）实施评价与决策优化模型研究[D].哈尔滨工业大学，2008

12.吴川.企业管理信息系统实施绩效评价研究[D].西南交通大学，2007

13.喇娟娟.城市公共安全应急管理信息系统绩效评价研究[D].西南交通大学，2009

14.章蕾.电子商务系统绩效评价方法的研究[D].合肥工业大学，2007

15.王东.信息系统概论[M].浙江大学出版社，2005

16.李艳.客户关系管理系统绩效评价指标构建的方法研究[D].合肥工业大学，2006

17.黄志忠，张娟.ERP实施、信息质量与公司绩效— 基于中国上市公司的经验证据[J].当代会计评论，2012

18.贾立双.信息系统实施后企业绩效评价研究[D].南京大学，2012

19.Bailey，J.E.，Pearson，S.W.Development of a Tool for Measuring and Analyzing Computer User Satisfaction [J].Management science（pre 1986）1983.29（5）

20.李学军，张明玉.基于AHP的物流信息系统用户满意度模糊综合评价模型[J].物流技术，2006（12）

21.张伟，刘洪伟.软件系统用户满意度分析.江苏商论，2006（9）

22.刘蓓琳.基于用户满意度的电子商务个性化推荐评价研究[J].中国物流与采购，2012（12）

23.何德华，周璇.企业会计信息系统应用满意度研究[J].中国管理信息化，2008（9）

24.Leidner D E，Elam JJ.The impact of executive information systems on organizational design，intelligence and decision making [J].Organization Science，1995.6（6）

25.王晓健，蓝海林.信息技术能力对高管决策的影响研究[J].科学学与科学技术管理，2009（11）

26.李治堂，吴贵生.信息技术对组织的影响研究综述[J].科学学研究，2009.2（26）

27.Shirley Gregor，Michael Martin.The Transformational dimension in the realization of business value from information technology [J].Journal of Strategic Information System，2006（15）

28.DeSanctis G，Gallupe B.A foundation for the study of group decision support systems[J].Management Science，1987.33（5）

29.Argyres N S.The impact of information technology on coordination:evidence from the B-2“stealth”bomber [J].Organization Science，1999.10（2）

30.申卫星，张国荣，徐明.李克特量表— 五分量表与七分量表在服务质量定量测量中的比较研究[C].首届中国质量学术论坛论文集（第一卷），2003

31.余建英，何旭宏.数据统计分析与SPSS应用[M].人民邮电出版社，2003

32.A.Parasuraman，Valarie A.Zeithaml and Leonard L.berry.Reassessment of expectation as a comparison standard in measuring service quality:implications for further research[J].Journal of marketing，1994（58）

33.周志民.品牌关系系数模型研究：一个量表开发视角[J].营销科学学报，2006.2（2）