创业在线教育平台评价和实证研究——以青岛市创业培训平台为例

孙　丹，王　鑫

(青岛广播电视大学，山东　青岛　266012)

随着互联网+、云计算和手机移动端的快速发展，创业教育的实施越来越多的依靠线上教育网络平台的支持。创业教育网络平台是为创业者提供线上创业知识的平台，以提供创业培训课程为主，同时提供创业动态资讯、创业测评和创业政策查询等内容。该类平台的核心特征是以学习者为中心，吸引学生在平台学习并提高学习效果是该类平台设计的主要目的。因此，一方面要提高创业教育网络平台课程内容的精准性，另一方面，还要通过内容与外观的设计，增强课程的可视化效果以及互动性。此外，创业教育网络平台的学习者主要是社会各类创业人士，包含在校大学生、小微企业主、失业人员等。该类群体的特点是学习水平参差不齐，学习时间零碎，对网络平台的易用性以及课程的普及性要求较高。

在国家“大众创业，万众创新”的号召下，针对创业教育设计的网络平台如雨后春笋般涌现，以“创业教育网络平台/网站”为关键字进行百度搜索，找到相关结果约586万个。因此，建立一个科学的线上创业教育网络平台评价模型十分有必要，一方面能帮助创业者在众多的创业教育网络平台中筛选优质网站，提高学习效率，节约宝贵时间；另一方面也能为网站运营者提供一个客观的评价结果，便于自身网站改进，从而提升网站品质，进一步推动大众创业，万众创新。

一、创业教育网络平台指标体系的建立

网站评价是评价主体根据既定的评价目标，依据科学的评价原理，运用有效的评价方法，在完善的评价制度保障下制定合理的评价标准，构建切实可行的评价指标体系，对网站进行选择和评估，以确定其特征、质量和价值。

在一般性网站评价指标方面，Abdel Fattah M，Galal Edeen G H．(2008)在评价电子政务网站时，从用户对网站服务的满意度方面出发，设计了内容、功能设计和可用性三方面指标。M.A.Storey,B.Phillips(2002)在评价以学习工具为主的网站时，提出了易用性、可视性、互动性、信息一致性等四方面指标。Hassan S,Li F(2005)在文献整理的基础上，确定了46项基础指标，可以分为七类：内容、可获得性、外观、互动性、一致性、导航性和媒体使用。

王知津，李明珍(2006)评价中文社会科学网站提出信息内容、用户服务、网站结构、技术支持和使用情况五个一级指标，设计27个二级指标。范佳佳，叶继元(2014)分析了国内外68篇网站评价的文章，总结出一种全评价的评价模式，评价目标包括网站可信度、网站易访问性、网站效用和网站可用性四个方面，以此总结的评价指标包括网站外部特征、内容、信息组织性能、网站服务情况、其他等六个方面。白银，曹梅(2011)分析了29篇教育教学网站的评价文章，总结出网站内容、设计、技术和侧重内容四方面的指标。赵文静，曹忠(2007)在进行教育网站评价时除考虑内容维度、艺术维度、技术维度和发展维度外，加入教学维度指标，将教学目标、教学方法、资源支持纳入评价范围。张凯勇(2007)首次将教材合适性、教师控制、学生控制三个指标作为教育层面的二级指标，注重对课程、教师进行评价。其余指标包括网站操作使用方便性、可及性、多媒体设计、网站基本资料、合作及互动性等。

综合来看，在评价一般网站时重点考虑的指标有网站内容、设计、技术和互动性四方面。结合创业教育网站的特点以及受教育群体的特殊性，加入教育相关内容的评价。本文将创业教育网络平台的评价指标分为内容、设计、技术支持、用户参与程度四个一级指标。其中，内容维度包含内容深度、广度、准确性、权威性和时效性五个二级指标，设计维度包含界面友好程度和版面设计两个二级指标，技术支持包含稳定性和传输速度两个二级指标，用户参与程度包含互动性和使用频率两个二级指标。此外，四个一级指标以外，创新性增加“用户感知价值”这一综合指标。具体如表一所示。

表一：创业教育网络平台评价指标

(一)内容维度

内容维度指标是对网站信息进行评价的指标。创业教育网络平台的信息以创业课程为主，因此二级指标主要针对课程的内容进行设计。具体分为内容广度、内容深度、准确性、权威性和时效性5个二级指标。

内容广度：知识及资讯内容的横向维度是否能够涵盖大多数的创业知识和创业信息，课程的设置与规划是否合理。

内容深度：重点课程内容的纵向维度是否能够深入解析，是否能够提供有内涵的知识。

准确性：知识与资讯的内容是否正确，有无错误。

权威性：内容的来源是否有公信力，主讲教师专业化程度如何。

时效性：能否及时更新课程内容，能否及时上传资讯。

(二)设计维度

设计维度是网站评价的一般性通用指标，指网站美化程度与易用性的程度。包含界面友好程度和版面设计两个二级指标。

界面友好程度：指网站界面让学习者感觉舒适，符合大众阅览习惯，操作简便，资源查找方便。

版面设计：指网站页面设计美观大方，清晰明了，体现时代性创业特征。

(三)技术支持维度

在技术层面包含稳定性和传输速度两个二级指标。

稳定性：指网站链接的信息正确，链接稳定，没有闪退现象。

传输速度：指传输速度快，链接打开速度快，不会让学习者长时间等待。

(四)用户参与程度维度

用户参与程度考察网站与学习者的互动程度，是学习者是否满意该网站的最直接体现指标。包含互动性和使用频率两个二级指标。

互动性：指网站留有讨论区，教师积极引导学习者网上讨论，并及时回复留言。

使用频率：指查找创业信息时，是否能长期使用该创业网站。以及每月使用该网站的频次。

(五)用户感知价值

“感知价值”是指客户对产品属性、效能以及使用结果的偏好和评价。“用户感知价值”指标主要指从使用者自身角度出发，认为产品的效能对自己的满足程度，它独立于四大一级指标之外，是一个综合考量指标。

在以往的网站评价中，仅仅是设计一套自上而下的指标体系，按指标体系打分后得到最终得分。而文章往往忽略对最终得分的分析，最终得分是否符合网站真实水平有待商榷。因此，在对创业教育网络平台网站的指标进行设计时，增加“用户感知价值”这一指标，该指标由平台使用者在做调查问卷时直接打分。设计此指标的目的是将根据指标体系得来的最终得分与用户感知价值得分相对比，以此来判断指标体系的合理性，并作为调节评价体系的依据。

二、评价方法选择和指标权重的确定

(一)评价方法选择

在确定评价指标之后，应选择合适的评价方法对网络平台进行评定。在线平台评价的方法有很多，目前使用比较多的层次分析法、网络链接分析方法、经济管理学方法、数学分析法和辅助工具五种方法，其中层次分析法和模糊综合评判方法是最为成熟，应用广泛的评价方法。

层次分析法(Analytic Hierarchy Process，简称AHP)通过指标间的两两比较，确定指标的相对重要性，从而进行指标间的优劣排序。而模糊综合评价法(Fuzzy Comprehensive Evaluation Method，简称FCE)应用模糊变换和最大隶属度原理，考虑被评价事物的各个因素，往往与层次分析法相结合，被广泛应用于定性与定量的综合评价中。本文首先采用层次分析法确定各个指标的权重，然后采用模糊综合评价进行最终结果的评定分析。

(二)指标权重的确定

本文采用Expert Choice 11.5软件对数据进行预处理和权重计算。Export Choice是专门针对AHP开发的软件，使用简单，计算准确。也可用MATLAB或Excel实现计算过程。本次邀请15位专家对权重进行比较，包括本校创业导师6位，技术开发人员2位，美工2位，网络教育专家5位。

Expert Choice将标度分为1-9，代表“同等重要”-“极度重要”。具体标度表示程度见表二。

表二：评价标度表示程度说明

专家按照标度程度进行指标间的两两比较，先对一级指标进行对比，再对各一级指标下的二级指标进行对比。用Expert Choice计算的最终的指标权重值如下表三。

表三：用Expert Choice计算指标权重数值表

总的一致性系数C.I.=0.03<0.1，各二级指标的一致性系数都小于0.1，均通过一致性检验。从权重表中可以看出，内容和设计占总权重的70%以上，其中内容占比达一半以上，说明在教育类网站中内容的重要地位,这也与以往的研究是相一致的。

(三)计算评价结果

由评价指标体系确定了模糊综合评价中的风险因素的集合，U={U1，U2，U3，U4}，与对应的一级指标是相一致的。其中各单因素子集分别为：

U1={U11，U12，U13，U14，U15}；

U2={U21，U22}；

U3={U31，U32}；

U4={U41，U42}；

与对应的二级指标是相一致的。

模糊综合评价的评判者为该教育平台的使用者，因此，风险评价集采用简单的4级评价，即V={V1，V2，V3，V4}。其中V1表示“很好”，V2表示“好”，V3表示“一般”，V4表示“不好”。模糊综合评价法的计算原理简单，可采用MATLAB或Excel来实现数据处理与最终结果的计算。

三、创业教育网络平台评价的实证研究

青岛市创业教育网络平台(http://www.touke.net.cn/)，又称头客网，是针对青岛市创业教育专门设计的线上平台。平台网站以学生为中心进行页面设计，以建构主义为基本教学原则进行课程设计，使学生积极主动的构建知识模型，为学生们提供创业教育能力与知识的交流平台、学习平台，并为学生的学习提供深入的支持与引导。

(一)调查问卷与数据处理

创业教育网络平台是以学习者为中心的网站，因此，平台的评判者确定为该平台的使用者。根据评价指标体系设计调查问卷，每个二级指标对应1～2个小问题，根据风险评价集采用4级评价，并给予选项的详细解释，以提高评价的准确性。平台从上线到完成测评历时7个月，最终收回有效调查问卷1007份。对问卷结果进行统计，并用Excel进行最终的模糊综合评价计算。统计数据与计算结果见表四。

(二)结果分析

根据最大隶属度原则，被评价对象的评价结果取决于归一化向量的最大分量。归一化后评价向量为Y1=(0.846，0.123,0.023,0.008)，最大分量为0.846，对应的评价等级为“很好”。因此，采用模糊综合评价法对青岛市创业教育网络平台的评价结果为“很好”。

另一方面，经统计，由平台使用者对的“用户感知价值”项进行评价，(“很好”，“好”，“一般”，“不好”)统计数据为(836,142,28,1)，归一化处理后Y2=(0.830,0.141,0.028,0.001)，同样根据最大隶属度原则，对应的评价等级为“很好”。因此，不论是由层次分析法与模糊综合评价法进行的评价，还是由使用者直接给出的感知评价，结果都是“很好”。由此可得，此评价体系设计与真实结果相近。

四、研究结论

在指标的确定上，参考以往文献并根据教育类网站特征进行指标设计，取决于指标设计者，可选择性较大。为了减少这种不确定性，本文采取的措施是增加一个“用户感知价值”项，将两者的结果进行对比。如果对比结果差距较大，则要重新调整指标及权重；如果差距较小，则验证了指标体系的科学性。除此方法外，在指标的设计方面，还可以采用主成分分析法进一步降低指标选择的不确定性。尽可能多的选择各种评价指标，用主成分分析法进行归因处理，根据数据处理结果得到主成分指标，作为指标体系的确定指标。

在评判者的选择上，模糊综合评价的评判者创新性的邀请了平台的使用者。这一方面符合教育类网站的特征，另一方面可以突破评判者的数量瓶颈，得到更大的样本容量。但是，单一由使用者评价会导致结果的片面性，因此，在后续的改进上，会邀请教育类、网站设计类等专家进行综合评定，以使评价结果更具权威性。

表四：模糊综合评价表

青岛市创业教育网络平台承接的是青岛市的网上创业培训，所以计划继续采用此评价体系与方法进行2017年度的评价任务，将下一期评价结果与本文结果进行差异性对比分析，以此来发现该网站的待改进部分，以提高该平台的教育水平。

参考文献：

[1]Abdel-Fattah M，Galal-Edeen G H．Towards flexible evaluation for e-government websites quality: A multi-perspective evaluation framework[C]//2008 Proceedings of the 8th European Conference on E-government．Kidmore End，2008.

[2]Hassan S, Li F．Evaluating the usability and content usefulness of web sites: A Benchmarking Approach[J].Journal of Electronic Commerce in Organizations，2005,3(2):46-67．

[3]王知津，李明珍．网站评价指标体系的构建方法与过程[J].图书与情报，2006，(03)：51-58．

[4]范佳佳，叶继元．21世纪以来网站评价研究进展与趋势[J].中国图书馆学报，2014，(02):92-106．

[5]白银，曹梅．国内教育网站评价研究概述[J].现代教育技术，2011，21(01):107-111．

[6]赵文静，曹忠．我国教育网站评价存在的问题及评价指标体系的初步确立[J].网络通讯与安全，2007，(21):727-729．