虚拟仿真实训平台评价机制及指标体系的构建研究

唐华芳 曹蕾 王梦豪

摘要：文章针对虚拟仿真实训平台建设的情况及评价中存在的问题，提出了虚拟仿真教学平台的评价机制，为虚拟实训平台的建设提供质量保证;从教育、技术、服务、艺术四个方面进行分析，构建了虚拟仿真实训平台评价指标体系，并利用区间层次分析法（IAHP）对各指标要素的权重进行划分，对于建设优质的虚拟仿真实训平台和评价都具有重要意义。

关键词：虚拟仿真;实训平台;指标体系

中图分类号：TP393      文献标志码：A          文章编号：1673-8454（2020）04-0088-05

一、研究背景及问题

虚拟仿真实训平台是为了让学习者获得类似真实的体验，为学习者提供观察、操作、建构其中而采用虚拟现实技术仿真或虚构某些情境的学习资源，帮助学习者获得某种技能或掌握知识理论体系的规律，虚拟仿真实训平台可以部分取代真实的实训操作训练，解决实训设备不足的问题。[1]

随着虚拟现实技术的不断成熟，人们开始探索虚拟仿真技术在教育领域的应用价值。[2]2015年9月8日，教育部发布《高等职业教育创新发展行动计划（2015-2018年）》，指出“应用信息技术改造传统教学，促进泛在、移动、个性化学习方式的形成。在现场实习安排困难或危险性高的专业领域，开发替代性虚拟仿真实训系统;针对教学中难以理解的复杂结构复杂运动等，开发仿真教学软件。推广教学过程与生产过程实时互动的远程教学。”《教育信息化“十三五”规划》文件中指出“职业教育要着力用现代信息技术改造传统教学，重点解决实训教学中‘进不去、看不见、动不了、难再现的难题。”《教育信息化2.0行动计划》指出“加强职业院校、高等学校虚拟仿真实训教学环境建设，服务信息化教学需要”。在国家相关政策支持下，我国的虚拟实训平台呈现喷发式发展。虚拟仿真实验实训教学通过提供高仿真、可视化的教学内容，创设具有临场感、沉浸感和交互性的实训教学情境，能够提升受教育者的学习行为意愿，进而提高学习效果。[3]

虚拟仿真实训平台作为职业教育中开展实训教学的一个重要辅助工具，其交互性、沉浸性、构想性、扩展性用于职业教育中，能够为学员提供良好的训练体验，同时可以减少实训场所建设、实训设备购置、更新及损耗、耗材等产生的相关费用，还能避免某些危险的实践操作。但从整体情况来看，虚拟仿真實训平台尚未实现应有的效果。蒿丽萍认为这是由于：“虚拟仿真技术应用和资源建设与人才培养需求和企业发展不相符，虚拟仿真教学资源质量亟待提高。”[4] 在国家政策推动下，企业竞相开发销售虚拟仿真软件，性价比良莠不齐。[5]平台开发商与使用者之间存在严重的信息不对称，平台开发商不能为使用者提供更为切适的服务，用户无法找到更适合自己的平台，从而阻碍了虚拟实训平台的开发，也影响用户体验。因此，“要制定资源审查与评价指标体系，完善使用者网上评价和专家审查相结合的资源评价机制。”[6]

二、研究的意义与目的

1.优化平台的设计与开发

科学的资源评价是优质教育资源建设的保障，也是引导用户高效获取、使用资源的关键。[7]借助有效的评价指标体系为教育类数字化产品研发提供指导，对确保教育类数字化产品的质量和持久发展显得尤为重要。[8]评价指标体系的建立能为平台的设计与开发提供依据，有助于提高虚拟仿真实训平台的质量，为用户提供更适合、更优质的资源，进而提高用户体验，促进学习者学习。评价指标体系对平台开发具有一定的指导作用，能够明确虚拟实训平台建设所要达到的目标，从而促进优质虚拟实训平台的建设。

2.解决信息不对称

信息不对称（asymmetric information）指的是用户与虚拟实训平台开发商对有关信息的了解是有差异的，双方沟通不畅，导致用户无法获得良好的服务。虚拟实训平台评价指标体系的建立可以在平台开发商与用户之间架起沟通的桥梁，达成对平台要求的共识，促进两者之间的交流，开发出适合用户的平台，促进资源建设的应用和谐发展，提高虚拟实训平台的品质，对学习者知识与技能的学习提供支持。

3.为虚拟实训平台的选择提供依据

近年来大量虚拟实训平台不断涌现，质量参差不齐，用户要选择质量可靠、适宜的虚拟实训平台并不容易。虚拟实训平台评价指标体系可为用户提供选择与评价的依据，帮助用户作出更好的价值判断。

三、研究现状

本文以“虚拟实训平台”为主题词对中国知网（CNKI）数据库的相关文献进行检索，截至2019年7月共检索到相关文献387篇，此外还对相关的虚拟实训平台的开发商进行调研访谈，综合整理分析得出我国虚拟实训平台评价的研究现状。

1.缺少相应的评价机制

科学合理的评价是虚拟实训平台发展的基础机制。在虚拟实训平台大量涌现时，我国相关的评价机制还没有真正建立起来，评价机制滞后阻碍了虚拟实训平台的发展，并造成相关资源的浪费。建立科学的虚拟实训平台评价机制，发挥评价的导向、激励、调控和改善功能，是促进优质教育资源开发的有效手段和重要保证。

2.评价的标准尚未建立

虚拟仿真实训平台评价是对虚拟实训平台的质量进行有效的价值判断，目前我国的虚拟实训平台评价标准体系尚未建立，《教育信息化十年发展规划（2011-2020年）》明确指出需要“制订数字教育资源建设与共享的基本标准，建立数字教育资源评价与审查制度”，目的是推动我国优质教育资源的开发与应用，促进优质教育资源的共享。虚拟仿真实训平台目前主要集中在平台开发与利用阶段，缺少相关的评价标准。

3.尚未形成成熟的评价理论

虽然数字教育资源评价近年来成为教育界关注的焦点，但仍处于探索阶段，迄今尚未形成一套比较成熟的理论体系和实践基础。针对虚拟仿真实训平台的评价更是少之又少，在知网检索与虚拟实训平台质量评价相关的研究文献仅有11篇。

四、评价模型的构建

1.评价机制

虚拟实训平台的评价需要整合各方力量，明确各方责任，形成“共建共享的资源开发与应用模式”， 实现优质资源的开发与应用，从而形成平台建设、应用与评价的良性资源生态环境，并不断完善已有资源，建立有效的淘汰与鼓励机制，建设“共建共享，以评促建”体系，从而推动数字教育资源的良性进化。

2.评价主体

参与评价的主体主要有教学专家、用户、开发者以及政府机构。集合社会各方力量，对虚拟仿真实训平台的建设进行科学、全面的评价，从而促进其建设与应用，为学习者的学习提供更有力的支撑。

（1）专家。专家团队可由教学专家、骨干教师、管理人员组成。教学专家和骨干教师具有丰富的教育经验，在教育研究方面能力突出，并具有一定的教育教学研究成果，在所在的学科教学中具有优秀的成绩，能对虚拟实训平台中教学内容、教学资源方式等方面进行科学合理的评价，具有一定的可信度。

（2）用户。虚拟仿真实训平台服务对象主要为教师和学生。站在用户的角度，师生对虚拟仿真实训平台进行服务方面的评价是科学合理的。在虚拟仿真实训的开发建设中，收集用户的相关评价，对虚拟仿真实训平台建设中存在的问题不断改进优化，促进优质资源平台建设与开发，提升虚拟仿真实训平台的应用效果。

（3）开发者。技术开发人员从技术的角度出发，对虚拟仿真实训平台的功能进行评价，并在评价过程中根据其他评价主体的反馈信息不断进行优化。开发技术人员对平台进行评估、把控，能更好地研发出满足用户需求的虚拟仿真实训平台，以此促进虚拟仿真实训评价的建设，提高虚拟仿真实训平台的质量。

（4）政府。教育管理机构在虚拟仿真实训平台建设中起着主导作用，协调各方参与者的利益，在虚拟实训平台的建设中提供导向，对平台开发进行资源准入管理，对平台的质量进行把控，提高虚拟仿真实训平台建设的要求，从而促进平台建设的良性发展。

五、评价指标的确定

1.评价指标要素确定方法

（1）文献研究法。虚拟实训平台属于数字教育资源，评价指标要素的确定是通过对有关数字教育资源评价文献进行收集整理分析，并结合虚拟仿真实训平台的特点剔除无关的评价要素，找出最主要的共同的评价要素，拟定为初步的评价指标要素。

（2）访谈法。为了确保评价指标要素的科学性、客观性，初步的评价指标要素确拟定之后，对虚拟仿真实训平台的开发商和专家进行访谈调查，并对之前拟定的评价指标要素进行修订、更正。

2.指标权重的计算

评价指标体系权重确定采用区间层次分析法（IAHP）。解决不确定多属性决策和不确定性评价问题中，区间数理论及算法得到了广泛运用[9]。区间层次分析法是处理不确定性、模糊性的一种定量划分指标权重的方法，通过两两比较判断形成区间数判断矩阵，然后根据区间矩阵来计算指标权重。

（1）建立区间判断矩阵

区间判断矩阵是用一个区间来表示某一元素的重要性，首先采用AHP的stay标度法，通过两两比较来得出确定区间的中点区间中点rij。虚拟仿真实训平台的评价中，一级指标为4个，分别是教育、技术、服务、艺术。以教育和技术相比为例，如果认为教育相对技术的重要性程度为“明显”，通过stay标度表，得到结果为5;在判断教育相对技术的重要程度时可能认为结果介于“明显”“强烈”到“极端”之间，判断区间为[5，9]，按这种方法建立的一级指标判断区间矩阵A如表1所示。

（2）计算各元素的相对权重区间

确定区间判断矩阵后，利用特征向量法求出判断区间的最大特征值，并对求出来的最大特征值进行归一化处理。将A的各个列区间向量矩阵采用几何平均，然后归一化，得到区间权重向量。计算出区间判断矩阵的特征根后，还需要进行一致性检验。

首先，求特征向量，先将判断区间矩阵的每一列元素进行归一化处理，再取出该判断区间矩阵的N列作为算术平均作为权值向量Wi。

计算完区间判断矩阵的权制向量W后，为确保判断矩阵的可靠程度进行一致性检验，方法如下：

按照上述方法計算，得到一级指标权重区间，如表2所示。

计算得出：C.R.=0.076<0.1，说明A一致性可以接受。同样的方法计算二级指标权重和三级指标权重，形成4个一级指标、9 个二级指标、22个三级指标，并得出各个指标的权重值，计算结果如表3所示。

（3）计算各元素指标的综合指标

根据各元素的权重区间，求出区间的中点，即为各元素的最终权重。计算结果如图2所示。

六、评价指标解读及应用[l1]

1.面向教育

面向教育就是从教育的角度出发，本文从四个方面对虚拟实训平台进行评估：①教学理念。虚拟仿真实训平台的建设与开发要具备先进的理念，从学生的需求出发，要注重培养学生的社会责任感、创新精神、实践能力，要以注重培养知识、能力、素质的全面发展为目标，充分调动学生参与实训教学的积极性和主动性，激发学生的学习兴趣和潜能，增强学生创新创造能力。②教学内容。准确适宜的实训内容，内容紧凑、时长合理、难度适宜的虚拟仿真实训平台。③教学资源。教学资源应满足学习者的需求，此外还要考虑资料的权威性，保证教学资源的质量。④教学设计。创新多样的教学方式方法，提升虚拟实训平台的教学效果。

2.面向技术

先进可靠的研发技术，有助于提高虚拟实训平台的吸引力和教学有效度，加强相关技术可靠性研究：①可靠性。可靠性要求系统在运行中安全、稳定、可靠、响应速度快，能够在主流计算机环境中稳定、快捷运行。②仿真性。仿真性是衡量虚拟仿真实训平台技术的重要指标，分别从环境效果和操作效果考虑，仿真环境逼真、沉浸感强、仿真效果好，可以实现整体或区域性漫游功能;仿真对象选择合理可对关键器件实现拆卸、移动、展示、透视等功能。

3.面向服务

虚拟仿真实训平台的服务对象主要为教师和学生，注重对学生使用虚拟仿真实验教学项目的全方位、多层次防护，切实保障学生健康。随着科学的进步与发展，服务也成为重要的评价指标。面向服务从用户的角度出发，主要从趣味性、易用性两个方面进行评价：①趣味性。有趣的学习资源能够激发学习者兴趣，促进学习者学习，吸引力强，激发学习兴趣，促进创新思维发展。②易用性。平台的使用应该简单易学，导航清晰，无导航、链接错误，仿真元素逼真，交互形式灵活、多样、方便。

4.面向艺术

艺术性是教育资源建设与开发中不可或缺的因素，在虚拟仿真实训平台建设中，艺术也应作为评价的一个方面。评价主要从界面设计进行评价，主要考察界面设计的布局和色彩搭配，界面布局要合理、新颖、活泼、有创意，色彩搭配方面要求整体风格统一，空间感染力强，视觉效果好，符合视觉心理。

为实现虚拟仿真实训的有效评价，推动优质教育资源的共建共享，对虚拟仿真实训平台的评价要确定科学合理的评价策略。面向教育的评价参与主体主要由教学专家、骨干教师组成，其根据评价指标体系及权重对虚拟仿真实训平台进行评价时，可采用定性与定量的评价方式。根据评价指标体系及权重，对虚拟仿真实训平台作出相应的评价，如：当虚拟仿真实训平台中面向教育、技术、服务、艺术各维度的评价总分为100分，根据相应的权重，计算出该指标的最大分值，如当教育维度的总分值为100分时，那么教育维度下的教学内容所占的最大分值为48分，再根据三级指标下的权重值计算出教学内容中知识框架所占的最大分值为24分，如此分别计算出其他指标的最大权重值。评价的主体根据给出的各评价指标的最大分值，给出相应的评价分值。此外，评价主体可以成立相应的评议小组，对虚拟实训平台中的相关问题进行全面的评议，对于虚拟实训平台中存在的问题进行研讨。技术方面，由技术开发人员、平台管理者根据评价指标体系进行专业性评价，根据评价指标可对虚拟仿真实训平台的开发提供相应的依据，在开发过程中具有一定的引导作用;面向服务的评价主体为平台用户，即学生与教师，为了保证评价的科学性、客观性，除了采用评价指标的评价还可以采用上线评价，用户根据使用后的体验在线上给出及时的评价和反馈信息，对于后期平台的优化具有积极的作用。面对艺术的评价，由用户和相关的设计人员共同参与。各主体参与评价后，提交相应的评价报告，平台开发人员根据评价报告进行修改完善，以此优化数字教育资源，推动优质资源的良性发展。

七、总结与展望

虚拟仿真实训平台评价是衡量虚拟仿真实训平台质量的优劣、优化虚拟仿真实训平台建设和开发的主要方式，本文针对虚拟仿真实训平台评价中存在的问题，提出分别从教育、技术、服務、艺术四个维度进行评价，并构建了虚拟仿真实训平台评价指标体系，避免了指标的不确定性，建立科学合理的评价指标体系对于我国目前虚拟仿真实训平台的建设具有重要意义。尽管采用区间层次分析法修订确保了评价指标体系的严谨与科学，但由于评价体系需要在实践中不断修正和完善，因此本指标体系的普遍适用性和科学性还有待进一步检验。希望在未来能通过大量的测试与实践不断对该指标体系进行完善，让该评价指标体系更加科学权威。

参考文献：

[1]刘畅，柯健.职业教育虚拟实训教学资源的设计与实现——以“室内设计”实训资源开发为例[J].中国教育信息化，2018（21）：58-61

[2]刘畅，柯健.虚拟仿真实验平台下探究式学习的设计与实践[J].中国教育信息化，2019（10）：42-44.

[3]杨兵，刘柳，朱晓钢，等.虚拟仿真实训系统学习行为意向影响因素研究——以企业运营虚拟仿真实训系统为例[J].中国远程教育，2019（5）：26-36+92.

[4]蒿丽萍.虚拟仿真实训教学保障机制及评价机制研究[J].内蒙古电大学刊，2018（6）：88-92+102.

[5]孙爱娟.职教领域虚拟仿真教学资源建设与应用探析[J].中国电化教育，2012（11）：109-112.

[6]王卫国.虚拟仿真实验教学中心建设思考与建议[J].实验室研究与探索，2013，32（12）：5-8.

[7]柯清超，郑大伟，张文，等.国家教育资源公共服务平台评价机制研究[J].中国电化教育，2016（9）：8-15.

[8]马秀麟，李小文，闵雅琴，等.教育类数字化产品评价指标体系的设计与验证[J].中国教育信息化，2018（23）：9-14.

[9]岳进，郭辉.基于区间层次分析法和专家群决策的MOOC适切性评价[J].电化教育研究，2019，40（3）：54-58.

（编辑：鲁利瑞）