军队院校线上教学质量评估指标体系探究

丁小星 侯帅 付芯萌

摘  要：为适应军队院校线上教学质量评估需求，对现行课堂教学质量评估指标内容进行修订。该文通过增加线上教学环境评价环节，采用简化层次分析法（AHP）对指标赋权，使完善后的线上教学监测体系更聚焦备战打仗，从而适应为战育人需求。

关键词：线上教学；教学评估；教学环境；层次分析法；为战育人

中图分类号：G642        文献标志码：A          文章编号：2096-000X（2023）S2-0052-06

Abstract： In order to meet the needs of evaluation system of online teaching quality in Military Academies， the revision of the evaluation index of the classroom teaching quality， which added the evaluation link of online teaching environment is proposed. The improved online teaching monitoring system is more focused on preparing for war and adapting to the needs of educating people for war， by using the Analytic Hierarchy Process （AHP） to empower the index.

Keywords： online teaching; teaching evaluation; teaching environment; Analytic Hierarchy Process; educatingpeople for war

2020年至2022年，因新型冠状病毒感染疫情许多军队院校线下课程教学均受不同程度的影响，为确保教学计划能按期完成，线上教学随之启动，对其教学质量的评估工作也同步展开。

线下课堂教学质量评估指标体系通常由院系教学督导组的督教指标、学员评教指标、教员评学指标构成。因线上教学过程中，教学督导组、教员、学员之间非面对面接触，视听感受与线下教学有所区别，且受周边环境影响较大，故原指标体系中的部分内容不适于线上评估，需进行修订并引入线上教学环境评估指标加以完善。修订完善后的指标内容采用简化的层次分析法（AHP）[1]确定各项权重系数，最终完成线上教学质量评估指标体系的建构。

一  线上教学评估指标研究进展

本节首先简要分析线上教学存在的问题，再论述军内外对线上教学质量评估的研究进展。

当前线上教学主要存在六个方面的问题：①教学双方线上人机对话不适应；②教学双方授课软件使用不够娴熟；③软硬件设施质量不高，教学保障滞后；④教学实施过程不够严密；⑤保密意识亟需提高；⑥作业测试成绩下滑，提交率不高。这些问题在一定程度上成为线上教学发展的“瓶颈“。军队和地方院校针对上述问题，从不同角度研究相应的评估指标体系，以期教学参与者对照适合的标准在线上教学活动中不断补全短板，提升线上教学质量。

2020年，國防科技大学的王俊等[2]以问卷调查的形式了解不同层次学员对线上教学的总体评价，并从教学管理、技巧、工具三个方面给出意见和建议，结论表明学员更愿意接受“线上+线下混合”模式。同年，空军军医大学的胡珊博等[3]为了解疫情期间军校使用“学习通”开展线上教学的情况，设计了包含授课效果、课程功能、使用效果三个一级指标的调查问卷进行满意度测评。陆军勤务学院的蒋海等[4]通过梳理教员线上教学存在的问题，从树立观念，提升“网络+”教学能力的角度给出建议和措施，具有启发性。目前从修正指标体系角度入手促进线上教学质量提升的研究在军校中仍属起步阶段，地方高校在此领域的研究已取得一定进展，值得借鉴。2021年，齐齐哈尔大学的柳颖等[5]从教师、学生、授课内容和环境四个方面构建线上评教体系，为我们修订指标内容指引了方向。2022年，云南农业大学的龙蔚等[6]将层次分析法（AHP）-模糊综合法应用于线上教评的研究分析，揭示了层次分析法在该方向上的应用。同年，齐杨[7]进一步详细论述了层次分析法在工业绩效指标权重方面的应用。文献[6-7]采用层次分析法均需进行一致性检验，步骤较为烦琐，不及文献[1]简便，故文献[1]提出的简化AHP可作为本文确定指标权重的主要方式。

以上简要阐述了线上教学质量评估的研究进展，为后续线上教学评估体系修订和指标权重确定奠定了理论和实践基础。

二  线上教学质量评估指标体系修订基本思路

本节遵循课程教学大纲和人才培养方案，通过调研问卷征询一线教员、学员骨干及督导专家意见和建议，调整修订学员评教、教员评学、教学督导指标内容，增加教学环境评价指标体系，以满足线上教学质量评估的需要。

（一）  线上教学学员评教指标内容

如前所述，线上教学全过程学员对教员的上课状态、教学内容的熟悉程度、学习效果和目标达成度的衡量与线下课堂体验有所不同，将线下指标直接用于线上评教存在“水土不服”的情况，致使学员线上评教的针对性、积极性降低，出现随意、漏评、乱评的现象。故有必要从以下几个方面修订完善线上教学学员评教指标内容。

1）教学态度方面。线上教学过程中，学员无法近距离感受课堂氛围，学员只能在电脑屏幕前观察教员形象是否端庄；能否有效利用多种在线资源如课件、小视频等激发学习兴趣；课后能否及时批改上传的作业来判定其教学态度的端正性。

2）教学水平和组织方面。因军校学员对线上教学模式尚未完全适应，听课过程中可能被其他与课程无关的事务吸引，故教员能否在授课中积极组织学员解答问题，结课前总结教学内容重难点和关键思路显得尤为重要，一定程度反映其教学水平和组织能力。

3）教学效果方面。线上教学更强调提高学员自主学习能力的必要性，教学计划、内容须与线下保持一致，学员上传的作业和在线测试成绩的平均正确率是否达到相应要求是线上教学成果的重要体现。

修订后的线上教学学员评教指标内容见表1。

关于指标权重系数的确定将在第三节（一）中给出。

（二）  线上教学教员评学指标内容

教员评学主要是教员对教学区队整体的学习情况进行评价，而现行评学指标部分内容未突出线上学习特点，可操作性不强，可从以下三个方面修订完善。

1）学习态度方面。主要体现教学区队在线上交流讨论、作业测试、预习复习三个项目的整体表现情况，删除“学习态度端正，尊敬师长”这一不易在线上观测的项目。

2）学习过程方面。主要分为工具使用、学习能力、学习结果三个项目，将原一级指标学习方法和学习效果加以整合，着重反映教学区队整体能否熟练使用视听软件参与教学活动，学员自主学习能力是否提高及线上测试的平均合格率是否达标。

3）学习纪律方面。主要分为出勤情况和保密纪律。其中出勤情况主要由教员根据该教学区队学员签到率进行判定，而线上教学可能涉密的部分（内网）要求学员有相应的保密意识，不在不适当的时机谈论或留言。

修订后的线上教学教员评学指标内容见表2。

关于指标权重系数的确定将在第三节（二）中给出。

（三）  线上教学督导指标内容（教学督导组用）

与（一）、（二）修订指标问题类似，上级下发的课堂教学质量督导评估指标主要针对线下课堂教学活动，部分内容需基于线上授课特点进行修订，以提高教学督导组对教员线上授课过程的可测性，修订内容主要有以下五个方面。

1）教学内容方面。原二级指标教学内容中的“纸质教案规范性”不便于教学督导组查看，可调整为“电子教案要素齐全”；由于课程教学大纲和人才培养方案未做改动，故该指标增加线上授课内容线下保持一致。

2）教学形象方面。基于保密要求，教员线上授课常需着便装（如用钉钉、腾讯互联网等软件），原二级指标教学态度中的着装要求可调整为“线上授课形象大方得体，符合教员日常要求”即可。

3）方法手段方面。因线上授课无法书写板书，要求教员对电子板书、多画面切换等可直观呈现教学内容的方式方法熟练掌握，原二级指标方法手段中的“课件板书配合得当”可调整为“课件、音视频配合得当使教学内容直观呈现”。

4）课堂组织方面。线上教学区别于线下师生面对面的交流，对学员学习的自觉性、主动性要求较高，原二级指标课堂组织中的“有效开展课堂互动，引发学员积极思考”可调整为“引导学员自主学习，有效开展线上互动”。

5）课堂氛围方面。如前所述，因线上教学局限性导致教学督导组无法直接观察师生课堂精神状况，课堂气氛活跃性需通过学员应答教员问题的频率体现，原二级指标课堂氛围中的“师生精神饱满，气氛活跃”可调整为“学员线上回复问题积极，平台留言踊跃”。

修订后的线上教学督导指标内容见表3。

关于指标权重系数的确定将在第三节（三）中给出。

（四）  线上教学环境指标内容

与线下教学不同，线上教学对教学环境的要求更高、更敏感，任何内外因素的干扰都对教学产生一定影响。因此，线上教学质量评估指标体系，除线上教学督导、学员评教及教员评学外，还需将线上教学环境纳入评估范围。

线上教学环境主要涉及教学软硬件设备、教学场所、教学网络和教学保障四个方面。即教学设备能否满足本院校线上教学需求；网络（含内网）能否在教学时保持畅通并能对抗电磁干扰；因疫情等原因导致部分教员或学员需隔离授课和学习，隔离点是否具备线上教学条件；保障部门能否发挥应急保障和信息加密防谍作用。

结合军队院校实际，线上教学环境的受评价对象是负责教学保障的相关部门及责任人，评价主体则是教学双方，故根据前述线上教学环境主要特点，拟制评价指标见表4。

三  指标权重系数确定过程

本节应用文献[1]简化的层次分析法（AHP）确定第二节线上教学质量评估指标体系各指标系数权重。

传统的层次分析法主要有四个步骤：

1）建立层次结构模型，自上而下包含目标层、准则层（一级指标层）、方案层（二级指标层）。

2）用心理学家Saaty提出的9级标度法[7]（见表5）构建判断矩阵（或称比较矩阵）。

3）分别对准则层和方案层的判断矩阵进行单层一致性检验和单排序。

4）方案层对目标层进行总权系数排序和一致性检验。

判断矩阵出现不一致性的一个主要情况是专家判断取值时可能出现悖论：如A比B重要，B比C重要，C比A重要，导致其不满足一致性检验结果而多次重构，降低效率。文献[1]指出当矩阵的元素满足一致性条件（aij=aik/ajk=aik·akj=ai1·a1j=a1j/a1i，k=1）时，该矩阵为一致性矩阵，无须作一致性检验，只要对其任意1列元素归一化可得权重向量，故统计者仅需汇总比较值得到矩阵的第一行元素即可。文献[1]的该方案简化了第2）步，合并了第3）、4）步，提高了工作效率和准确性，可视为对传统层次分析法的一种改进。

判断矩阵第一行元素的确定：为一定程度克服两两比较时的主观臆断，充分发挥军队院校各级党委（党支部）的议教议训作用。首先从院校教学委员会、院（系）教学督导组、各系（部）教员、学员骨干和学员队干部中遴选填寫问卷的人员；其次填写问卷（问卷样式见表6、表7）前，上述人员召开碰头会交流意见，将相关意见提交其所在党委（党支部）研讨，研讨结果作为填写问卷的重要参考。最后统计员汇总各问卷结论，取均值（保留3位小数）作为该层判断矩阵的第一行元素，通过一致性条件计算得到矩阵全貌。

（一）  线上教学学员评教指标权重

1  建立层次结构模型

目标层：线上教学学员评教指标。

准则层（一级指标）：教学态度A1、教学水平A2、教学组织A3和教学效果A4。

方案层（二级指标）：课前准备B1、授课形象B2、批阅作业B3等12项为方案层，其与准则层的对应关系见表1。

2  建立准则层和方案层的判断矩阵

准则层与方案层的元素比较调查问卷样式见表6、表7，方案层其他问卷类似表7，不再赘述。

基于问卷结论，通过一致性条件计算得到判断矩阵。

一级指标（准则层）判断矩阵

二级指标（方案层）对应准则层教学态度A1、教学水平A2、教学组织A3、教学效果A4的判断矩阵分别为

显然，M、N1、N2、N3和N4均为一致性矩阵，无须作一致性检验。

3  计算指标权重系数

因前述准则层与方案层的判断矩阵均为一致性矩阵，根据文献[1]的结论将上述矩阵任1列向量进行归一化处理得到该层权重系数，进而计算指标权重系数=准则层权重系数×方案层权重系数×100，结果见表8。

综上，完成线上教学学员评教指标构建。由权重系数发现，一级指标（准则层）中，学员对教员教学态度的重视程度与线下教学一样高，对应的二级指标（方案层）中课前准备的权重占34%，说明线上教学中课前准备是否充分是这堂课顺利开展的关键，而教员线上批阅作业的情况也是学员对其教学态度的重要关注点，占15%。

（二）  线上教学教员评学指标权重

与本节（一）中计算线上教学学员评教指标权重类似，经党委（党支部）议教议训、问卷调查后确定各层判断矩阵值如下。

一级指标（准则层）的判断矩阵

二级指标（方案层）对应准则层学习态度E1、学习过程E2、学习纪律E3矩阵为

同理，J、K1、K2和K3均为一致性矩阵，无须进一步作一致性检验，其任1列向量归一化处理即得权重系数见表9。

说明：指标权重系数=准则层权重系数×方案层权重系数归一化后得到。

綜上，完成线上教学教员评学指标构建。由权重系数发现，一级指标（准则层）中，教员对学员学习态度的重视程度不低于评教指标中的教学态度，且二者比重均超50%，说明教学双方的态度是教学工作的关键。对应的二级指标（方案层）中作业测试的权重占25%、讨论交流占20%，说明教员对学员学情的观测主要源于上述二者。

（三）  线上教学督导指标权重

与本节（一）、（二）方法类似，各层判断矩阵值如下。

一级指标（准则层）的判断矩阵

二级指标（方案层）对应准则层教学设计C1、授课活动C2、教学效果C3的判断矩阵分别为

同理，H、I1、I2和I3均为一致性矩阵，无须进一步作一致性检验，其任1列向量归一化处理即得权重系数见表10。

综上，完成线上教学质量评估指标（教学督导组用）构建。由权重系数发现，线上教学督导更注重教学效果（准则层），占比70%以上，其中实施结果（方案层）课程教学是否计划达成，重点难点问题能否有效解决是教员需要特别重视的得分点。

（四）  线上教学环境评价指标权重

因该层次结构只有目标层和准则层（一级指标），故一级指标（准则层）的判断矩阵为

。

P为一致性矩阵，无须进一步作一致性检验，其任1列向量归一化处理即得权重系数见表11。

综上，完成线上教学环境评估指标构建。如前所述，线上教学环境评估作为一个独立的评估项在试运行时，仅设一级指标，故各项权重较大，其中对教学保障的要求最高占40%，教学设备次之占38%，说明线上教学对设备的可用性和应急保障能力较为依赖。

（五）  线上教学质量评估指标体系对线上教学的促进作用

构建线上教学质量评估指标体系目的是满足线上教学评价的需要，对教学的促进作用体现在以下几个方面。

1）教学准备充分，授课组织严密。教员在线上授课前可将电子教案、PPT课件等推送给学员，便于其预习；课前5分钟教员可通过提前上线点名、连麦、签到等手段检查学员到课情况和精神状态，避免占用授课时间；授课过程中以随机抽点方式检查学员是否中途退出或开小差，避免机在线，人离线。

2）教学设计科学，内容充实环节完整。教员依据课程教学大纲要求，科学设计教学环节，要点清晰，能引导学员深入浅出地学习；不拘泥于教材，充分利用线上教学特点，适当延拓与部队实际相关的课外内容以拓宽学员知识面，如调用慕课视频提高教学效果；把握好课堂节奏，时间把握精准，语速适中并具有一定的感染力。

3）线上互动交流方法多样，作业讲评及时。教学充分利用钉钉网的白板功能、PPT上的“指针选项”功能、消息互动面板等工具与学员互动交流，尽可能贴近线下课堂情境；要求学员将问题解答拍照后上传，连麦汇报、展示作业情况等促进学员专心听讲、积极思考；通过在线答疑解决学员学习中碰到的问题，提高学员学习主动性、自觉性。

4）保密意识增强，线上教学环境改善。教员钉钉网授课时避免涉及部队详细信息，如部队具体番号实例等，学员队干部入网跟班听课，督促学员提高保密意识；教保人员实时关注教学环境，确保硬件设备和网络传输故障及时排除，能定期更新设备满足线上教学新形势的需要。

教员、学员、教学保障三方按上述四点对标相应的评估指标要求形成合力，共同提高线上教学质量，使其成为军校教学的重要组成部分。

四  结束语

本文针对军校线下课堂教学质量评估指标体系不适应线上教学发展的需求，从学员评教、教员评学、教学督导和教学环境四个方面入手修订现行指标内容，采用简化步骤的层次分析法确定各项指标权重，以期成为线上教学质量的“磨刀石”。下一步，将修订后的线上教学质量评估指标进行试点应用，是我们努力的方向。

参考文献：

[1] 廖红强，邱勇，杨侠，等.对应用层次分析法确定权重系数的探讨[J].机械工程师，2012，44（6）：22-25.

[2] 王俊，朱靖，罗藤灵，等.面向军校大学生的线上教学分析和改进建议——基于国防科技大学学员的问卷调研实证分析[J].高等教育研究学报，2020，43（2）：55-60.

[3] 胡珊博，苏向妮，尼春萍，等.某军校基于超星“学习通”线上教学的效果评价[J].中国医药科学，2020，10（19）：87-90.

[4] 蒋海，高红，严乔乔.军校开展在线教学面临的困难与对策[J].军事交通学院学报，2020，22（5）：76-79.

[5] 柳颖，白红梅.后疫情时期高校线上教学评价体系构建[J].当代教育与文化，2021，13（3）：101-107.

[6] 龙蔚，王静，陈蕊.基于AHP-模糊综合法的高校线上教学评价研究[J].中国教育信息化，2021，27（7）：82-91.

[7] 齐杨.基于层次分析法的工作业绩指标权重确定方法[J].活力，2022，37（20）：105-107.