数字化教材质量评价量化指标及数字模型建构的探究

许健松，洪 滔

（1.福建农林大学 教务处，福建 福州，2.福建农林大学 林学院，福建 福州 350002）

高校课堂教学的数字化已为高校各级所重视，数字化教学和学习已蔚然成风，数字化教材是数字课堂教学的依据，选好教材是实施高校数字化互动教学成功的基础[1]，但是高校对数字化教材评价、选用只凭直觉，主观性较强，准确性较差，严重影响数字教学效果和质量，因此必须制定科学的评价方式，最好是把评价结果量化，教师根据教材的评分，客观、精准、便捷地择优选用教材，确保优质教材进课堂。由于我国高校数字化教材建设和应用起步较晚，数字化教材评价指标系统还不完善，缺乏量化评价，因此制定数字化教材的量化指标系统，构建数字化教材评价的量化数字模型，对推动数字化教材评价和建设，提高数字化教材、教学质量具有极其重要的意义。

1 数字化教材质量评价指标的确定

1.1 实施数字化教材评价应遵循的原则

确定数字化教材评价的原则就是确立数字化教材评价的主导思想，这是保证数字化教材思想性，科学性、学术性、先进性、适用性；保证教材评价的客观性、公正性、合理性，以及设定数字化教材评价量化指标、构建的数字模型的重要基础[2]。

（1）思想性、教育性评价原则。数字化教材评价不能偏离国家路线、政治原则、教育方针。也就是必须坚持正确的思想性、教育性原则：教材主要面对的是广大青年学生，教材是学生的书面老师，教材所体现的思想观点，对他们的世界观、人生观、价值观影响很大，一份好的教材对学生的人生道路、专业技术的发展有一定的启迪作用；教材评价的目的是为了评价教材的优劣，遴选优秀教材进课堂，提高教学质量，实现教育目的，因此教材评价的质量指标、评价模型不能偏离教育目标，必须体现教材的教育性原则。

（2）科学性、学术性评价原则。教材的科学性、学术性反映在教材的内容、安排、表述之中，因此评价指标要系统、全面地反映、再现和涵盖教材的各方面情况，并且遵循统计学资料分类要求，条目简明，切合实际，难易适度，表述准确清楚；评价指标的量化依据充分，定值合理，运作规范，符合教材科学的一系列学术性原则，并具有一定权威性；数字模型的构建要由数字逻辑严格分析、推理、推导获得，并完全符合数学、统计学科学原则。

（3）创新性评价原则。创新是科学研究的根本性和目标，是科学研究的真正价值所在，任何科研成果包括教材，只有创新性才具有真正的学术意义。数字教材的创新性应该成为教材评价的主要因素，突出教材创新性原则，强调创新性判断。数字化教材是一种新型的教材，代表先进科技、世界潮流，是大学教学的一次重大革命，要求教材的内容、结构、形式、操作等具有超前意识：是否填补了该学科的空白，是否新兴学科领域的领衔教材，或者是否在局部知识内容及体例、结构等方面有所突破，对前人有所超越，切忌把数字化教材编成平庸教材。把教材是否增加新的知识成果，在内容上实现有价值的突破，对学科建设有积极的推进作用等视为教材评价的最高标准。重创新性教材轻低水平重复性教材。给创新性因素更大的权重，把教材建设引导到重研究、重创新的方向上来。

（4）适用性评价原则。评价系统要强调教材适用性的评价：教材内容要符合教学大纲，与课程内容要求相一致；一部好的数字化教材不仅要质量上层，而且要教师好教，学生好学，内容丰富、知识面广，能突破时间、空间的限制，能用碎片化学习，获取系统知识，适合于学生自主学习；适用于上线线下教学，课程课堂教学、网络教学等；是适用性广，功能全面的教学学习资源[3]；

（5）公开、公正、民主性评价原则。客观公正性是建立数字化教材评价系统的目标，也是衡量该系统是否可行的重要标准。为保证评价公开、公正、民主性的实现，评价应透明、公开：评价指标的制定应反复研究，征求意见，在评价的过程中，评价的目的意义、评价指标、方法、程序等要向参评者公布，评价者与被评价者应进行必要的沟通。量化评价以数字为依据，相对客观，但评价过程仍应由学校有关部门进行必要监督，以充分体现对不同的人、不同教材一视同仁，公平竞争；应该建立纠错机制，允许对评价结果提出异议，允许提出复议。

（6）全面性评价原则。对数字化教材的评价应系统性、全面性。要了解教材编著的全过程，从全局观念了解被评价教材的全貌，解决评价中可能发生的问题；数字化教材除了纸质和电子教材，还应提供教学课件、视频、动画、互动软件、练习册等辅助教材，因此在评价主体教材水平同时，要检查提供的辅助教材是否全面、完整，并认真评价配套的教学资源的质量和与主体教材的切合度。

（7）可操作性评价原则。评价系统的量化指标和模型，一定要方便实施，标准易掌握，过程好操作，评价栏目好打分、统计；易于评价专家的聘用，团队的组建，便于有条件的学校设置教材和评价专家数据库：根据教材专业类别，随机组织专家组，提高评价的客观性和针对性。

1.2 数字化教材评价指标

（1）教材的思想性、教育性：教材的指导思想和内容必须符合政治原则、教育方针；教材思想观点正确，教学目标明确，以人为本，以培养创新创业人才为目的。教材内容准确，符合教学大纲的要求，充分体现我国在教育、科技等各方面取得的成就。

（2）教材的科学性、学术性：理论严谨，方法科学，手段先进，教材编写程序科学。教材内容符合唯物主义、辩证法和认知规律，准确反映本学科或专业国内外研究新成果。

（3）教材的创新性：教材填补该学科教材的空白，是新兴学科的领衔教材，或在教材的局部内容上，或在体例、结构等方面有所突破，对前人有所超越。

（4）教材的适用性：教材适应不同类型高等学校需要和不同教学对象的需要。适合教学，对教学对象具有很强的吸引力，教师爱用，学生爱买，为更多学校推广应用。教材可以用作MOOC、SPOC、微课等的网络教材，可以用作课堂混合教学、翻转课堂教学等[4]。电子教材要求安装方便、运行稳定、可靠性高、兼容性、交互性好，性能准确无误、响应速度快，对错误操作容忍性强；多媒体课件设计科学合理,智能化水平高：检索、记录和书签功能强大，具有多种媒体的学习提示、参考、导航和定位等辅助功能；声音效果好，动画生动形象。

（5）教材出版级别、再版情况、篇幅：因为地方出版社与全国性出版社的影响力存在一定差异，不同出版社出版的教材，权重应有不同；教材再版这是教材影响力的反映，也是对其价值的肯定，因此应该给再版和发行数量一定的权重。教材的篇幅：教材篇幅在一定程度上反映编者付出劳动的多少，虽然对教材的价值影响很小，也应给予较小的权重。

（6）教材获奖情况：教材受到奖励是对教材质量的肯定，教材获得教育部奖励、省级奖励、学校奖励或其他奖励应分别给予一定的权重。

（7）出版质量：

教材的完整性：数字化教材除了传统的纸质教材，还有电子课本、教参、教学课件、录音、视频、动画、互动软件、和练习册等教学资源，为保证教学效果和教学质量，要求教材必须完整、成套。

教材的文字、图表、界面：文字流畅、规范，图片、录像、表格准确清晰；操作界面清晰友好，步骤明确，使用简便，布局科学合理，色彩美观；公式、符号、计量等符合标准。

出版质量还应包括图文印刷、封面设计、装订等质量

2 数字化教材质量评价指标的量化

教材是人才培养、知识传授的主要载体，教材质量直接影响到教学质量。因此教材的评价指标必须根据高等院校对创新创业人才的培养目标和关于教材建设和教材评价的文件精神进行制定。

2.1 数字化教材量化评价的一级和二级指标

根据高校学科对数字化教材内容、范围、标准、方法、手段等要求制定的数字化评价体系的原则和数字化教材的质量标准，并调查教师、教学管理干部和教材编辑出版专家等的意见，确定数字化教材评价量化指标。因量化计算工作量大，指标应简单明了，重点突出，能涵盖数字化教材的一切要求，又不宜过细。初定一级指标不多于八项，每个一级指标后的二级指标一般不多于三个，如表1。有利于教材评价的操作、统计、分析，简化运作提高效率，促进评价工作的实施[5]。

表1 一级指标和二级指标Tab.1 Primary and secondary indicator

2.2 一级和二级指标重要程度的设定

1.指标重要程度分析。用层次分析法（AHP法）分析数字化教材的一级和二级指标的重要程度，用1（不重要）、3（较重要）、5（重要）、7（很重要）、9（极重要）评价重要程度，介于二者之间的用2、4、6、8表示。把高校的课程分为公共课、专业基础课、专业课三大类，分别分析一级指标和二级指标的重要程度，如表2，表3[4]。

表2 一级指标权重Tab.2 Weights of primary indicators

表3 二级指标权重Tab.3 Weights of secondary indicators

2.权重系数的计算：

（1）一级指标的权重系数。可以用下式进行计算：

表4 一级指标权重系数Tab.4 Weights coefficients of primary indicators

（2）二级指标的权重系数。可以用下式进行计算：

表5 二级指标权重系数Tab.5 Weight coefficients of secondary indicators

2.3 指标系统的相容性和误差分析

以公共课一级指标为例分析指标系统的相容性和误差。建立公共课一级指标判断矩阵，

计算权重系数，进行相容性和误差分析，如表6。

（1）建立判断矩阵。

表6 公共课一级指标判断矩阵Tab.6 Judgment matrix of common class in primary indicators

（2）公共课一级指标的权重。用方根法求

式中n为判断矩阵阶数，Cij为公共课一级指标判断矩阵。对WAi=（WA1，WA2，…，WAn）进行归一化处理，权重表达式

把表6中的数据代入（4）、（5）式得公共课一级指标的权重为：

所得结果与（1）式计算结果完全相同。式(4)、(5)对求公共课、专业基础课、专业课的一、级指标的权重都适用。

3.相容性和误差分析

CR＜0.10说明公共课一级指标符合相容性和误差要求。(如果CR＞0.10，需要重新进行重要程度的调查)，对公共课的二级指标及专业基础课、专业课一级指标和二级指标的矩阵进行相容性和误差分析，CR也均＜0.10，说明本文中公共课、专业基础课、专业课的重要程度调查指标均符合要求，可以用作各类数字化教材的评价。

3 评价方案的选择及数学模式的建立

（1）评价方案的选择。按照AHP法（层次分析法），对各被评价指标进行两两比较，最后得出教材的评优顺序，但因评价指标较多，工作量大，不宜采用；本文用专家对教材的评分与二级权重系数直接计算：专家的每项评分乘以相对应的权重系数，然后相加所得的和就是教材的最后综合得分。专家打分标准见图1。

图1 数字化教材专家打分表Fig.1 Expert grading table for digital textbook

（2）数学模式建立。根据上述分析和选择，用R语言建立数字化教材评价二级指标量化数学模型

式中Sij为专家对每个指标的评分，Wij为二级指标权重系数，P为综合评分值。在计算机软件设计上，考虑到人们习惯，21个评价指标专家均按百分制打分,最后的综合评分也以百分制显示；当有多个专家评价时，系统会自动求出平均分，并进行排序。专家打分表见附件，此表对基础课、专业基础课、专业课均适用，但三种不同类型课程，它们的二级指标的权重系数各不同。为提高本成果适用的普遍性，在计算机软件上，权重系数可根据课程情况以作适当调整。

4 数学模型的评价实例

为了检验数字化教材评价指标、量化指标的客观性，数学模型的实用性，计算机软件的可操作性，本文遴选“农业生态学”、“生物统计学”、“普通生物化学”、“大学信息技术基础”（实验篇）等多门课程的数字化教材进行测评：总分都在70～80之间，说明这些数字化教材已达到质量良好标准[6]。出版后被不少高校选用，取得不错的教学效果；在一线教师和使用教材的学生中进行教材质量调查，反映普通良好，定性评价与量化评价的结论基本相同。用计算机软件给数字教材评分，操作简单、快捷，结果明确，重复性好。可用于数字化教材的遴选、评优、竞赛等的评审。

5 结语

由于高校的数字教学起步较晚，数字化教材的编写出版还缺乏经验，教材的质量与国际先进水平相比还存在一定的差距，特别是教材的学术性、创新性、完整性方面的还比较欠缺，因此数字教材的量化评分的分数不是很高，教材的编写出版的质量有侍进一步提高[7]；数字化教材的内容丰富，手段现代，形式多样，除了教材，还有课件、动画、教参、习题等很多辅助教学资源，评价工作比传统纸质教材的评价相对复杂，工作量多，难度大[8]；数字化教材的质量进行量化评价,与定性评价比较相对客观、准确、简明。但一项理论性成果，还需要经过较长时间实践考验，在教材教学使用过程中吸收师生的对教材的直接反映，对系统作进一步改进和完善。