中小学教师数据素养评价指标体系构建

2020-03-23林秀清杨现民李怡斐

中国远程教育 2020年2期

林秀清杨现民李怡斐

【摘要】教育数据在教育领域不断渗透，教师的数据素养水平对于有效利用教育数据、合理判断学生的行为具有重要影响。本研究旨在用德尔菲法构建中小学教师数据素养评价指标体系，为评估中小学教师数据素养提供参考依据。通过文献分析梳理中小学教师数据素养评价指标，选择相关领域专家12人，采用德尔菲法进行2轮专家意见征询，根据专家打分计算指标权重，形成中小学教师数据素养评价指标体系。问卷征询专家的积极系数为100%，专家权威程度均值为0.72，确定的一、二级指标重要性均值均大于4.00，变异系数均小于0.25，符合德尔菲法要求。最终形成了包含数据意识、数据知识、数据操控技能、数据应用能力、评价交流数据、数据思维6个一级指标和19个二级指标与40条具体内容的中小学教师数据素养评价指标体系。对46位教师进行小范围试用，验证了其科学性与可靠性，该评价指标体系可作为评价中小学教师数据素养发展水平的参考测量工具。

【关键词】中小学教师;数据素养;德尔菲法;评价指标体系;数据意识;数据知识;数据操控;数据应用;数据评价;数据交流;数据思维;测量工具

【中图分类号】 G451.2 【文献标识码】 A 【文章编号】 1009-458x（2020）2-0049-09

一、問题提出

全球信息化快速发展，科技进步促使信息在交互过程中产生数据洪流，大数据无处不在。作为大数据在教育领域的分支，教育大数据是指在整个教育活动过程中所产生的以及根据教育需要采集到的一切用于教育发展并可创造巨大潜在价值的数据集合（杨现民，等， 2016）。教育数据的积累为研究教育活动的优化发展提供了基础，我国在《促进大数据发展行动纲要》《教育信息化“十三五”规划》等文件均提到大数据在教育领域的重要作用，显示出教育大数据的巨大价值。作为学校数字化变革的关键主体，教师不仅要具备扎实的专业知识和较强的信息化教育能力，更要具备一定的数据素养（张进良，等， 2015）。教师的数据素养是教师在接触教育数据时所体现出来的一种综合能力，它包含数据意识与态度、数据基础知识、数据核心技能和数据思维方法四个层面（刘雅馨，等， 2018）。数据素养在当今数据驱动的世界里正扮演着重要角色，是大数据时代信息素养的拓展与延伸，对于教师而言，具备一定的数据素养是有效利用教育数据并发挥其价值的基础。

2018年1月，中共中央、国务院印发《关于全面深化新时代教师队伍建设改革的意见》，提出造就党和人民满意的高素质专业化创新型教师队伍，要坚持兴国必先强师，然而面对新方位、新征程、新使命，教师队伍建设还不能完全适应，有的教师素质能力难以适应新时代人才培养需要，专业化水平需要提高（新华社， 2018）。时代不断发展，培养创新人才教师是关键，新时代的教师需要不断提升自身素养来适应时代发展需求，推动、引领时代发展。大数据在推动教育教学从经验向实证转变，这种转变对教师掌控数据的能力也在不断提出更高的要求，提升数据素养已逐渐成为大数据时代教师专业发展的重要内容。美国已有多个州将数据素养纳入教师资格认证，数据素养已成为教师专业标准中的必要元素。美国教育部提出教师要充分利用数据了解学生的学习水平，以满足其学习需求（Mandinach， et al.， 2011）。国外关于教师数据素养的评价主要从教师职业发展需求出发，在现有教师专业评估标准基础上增加有关教师使用数据开展教学的能力考核点，作为评价教师数据素养发展水平的标准，并且开展了教师数据素养培训工作（Garrison & Monson， 2012; Schifter， et al.， 2014），以提升教师的数据素养。我国在加强教师队伍建设的过程中也意识到培养教师数据素养的重要性，关于教师数据素养基础理论（张进良，等， 2015; 阮士桂，等， 2016; 杨文建，等， 2017）、能力培养（邓李君，等， 2018）和水平评价（隆茜， 2015; 李青，等， 2018）的研究日益丰富，然而，开展有效的教师数据素养培训实践需要以科学的数据素养评价指标和评估反馈机制作为前提。教师数据素养评价指标体系是评价一国、一个区域乃至一个教师数据素养发展水平的重要手段和测量工具，决策者通过指标体系可以知长短、知多少、知利害、知方向，并可以从更加整体和综合的视角分析和把握战略机会与趋势（高书国， 2015， p.45）。当前我国教师数据素养的发展水平、优势与薄弱点、培养路径设计等问题，都需要通过评价结果来反映和支撑。

教育数据价值的显现离不开教师的参与，教师数据素养的水平影响教育数据价值的发挥。然而，在教育数据快速积累的同时，教师队伍的整体数据素养并没有同步跟上，有关我国中小学教师数据素养的研究尚处于探索阶段，实际开展的教师数据素养培训也处于起步阶段，存在着培养目标不清晰、素养发展不明确等问题，科学的评价标准与体系化的培训实践相对较少。本研究旨在运用德尔菲专家咨询法初步构建中小学教师数据素养评价指标体系，为评价我国中小学教师数据素养的发展水平提供科学的测量工具。如能以此为工具对我国中小学教师数据素养的发展现状进行较为客观、全面的了解和评估，将为今后制定教师数据素养发展标准、明确教师数据素养培训方向提供参考依据。

二、研究设计与过程

合理构建教师数据素养评价指标不仅可以为考察教师专业能力提供一种评估手段，也能为提升教师数据素养指明方向。本研究综合国内外有关教师数据素养内涵、相关能力要素以及评价的研究，以教师数据素养模型（刘雅馨，等， 2018）为基础，初步选取教师数据素养评价指标，采用德尔菲法，经过专家意见征询和反馈优化指标、确定教师数据素养评价指标内涵及其权重，最终形成科学的中小学教师数据素养评价指标体系。

（一）专家选择

研究过程中共邀请在高校以及中小学工作的3类、共计12位专家参与构建中小学教师数据素养评价指标体系的意见征询，涵盖：①教育大数据研究专家4人;②教师专业发展研究专家4人;③中小学资深教师（省级教学名师、教授级教师等）4人。选择专家是德尔菲法的重要环节，参与本研究的专家均为与教师数据素养发展研究和实践紧密相关的人员。经过有组织的反复信息交流，得到专家意见一致程度较高的教師数据素养评价指标体系。选择不同领域的专家既能保证评价指标理论研究的专业性，又能保障相关实践的科学性和合理性。

（二）指标体系构建方法和过程

采用德尔菲法征询专家意见。德尔菲法是用于构建群组交流过程的方法，这一方法使得该过程有效地允许一组个体作为一个整体来处理复杂问题。为了实现这种“结构化交流”，它提供了对信息和知识的个人贡献的反馈、对集体判断或观点的评估、个人修改观点的机会以及个人回复的在某种程度上的匿名性（Linstone， et al.， 1975， p.3）。采用德尔菲法征询专家意见既能够避免专家权威的相互影响，又能够搭建专家匿名交流的桥梁，最终使专家对某一问题得出尽可能一致的看法。

研究分两个阶段进行。第一阶段主要是获得初拟中小学教师数据素养评价指标并对其进行优化。本阶段通过文献研究以及对教师数据素养模型（刘雅馨，等， 2018）四个层面的细化，选取教师数据素养一、二级指标，形成教师数据素养评价初步指标，并以此为基础编制第一轮中小学教师数据素养评价指标问卷。对第一轮问卷回收结果进行统计分析，整理专家反馈意见，计算各指标重要性均值，筛选优化指标，以此作为进入下一轮的依据。第二阶段主要是确定评价指标内涵与权重，构建中小学教师数据素养评价指标体系。本阶段将第一轮专家咨询问卷数据统计结果汇总整理并反馈给专家，编制第二轮专家咨询问卷供专家修订打分、交流意见以及确定指标的内涵，直至专家对指标体系与各指标的内涵形成一致性程度较高的意见，然后对打分结果进行统计并计算指标权重，最终形成指标体系。研究程序如图1所示。

（三）问卷设计

研究采用2份自编的《中小学教师数据素养评价指标体系构建德尔菲专家咨询问卷》作为确定评价指标、指标内涵以及权重的研究工具。在问卷设计方面，经过前期调查研究，初步选取6个一级指标与20个二级指标，基本涵盖国内外教师数据素养能力要素。在前期调查的基础上以半开放形式征询专家意见，将经过初步筛选的教师数据素养评价指标作为第一轮专家问卷的主要内容，编制专家评分表。除结构性问题外，均留有专家开放地发表意见的空间。第一轮专家意见征询问卷由研究背景、研究目的、指标来源和专家评价表（指标评分+开放性问题）四部分组成。在专家评分表中确定了影响教师数据素养评价指标的评价因素，包括评价等级、判断依据和熟悉程度，量化表如表1所示（樊长军，等， 2011）。问卷中的专家评分表排在一页之内，使专家在对各指标进行评分时能够保持整体的概念（孙瑞华，等， 2000）。第一轮问卷征询结束，将专家意见处理结果作为下一轮反馈的依据，重新修订后编制第二轮问卷。第二轮问卷包括第一轮问卷结果反馈与指标内涵专家选择表两大部分，再次征询专家意见，直至专家意见趋于一致。

（四）数据统计与主要函数

研究使用SPSS与Excel软件统计分析数据。以专家积极系数、专家权威程度作为判断专家团队对该项研究的重视程度与专业化程度的标准。以满分频率、算数平均数、变异系数作为筛选、确定评价指标的统计量，最后进行归一化处理计算各指标权重。

1. 专家积极系数K

专家积极系数代表了专家对评价内容的关心程度，计算公式为：

K= [mM] （1）

式中：M代表发放问卷的所有专家人数，m代表参与评分的专家人数，即专家积极系数通过专家征询问卷的回收率来表示。

2. 专家权威程度[CR]

专家权威程度对评价的可靠性具有较大影响。影响专家权威程度的主要因素有两个：一是专家对指标做出判断的依据[Ca]，二是专家对问题的熟悉程度[Cb]，两个因素的不同等级量化值见表1。[CR]越大，表明专家权威程度越高，专家权威程度计算公式为：

[CR]=[Ca+Cb2] （2）

3. 满分频率F

满分频率F是指对指标i给出满分的专家人数[mi]与对指标i做出评价的专家人数[Mi]之比，计算公式为：

F[=miMi] （3）

式中：F越大，表明对指标i做出满分评价的专家越多，从侧面说明了该指标的相对重要性越大。

4. 重要性算术平均数[Ci]

重要性算术平均数体现了专家对该指标重要性评分的集中程度，算术平均数越大，该指标的相对重要性越高。重要性算数平均数计算公式为：

[Ci]=[1mj=1mCij] （4）

式中：m为参与评分专家人数，[Cij]为专家j对指标i的评分值。

5. 变异系数[Vi]

变异系数是概率分布离散程度的一个归一化量度，又称“离散系数”，通常用来反映专家意见的协调程度。变异系数Vi是代表评价波动大小的重要指标，它表明专家们对指标i的相对重要性在认识上的差异程度。Vi越小，表明收敛程度越好，专家们的协调程度越高，计算公式为：

[Vi=σiCi] （5）

式中：[σi]为教师数据素养评价指标i得分的标准差，即

[σi]=[1m-1j=1m（Cij-Ci）2] （6）

式中：m为参与评分专家人数，[Cij]为专家j对指标i的评分值，[Ci]为指标i重要性算术平均数。

6. 指标权重

在对各指标重要性均值进行归一化处理后得到各层指标权重系数值，使用Saaty氏提出的乘积法计算各级指标的权重，公式为：

[Wi]=[t=1tKi] （7）

式中：[Wi]为组合权重系数，t为指标层级数，t=1，2…，[Ki]为归一化处理后的分层指标权重系数。

三、研究结果分析

（一）第一轮专家意见统计结果分析

研究共进行了两轮专家意见征询。第一轮发出专家咨询问卷12份，回收有效问卷12份，回收率100%，专家积极系数100%，说明绝大多数专家关心本研究，参与的积极性高。研究通过专家自评的方式对参与专家的权威程度进行调查，统计结果显示，3位专家的权威程度系数CR值介于0.8～0.9，6位专家的权威程度系数CR值介于0.7～0.8，3位专家的权威程度系数CR值介于0.45～0.70，12位专家权威程度系数均值为0.72。一般认为，专家权威程度系数CR≥0.7即可接受（吴扬，等， 2018），本研究专家团队符合德尔菲法的研究要求，表明选取的专家在教师数据素养研究方面具有一定权威。

从问卷统计结果显示来看，6个一级指标重要性均值均在4.00以上，20个二级指标中19个重要性均值大于4.00，只有“持续跟踪数据”重要性均值为3.92。整体结果显示出专家对教师数据素养评价的一、二级指标基本认同，因此第一轮指标全部保留，指标具体得分情况见表2。

从问卷中的开放性问题反馈情况来看，50%的专家表达了对指标体系设计的认可，认为指标体系整体结构清楚、维度合理。此外，专家意见主要集中在以下五点：

（1）对量化互联思维做出解释;

（2）明确指标的操作性定义，即需要采集哪些数据以使评价指标具有实践意义;

（3）“数据伦理”是否可以作为一级指标;

（4）“数据意识”中增加“数据安全意识”;

（5）增加对二级指标的具体描述，使语言描述更贴近教师日常工作生活。

根据专家对开放性问题的反馈情况，在第二轮专家征询问卷中针对意见（1）（2）进行了解释;针对意见（3）（4）进行专家意见征询，如果同意则再次打分;针对意见（5）增加了对二级指标内涵的描述，由专家对具体条目进行保留与删除的选择。这里对量化互联思维做出补充说明，在教育领域量化思维的核心就是用数据来描述和解释教育教学中的现象和问题，也就是“用数据说话”（刁生富，等， 2017）;共性的量化使得各种数据信息之间的互通成为可能，打通人与人、人与活动、活动与活动之间的数据信息，形成多维完整的数据链，这就是“互联思维”。在量化互联思维的基础上，建立实用的分析方法和数据科学，发现数据信息与教学现象之间的联系，才能实现数据价值的最大化。

（二）第二轮专家意见统计结果分析

第二轮专家征询发出問卷12份，回收有效问卷12份，回收率100%，专家积极系数100%。根据第一轮问卷反馈，有专家提出“持续跟踪数据”不属于“数据应用能力”，鉴于“持续跟踪数据”在第一轮得分在4.0以下，并且第二轮指标内涵的选择中得分仍然较低，采纳专家意见，删除二级指标D1“持续跟踪数据”。50%的专家认同将“数据伦理”作为一级指标，重要性均值为2.50，通过率较低，综合考虑不做改动。83.3%的专家认同在“数据意识”中增加“数据安全意识”作为二级指标，认同度高。由于数据伦理道德与数据安全意识在具体内涵上存在交叉，这里的数据安全意识主要指使数据不遭受偶然或恶意的破坏、更改、泄露和非法使用，数据伦理道德指使用数据的过程中需要遵循的原则与规范，考虑到伦理与道德都表示在使用教育数据过程中需要遵循的原则与规范，因此将二级指标“数据伦理道德”改为“数据安全与道德”。

针对第二轮问卷中的开放性问题，专家意见主要包括以下三点：

（1）对学生进行多维度评价需要教师积累丰富的数据，但做到这一点对于单个教师来说非常困难，需要相应学习平台为教师录入、采集、处理、分析与交流数据提供便捷服务;

（2）提升中小学教师数据素养是系统工程，需要顶层设计;

（3）“数据思维”与“数据应用能力”在内涵上区分度不大，是否要专门规定。

专家意见（1）和意见（2）可以作为设计教师数据素养提升路径时的参考要素;针对意见（3），本研究团队经过讨论决定保留“数据思维”。数据思维是数据素养的高阶思维形态，是教师认识教育数据过程中的高级阶段。思维方法是实践主体认识世界与改造世界的着眼原则与逻辑理路，是不断增强理论与实践科学性、前瞻性、主动性和创造性的首要前提（孔翠萍，等， 2018）。其中，创新思维与辩证思维在教师教育教学中具有重要意义，教师要在“识变”“应变”“求变”的基本逻辑中把握发展机遇、实现主动推动教育的创新发展;辩证思维能力，就是承认矛盾、分析矛盾、解决矛盾，并善于抓住关键、找准重点、洞察事物发展规律的能力（人民日报， 2019）。在教师数据素养的必备要素中，数据思维中所包含的量化互联思维、问题导向思维、辩证批判思维、创新变革思维无形地影响着教师数据应用的各个方面，教师需要明确思维的深层要义，利用教育数据发现问题、解决问题，进而实现教学模式的创新与变革。思维是一种上位的抽象概念，该特征决定了在具体阐述其外显行为表现时，为了方便理解，会偏向于应用能力来介绍。本研究团队最终决定保留“数据思维”，进行单独规定。

对于一、二级指标的内涵，统计结果显示，所有指标中满分频率超过40%的达到68%，显示指标重要性较高，专家集中程度好。一、二级指标变异系数全部介于0.00～0.25，说明专家意见协调程度好。关于一、二级指标统计结果的具体数据详见表3和表4。经过数据处理与意见整合，第二轮专家征询结果具有较高的一致性，因此不再进行第三轮征询，一级指标内涵及权重分配见表5。

四、评价指标体系试用检验

构建完成中小学教师数据素养评价指标体系后，其是否符合当前教师数据素养发展情况还需要进一步检验。本研究团队根据指标内涵编制《中小学教师数据素养自我评价量表》并进行小范围试用，以检验评价指标体系的科学性与可靠性。测评样本的选择覆盖小学、初中和高中三个学段，选取山东省3所学校的教师46人，发放问卷46份，回收有效问卷46份。对量表进行信度分析，量表整体Cronbachs α系数为0.978，内部一致性较好。

按照指标体系的确定，设定每一项二级指标总分为100分，对二级指标下的具体内容题项进行占比的平均分配。编制百分制评价量表，将教师数据素养自我评定划分为5个等级，由低到高依次为“非常不符合”“不符合”“一般”“符合”“非常符合”，分别赋值20分、40分、60分、80分、100分，由教师对自身达到标准的程度进行判断，以此评价教师当前所处的水平。将每项二级指标得分与其权重相乘，累加得到该指标项所属一级指标之值，最终，累加每项一级指标之值与其权重之积，总和为最终得分，即评价结果得分越高，自我评价越高。

通过计算量表得分可知，参与调查的46位教师数据素养平均得分为75.85分，处于中等水平。从教师数据素养自我评价看，教师对自身“数据安全与道德”认同度普遍较高，其次为“数据价值意识”“数据采集技能”“数据反思与评价”，教师认为自身“基于数据的问题解决能力”相对欠缺。这一结果表明多数教师在教学活动中具有利用数据的想法，但缺乏实际的数据应用能力，在培养教师数据素养的过程中需要在掌握一定理论基础后增加实际应用的操作经验，从而获得实际技能。从得分情况看，在一级指标中教师“数据意识”得分最高，“数据知识”相对较低，说明该研究中教师虽然具有一定数据意识但对实际数据知识的掌握相对欠缺，在今后培养教师数据素养的过程中应着重对教师的数据知识水平进行有针对性的提升。

在指标体系试用阶段，指标权重虽然在一定程度上对各指标的重要性进行了有力区分，在对教师各项能力进行客观评价时具有一定科学性，但在做整体分析时二级指标的等级得分与最终得分情况的出入通常受二级指标数量（或权重）的影响，如一级指标下的二级指标项较少则该指标项下二级指标往往得分较高。因此，在观察得分情况时一级指标最终得分具有较强的可参考性，而对教师各项具体能力进行普遍性评价时等级得分情况的可参考性更大。一、二级指标权重的设定为评价一定区域内以及个体教师的数据素养和培训效果提供了较为可靠的参考，但在使用过程中需要评价指标体系的使用者根据实际情况灵活选择合理的评分与计算方式。

五、结语

评价指标体系作为重要的评价测量工具，是一种衡量尺度，也是一种对未来的预测工具。中小学教师数据素养评价指标体系是测量评估教师数据素养水平以及阶段性发展特征的重要工具，合理使用该工具能较为客观地描述教师队伍数据素养整体变化情况、潜在能力和发展趋势，有助于研究分析和把握大数据时代中小学教师数据素养发展宏观趋势与微观特征，提升战略决策与宏观预测的准确性和科学性。中小学教师数据素养评价指标体系的构建从初拟指标选取、专家选择、数据统计到结果分析一系列过程相对科学、严谨，形成了以6个一级指标与19个二级指标为评价框架的较为科学的指标体系，对相關指标内涵做出解释说明，并进行小范围试用，结果可信。

研究尚存在不足之处。初拟指标选取虽然经过大量文献调研，基本涵盖了评价中小学教师数据素养所应包含的指标，却存在因筛选组合过程中的主观与局限性给专家的选择造成一定限制的问题。但评价指标总体可行，得到专家与一线教师的认可。评价指标体系的使用需要根据不同地区、不同学科与学段的具体情况灵活调整，以最大限度适应实际需求，达到客观评价的目标。指标体系使用者可以选择评价量表、调查问卷、访谈等评价形式对不同区域、不同教师的数据素养做出合理评估。

[参考文献]

邓李君，杨文建，张娟，张晓梅. 2018. 数据素养视域下的教师数据利用教育研究进展[J]. 图书馆理论与实践（10）：42-47.

刁生富，姚志颖. 2017. 论大数据思维的局限性及其超越[J]. 自然辩证法研究，33（5）：87-91，97.

樊长军，张馨，连宇江，候荣理，康美娟，赵军亮，朱媛. 2011. 基于德尔菲法的高校图书馆公共服务能力指标体系构建[J]. 情报杂志，30（3）：97-100，169.

高书国. 2015. 教育指标体系[M]. 北京：北京师范大学出版社.

孔翠萍. 2018. 习近平总书记治国理政的思维方法体系研究[J]. 思想政治教育研究，34（6）：23-27.

隆茜. 2015. 数据素养能力指标体系构建及高校师生数据素养能力现状调查与分析[J]. 图书馆（12）：51-56，62.

李青，赵欢欢. 2018. 教师数据素养评价指标体系研究[J]. 电化教育研究，39（10）：104-110.

阮士桂，郑燕林. 2016. 教师数据素养的构成、功用与发展策略[J]. 现代远距离教育（1）：60-65.

刘雅馨，杨现民，李新，田雪松. 2018. 大数据时代教师数据素养模型构建[J]. 电化教育研究，39（2）：109-116.

孙瑞华，齐松仁，左焕琮，刘雁飞，王若涛. 2000. 医师科研绩效评估指标体系及构建的探讨研究[J]. 中华医学科研管理杂志（1）：9-12，34.

人民日报. 2019. 习近平为什么这样重视“辩证思维”[EB/OL]. [2019-01-26]. https：//mp.weixin.qq.com/s/hFl7eg-Fh9f_oq4mrAYs2Q