中小学生数字化学习与创新评价指标体系构建

王一新 朱彩兰

（1.山东省潍坊第一中学，山东 潍坊 261205；2.南京师范大学 教育科学学院，江苏 南京 210097）

一、问题的提出

当前，人工智能等数字技术的发展标志着数字经济时代的来临，《提升全民数字素养与技能行动纲要》指出，要构建知识更新、创新驱动的数字素养与技能发展培育体系。中小学校是青少年数字素养与技能培养的主阵地，信息科技（技术）课程是学校数字素养与技能教育的核心载体。培养学生数字素养与技能，不但要引导学生适应数字时代学习方式变革，提高数字化学习能力，也要提升数字化创新力，推动数字社会的进步[1]。2022 年4 月，教育部发布了《义务教育信息科技课程标准（2022 年版）》（以下简称“义教课标”），将课程名称从信息技术改为信息科技。本研究为了行文方便，将混用这两个术语。数字化学习与创新是信息科技（技术）课程学生要具备的核心素养之一，它指学生在数字化环境中，借助数字化工具和资源等条件，展开自主探究和协作学习，从而提升问题解决和创新能力。放眼国际，一些相对完备且具有影响力的技能框架，如联合国全球数字素养框架等，都含有与数字化学习与创新内涵相似的要求，这从侧面印证了它在当前数字时代的重要性。

基于上述背景，围绕数字化学习与创新的各种理论研究和实践研究正在积极地开展。理论层面涉及数字化学习与创新的内涵剖析、价值探讨等，如陈明选等人[2]从意识层、能力层和应用层展开内涵解读；杨晓哲等人[3]通过总结案例阐明数字化学习与创新素养在课程实施中的4 种基本方式；实践层面的研究更多探讨数字化学习与创新的培养策略和实施路径，如陈明选等人[2]构建了数字化学习与创新素养学习活动策略框架；李维明[4]总结了开展数字化学习的主要步骤。已有文献中，关于评价的研究大致可以分为两类：一类是数字化学习能力评价的研究，如管钰琪等人[5]建立3 层同心圆、正反三角螺旋相交的结构模型来表示技术丰富环境下学习力的构成要素。另一类是在教学实践中展开数字化学习与创新素养的评价，如王春雨[6]从数字化环境适应度、选择与收集数字化资源、管理与应用数字化资源和分享与创新作品4 个维度评价初中生的数字化学习与创新。

但整体来看，目前关于数字化学习与创新评价的研究相对较少，且多采用问卷调查、测验等方法对学生的数字化学习与创新素养水平进行整体性勾勒，缺少较为精细的评价指标体系依据。评价的合理性不仅影响教师对学生学情的把握，还会影响对课堂教学效果的判断，鉴于此，本研究尝试构建结构合理、操作性强的中小学生数字化学习与创新评价指标体系，为有效诊断和精准提升数字化学习与创新水平提供测评工具和循证基础。

二、评价指标的形成

（一）厘清构成要素，初步确定指标构成

本研究首先采用文本分析法展开相关文献的搜集与研读，从中提取对数字化学习与创新进行界定的，具有纲领性、指导性、示范性的文本。经过系统梳理，国内选取9 份文本资料构成提取构成要素的关键文献。国外对数字化学习与创新尚无明确的定义，但溯本求源，高中信息技术学科核心素养是由课标修订组聚合信息技术相关素养（ICT 素养、信息素养、媒介素养、数字素养等），分析其素养概念与特征，抽象出信息技术核心要点，与国家学生发展核心素养映射形成的。其中，与数字化学习与创新相关的核心要点包括信息意识、信息交流、数字媒介批判分析及数字化创新。因此，为了确保对数字化学习与创新的分解能够最大程度地反映其核心要素，本研究选取国内外关键文献中数字化学习与创新及相关素养的定义描述和内涵特征中和数字化学习与创新核心要点相吻合的部分作为关键文本，利用Nvivo 软件进行三级编码，初步拟定评价指标。

一级编码结束后，共得到303 个要点。然后，根据一级编码间的关系进行二级编码，分析出以上要点所属的17 个类属。再根据类属之间的内部关系，对类属进行进一步的组合和提炼，得到数字化学习适应、数字化技术掌握等5 个核心维度。核心维度和二级维度的频次和比率见表1。

表1 数字化学习与创新维度编码统计表

（二）结合专家意见和统计结果，修订评价指标

在初步确定评价指标之后，利用德尔菲法向专家展开指标意见的咨询，修订数字化学习与创新评价指标，从而保证指标的全面性和科学性。本次咨询邀请30 名专家参与，包括高校信息科技（技术）教学研究者、信息科技（技术）教研员及一线信息科技（技术）教师3类成员，专家职称均为高级，教龄均在10 年以上，分别具有丰富的理论研究和教学经验。本研究采用自编的问卷作为修订评价指标的研究工具，问卷主体内容为初拟的数字化学习与创新评价指标及其内涵解释，各指标后均留有专家合理性打分（采用李克特5 点计分法）和提出修改意见的空间。问卷还包括专家基本信息、对数字化学习与创新的熟悉程度及对指标的判断依据等。回收专家意见后，计算专家效度并根据修改意见调整指标。经过两轮意见咨询，专家意见基本达成一致。对专家效度计算和意见汇总情况分析如下。

问卷的回收率反映专家积极程度，两轮问卷的回收率均为100%，表明所有专家关心本研究问题，积极性高。另外，根据专家填写的基本信息对专家的判断依据（Ca）和对该问题的熟悉程度（Cs）进行量化，求得权威系数（Cr），从而评估专家组成员是否具有一定的权威性。第一轮咨询中，Ca均值为0.89，Cs均值为0.86，Cr均值为0.875；第二轮咨询中，Ca均值为0.913，Cs均值为0.78，Cr均值为0.847。这表明两轮专家咨询中，专家做出判断的依据合理，且对数字化学习与创新素养较为熟悉，权威程度符合德尔菲法的要求。

利用专家对各指标打分的算数平均值和满分频率评估专家意见一致性程度，二者数值越大，说明指标合理性越高。第一轮意见咨询中，专家对5 个一级指标的合理性评分均值均大于4，说明指标总体合理；17 个二级指标中，满分频率高于0.5 的有6 个，占比35.3%，表明指标需在下一轮咨询中进行完善和修改。对专家意见进行充分汇总分析后，对指标做出以下几处修改：（1）专家认为，一级指标“数字化技术掌握”和“数字化信息处理”在认知层次上有交叉。因此，将“数字化技术掌握”下的二级指标“技术应用”改名为“工具应用”，并移动至“数字化信息处理”维度下，将一级维度“数字化技术掌握”改名为“数字化技术操作”，使一级维度“数字化技术操作”侧重于对技术工具的基本知识和技能的掌握，“数字化信息处理”强调对技术工具的运用，二者在认知层次上形成区分，避免歧义。（2）二级指标“资源管理”属于信息处理的过程，将原“数字化学习管理”维度下的“资源管理”移动至“数字化信息处理”维度下。（3）义教课标在理念上强调自主学习与合作探究，但“数字化学习管理”维度中没有体现探究学习的重要性，故将二级指标“自主学习”改为“自主探究学习”，将“协作学习”改为“协作探究学习”。（4）专家指出，一级指标“数字化学习适应”中的“适应”二字有被动的含义，需重新明确主动和被动的关系，故将一级指标“数字化学习适应”名称修改为“数字化学习认识”。（5）为保证指标表述的完备性，采纳专家意见，将二级指标“学习管理”名称改为“学习过程管理”。

修改后，继续进行第二轮专家咨询。第二轮中，一级指标的算数平均值均在4.5 以上，满分频率均高于0.7，表明专家对5 个一级指标的认同度达到了较高水平；二级指标的算数平均值和满分频率较第一轮也有显著的提升，其中，“技术知识”和“技术实践”两个指标的均值略低，主要原因是指标解释不够明晰。另外，有专家指出，“数字化信息处理”指标下的二级指标“工具运用”与该维度下的其他指标重复，故本轮将二级指标“工具运用”删去。专家总体上对指标合理性认同度高，意见趋于一致，故不再进行第三轮专家意见咨询。

通过变异系数和肯德尔协调系数能够评估专家组成员的判断和意见是否一致。经计算，两轮咨询变异系数均小于0.25，专家意见一致性良好。第二轮咨询的肯德尔协调系数为0.619，相较于第一轮的协调系数0.292 有明显提升，表明指标认同度升高并趋向一致，研究结果可取。

最终， 经过两轮指标修订，形成由5 个一级指标、16 个二级指标构成的指标体系，如图1 所示（见下页）。

图1 中小学生数字化学习与创新评价指标构成

三、评价指标的权重配置与体系形成

已形成的评价指标体系尚不能体现出各指标的重要性程度。重要性程度一般由“权重”来表示。层次分析法可用于复杂评价问题的选择和排序，能有效解决权重系数的计算问题。根据层次分析法的理论，首先依据拟定的评价指标建立层次结构模型，在此基础上形成判断矩阵，继而邀请权威专家按照Satty1—9 的标度法对各级指标进行两两比较打分，最终得到判断矩阵60 个。表2 是以专家E1 打分数据为例构造的判断矩阵。

表2 根据专家E1 打分数据构造的判断矩阵

计算判断矩阵特征向量的方法有很多，此处使用方根法：

将其进行按列归一化处理，得到专家E1 打分形成的一级指标权重系数：

之后，对判断矩阵A进行内部一致性检验，计算一致性指标：

查询随机一致性指标RI值，可知5 阶判断矩阵RI值为1.12。因此，求得一致性比率：

这说明判断矩阵有效，权重分配合理。按此方法，分别求得所有专家对一级指标的打分权重，并求取均值：W1=0.216 1，W2=0.105 5，W3=0.179 3，W4=0.134 0，W5=0.365 1，分别对应一级指标数字化学习认识、数字化技术操作、数字化信息处理、数字化学习管理和数字化创新实践的指标权重。二级指标权重的计算方法与一级指标一致，此处不再赘述。最终得到的整个评价指标体系的权重分配情况，如表3 所示（见下页）。

表3 中小学生数字化学习与创新评价指标体系

四、讨论

（一）评价指标体系维度划分的合理性分析

本研究建立中小学生数字化学习与创新评价指标体系，具体从数字化学习认识、数字化技术操作、数字化信息加工、数字化学习管理和数字化创新实践5个维度描述中小学生数字化学习与创新素养。

1.数字化学习认识

思想是行动的先导，对数字化学习的正确认识是学生主动使用信息技术工具、开展数字化学习活动的动力所在。其下3 个二级指标体现了从被动适应数字化学习到主动开展数字化学习再到形成数字化学习习惯的过程，凸显了中小学生形成数字化学习正确思想认识的路径。

2.数字化技术操作

义教课标在理念上强调“科”与“技”并重，在计算思维部分，技术操作被描述为验证、仿真、模拟，侧面体现出技术的定位。数字化技术操作是指学生为适应数字化学习方式在基础知识和技能方面的准备，学科核心素养的形成需要以学科基础知识和基本技能作为基础，进而经历问题解决过程，形成学科思维[7]。因此，信息科技（技术）基本理论知识和技术实践能力是数字化学习与创新的重要组成部分，为后续运用技术解决问题打下基础。

3.数字化信息处理

义教课标在数字化学习与创新素养要求中提到，具备数字化学习与创新能力的学生，能利用信息科技获取、加工、管理、评价、交流学习资源，这体现了学生在数字化环境中进行信息处理的过程。2003 年《普通高中技术课程标准（实验）》的信息技术部分，“对信息进行评价的能力”和“信息获取、加工、管理、呈现与交流的能力”被列入课程目标，同样体现了信息处理的过程。由此可见，对信息加工处理的能力是数字化学习与创新的关键，选用工具获取、评价、加工、管理、交流学习资源，是数字化环境中信息处理的基本过程。因此，将数字化信息处理列为一级维度、工具评估和选择、资源检索等指标列为二级维度（本研究认为资源交流属于协作探究学习能力要求）是合理和必要的。

4.数字化学习管理

学生作为学习活动的主体，必须掌握学习策略，实现对自我数字化学习过程的管理，这是数字化学习得以有效、顺利开展的保证。在数字化学习环境中，学生只有掌握科学的学习方法，主动开展自主探究学习以及协作探究学习，对学习时间、任务实行自我监控，其数字化学习过程才有可能实现，数字化学习效果才有可能达到理想状态。

5.数字化创新实践

数字化学习与创新绝不仅仅指学生在数字化环境下“向内”建构和学习的能力，更突出于“向外”解决问题，以及数字化环境下的创新，这一点在“数字化学习与创新”概念命名上即可鲜明体现。因此，数字化创新实践作为一级维度，体现出当前信息科技（技术）课程目标导向与理念的转变，即由技术导向的“信息技术操作技能学习”转向素养导向的“利用学科思维解决实际问题的能力”[8]。

（二）评价指标体系权重分配的合理性分析

“权重”反映指标重要性程度，指标重要性越高，权重数值越大。根据计算结果，5 个一级指标的重要性排序依次为：数字化创新实践（0.365 1）＞数字化学习认识（0.216 2）＞数字化信息处理（0.179 3）＞数字化学习管理（0.134 0）＞数字化技术操作（0.105 5）。

1.数字化创新实践的重要性最高

创新是高素质人才的核心，是引领发展的第一动力。义教课标当中多次提到“自主可控”和“原始创新”，体现出信息科技课程在培养学生创新精神方面的担当[9]。虽然从基础教育阶段开始学习原始创新的知识、研发自主可控技术为时尚早，但学生有必要体认创新的情感价值，掌握创新的实践方法，积累创新的行动经验。在信息科技（技术）课程中培植学生创新能力，落脚点在于推进数字化学习与创新，数字化创新力更是数字化学习与创新的最终走向，因此，有必要突出和强调数字化创新实践维度的重要性。

2.数字化学习认识的重要性次之

数字化学习认识反映的是对数字化学习这一过程的主观认识和态度，是在思想层面上对学生提出的要求。学生对数字化学习具有心理认同感，才能主动采取数字化学习行为。因此，数字化学习认识在数字化学习能力形成过程中起到先行作用，是一个人转变传统学习方式、开展数字化学习的前提。中小学生正值意识产生和习惯养成的关键时期，处于对数字化学习产生正确认识的关键阶段，所以数字化学习认识的重要性仅次于数字化创新实践。

3.数字化信息处理、数字化学习管理和数字化技术操作3 个维度的重要性相近

数字化信息处理和数字化学习管理的重要性高于数字化技术操作，分析原因，主要在于二者都指向学习活动中数字化资源和工具的有效运用，在认知层次上高于数字化技术操作：数字化信息处理考察的是学生在数字化环境中有效加工处理信息的能力，是学生开展数字化学习活动的基本方式；数字化学习管理属于学习策略的范畴，目的是提升学习的效果和效率，起辅助作用，重要程度略低于数字化信息处理。以上两个维度在布鲁姆认知目标六层次中都属于应用层面，而数字化技术操作侧重于对基本知识和技能的掌握，属于记忆或理解的认知层次，其认知层次低，重要性也低。

总体来看，评价指标体系的权重分配符合现阶段信息科技（技术）课程发展趋势和全民提升数字素养与技能的时代背景，权重分配合理。

五、结语

本研究从质性分析的视角厘清了数字化学习与创新的构成要素，以此为依据，历经严谨的研制流程，构建形成较为完善的中小学生数字化学习与创新评价指标体系。该指标体系是评估中小学生数字化学习与创新素养水平的参考依据，在信息科技（技术）课堂中发挥诊断和指导作用，同时也能够为信息科技（技术）课堂中的学生数字化学习与创新素养培养提供指引与支持。不可否认的是，本研究还存在一些不足之处，比如，研究结果受专家主观性影响较大。后续研究将在此基础上编制数字化学习与创新测评量表，在实践中进行运用，进一步验证指标的有效性，并根据学生的年龄阶段和群体进行优化，增强评价指标的针对性。