基于大数据理念下的中小学教师信息技术应用能力发展测评模型探究——以广州为例

谭颖臻，陈艳

（广州市广播电视大学教师继续教育学院，广东广州510091）

1 问题的提出

近年来，国家非常重视信息技术在教育教学中的融合应用及教师信息素养的提高，教育部2013年启动了“中小学教师信息技术应用能力提升工程”，要求将信息技术应用能力培训作为“必修课”纳入全国中小学教师培训工作中[1]。2015年以来，广州市“提升工程”在全国工程办和省工程办的指导下，依托“广州市中小学教师继续教育网”为广大中小学教师提供了培训服务，培训人次超过365万。随着培训各环节工作的逐步完善，如何对在线学习过程当中产生的各类学习行为数据进行整理及分析评价一直是各大在线教育平台共同面临的一个难题[2]。

2 发展测评的设计思路

结合教育部2013年发布的《教育部关于实施全国中小学教师信息技术应用能力提升工程的意见》（教师〔2013〕13号）、《中小学教师信息技术应用能力测评指南》及《中小学教师信息技术应用能力标准（试行）》等文件精神，坚持“以评促学，以评促用”为导向开展信息技术应用能力测评，开发适合本地实际的测评工具，建立网络测评系统，为教师提供有效测评服务以激发教师持续学习的动力[3]。为让大数据技术在与广州市中小学教师继续教育网的融合应用中，最终确立“基于培训、但要高于培训、着重应用”的设计思路[4]。

首先，建立观察测评模型。设立观察点，在数据分析基础上进行多元化评价：基于教师专业发展角度，进行系统性评价；基于多种技术应用基础上，进行定性定量的技术性评价；线上测评活动结合线下实际情况进行综合评价。

其次，智能化测量、采集学习活动各环节的行为数据。如查看文档、浏览视频、提交作业、论坛发言、选课情况、参与研修、自我总结；完成情况、完成质量、完成数量；交互情况、贡献数量、同伴互评、教师评价；客观测评（章节测试、过程测试、期末测试）；前测结果等功能。

再次，线下活动包括校本观察、设计案例、反思自评、应用效果、后续跟踪、创新情况、对比分析竞赛成果、学生情况（横向、纵向）等。

最后，进行多维、多元综合性的评价：综合线上、线下情况进行分析；定量计算、定性分析；动态反馈调整；可视化结果呈现。

在这一过程中，测评系统的设计遵循以下理念。

2.1 基于柯氏评估模型的设计

柯氏模型是现今国际人力资源管理领域公认运用最广泛、最有效的培训评估模型，其从反应层、学习层、行为层及结果层4个层级对培训活动进行评估，但就当今的教师培训活动而言，如何准确把握教师需求、精准实现培训目标应该是一个完整的评估活动的开始，因此，借鉴刘建银等关于“国培计划”项目评估的五层次模型，在该次发展测评的模型设计中[5]，对照教师的培训参与和结果应用情况，加入了对需求层的评估，整个评估层次和内容如图1所示。

2.2 过程与结果相结合、主观与客观相结合

学习行为分析部分会对教师在学习、研修过程中产生的各类数据和成果的应用情况进行综合分析，实现过程与结果的相结合；信息技术应用能力在线测评对教师的自我评价情况和情境测评情况进行分析，实现主观与客观相结合。

2.3 强调多元评价、关注发展方向

以多主线、多维度、个体数据和群体数据出发对教师的情况进行评价，包含登录基本数据、终端使用情况、互动研讨情况、研修开展情况、实践作品评价情况、在线测评情况、学习与发展情况等。发展测评不局限于简单的呈现评价结果信息和进行培训前后结果对比，突破对教师信息技术应用能力高低的绝对评价，不再是冷冰冰、无感情的数据，而是结合教师个体情况、技术平台发展趋势、专业发展需求等向教师提供下一步参与培训以及教学教研工作的方向建议，与教师之间可以产生更多的活动交流。

3 发展测评的模型构建

以《中小学教师信息技术应用能力的标准（试行）》为基础，开发“L+U”发展测评模型，实现基于大数据理念的智能分析。首先通过研修平台用户行为数据采集系统采集教师学员在培训平台中的学习行为数据，然后通过教师线下成果采集系统采集教师线下研修成果，构建中小学教师信息技术应用能力发展测评的数据集，采用大数据分析子系统（TOPSIS分析、效用分析、柯氏五级分析）对应不同角色（教师、学校、管理部门、培训机构）分析生成不同内容的测评报告，最终形成一个科学完整的测评系统，为教师、学校、相关机构和管理部门提供教育教学方面针对性的指导建议[6]，如图2所示。

3.1 数据整合及数据模型建模

广州市“提升工程”发展测评数据库存储了包括“教师学员基本信息、系统测评题、教师线上线下的测评数据及最终的测评结果”等各项重要信息，而它的建立，也是整个测评系统最基础、最关键的部分，关乎整个软件能否持续稳定的运行。见图3。

从平台提取教师学员在“提升工程”学习、研修平台中产生的各类学习、研修和线下应用等方面的数据，采用线上ETL和线下互联网爬虫技术采集相关信息，通过数据整合的规则和关联对数据加以评估、训练和分析，得出有用数据并通过“L（本地化）+U（通用化）”的数据模型进行存储，方便后期进行数据分析。见图4。

3.2 测评模型的指标分析与评估

评估工作可为整个测评平台运作确立起点，为考核评价提供相关依据，任何的评估都需要一个统一的标准用以衡量基础环境或体现原则，国家目前已明确提出以《中小学教师信息技术应用能力标准（试行）》（以下简称《能力标准》）所列内容为标准，既确保测评活动严肃性和权威性，又可帮助教师实现能力达标。文件对教师信息技术应用能力提出两点要求，教师应用信息技术优化课堂教学能力、教师应用信息技术转变学习方式能力，其中每项要求各有5个能力维度作为测评系统的一级指标，25个具体指标作为二级指标，共称为测评平台的整个评价体系。见表1。

表1 “应用水平评估”中“学习与发展”5个指标

图1 基于柯氏评估模型的发展测评模型设计

图2 大数据视角下的“L+U”发展测评模型

图3 数据整合过程

发展测评模型采用熵权法TOPSIS（Technique for Order Preference by Similarity to an Ideal Solution）和夹角余弦两种算法对教师的测评数据进行分析。TOPSIS方法是多目标决策分析中一种常用的有效方法，其基本原理是通过计算评价对象与理想化目标的距离来进行优劣，也成为优劣解距离法。已开发出的发展测评系统可结合TOPSIS法对教师的各项指标进行标准化、赋值、单调性处理，然后进行综合排序的计算。夹角余弦法是采用余弦相似度来判断两个个体的某项属性或特征（由一系列指标组成）的相似程度的算法。以上两种大数据算法的系统实现，形成了指标测评的典型解决方案，不仅可以应用到教师发展测评活动中，也可以针对教师的其他能力进行分析，为建立的“测评+培训”的常态化机制奠定了坚实基础。

L+U测评模型需要分析的内容主要包括以下部分。

3.2.1 L（本地化分析）

L部分主要采取线上获取数据的方式，根据下列指标进行学员学习情况评估。

（1）诊断测评与选课：将学员选课结果与其诊断测评结果进行对比，分析学员的选课相符度和课程推荐系统的有效性。

图4 数据库模型建立过程

（2）过程性基本数据：将学员平台登录次数、在线时长、课程完成比例、学习活动完成总数、日学习时间段信息和周学习时间段信息、学习终端使用情况（PC，智能手机/平板，智能互动电视）分别与广州市教师平均水平对比，分析学员学习过程基本数据的特点，作为接下来学习的参考。

（3）交互参与度：关注学员在整个学习、研修的过程中与其他成员之间的交流互动情况，为其日后的网络交流活动提供有效有利的参考标准。内容包括：关注情况，关注自身与关注他人人数指标；发帖量/回帖量，发帖和回帖情况指标；研修成果，学员分享研修资源、日志和话题量的创建及其他评论量指标；交流互动情况，学员交流互动的对象、范围、角色分布指标。

（4）教学实践作业：学员在平台提交的网络研修作业等教学实践作品，可参与市工程办每年举办的教学技能竞赛活动，在此环节会对学员的作品评价情况及推优情况进行说明。评价情况，主要包括学员的主动评论、被评论及双向评论的互动情况指标；对于评价排行与推优情况，是针对学员在研修作业评价情况及研修作业的推优情况进行说明，并给出相应的综合排名情况，方便公布结果。

3.2.2 U（通用化测评）

U部分主要针对教师学员L部分中的测评数据，进行统一整合、分析、评估等活动。

（1）同质群体分析：在性别、年龄段、教龄、学科、学段、学历、职称等某个条件相同的情况下，将学员的数据与广州市其他教师群进行比较排名，给出相应的优化建议，并为学员推荐合适的学习与研究。

（2）教学环境分析：参照《广东省推进教育现代化先进县（市、区）督导验收方案》制订量表，由学校填写，根据量表得分，分析该学员所在学校是偏向简易多媒体环境、交互式多媒体环境、网络教学环境、移动教学环境当中的哪种类型，系统则会据此为学员所在学校分配更加合适的综合测评题目。

（3）结果评估：由学员在线填写问卷进行自评，为方便对学员学习成果进行精确评估，所有题型均为单选题，系统会从教学环境契合度、学习与研修满意度和能力提升满意度3个方面的指标对结果进行评估。

（4）信息技术应用能力水平评估：学员登录发展测评系统回答相关题目，测评题目由学科专家针对两条主线、九个维度，从文科类、理科类、艺术类、中职类、幼教类这5类学科进行案例分析所设计得出。评估的内容包括信息技术应用能力整体水平、两条主线（应用信息技术优化课堂教学、应用信息技术转变学习方式）、5个能力维度（技术素养、计划与准备、组织与管理、评估与诊断、学习与发展）。系统会对应学习与发展中的5个指标分别出题，并运用到“专业发展评估”中去。

（5）专业发展评估：此环节系统会从学员自身优势、发展方向、需要加强点3个方面对学员目前的优势与不足进行分析，并对进一步发展提供方向性建议与指导。

学员的自身优势及发展方向，是通过从平台获取该学员的获奖项目（包括教科研类获奖项目、教学技能获奖项目、其他获奖项目）和“学习与发展”五大指标得分的综合分析，这部分可以为推荐学员升为教研专家、教学实践专家抑或是教研并重专家提供有利依据。在需要加强点部分中，是根据学员在信息技术应用能力水平评估中的“短板”项目和“薄弱”维度，为学员提供相应的推荐课程主题，帮助在测评结果中不理想的学员尽快提高。

3.3 报告生成

发展测评报告，是通过大数据技术对学员产生的各类学习行为数据进行分析，根据不同的角色对应生成的不同报告，包括教师发展测评报告、管理决策支持报告、面向学校的报告和面向培训机构的报告。如图5所示。

4 发展测评体系的运用与成果分析

广州市“提升工程”发展测评工作从2015年开始立项研究，经历了思路探索、模型设计、系统开发、题库研发、试点实施等一系列工作之后，2017年进行了全面测评。截至2018年1月31日，广州市组织已经完成了“提升工程”学时的中小学教师参加了发展测评，共有103 170名教师完成并生成了发展测评报告。各区信息技术应用能力水平测评情况如下。

4.1 信息技术应用能力整体水平评估

该部分从总分、两条主线（应用信息技术优化课堂教学、应用信息技术转变学习方式）、学习与发展三方面进行分析。其中，总分为应用信息技术优化课堂教学、应用信息技术转变学习方式、学习与发展3项分数之和。应用信息技术优化课堂教学和应用信息技术转变学习方式分数中各包含了不同主线的“技术素养”“计划与准备”“组织与管理”“评估与诊断”“学习与发展”5个维度的分数。学习与发展一项分数由5个子指标组成，对测评报告的结果有较大影响，故也单独进行分析。

由表1可知，白云区、海珠区、天河区、越秀区、荔湾区、黄埔区、市直属学校的教师在总分、两条主线和学习与发展三方面的平均分均在广州市平均线以上，而天河区、市直属学校相对处于领先地位，但各区中小学教师信息技术应用能力水平整体差距不大，中心区域整体水平稍高于其他区域。

4.2 信息技术应用能力提升情况

广州市“提升工程”在培训体系上构建了由诊断测评、过程测评和发展测评相结合的一体化测评体系，多阶段测评关注教师实际发展。诊断测评实现按需施训、分层培训，发展测评衡量培训质量、指引教师发展方向。通过对诊断测评和发展测评中教师各维度信息技术应用能力测评成绩的转换处理，对广州市已参加诊断测评和发展测评的中小学教师的前后测评平均成绩进行对比，结果如图6、图7所示。

全市已测评教师在经过信息技术应用能力提升工程培训后，信息技术应用能力测评整体平均成绩、2条能力主线（应用信息技术优化课堂教学、应用信息技术转变学习方式）平均成绩和5个维度（技术素养、计划与准备、组织与管理、评估与诊断、学习与发展）平均成绩都有较大幅度提升，提高比例均达到40%以上。

其中应用信息技术转变学习方式系列能力指标平均成绩提升较大，提高51.38%，正是对应了教育部《中小学教师信息技术应用能力指标（试行）》对教师在教育教学和专业发展中应用信息技术的发展性要求。另外，在各维度中，学习与发展维度测评平均成绩提升最大，提高了57.07%，一定程度上说明经过信息技术应用能力提升工程的学习、研修和实践，教师在专业自主发展方面取得进步较大。

4.3 教师发展方向分布情况

发展测评系统会将教师测评的“学习与发展”评价结果与最优结果进行夹角余弦计算，最终根据相似度结果对教师的信息技术应用能力学习与发展水平进行评估。当教师的学习与发展5个指标与最佳指标之间的夹角余弦值小于0.8时，发展测评系统会根据教师学习与发展5个指标中，教研类指标和教学实践类指标的得分对比、教师在广州市中小学教师继续教育网登记的奖励信息，评估、建议教师发展方向。

图5 按用户角色输出发展测评报告

表2 各区中小学教师信息技术应用能力在线测评分数

由表2可知，番禺区、增城区、花都区、从化区、南沙区在3个发展方向的占比都超过了其他区域，而白云区、海珠区、天河区、越秀区、荔湾区、黄埔区、市直属学校在3个发展方向上的占比则相对较低。这一结果恰好对“信息技术应用能力在线测评分数”的分析结果形成印证，侧面说明番禺区、增城区、花都区、从化区、南沙区与其他区域相比，整体能力发展水平较弱。总体来说，中心城区依然稍微领先于其他区域。

4.4 专家阶段教师分布情况

当教师的学习与发展5个指标与最佳指标之间的夹角余弦值大于等于0.8时，按照计算机技术专家、教研与教师培训专家建议，将教师定位于专家阶段，再根据教师的教研类奖励信息和教学实践类奖励信息情况将教师分为教研专家、教学实践专家以及教、研并重专家。

图6 整体测评成绩与2条主线测评成绩前后情况对比

图7 各维度能力测评成绩前后情况对比

表3 各区教师发展方向分布（夹角余弦＜0.8时）

表4 各区专家阶段教师分布（夹角余弦≧0.8时）

由表3可知，在教、研并重专家方面，白云区、海珠区、荔湾区、市直属学校超过了广州市总体比例，花都区、天河区比例相对较低。在教学实践活动专家方面，白云区、天河区、越秀区、荔湾区、黄埔区、市直属学校超过了广州市总体比例，增城区、从化区比例相对较低。在教研专家方面，白云区、增城区、海珠区、市直属学校超过了广州市总体比例，花都区、天河区、南沙区相对较低。

由表4可知，根据此次测评结果，整体上教学实践活动专家较多，教、研并重专家和教研专家较低。广州市中小学教师中可评估为教研专家的总人数为839人，该比例较低主要是因为在教研专家的判断条件中，教师教研类获奖数目不能为0（夹角余弦≧0.8时，教学实践类获奖数目为0；0.6≤夹角余弦＜0.8，教学实践类获奖数目不限）、教研类获奖总数要排到全部教师的前10.00%，两类获奖数目综合要3条以上。但参与测评的教师中，提交教研类获奖信息的教师只有3 000人左右，因此达到该条件的教师只有839人。