从标准化到数据化：基于大数据的大学生学习评价研究方法论转向*

2022-09-27高胜寒林松月

现代教育技术 2022年9期

刘进高胜寒林松月

刘进1高胜寒1林松月2[通讯作者]

（1．北京理工大学人文与社会科学学院，北京 100081；2．香港中文大学教育学院，香港 999077）

传统大学生学习评价方法面临严峻的方法论困境，而新的学习评价理论方法有望在大数据时代形成。文章首先通过梳理大学生学习评价研究方法论的研究现状，发现传统大学生学习评价研究方法论存在一些不足，由此提出基于大数据的大学生学习评价研究方法论。之后，文章提出用大数据替代小数据、用过程性数据替代横断面数据、用非参与式数据替代参与式数据、用多元常模替代简单常模、用开放式假设替代封闭式假设，并根据上述大学生学习评价研究方法论的转向重点进行案例分析，验证了基于大数据的大学生学习评价研究方法的可行性。最后，文章从大数据库建设、新模式开发、研究成果利用等角度，提出大学生学习评价研究方法论的转向策略，以期探求大学生学习评价研究方法从标准化到数据化的转向。

大数据；学习评价；学业表现；方法论；独立性

大学生学习评价是高等教育研究的中心议题。进入高等教育普及化阶段之后，进一步提高质量、走内涵式发展道路、精细化开展大学治理，成为我国高等教育发展的主要方向，而在此过程中能否科学、精准、动态、系统、全面地开展大学生学习评价至关重要。过去20年来，我国高等教育研究领域开展了一大批以标准化量表为主要工具的大学生学习评价研究，提升了学习评价研究的行业关注度，在一定程度上提高了中国高校的教育教学水平，但这些研究同时也面临严峻的方法论困境。进入大数据时代，新的大学生学习评价技术、方法和理论体系有望形成，这将有助于从根本上解决大学生学习评价研究的方法论问题。

一大学生学习评价研究方法论的相关研究

学习评价是对学生学习发展和个人成长的重要反馈。随着大学生学习评价研究逐渐成为全球高等教育领域的重要议题，相关研究在数量上逐年增加，在模式上突破了某一国家或地区、单一教育体系的限制，研究方法呈现出新的发展趋势。

1 大学生学习评价研究的主要方法

社会科学研究中的具体方法和技术是指在研究过程中研究者使用的各种资料收集方法、资料分析方法、特定的操作程序和技术，具有专门性、技术性、操作性的特点[1]。其中，用于大学生学习评价研究的主要方法有：

①调查研究，是指针对正在发生或刚刚发生过的教育现象、教育观念进行的实证研究[2]。当前，学习评价领域“标准化问卷——基于问卷的多维度分析”的基本思路较为普遍。例如，美国加州大学伯克利分校SERU调查组设计的“研究型大学学生就读经历调查问卷”，经汉化后形成了包括学术参与、生活和目标、个人背景三大核心问题在内的大学生学习标准化问卷。

②访谈研究，是指研究者通过研究性的“交谈”和“询问”，从被研究者一方收集或建构第一手资料的研究方法[3]，通常与扎根理论共同使用。例如，王媛等[4]通过对访谈大学师生的文本材料依次进行开放式、关联式、核心式编码，探索了学习投入与大学生发展之间的联系。

③文献计量研究，是指使用Citespace、VOSviewer等文献计量分析软件，实现梳理研究基础、分析学科结构、了解主流作者和机构、展望研究前沿任务的过程[5]。例如，曾家延[6]通过文献计量研究，尝试构建中国语境的大学生学习评价标准化测量工具。

④案例研究，适合用于回答“为什么”和“怎么样”类型的问题[7]。案例研究可以深入校园情境，更系统地分析大学生的学习评价活动。例如，谢晓宇[8]以美国威斯康星大学为个案，研究大学生的学习结果评估计划及其实施过程。

2 大学生学习评价研究的方法论取向

学术界对高等教育领域研究成果的质疑长期存在，甚至出现了本学科学者对某些“领地内”问题的研究深度不及外行的尴尬情况。因此，研究者在研究高等教育问题时有必要关注其背后深层次的方法论取向。当前，大学生学习评价研究主要涉及以下方法论——

①实证主义方法论：通常被认为是被社会科学研究领域所接纳的主流方法论，试图以定量和计量等手段，客观、实证、定量地研究社会议题。在实证主义方法论的指导下，大学生学习评价研究贯彻“大胆假设”和“小心求证”的思路，相关研究成果具有一定的科学性、有效性、可重复性。但与此同时，当前学术界对实证主义研究范式也存在批评意见，认为此方法论导向虽然在一定程度上提高了学术产出效率，但对高等教育学科的理论贡献甚微，研究更多的是“就事论事”，其积累性、继承性、延续性十分薄弱，无法从根本上推动学科的纵深发展。

②人文主义方法论：是指研究者使用实地参与、访谈、观察等方法研究社会现象的行为[9]。该类研究设计和方法在实施过程中多遵循以下步骤：明晰分析框架和访谈提纲→确定访谈对象并最大化以保证代表性→编码分析访谈文本→归纳研究发现和结论。

③批判主义方法论：作为近年来新出现的社会研究方法论，体现在教育研究领域主要是指研究者深入每一个具体的教育活动场域，对其中发生的实际教育问题进行价值层面和伦理层面的深刻讨论，而不是完全站在价值中立的研究立场。开展批判性研究对科研人员的哲学思辨能力要求较高：即使在无法获得直观具体研究材料的情况下，科研人员也要能通过观察随处可感的教育现象而获得深刻的哲学思考。

除了上述三种方法论取向，大数据和人工智能技术支持下的新型学习评价方式也逐渐成为研究前沿。例如，桑德拉·米丽根等[10]使用人工智能技术分析慕课数据评价大学生参与度并预测学业表现。这种学习评价方式既弥补了已有研究方法的短板，也体现了研究方法论的新转向。

二大学生学习评价研究方法论的转向发生

1 传统大学生学习评价研究方法论的不足

传统大学生学习评价研究方法论多为实证主义方法论，通过主观引入相应的理论，采用一定的计量方法对有限数据进行小样本分析，容易导致研究结论的科学性不强、研究结果出现偏差等问题。虽然近年来以标准化量表为代表的大学生学习评价研究大幅提高了教育研究的科学性水平，实现了对高校教育教学管理的直接指导，但从方法论层面来看，其仍然存在一些不足：

①对研究目标的达成度不足。标准化量表往往试图通过成组变量的设定，分类考察大学生的主动与合作学习、生师互动、支持性的校园环境、学业挑战度等情况[11]。但由于标准化量表严重受限于问卷篇幅，而问卷调查往往只涵盖大学生学习的某些方面，且问卷在毕业生能力测评方面也存在严重困难。另外，用少数变量涵盖大学生学习的某些方面如同“隔靴搔痒”而无法直接触及学生学习动机、过程和结果本质，故导致研究目标不易达成。例如，SERU问卷中有关大学生深层学习方面的调查，就难以完全反映学生对知识学习的理解、综合、创新等情况。

②对纵向数据信息的负载不足。大学生的学习活动本质上是一种过程性变量，其以时间为轴，往往通过以年度为单位、横断面式的标准化量表来测量，既无法全面反映大学生动态学习状况，也没有时效性，因此研究者无法在研究过程中及时发现大学生的学习问题并给予合理建议。此外，一些连续多年的横断面标准化问卷调查尝试通过跨年度调查、追踪、比较得到研究结论，但往往调查对象已经完全改变，对不同人、不同年度大学生的横断面与碎片化信息调查更是难以还原出大学生的真实学习状况，故相关研究结论存疑。

③自我填答式调查的真实性不足。大学生学习标准化调查多采取学生自我填答式调查的形式，其中除部分客观性题项之外，绝大多数是主观自我评价类题项，往往通过四分变量、五分变量方法，让学生对“满意度”“有效性”等进行自我评价。这种自我填答式调查既存在个体间较大误差，也存在群体间较大误差，原因主要在于个体的学习背景、学习动机、学习过程和结果、偶发性事件等和群体的高校类型、层次、年级、地域等都可能会影响调查结果。

④常模设置的科学性不足。一些标准化问卷往往试图通过常模设置，对高校间、学科间、地域间的差异进行比较。常模设置具有重要的方法论创新价值，拓宽了传统问卷调查的分析维度，并实现了对院校教育教学管理的直接指导。但是，常模设置的科学性不足，如简单地以“985”高校、“211”高校、工科类高校或西部高校等为单位设置常模，而去掉绝大多数可能影响大学生学习的其他变量，仅对有常模设置的高校与其他类别的高校进行比较，其结果的科学性难以保证。

⑤面向未知学习规律的开拓性不足。标准化大学生学习评价往往囿于问卷本身，无法超越问卷框架进行开拓性研究。尤其是问卷调查为匿名形式，无法与学生真实的学习数据（如家庭数据、学业表现数据等）进行匹配，也无法开展原有理论、假设、框架之外的其他开拓性研究。

事实上，大学生学习标准化问卷已经在传统问卷调查的基础上进行了重大创新，其大规模连续性调查、常模设计与比较等已经代表了问卷调查的前沿理念。上述五个方面不足的产生不是大学生学习标准化问卷本身的问题，而是问卷调查这一传统方法面临的方法论困境。但是，在大学生学习领域，标准化问卷面临的方法论困境并非无法被破解——本研究认为，基于大数据的大学生学习评价研究方法论将有望全面消除上述不足。

2 基于大数据的大学生学习评价研究方法论的提出

伴随现代信息技术的发展，大数据、人工智能等技术逐渐应用于教育领域，形成了海量的教育数据。对这些教育数据加以分析，可有效提升学习评价的效率。而基于大数据的大学生学习评价研究方法论主要指通过非参与方式方法，客观收集大学生学习的各类数据资源，实现对大学生学习研究问题的数据化追踪、挖掘、匹配、计算和分析，得到各类相关性、（准）因果性、（准）实验性乃至开拓性研究结论[12]。在教育实践中，开展基于大数据的大学生学习评价能较好地呈现学生的学业表现、进展和成效，有助于提升学习效果和教学质量；而注重过程化评价和个性化学习有助于实现教育公平，形成的学习过程数据、学情数据等为学习评价与分析提供了丰富的原始资料[13]。因此，基于大数据的大学生学习评价研究方法论转向的发生具有合理性。

三大学生学习评价研究方法论的转向方向

1 大学生学习评价研究方法论的转向重点

在大数据、人工智能等技术的支持下，大学生学习评价研究方法论的转向应重点关注：

①用大数据替代小数据。运用大数据技术有望系统收集学生的各类数据信息（包括家庭背景、寝室分配等客观性信息，从中学、高考一直到大学入校后的各科学业表现信息，以及消费习惯、就医状况、图书馆借阅记录、社会活动等学习生活信息），形成包含全方位信息的大数据库，取代以往只围绕某项条目如学业成绩为单位所采集的小样本数据，以此作为分析学情的核心依据。以某“双一流”高校为例，本项目组对其4个书院学生的各类数据进行采集，数据量接近1亿条。对这些海量数据进行收集、清洗、匹配等，可以得到大量有用信息用于研究。

②用过程性数据替代横断面数据。运用大数据技术可以全过程动态采集大学生的各类学习数据资源，并实现对这些资源的长线追踪，也可以大幅提高研究的时效性，还可以在教育教学活动中动态发现和解决大学生的学习问题。以同伴关系与大学生的学业表现为例，通过对学生整个学期中日常就餐、出入图书馆、出入寝室等方面的全过程数据进行分析，可以清晰地刻画出某同学与其他室友的日常关联，从而对“不合群”“被孤立”的学生及时做出寝室调整；同时，可以有效预测某些寝室成员学习成绩集体下滑的趋势，及时进行原因分析并提出解决方案；也可以通过对不同时间段内的实时数据进行分析，探讨学生各类状态的动态变化。用过程性数据替代以往研究中围绕某个时间的横断面数据（如期末考试成绩），通过全线采集的过程性、实时性数据，可以有效开展全方位、动态性的大学生学习评价研究。

③用非参与式数据替代参与式数据。大数据技术在采集数据的过程中不直接接触学生，避免出现学生的应激反应或“霍桑效应”。将收集的这种非参与式数据用于分析，得到的结论更具客观性，有望提升传统自我填答式调查结果的科学水平。例如，通过分析学生与室友共同进餐的情况，可以对学生与他人的伙伴关系在一定程度上进行定义，无需通过问卷调查、深度访谈等问询学生关于其对同伴关系的看法，从而降低学生参与式数据的主观性。

④用多元常模替代简单常模。运用大数据技术可以根据研究需要，动态构建各类常模模型，从而突破了传统标准化问卷简单常模模型的弊端。具体而言，可以寝室为单位构建常模模型，比较不同寝室学生的学习表现；也可基于学科、专业、年级、年龄、性别、高校类别、籍贯所在地、高考表现等构建常模模型，为高校大学生学习分类的比较研究提供精细化证据支持。

⑤用开放式假设替代封闭式假设。基于大数据的大学生学习评价研究方法论与其他方法论的最大不同，在于其可以采取开放式假设方法展开各类研究活动，即不需要借助传统的理论基础、文献综述等也可提出假设，并运用大数据资源进行验证，这大大突破了传统研究活动“理论（文献）—假设—证据—验证”等基于封闭式假设的研究方法论。未来真正进入大数据时代之后，甚至可能会逐渐瓦解、坍塌传统的学生学习理论基础，而进入无理论、碎片化的时代，基于大数据技术形成新的研究范式。

2 大学生学习评价研究方法论的案例分析

为进一步呈现基于大数据的大学生学习评价研究方法论的转向方向，本研究根据上述大学生学习评价研究方法论的转向重点，以基于校园卡大数据进行的大学生独立性行为研究为例进行案例分析。该案例基于学生在食堂刷卡信息模拟学生的独立性行为，通过分析其是否与室友一起进餐进行独立性评价，并据此分析学生独立性与学业表现之间的关系。

本研究以2020年9月～2021年6月期间北京市B大学全体在校本科生的所有一卡通消费记录为研究样本，共提取10,285,494条数据进行大数据分析。根据研究需要，本研究从中筛选出563,683条食堂刷卡记录作为研究大学生独立行为的数据样本。在此基础上，本研究运用Python语言对这些数据样本进行处理：①定义三餐时间范围，抓取同一寝室学生在三餐时间范围内的消费记录；②以寝室为单位，分别筛选三餐时间范围内每人的第一条刷卡信息，剔除同一进餐时间范围内的其他刷卡记录；③观测每位学生该条刷卡信息时间前后10分钟是否有其他室友的消费记录，每有一位室友在同一地点进行过消费则计分为1（该大学本科生寝室为4人间，每名学生有3位室友，因此该计分项最低得分为0、最高得分为3）。

按上述三个步骤对B大学1.6万名本科生的相关数据进行处理，共累计10个月的数据信息，得到每名学生的独立性得分——分数越低，说明该学生的独立性越强、其与室友的亲密关系越弱，反之亦然。对相关数据进行分析，本研究得出以下结论：女生独立性比男生高、汉族学生独立性比少数民族学生高、单亲家庭学生独立性比非单亲家庭学生高、转专业学生独立性较低，具体如图1、表1所示。此外，为探讨大学生同伴关系与学业表现的深层次联系，本研究进一步将学生独立性与学业表现进行相关性分析，结果表明：学生的独立性得分与学业平均分呈显著正相关关系（Sig.值为0.000），即独立性得分越高（说明独立性越弱、与室友的亲密关系越强），其学业表现越好。

图1 学生独立性得分差异情况

表1 学生独立性得分差异的相关性分析

独立性评价性别是否汉族是否单亲家庭是否转专业斯皮尔曼Rho独立性评价相关系数1.000-.081**-.036**-.065**0.057** Sig.(双尾)---0.0000.0000.0000.000 N103891038910031340810031

注：**表示在0.01水平上显著。

本研究通过具体的案例分析，验证了基于大数据的大学生学习评价研究方法的可行性，为促进大学生学习评价研究方法论的转向提供了一个参考方向，有利于激发并丰富未来大学生学习评价研究方法论的转向策略。

四促进大学生学习评价研究方法论的转向策略

基于大数据的大学生学习评价研究方法论，有望成为未来大学生学习评价研究的基础性方法，研究者应切实采取相关策略推动大学生学习评价研究方法论的转向。

1 尽快建设大学生学习评价研究大数据库

基于大数据的大学生学习评价研究的基础，在于大数据库建设。系统收集各类大数据资源，形成动态大数据库，是未来大学生学习评价研究的关键所在。当前，不同高校对大数据评价的重视程度不同，高校不同部门之间的数据壁垒仍然较为坚固，少数部门的数据信息化收集手段仍然落后，个别部门的某些年份数据已经丢失，这为后续研究工作带来了困难。为此，各高校应尽快构建学生学习大数据框架，抢救性保护各类数据资源，全面引入信息化数据管理手段，建成以学号为单位的全样本、全过程、全周期大数据库，为大学生学习评价提供基础性支持。

2 系统开发基于大数据的大学生学习评价新模式

当前，运用大数据开展大学生学习评价研究仍在起步阶段，既缺乏规范化的操作标准、流程和技术，也缺乏专业化的研究人员。为此，研究者应将理论与实践紧密结合，系统开发基于大数据的大学生学习评价新模式，涉及的内容主要包括：①基于大数据的大学生学习评价基本框架；②主要评价方法、评价维度、技术手段；③评价结果可视化呈现相关方法与技术；④评价结果使用的科学流程与规范；⑤大数据评价与传统评价方法的融合使用方法与技术。

3 切实利用好基于大数据的大学生学习评价研究成果

①应不断提升基于大数据的大学生学习评价结果的科学性。具体来说，应不断扩大数据源，以提高相关评价模型的训练质量；应引入不同大数据源，对有关框架、方法、技术等进行交叉验证；应开发基于大数据的大学生学习评价结果有效性评价指标体系；应注意大数据研究方法与传统研究方法的混合使用，以多方验证大数据方法的可靠性。②应稳步推进基于大数据的大学生学习评价结果在高等教育管理中的日常使用，通过“大数据模型训练→实践结果检验→高教管理运用”形成良性闭环，反向促进基于大数据的大学生学习评价系统的构建与完善。

[1]风笑天.社会研究方法(第五版)[M].北京:中国人民大学出版社,2018:10.

[2]刘良华.教育研究方法专题与案例[M].上海:华东师范大学出版社,2007:8.

[3]陈向明.质的研究方法与社会科学研究[M].北京:教育科学出版社,2000:165.

[4]王媛,刘阳.自我选择与环境塑养:本科生学习投入的养成逻辑——基于H区高校本科生的实证考察[J].当代教育与文化,2020,(5):106-116.

[5]韩双淼,谢静,肖晓飞.国际高等工程教育研究方法与主题的演进[J].高等工程教育研究,2020,(6):148-155.

[6]曾家延.指向大规模测量建构的学生参与研究评析[J].比较教育研究,2017,(4):46-53.

[7](美)罗伯特·K.殷著.周海涛,史少杰译.案例研究:设计与方法(第5版)[M].重庆:重庆大学出版社,2010:10.

[8]谢晓宇.美国大学学生学习结果评估个案研究——以威斯康辛大学麦迪逊分校为例[J].比较教育研究,2017,(4):54-60.

[9]陈向明.王小刚为什么不上学了——一位辍学生的个案调查[J].教育研究与实验,1996,(1):35-45.

[10](澳大利亚)桑德拉·米丽根,张忠华,高文娟.大数据、人工智能与学习评价方式[J].北京大学教育评论,2019, (4):45-57、185.

[11]何明炳.校园支持对大学生学习收获的影响:生师互动的中介效应[J].高校教育管理,2016,(5):99-106.

[12]赵磊磊.人工智能赋能高校数据治理:逻辑、挑战与实践[J].重庆高教研究,2022,(1):71-79.

[13]顾小清,郑隆威,简菁.获取教育大数据:基于xAPI规范对学习经历数据的获取与共享[J].现代远程教育研究,2014,(5):13-23.

From Standardization to Digitalization: The Research Methodology Turn for College Students’ Learning Evaluation Based on Big Data

LIU Jin1GAO Sheng-han1LIN Song-yue2[Corresponding Author]

The traditional college students’ learning evaluation methods face severe methodological difficulties, and new theoretical methods for learning evaluation are expected to be formed in the era big data. Firstly, this paper sorted out the research status of the research methodology for college students’ learning evaluation, and it was found that there were some shortcomings in the traditional research methodology for college students’ learning evaluation. Thus, the research methodology for college students’ learning evaluation based on big data was put forward. Then, this paper proposed to replace small data with big data, replace cross-sectional data with process data, replace participatory data with non-participatory data, replace simple norm with multivariate norm, and replace closed hypothesis with open hypothesis. In addition, a case study was conducted according to the mentioned transformation emphases of the research methodology for college students’ learning evaluation, and the feasibility of research methods for college students’ learning evaluation based on big data technology were verified. Finally, from the perspective of large database construction, new model development and research results utilization, this paper put forward the turning strategy of the research methodology for college students’ learning evaluation, expecting to explore the turn of the research methodology for college students’ learning evaluation from standardization to digitalization.

big data; learning evaluation; academic performance; methodology; independence