北美高校图书馆学习分析现状与启示
——ARL《SPEC Kit 360:学习分析》报告解读
2019-12-16杨贺晴
杨贺晴,黄 颖,刘 莉
(东北师范大学图书馆)
1 引言
美国新媒体联盟2011 年《地平线报告》 让学习分析得到广泛关注,该报告将学习分析定义为“测量、收集、分析和反馈学生相关数据,以了解和优化学习及其发生的环境”。[1]高校图书馆作为学生的“第二课堂”,资源、空间、服务等都是构成学生学习环境的关键要素。美国大学与研究图书馆协会在2016年发布的《高校图书馆十大发展趋势》内容之一就是“学习证据:学生成功、学习分析、证书的授予”。[2]高校图书馆界越来越重视图书馆服务与学生学习、学业成就之间的关系,北美各高校图书馆纷纷开展了学习分析项目。
研究图书馆协会(Association of Research Libraries,ARL)是由加拿大、美国等地的125 所研究型图书馆组成的非营利性组织,致力于思想交流、传播行业知识、促进公平和多样性,展示图书馆界、学术界与高等教育界的价值与努力。[3]ARL 官网提供类型多样的开放出版物,供图书馆与图书馆学专业教育参考。SPEC Kits 系列调查报告就是其中一种,SPEC Kits 通过问卷调查收集ARL 成员馆现阶段的实践、政策等情况,将调研结果与成员馆代表性的案例结合起来形成报告。该系列报告从2006 年至今已发布了361 份,通常在每年的5 月、7 月、9 月、11 月各发布一篇,时效性很强,主题涵盖图书馆领域的方方面面,兼具继承性、动态性,致力于帮助全球图书馆了解业界进展、应对环境与挑战。
本研究是针对ARL 于2018 年9 月发布的《SPEC Kit 360:Learning Analytics》进行的分析与解读。报告总结了53 所北美高校图书馆的学习分析实践与政策,包括学习分析倡议参与、数据共享、数据存储、合作伙伴、风险与安全等。[4]由于学习分析这项行动在图书馆界处于初级阶段,北美高校图书馆的做法与建议将为我们更好地利用数据、改进服务带来新的启发。
2 图书馆学习分析研究概述
近十年来,学习分析在国际教育技术领域发展迅速,理论框架日趋成熟,聚焦视角多样。国外图书馆重视学习分析如何展示图书馆的价值与对学生成功的影响,主张将图书馆整合到机构学习分析系统中,以获得更精细的与学生学习和成功关联的数据。个体研究方面,美国有学者以某高校图书馆为案例,描述了该馆融入全校范围学习分析的方法与路径,设计了学生支持与教育分析团队的组织结构、相关基础设施以及数据平台。[5]群体研究多从国家维度出发。智利研究型大学图书馆研究人员通过两个连续学期的学生档案、图书馆借阅和电子访问等数据,分析研究资源的使用与学习成果之间的关系,为图书馆合理化分配预算提供依据;[6]英国联合信息系统委员会与高等教育统计局图书馆数据实验室合作,将跨机构的图书馆团队聚集在一起,利用数据可视化仪表盘比较分析英国国家和英国大学图书馆协会的年度数据结果与英国国家学生调查数据。[7]学习分析的数据还包括多种调研方式产生的数据,如满意度访谈结果、在线调查统计、多维数据建模等。[8,9]发人深省的数据越多,对图书馆的要求就越高,图书馆需要为数据制定互用性与颗粒度标准、了解组织准备与相关政策、摸清现有学习分析成熟度问题,同时,还应成为组织内部、图书馆内部、学校管理层对话的桥梁。[10,11]
国内图书馆学习分析研究鲜有群体性案例,相关研究以介绍性研究、个体实证研究为主。介绍性研究对象以美国为主,介绍美国学术图书馆学习分析活动的方式,探讨平衡读者、机构与数据库商的知识产权利益的办法,提出实践和治理道德立场建议,[12]介绍美国“行动评估:高校图书馆与学生成功”项目概况[13]等。国内有学者在介绍的基础上试图构建学习分析技术应用于高校图书馆的基本模型,并分析其将带来的变革与创新。[14]也有研究从环节入手,探讨学习分析在图书馆嵌入服务的可行性与适用性,[15]从数据收集、数据分析、结果反馈、行为干预角度探讨学习分析技术在数字图书馆信息服务中的具体应用。[16]实证研究多以某高校作为个体,通过对照学生成绩与图书馆服务数据[17,18]或问卷调查,[19]试图总结与发现学生成绩与图书馆利用率之间的关系。总的来说,学习分析在图书馆的应用至今尚在起步阶段,国外图书馆业界已意识到其重要性,国家层面的号召和行动已经开始,但我国高校图书馆相关实践还未形成规模,各方支持有所欠缺。
3 《SPEC Kit 360:学习分析》报告背景与说明
从图书馆内部管理的角度审视,图书馆学习分析实质上是在大数据环境下,利用现代数据分析技术对图书馆支持学习效果的评估。ARL 对图书馆的评估从纸本馆藏评估、电子资源评估发展至对支持科研、学习的评估,是从整体到部分、从宏观到微观的进程,是从实践到认识、从认识到实践的循环。ARL 曾于2007 年12 月发布《SPEC Kit 303:图书馆评估》,就当时图书馆的评估活动、负责部门、评估结果等进行调研分析。2014 年8 月发布的《SPEC Kit 341:电子资源评估与宣传》显示,部分资源的评估标准与体系已然成型。随着数字学术的兴起与传统学习支持的变革,ARL 于2015 年5 月发布《SPEC Kit 346:学术产出评估活动》,指出学科馆员正在学习各类层出不穷的计量与分析软件以支持学习、教学与研究。2016 年9 月的《SPEC Kit 352:馆藏评估》谈及最常见的评估成功案例是利用用户使用数据建设馆藏选购或剔除策略,预测用户潜在需求与趋势。
2018 年9 月发布的《SPEC Kit 360:学习分析》报告考察了北美研究型图书馆评估的最新进展——学习分析的实践情况。ARL 对其125 所成员馆的学习分析项目进行了问卷调研,调研时间为2018 年4 月30日至6 月15 日。53 所成员馆回复了问卷,占ARL 成员馆总数的42%。报告包括调研结果、代表性文件、数据安全政策、选择的资源四个部分,其中代表性文件摘录了加利福尼亚大学、杜克大学、雪城大学、科罗拉多州立大学等知名高校图书馆的相关做法。报告从事实出发,系统阐述了北美研究型图书馆规划与融入学习分析活动的方式、维护数据安全和隐私的机制、学习分析中遇到的机遇与挑战等,提供了实践案例与操作建议,预测了学习分析下一阶段的趋势,对高校图书馆有重要的实践指导意义。
4 《SPEC Kit 360:学习分析》核心内容分析
4.1 ARL 成员馆学习分析参与度高,但价值有待显现
大多数ARL 成员馆的学习分析项目已经起步,并表示有意愿、不加保留地参与收集、评估学习分析数据。在回复问卷的53 所ARL 成员馆中,83%正在参与学习分析项目。
学习分析人员配置方面,近75%的ARL 成员馆有固定的工作人员或部门。51 所图书馆学习数据分析由图书馆员亲自操作,34 所图书馆有非图书馆员参与分析。89%的图书馆达成共识,在数据收集阶段安排非图书馆工作人员参与进来。这种广泛参与和人员配置体现了北美高校图书馆管理层对学习分析倡议的重视。未系统开展学习分析项目的图书馆也并非完全没有采取行动,而是非正式的、临时的、分散的或针对出色学术项目、某一特定空间的分析。
但是,ARL 成员馆的学习分析实践对学校的价值尚未显现。为了响应学校对学习分析的倡导,大多数图书馆收集的数据增加了更多个人标识符。但是,只有一半的图书馆认为这些数据对学校很重要。有图书馆认为,学校管理层重视的仍然是能够影响预算、资源的定量数据。然而,80%的ARL 成员馆认为,学习分析数据与行动对图书馆来说是非常重要的。高校图书馆的预算模式正在调整,在新的预算模式下,图书馆的参与、分享变得越来越重要,学习分析行动正是重要途径之一。
4.2 ARL 成员馆学习分析数据的收集、存储、保护存在一定共性
收集数据类型方面,80%的ARL 成员馆经常收集的数据类型有两大类,即图书馆工作人员的交互数据(研究咨询、馆际互借、教学课程) 和资源使用数据(纸质资源、电子资源)。除馆际互借请求以外,多数图书馆收集的数据不带有个人标识符。
表1 ARL 成员馆收集学习分析数据的类型
存储策略方面,80%的ARL 成员馆将学习分析数据存储在中心数据库。75%的图书馆表示,学习分析数据的存储遵循“谁收集,谁存储”的原则。其中,有部分图书馆在各部门都开展了数据分析并存储了相关数据,但并未有意集中使用或存储,这种存储行为是无意识的。
关于学习分析数据的保留期限,35%的ARL 成员馆有明确期限,从一个月到十年不等。差别如此之大的原因有很多,包括数据类型不同(数据库商数据、流通数据)、收集目的不同(临时使用、长期追踪)、收集方式不同(人工收集、系统定期自动收集) 等。也有图书馆表示,该馆的数据保留政策与学校相关政策始终保持一致。65%的图书馆表示没有制定相关期限,这些图书馆也更有可能无限期地保留数据(见表1)。
ARL 成员馆学习分析最常见的数据保护途径有3种,限制工作人员对未分析数据的访问(98%)、删除直接标识符(85%)、限制数据收集的范围(78%)。很少有图书馆在传输期间保护数据、删除数据或限制保留。由于ARL 成员馆学习分析数据保留期普遍很长,这表明图书馆不考虑数据删除或有限保留作为必要的数据保护策略(见表2)。
表2 ARL 成员馆学习分析数据保护措施
4.3 ARL 成员馆学习分析制度建设处于初始阶段
ARL 成员馆学习分析数据的管理制度建设不够健全。只有38%的图书馆有管理计划、政策等来控制学习分析数据。只有2 所图书馆考虑到学习分析项目的特殊,相应调整了已有数据政策。
只有11 所ARL 成员馆(21%)有学习分析工作人员内部的准则和文件,涵盖内容较多,包括规划文件、内外部培训、数据指标与报告流程、数据访问级别限制等。大多数学习分析规划文件参考了图书馆评估部门、用户体验部门的战略计划。
校园各部门对图书馆数据的外部请求应遵守一定的规定和流程,但只有15 所ARL 成员馆有相关文件,各个图书馆的处理方式也不尽相同。数据请求阶段的要求包括:提交至学院副院长审批、满足本州法律与学校信息部要求、符合图书馆的隐私政策、与图书馆馆长通报并探讨如何应用等。图书馆决策的方式包括:图书馆管理团队讨论决定、图书馆馆长同意审批等。图书馆回复的途径包括:点对点回复、定期向一些机构汇报关键绩效指标(Key Performance Indicator,KPI)、由图书馆数据与评估馆员统一回复等,也有部分图书馆要求数据在被传递给对方前,需馆长过目确认。毫无疑问,学习分析数据处理、共享、存储的程序需要图书馆多个部门配合执行,随着学习分析项目的开展和运行,规则和流程将会不断被细化和阐明。
4.4 ARL 成员馆重视学习分析数据共享
ARL 成员馆较为重视数据共享。53%的ARL 成员馆与特定的一些单位或部门共享数据,21%计划在半年或一年内开始共享。共享数据的部门包括院长办公室、学习空间合作单位、部分院系、教学评估办公室、本科教育办公室、规划和机构评估办公室,以及一些联盟组织,如教育数据集成系统(Integrated Postsecondary Education Data System,IPEDS)、美国国家教育数据中心(National Center for Education Statistics,NCES)、美国图书馆协会等(见图1)。
图1 ARL 成员馆共享学习分析数据情况
图书馆最常共享的数据是馆藏利用数据,包括流通数据、电子资源使用数据。这与图书馆需要提供确切数字以获得更多的资源预算资金的惯例相符。但是,学习分析数据共享制度建设仍不完善。数据共享应建立在一定标准之上,在学校范围内,图书馆的数据应与学校学生的其他数据,如课程、专业、项目等有多元化的关联关系,但只有27%的图书馆出于学习分析的目的建立了相关连接。在28 所共享数据的图书馆中,只有8 所图书馆对共享的数据使用有限制条款,且其中6 所为非正式文件(见图2)。不共享数据的原因有很多,占首要位置的是隐私问题,其次是保密问题,时间与人员的精力不够也是主要原因之一。其他原因包括缺少标识符、官僚主义、无法收集适当的数据或数据格式、不清楚学校的需求、学校不够重视等。
图2 ARL 成员馆不共享学习分析数据各类原因占比
4.5 多数ARL 成员馆有隐私政策,但并不统一
一直以来,北美图书馆界都很重视隐私政策,ARL 成员馆也是如此。有图书馆表示共享的前提是不违背美国图书馆协会隐私条例(ALA privacy guidelines)。大多数ARL 成员馆表示,学习分析数据中用户的个人信息应保证无法被追踪。45 所成员馆有隐私政策,其中31 所有单独的隐私政策。这些隐私政策多数与学校隐私政策、所在州的图书馆记录法规、美国图书馆协会道德规范(ALA Code of Ethics) 相关。其他隐私政策内容涉及软件服务条款、2001 年的美利坚爱国者法案(2001 USA PATRIOT Act)、1974 年的家庭教育权利和隐私法案(1974 Family Educational Rights and Privacy Act,FERPA)等。
图书馆隐私条款在制度审查和修订时限普遍缺乏一致性。部分图书馆认为隐私条款的更新是必要的、周期性的,但标准并不统一,也有部分图书馆表示,法律变化时才会更新。大多数图书馆的隐私政策并没有因为开展学习分析项目而做出改变,只有一所图书馆创建了配套的“负责任地使用图书馆数据”的声明。
70%的成员馆学习分析项目征求了机构审查委员会的批准。那些未主动征求批准的图书馆认为,这些项目是用于非研究目的、内部使用或改进工作的,不受机构审查委员会监督。42%的图书馆告知了学生图书馆学习分析的倡议,然而,其中75%都没有任何机制、形式可以让学生选择退出。
鲜有ARL 成员馆应用匿名化技术。只有16 所图书馆回答了关于图书馆匿名化技术的问题,其中几所图书馆借力于学校有相关技术的研究部门,其他则简单删除了用户的基本身份验证信息(如删除学生ID号、院系名称和隐藏式标识符),这些做法并不完全等同于匿名化。
4.6 ARL 成员馆学习分析的培训普遍多样
ARL 成员馆学习分析的培训较为普遍,主题多样、形式丰富。培训以具体工具使用、机构审查委员会要求的培训为主,但不限于这些。一些图书馆还开展了关于数据隐私、数据可视化、数据安全等内容的培训,还有图书馆雇用了在这些领域接受过培训的工作人员直接开展学习分析项目。培训形式除了常规的面对面培训以外,还包括网络研讨会、组织内部主题对话等。有一些图书馆将这些行动记录在社交媒体上,以显示图书馆为学习分析付出的努力。只有7 所图书馆表示,图书馆员没有接受过学习分析项目的培训(见图3)。
图3 ARL 成员馆开展学习分析培训的情况
4.7 ARL 成员馆注重与校内外单位合作开展学习分析
40%的ARL 成员馆与校内部门合作开展学习分析项目,包括研究中心、信息技术中心、教务处、评估办公室、研究生院、各院系等。也有图书馆加入校园计划,如约翰·霍普金斯大学图书馆参与了该校的学生服务卓越计划(Student Services Excellence Initiative,SSEI)。该计划是一个长期项目,已运行多年,有完善的部门、制度、工作人员,旨在从学生角度、利用现代技术完善学校行政程序、更新学生服务体系,改善学生的体验。
33%的ARL 成员馆与联盟合作。图书馆领域的联盟包括由39 所研究型图书馆组成的大西部图书馆联盟(Greater Western Library Alliance,GWLA)、北卡罗来纳州4 所高校馆组建的三角研究图书馆网络(Triangle Research Libraries Network,TRLN)、成员遍及全美的博物馆与图书馆服务协会(Institute of Museum and Library Services,IMLS) 等;还有一些教育联盟,如美国东北部8 所大学组成的常春藤联盟(Ivy League)、美国25 所学术机构组建的公益性教育联盟Unizin、马萨诸塞州私立学校协会(Massachusetts Association of 766 Approved Private Schools,MAAPS) 等;部分图书馆与财团合作以获得经费支持,如巴诺书店(Barnes&Noble)。
5 对我国高校图书馆的建议与启示
5.1 认清学习分析趋势,结合国情、校情采取行动
学习分析已然成为教育行业的大趋势,其产生的创新动态数据将成为高等教育分析研究和开发的关键基础,其方法和分析结果将直接影响高等教育的战略决策。[20]从ARL 成员馆的广泛参与、各馆管理层、联盟与学校的高度重视可以看出,高校图书馆正在努力融入趋势、采取行动。国内高校图书馆相关工作委员会、学(协) 会等组织的相关规划也应着手部署,国内各高校图书馆更应积极响应,学习分析倡议势在必行。应将此种趋势与国家政策、学校建设、战略目标结合起来,认真思考为谁分析、分析何种数据等问题,正如2018 年8 月26 日国际图联《Global Vision 全球愿景》报告中指出的那样,要确保利益相关者理解图书馆的价值和影响力。[21]就国内高校图书馆个体而言,“双一流建设”“全面振兴本科教育”是高等教育以及各高校的重要任务。[22,23]在这种教育形势下,结合高校图书馆使用者中本科生群体基数较大的现实,图书馆可从日积月累、数量庞大的本科用户数据、学科使用数据入手,实施过程可参考ARL 诸多成员馆的做法,由浅入深、由简入繁。从宏观上,统计分析本科生使用图书馆各类服务的数据,结合本科生成绩、就业等表现,找出图书馆在本科教育中的优势与缺漏。从微观上,就某一重点学科、一流学科甚至某门课程,收集某段时间使用图书馆相关数据,分析图书馆资源与服务在学科建设与人才培养方面的作用,与学科带头人等交流学习分析结果,深入课堂开展动态的学习分析,更有针对性、科学性地服务于学校学科建设。
5.2 统筹学习分析数据收集、存储与利用,完善制度建设
目前,国内学习分析研究的数据主要来自于两种途径:一是在线学习平台,如 Moodle 平台、MOOC平台等;二是在线学习管理系统,如智能导学系统、学习神经元、Few 仪表盘等。国外学习分析数据来源多样,如学习日志、运动数据、网络学习中鼠标点击流、眼动追踪等。[24,25]尽管图书馆有大量值得分析的数据,但目前学习分析研究的数据很少来源于图书馆。一方面是因为教育界对图书馆数据的忽视,另一方面也说明图书馆目前的数据收集、存储与利用情况不佳。学生大量线下的自主学习时间是在图书馆度过的,这为图书馆学习分析提供了绝佳的数据资源。参考ARL 成员馆数据收集与存储的经验,图书馆应着手建立学习分析数据存储基础设施以及配套的硬件、软件,把分散存储的参考咨询、合作课程出勤、空间使用、无线网络使用等数据变为系统科学的数据集合。根据不同的数据类型、收集目的、使用途径规定、存储期限与保护策略分类,统一存储。
随着学习分析项目的开展,ARL 成员馆学习分析数据指标、访问等相关制度内容正在不断被细化和阐明。学习分析的进程需要图书馆内部、图书馆与学校多个部门的配合执行。我国高校图书馆应不断完善相关制度与机制建设,以成为学校学术数据中心为目标,根据馆藏借阅、数据库使用率、期刊使用情况、电子资源使用、图书馆网站使用等数据的特点与使用途径,规范数据管理、合理组织控制、明确数据指标与报告流程,制定符合国家、地区以及学校相关法规的隐私条款,从有序收集、分析利用、共享合作等环节为数据提供准则与保障。
5.3 开展学习分析理论与技术培训,注重人才培养
ARL 成员馆学习分析人员配置率较高,但很多人员并非专职,ARL 成员馆学习分析工作能够持续、专业地开展,得益于其丰富多样的培训。就我国多数高校图书馆的人员现实而言,为学习分析设立专门部门的条件尚不够成熟,但可以借鉴ARL 的经验,通过广泛培训逐步培养人才队伍。首先,加强对各类数据处理软件的广泛培训,让大部分馆员能够通过Excel、Tableau 等软件完成基本的数据处理与展示,进而使部分馆员逐步掌握数据清洗、编程批处理等较为复杂的数据处理技能。其次,应根据本机构的需求制定培训计划,比如针对拟开展学习分析的某学科领域,结合馆员专业与意愿,从理论与实践两方面重点培养相关学科馆员。再次,重视隐私、数据保护等相关法规政策的引进与指导,及时补充制度缺漏,保证学习分析过程合理合规。最后,注重数据人才、全能型人才的引进。可参考ARL 成员馆引入专业数据处理人员的做法,加强队伍建设,保证未来学习分析工作的细化与深入。持续不断的培训将为图书馆带来活力,图书馆应塑造学习型、研究型图书馆氛围,鼓励馆员不受当前的业务结构和工作方式的拘束,克服消极心态,坚持创新和变革。
5.4 拓宽数据共享路径,促进学习分析合作
ARL 成员馆已经认识到,学习分析数据的共享是重要的,从长远角度考虑更是必要的。学习分析在现代教育技术领域正蓬勃发展,图书馆在起步进程中要付出诸多努力,但合作是大趋势。我国高校图书馆学习分析数据的共享可以从两个角度出发。首先,校内学习分析数据共享,包括学校教务处、教学评估办公室、研究生院、各院系等,形成一些特定部门、固定周期的数据共享,结合学生学业绩效、项目、就业等开展多元化的学习分析合作,精准提供个性化学习分析方案。其次,各类联盟学习分析共享,包括院校联盟、学科联盟、专业联盟、地区联盟、资源联盟等。从ARL 成员馆的经验可以得出,行业的支持与分享计划是促成学习分析合作的重要途径。我国图书馆学会等组织应早日成立学习分析专项小组,设置相关项目,给予资金与行动上的支持与引领,定期讨论项目进展,遴选优秀案例,互相借鉴经验。同时,在共享的过程中要注重合作精神,认真清除合作障碍,跨界开展学习分析合作,在经费有限的情况下,把握一切可以筹得经费的合作机会促进学习分析的开展。