新时代大学生志愿服务项目质量评估指标体系构建

李丹萍,潘龙飞

(1.温州大学人文学院,浙江温州,325035;2.温州大学电气与电子工程学院,浙江温州,325035)

一、问题提出

我国志愿服务事业经过了近40年的发展,逐步走向科学化、规范化,并成为我国志愿公益事业的重要组成部分。[1]近年来,我国高校大学生志愿服务项目蓬勃发展,在项目组织数量快速增加、服务范围不断扩大的同时,也出现了组织发展不规范、能力薄弱、开发环境有待优化等问题。[2]现实存在的难点问题,制约了当前高校大学生志愿服务项目的进一步发展。

评价体系作为一种发现和解决问题的手段,在发现高校大学生志愿服务项目面临的挑战、促进讨论和解决问题从而促进被评价主体的规范化发展方面发挥着至关重要的作用。然而,当前我国大学生志愿服务机构的评估状况不容乐观。一方面,由于志愿服务组织缺乏具体的评价指标体系,只能参与社会组织的评估。但社会性质的志愿服务项目门槛较高,导致大多数未注册的高校大学生志愿服务队被拒绝。另一方面,当前社会组织评价指标缺乏一定的科学性和规范性,尚不能全过程、全方位反映组织实施和运营过程中出现的问题。因此,建立一套全面、科学、完善的高校大学生志愿服务项目评价指标体系,以满足推动我国高校大学生志愿服务组织进一步发展的迫切需要。CIPP评价理论包含背景评价(context evaluation)、输入评价(input evaluation)、过程评价(process evaluation)、结果评价(product evaluation),突出了评价的发展性功能,整合了诊断性评价、形成性评价和终结性评价,是一种较为有效的评价框架。本研究基于CIPP评价理论,以中国青年志愿服务项目大赛国赛获奖项目为研究对象,构建包括项目基础、项目组织、项目实施和成效影响的基本框架,旨在科学、规范、完善大学生志愿服务项目质量评价指标体系。

二、理论框架

指标体系的构建需遵循一定的基本原则,一方面要符合研究对象的本质特征,另一方面要有指标建立的理论基础。关于高校志愿服务项目评估指标体系构建的基本原则,研究者提出了不同见解。仲伟周等人认为高校志愿服务项目评价的构建,应当把握客观性原则、遵循可操作性原则、公开明确的原则和遵循反馈原则。[3]符春宇认为针对企业社会工作服务项目评估,评估内容应主要从服务团队人员配备、项目的产出、项目的成效和项目的社会影响几个方面进行。[4]高雷等人则认为高校志愿服务项目评估工作应坚持相关性、科学性、重要性、系统性、可比性、定量和定性相结合、导向性、经济性的原则。[5]本研究综合上述分析,建立的高校大学生志愿者项目评估指标体系注重测量指标的系统性、客观性、实效性,以建构科学、规范、全过程的高校志愿服务项目质量评估指标。

CIPP评价理论,从背景、输入、过程和产出四个维度出发全方位考量项目的整体状况,能够在一定程度上规避其他评估理论的不足。CIPP质量评估模式具有重视形成性评价、贯穿事物发展始终、兼顾评价对象不同阶段、不同方面的优势。[6]该理论符合高校志愿服务项目的特征,契合高校第二课堂育人目标。

三、问卷编制

(一)预测问卷的编制

通过研读中外文献、以开放式问卷进行初步调查及与指导教师一对一访谈,形成预测问卷题项库。为确保预测问卷的内容效度,邀请带领志愿服务团队的教师和统计学专家5人,10名“单脚鞋银行”、阳光志愿者项目的团队成员对内容进行评价。经过多次修改和完善预测问卷的题项,最终编制了“大学生志愿服务项目评价指标体系构建初评问卷”。根据CIPP评价理论,问卷分为四个维度,即项目基础、项目组织、项目实施和成效影响。其中,项目基础维度包含9道题项,项目组织维度7道题项,项目实施维度6道题项,成效影响维度8道题项,共计30道题项。

(二)问卷发放

问卷主要以问卷星的形式进行线上发放,调查对象为全国志愿服务大赛获奖项目成员以及浙江省曾参与志愿服务活动的学生。共回收总问卷数量428份,经过筛选,剔除无效问卷27份,有效问卷401份。

(三)信效度检验

1.信度

问卷信度是指问卷结构的统一性和稳定性,主要体现在问卷数据的一致性、稳定性和可靠性上。信度检验主要检验内部一致性和斯皮尔曼—布朗分半信度,以此检测和表示问卷的信度。[7]其中,克隆巴赫系数是问卷内部一致性检验的重要参考标准。一般说来,克隆巴赫系数大于0.9,则认为量表的内在一致性信度很高;克隆巴赫系数在0.7—0.9之间,则认为量表的信度可以接受。[8]

运用SPSS对有效问卷的样本数据进行信度分析。结果显示,问卷整体克隆巴赫系数值为0.965,即本研究问卷信度较高,符合统计学规定的问卷的信度标准。

为进一步检验分维度量表的信度,依次对问卷的项目基础、项目组织、项目实施和效果影响维度量表进行信度分析。结果表明,项目基础、项目组织、项目实施和成效影响四个维度的克隆巴赫系数分别为0.912、0.943、0.976、0.938,四个分维度的克隆巴赫系数同样均在0.9以上。

2.效度

效度即采用的测量工具或手段,能否科学、准确地对目标项目进行测量。依据测量学中的要求,问卷编制的效度,包括内容效度和结构效度两部分。[9]

(1)内容效度

为确保预测问卷的内容效度,经过开放式调研、个案访谈和文献研读,邀请专家共计15人组成审阅小组,对预测问卷的项目库进行讨论,认为施测问卷各项题目能够较好地反映测量内容。

(2)结构效度

主成分分析法是统计学中常用的结构效度检验方法,依据量表的KMO值与Bartlett球形检验判断问卷的效度水平,从而决定数据是否适合进行下一步的因子分析。[10]本研究对有效问卷数据进行分析后得到,KMO值为0.764,p<0.001,即该问卷指标各项目之间存在一定相关性,适合进行下一步的因子分析。

为进一步验证问卷的科学性,需要进一步检测分维度量表的效度。结果显示,分维度量表项目基础、项目组织、项目实施、成效影响四维度的KMO的值分别为0.865、0.905、0.931、0.922,p值均小于0.001。这表明问卷拟合良好,具备较高的效度。

经过对“高校志愿服务项目评估指标体系构建问卷”的分析,初步建构以CIPP理论下的高校志愿服务项目评估指标体系,指标共分项目基础、项目组织、项目实施、成效影响4个一级指标,30个二级指标。具体内容如表1所示。

表1 高校志愿服务项目评估指标体系

四、讨论

党的十八大以来,习近平多次对青年志愿者事业和高校志愿服务工作作出重要指示批示,共青团中央和中国青年志愿者协会也出台了系列政策措施,旨在加强推动高校志愿服务项目的发展力度。高校志愿服务项目在青年志愿者事业中具有先导性、示范性和创新性的特征,新形势下,如何更加有效地提高高校大学生志愿服务质量,科学、全面地评价高校志愿服务发展水平,深入探索建立科学、规范的评估指标,是当前需要认真研究的重要课题,这对高校大学生志愿服务项目的发展具有重要的指导性意义。本研究基于CIPP评估质量理论,通过一对一访谈、开放式文件调查,以及对志愿服务领域现有研究的梳理,经过探索性因素分析和验证性因素分析,构建了新时代高校志愿服务项目质量评估指标体系。

(一)适切性

选择契合研究对象、精准匹配研究内容的评估理论模型,是成功建立优质评估指标体系的前提和基础。符合高校志愿服务项目的评估指标体系由美国项目管理学会提出的OPM3组织项目管理理论模型:通过对项目的优势、劣势、机会、威胁四个维度进行分析的SOWT理论模型;从有形性、可靠性、响应速度、信任和移情五个尺度衡量项目服务质量的SERVQUAL模型等。综合各个评估理论模型的维度指向,笔者结合国内大学生志愿服务项目的特点,梳理分析得出CIPP评价理论的背景、输入、过程和产出四个维度,较好地匹配了高校志愿服务项目的基础、组织、实施和成效。在问卷实际的施测和数据分析的过程中,4个一级指标和30个二级指标均具备良好的结构效度。这说明,CIPP评价理论的整体框架适用于高校志愿服务项目指标体系的构建。

(二)特点

指标体系的构建是项目评估不断走向科学性和规范性的关键。本研究基于CIPP评估质量理论,经过专家分析、问卷调查,以中国青年志愿服务项目大赛国赛获奖项目为研究对象,建构了科学严密的高校志愿服务项目评估指标体系,能够为今后高校志愿服务项目的质量评估提供参考。该指标体系主要具备以下特点。一是指标体系的形成突出了时代性。党的二十大明确提出,要逐步完善志愿服务制度和体系。[11]新时代的高校志愿服务项目应跟随时代的发展需要和高校育人宗旨,对项目本身的评估指标体系建设,需要进一步体现时代的需求。例如在“项目基础”维度第一项指标是“项目符合国家教育政策的总要求”,“成效影响”维度指出“项目成为学校的特色名片”等。二是评估指标突出了高校育人的根本宗旨。育人的根本在于立德,该指标体系的建立在充分考虑新时代社会对志愿服务项目需求的基础上,也充分考虑了高校立德树人的根本宗旨,兼顾志愿服务和育人立德相统一。例如在“项目组织”维度提出“项目有较完善的团队提升计划”,“成效影响”维度指出“项目中团队成员和志愿者得到相应成长”等。三是评估指标兼顾了过程性和整体性。在构想高校志愿服务项目评估指标体系之初,笔者从高校志愿服务项目本身的特点出发,将其作为大学生第二课堂育人活动,从项目原有基础、组织构建、项目实施、成效影响维度进行考虑,因而CIPP评估理论模型能够与高校志愿服务项目基本吻合,符合指标体系建立的理论要求。同时,为充分考虑评估指标的科学性和有效性,4个一级指标从整体上对应了高校志愿服务项目的实施,30个二级评估指标细化项目基础、组织、实施和成效的全过程,指标体系的建构兼顾了评估过程和项目整体的有机统一。

(三)未来需重点关注的问题

在前期研究的基础上,虽初步建立起了高校志愿服务项目评估指标体系,但在未来高校志愿服务项目实施的过程中,对部分维度的指标要素需重点加以关注。第一,在组织建立上,部分项目存在自身建设不完善、项目与社会服务脱节等问题,若自身组织机构建立不够健全,则难以长久持续进行志愿服务活动。第二,在项目支持上,高校志愿服务组织主要依靠所在学校团委和学院的支持,缺乏一定的资金来源。以国赛获奖项目温州某高校“单脚鞋银行”为例,邮寄给单脚人的邮费资金存在一定程度的困难。第三,在对外交流上,高校志愿服务项目组织者与参与者大多是在校大学生,对外交流相对较少,较多的是与社区、敬老院等对接和交流,与社会公益组织和基金的对接和交流比较少。第四,在项目评估上,高校志愿项目组织和参与的大多是学生,没有严格的量化评估尺度,存在缺少第三方评估和量化的问题。

(四)不足和思考

本研究建构的高校志愿服务项目评估指标体系,在充分考量项目本体特征、高校大学生特点的同时,兼顾过程性和整体性,符合高校志愿服务项目科学性和规范性的评估要求,但同时也存在一定的不足。一是评估指标体系的操作性有待进一步检验。高校志愿服务项目的评估是一个复杂的过程,既要考虑到服务对象的体验成效,又要考虑项目本身的组织实施,还需要进一步考量大学生青年志愿者的收获成长。本研究构建的指标体系综合考量项目的基础构建、组织、实施和成效影响,主要从项目实施的角度搭建的评估框架,更侧重于项目评估的过程性和整体性。受主客观因素的影响,不同的项目侧重考虑的视角会大有不同。二是评估指标的灵活性有待进一步加强。受经济、地域和项目本身现实条件的制约,不同高校对志愿服务项目的支持力度有所不同,项目本身的发展也会受到制约,如在“项目基础”维度提出的“项目有一定的经费支持”“项目有固定的工作室场地支持”等指标难以满足。这就要求在使用该评估指标的同时充分考虑项目本身具备的现实情况,可根据实际需求细化或删减评估指标,进而满足项目评估可操作性的要求。

五、结论

志愿服务是现代社会文明进步的重要标志,是培育和践行社会主义核心价值观的有效载体。[12]在实际调研中发现,评估指标体系的缺失是制约高校志愿服务项目的重要因素,本研究依据CIPP评估质量理论,构建了包含项目基础、项目组织、项目实施和成效影响4个一级指标,30个二级指标的高校大学生志愿服务项目质量评估指标体系,能够为今后高校志愿服务项目的质量评估提供参考。高校大学生是极具创新力的群体,加强高校志愿服务项目体制机制建设,建立科学规范的评估指标,能够进一步优化高校大学生志愿服务内容,实现志愿服务内容多样化、服务对象多元化,引导青年学子为社会发展贡献应有的青春力量。