共青团“青年之家”实体平台的评估指标体系研究——基于德尔菲法和层次分析法的应用

■ 李秀峰 祝 军

(北京师范大学 政府管理学院，北京 100875；北京外国语大学 国际教育学院,北京 100089)

一、问题提出

“青年之家”是共青团直接领导或主导的公益性、专业化工作平台。为了进一步做好青年服务工作，共青团中央在2019年提出了“用3年左右的时间推动全国‘青年之家’组织功能更加凸显、建设布局更加合理、服务功能更加完善、对团员青年覆盖更加有效”的建设目标[1]。在各级团组织的大力推动下，全国各地 “青年之家”的建设工作推进迅速。截至2019年底，全国已建成具有一定规模的“青年之家”实体平台3.07万家，入驻“青年之家”云平台1.41万家，平台管理员4.5万人，其中团干部2.9万人、社工1.6万人。各级团组织2019年全年依托云平台共开展活动11.26万场，报名参与活动的青年达212万人次，在社会范围内产生了一定的影响，初步成效明显[2]。

然而，在“青年之家”快速建设和发展的同时，“青年之家”工作平台特别是实体平台在实际运营中也逐渐暴露出一些不容忽视的问题，主要表现为：一是在功能定位方面，行政本位严重、独立性较差、功能发挥不足、运作方式不适合新形势[3] [4]；二是活动运营方面，经费和场地紧缺、服务活动创新性不足、与青年群体需求不完全匹配、对青年群体的吸引力有限、各方认可度不高[5][6]；三是在人员队伍方面，激励机制不健全、专业人员缺乏、职业发展前景不明朗[7][8]。上述问题的存在，在一定程度上会对“青年之家”建设目标的顺利实现产生影响。因此，如何进一步引导“青年之家”实体平台良好有序的发展，使其成为服务青年发展的重要阵地，已成为当前共青团工作中的一个重要问题。

从公共服务的绩效评估视角来看，科学合理的评估是衡量服务供给效率、公共服务公平性和质量高低的必要手段。有鉴于此，如何构建一套科学合理的运行评估体系，通过“以评促建、以评助建、评建结合”的方式推动“青年之家”综合服务平台评估和建设的良性互动，实现“青年之家”的高效高质发展，是各级团组织和广大青年工作者都需要认真思考的课题。

二、理论模型和研究方法

本研究旨在开发一套能够诊断“青年之家”实体平台运行状况，有助于持续改善平台建设的评估指标体系，具体步骤包括：一是在梳理相关文献的基础上，确定评估模型，并基于专业人员的访谈结果，设计出评估指标体系草案。二是根据“青年之家”的实地考察和运用德尔菲法的调查结果，对评估指标进行筛选并构建具有可操作性的评估指标体系。三是运用层次分析法确定评估指标的权重，最终形成完整的“青年之家”运行评估指标体系。

(一)理论模型

在公共服务的绩效评估领域，由于评估目的、对象、条件和活动类型的差异，研究者提出了不同的评估模型，其中有代表性的包括目标导向评估模型、CIPP评估模型、消费者导向评估模型，等等，其中，由美国学者斯塔弗尔比姆(Stufflebeam，2005)提出的CIPP评估模型因具有既能评判结果，又能改进过程的优势，目前被广泛应用在社会公益项目的评估中[9]。CIPP模型将评估过程分成背景(Context)、输入(Input)、过程(Process)和成果(Product)评估，内容涉及项目的实施方案、服务对象、项目成果和价值等方面，能为特定项目提供一套系统的观察模式和改进标准。本研究通过借鉴CIPP评估理论模型，将从背景、投入、过程和产出四个方面来建立“青年之家”的评估模型，其中，背景评估包含“功能定位”和“政策保障”等内容；投入评估包含“活动场地”“工作队伍”“经费投入”等内容；过程评估包含“活动计划”“项目内容”“运行制度”“云平台建设”等内容；产出评估包含“常规活动”“特色活动”“效果评价”等内容(见图1)。

图1 “青年之家”实体平台评估模型(拟)

(二)研究对象和方法

本文的研究对象是“青年之家”实体平台。在具体研究中，选取了北京、上海、江苏、河南、新疆、云南等地的“青年之家”实体平台作为研究对象。平台的选择主要考虑以下几个因素：一是区域选择上，包括了我国的京津沪，兼有东部、中部和西部地区；二是类型选择上，包括了示范性(如北京呼家楼街道青创社区青年汇)和非示范性综合服务平台(如北京八里庄街道华贸社区青年汇)；三是运行时间选择上，不仅包括已运行多年的平台，还包括了新建平台。

在本文中，接受访谈和问卷调查的人员主要有各级团委干部(与青年之家建设相关者)、负责青年之家平台运行的管理者、一线实务工作者(社区工作者、青年之家专兼职工作人员)、青年工作领域专家和社区青年等。

在实证调查部分，本研究采用的资料收集和分析方法主要是访谈法、德尔菲法和层次分析法。首先，访谈法是指在文献研究的基础上，根据了解到的情况拟定访谈提纲，通过访谈的方法进一步了解“青年之家”机构整体的运行与管理情况。访谈对象是参与“青年之家”管理和活动的团干部、专职社工、志愿者、社区青年等。访谈内容主要围绕对指标体系草案的评价和建议，当前“青年之家”运行面临的问题及其成因展开。其次，本文所用的德尔菲法是指修正版的德尔菲法，与传统做法不同，修正版的德尔菲法放弃了第一轮的开放式问卷调查，而改以文献梳理、研究规划或专家座谈的方式来发展出结构性问卷，这一修正不仅简化了德尔菲法的程序，也使专家的意见更具针对性[10]。本研究运用修正版的德尔菲法，先通过文献分析整理出最初的运行评估指标，然后运用匿名问卷来收集专家的判断，并利用统计分析来整合他们的意见，进而获得“青年之家”运行评估指标的共识。在德尔菲法调查阶段，本研究将采用自编问卷作为研究工具，一共开展两轮调查问卷，并使用SPSS软件进行均值分析、信度分析和效度分析，以确定各项指标的适用性和可行性。最后，本研究运用层次分析法来确定各个指标在评估体系中的权重。层次分析法是一种解决多目标的复杂问题的定性和定量结合的权重决策分析方法，它把复杂无序的问题分解为多个组成元素，并根据隶属关系构造出简明有效的层次结构，再通过两两比较的方式获得每个层次中每个元素之间的相对重要性，最后通过层级串联，计算出最低层次中每一个元素的相对重要性排序[11]。在评估指标的权重确定阶段，本研究仍将采用自编问卷作为研究工具，对于回收的调查问卷，研究使用YAAHP软件来进行统计分析，通过两两对比法进行指标权重分析。

三、“青年之家”实体平台评估指标的拟定和筛选

(一)评估指标的初步拟定

根据本文所构建的“青年之家”实体平台评估模型，结合共青团中央提出的引领凝聚、组织动员和联系服务青年等基本职责，通过对相关文献的整理和归纳分析，研究初步拟定出“青年之家”实体平台的运行评估指标体系，共包含4个维度和12个一级指标、30个二级指标。其中，评估指标体系中的4个维度包括：背景维度，指评估对象存在正当性，包括“青年之家”建设的目标和定位。投入维度，指“青年之家”要达到建设目标所需具备的人力、预算、场地等资源保障。过程维度，指用于评估将投入资源转化为产出的活动，主要包括项目设计等影响“青年之家”运行绩效的因素。产出维度，指用于评估完成任务和提供服务的数量和品质效果，主要包括“青年之家”运行的成果产出和各方评价。

在确定了相关评估维度的基础上，研究结合对相关文献的整理和归纳分析，依据“青年之家”的4个评估维度，设计出了一级指标和二级指标，其中，一级指标包括功能定位、政策投入、活动场地、工作队伍、经费投入、活动计划、项目内容、运行制度、云平台建设、常规活动、特色活动、效果评价等12个项目。为了方便开展测量，针对一级指标又细化形成了30个二级指标，最终形成“青年之家”实体平台运行评估指标体系(草案)向专家进行意见咨询(见表1)。

表1 “青年之家”实体平台运行评估指标体系(草案)

为了确保评估指标的合理性，在对指标进行筛选之前，研究精选了15位参与过“青年之家”建设管理和研究工作的实务专家进行问卷调查和深度访谈，其内容主要包括评估指标的切实性(指标内容是否科学客观，是否符合共青团组织对青年之家的要求和定位)、评估指标的涵盖性(指标内容是否有所遗漏)、评估指标的现实可操作性(指标评价内容在实践中的可行性)等。根据专家反馈的意见，研究在以下方面对评估指标体系进行了修订：一是在背景评估维度，删除了“政策保障”一级指标，确定以“目标定位”作为主要评价指标，从而使背景评估的目标更加聚焦和集中。二是在投入评估维度，结合实际情况，不仅降低了对专职工作人员的身份规定(以专兼职形式代替)，而且降低了对平台经费投入情况的考核设计，从而保证了评价指标更加贴近实际。三是在过程评估维度，将一级指标调整为“项目设计”“项目内容”“管理规范”和“云平台建设”四个指标，保证了各个指标之间更加具有独立性，表述也更加清晰规范，同时删除了对工作人员培训情况的考核，也更加符合实际。四是在产出评估维度，不仅强调对活动数量的考核，也增加了对活动开展质量的考核，考核内容显得更加全面且具有操作性。

(二)评估指标的筛选

在评估指标的筛选环节研究按照德尔菲法的要求做了两轮问卷调查。第一轮调查内容为指标的适当性，第二轮调查内容是指标的适当性和可行性，在此基础上，研究将根据德尔菲法调查结果确定“青年之家”运行评估的指标体系。

1.评估指标的首轮筛选

在首轮指标筛选环节，根据初步拟定的评估指标，研究设计出《“青年之家”运行评估指标专家咨询意见(首轮)》来收集专家对每一个评估指标的态度，以此作为指标评判依据。

在问卷设计方面，研究使用李克特五分量表来衡量专家的态度，问卷分别用1分、2分、3分、4分和5分来表示“非常不适合”“比较适合”“一般”“比较不适合”“非常适合”等五种态度。由于这是第一轮的指标筛选，基于保守原则，研究将各项指标的平均分(处在“一般”和“比较合适”之间)视为专家对指标入选达成共识的临界分值，即平均得分超过3.5分的指标将得以保留，而其余的指标将被淘汰。

在调查对象方面，研究分别选取15位从事相关研究的高校和科研机构学者、15位负责“青年之家”项目管理的团委干部和15位参与当地“青年之家”项目工作的实务工作人员进行问卷调查。这些专家或者具有深厚的理论功底，或者积累了丰富的实践经验，都是对“青年之家”项目具有深刻认识和理解的专业人士。按照这一研究设计，研究通过在线问卷调查的形式，以点对点的方式发出了45份调查问卷。为了提高问卷的回收率和填写质量，在问卷发出后的第三天又用电话和邮件的形式联系了各位专家，督促他们完成问卷填写。经过一周的时间，研究共回收问卷44份，有效回收率达到97.77%。就参与调查专家的基本情况而言，在44位专家中，从性别来看，男性27人，占比61.36%，女性17人，占比38.64%。从学历情况来看，专科及以下4人，占比9.09%；大学本科15人，占比34.09%；硕士研究生20人，占比45.45%；博士研究生5人，占比11.36%。从职称情况来看，初级职称9人，占比20.45%；中级职称7人，占比15.91%；高级职称3人，占比6.82%；无职称25人，占比56.82%。从职级情况来看，科级以下10人，占比22.73%；副科13人，占比29.55%；正科6人，占比13.64%；副处3人，占比6.82%；正处及以上1人，占比2.27%；无职级11人，占比25.00%。从地域分布情况来看，东部省份(山东、广东、浙江)3人，占比6.82%；京津沪地区29人，占比65.90%；中部地区(江苏、安徽、河南)5人，占比11.36%；西部地区(新疆、云南)7人，占比15.91%。

为了确保问卷结果的可靠性，研究利用SPSS 20.0软件针对二级指标进行了标准差分析和信度检验。结果显示，26个二级指标的标准差均小于1，说明专家的意见基本趋于一致(见表2)。

表2 首轮调查问卷各指标得分均值和标准差分析(N=44)

续表

研究运用SPSS 20.0软件对本次问卷所有二级指标的克隆巴赫系数(Cronbach's alpha)进行了检验，结果显示，问卷总体的克隆巴赫系数为0.967，背景、投入、过程和产出四个维度的克隆巴赫系数分别为0.734、0.922、0.942和0.915。说明问卷只有较好的可信度(见表3)。

表3 首轮调查问卷的信度分析

在对信度进行检验的基础上，研究还对问卷结果进行了两项效度检验。一方面，由于问卷设计是以专业学术文献为基础，并且通过了专家的意见咨询，因而可以认为具有一定的内容效度(content validity)。另一方面，研究运用SPSS 20.0进行KMO和Bartlett的球形度检验，得到KMO值为0.726，Bartlett的球形度检验的近似卡方值是1 362.499，显著性是0.000，累计解释变异量达到78.331%，可见指标体系具有一定的构建效度(construct validity)。

综上所述，在“青年之家”实体平台评估指标体系首轮调查中，所有的指标均通过了检验，可以作为评估指标继续使用。对于个别得分略低的指标，经过与专家沟通商量，对相关指标的表述方式进行了调整和修改。

2.评估指标的第二轮筛选

经过首轮的专家筛选，“青年之家”实体平台运行评估指标体系还包括4个维度、11个一级指标和26个二级指标，研究以此设计出《“青年之家”运行评估指标体系专家咨询问卷(第二轮)》。本轮筛选的目的在于让专家对指标的态度趋于集中，以获得最终的评估指标，因此，问卷内容设计仍然采用李克特五分量表，但是专家达成共识的判别分数却提升到4分，即只有平均得分在4分以上的指标才能进入“青年之家”运行评估指标体系。

本轮调查对象仍然限定为首轮选定的45位专家，通过问卷形式点对点发放45份，成功回收有效问卷44份，有效回收率为97.77%，44位专家构成的基本情况与首轮调查相同。对回收问卷进行统计分析，26个评估指标的平均得分均超过4.00，从分维度的指标得分来看，背景维度的各指标得分均值都大于4.60，投入维度的各指标得分均值都大于4.30，过程维度的各指标得分均值都大于4.40，产出维度的各指标得分均值都大于4.30。同时，26个评估指标得分的标准差都小于1，这也意味着专家对这26个评估指标达成了相对一致的意见。

在本轮调查中，研究仍然使用SPSS 20.0软件对本轮问卷的信度进行了检验，结果显示，总体的克隆巴赫系数为0.984，四个维度的克隆巴赫系数也都超过0.900，而且较首轮调查，所有维度的信度指标均有提升。再次说明问卷具有较好的可信度(见表4)。

表4 第二轮调查问卷信度分析

在效度方面，研究仍然运用SPSS 20.0软件对问卷进行KMO和Bartlett的球形检验，得到KMO值是0.722，Bartlett球形度检验的近似卡方值是1716.150，显著性是0.000，累计解释变异量达到80.469%，通过构建效度的检验。

3.评估指标的确定

为了保证评估指标具有可操作性，在第二轮“青年之家”实体平台运行评估指标体系调查中，在对二级指标的适当性进行评判的同时，研究也邀请专家对二级指标的资料收集便利性进行了评价。在问卷设计方面，本部分量表使用李克特五分量表来衡量专家对于指标收集便利性的评价，问卷分别用1分、2分、3分、4分和5分来表示“非常不方便”“比较不方便”“一般”“比较方便”“非常方便”等五种评价。通过对回收的问卷进行分析，专家对各指标的便利性评价得分都超过了4.00分，并且从26个二级指标的得分情况来看，得分最高值为4.66分，得分最低值为4.30分，其中绝大多数指标的得分都在4.40分以上，说明指标收集工作在实际中具有较好的可操作性，可以用于实际评估。

在对“青年之家”实体平台运行评估指标体系进行了两轮德尔菲法专家意见判定之后，结合专家对于指标适当性和便利性的评价，研究最终确定了“青年之家”实体平台运行评估指标体系包括背景、投入、过程、产出4个维度，目标定位、活动场地、工作队伍、经费保障、项目设计、项目内容、管理规范、云平台建设、常规成果、特色效果、社会评价等11个一级指标和“建设目标符合共青团工作本位的情况”“功能定位符合所在区域特点的情况”“发展规划符合青年群体特征的情况”等26个二级指标，具体指标的适当性得分均值如下表所示(见表5)。

表5 “青年之家”实体平台运行评估指标体系(含均值)

四、“青年之家”实体平台评估指标的权重分配

在评估指标的权重赋值环节，本研究采用层次分析法进行权重分配。主要步骤包括：

一是建立层次结构模型。结合已确定的评估指标，研究建立了包括三个层次的结构模型。第一层为目标层，即确定“青年之家”背景、投入、过程和产出等维度评估指标的权重；第二层是准则层，主要包括“目标定位”“活动场地”“工作队伍”“经费保障”“项目设计”“项目内容”“管理规范”“云平台建设”“常规成果”“特色效果”“社会评价”等11个一级指标；第三层是要素层，共包括建设目标情况、功能定位情况、发展规划情况、选址科学性情况等26个二级指标。

二是构建两两比较的判断矩阵。根据构建的层次结构模型，研究设计出《“青年之家运行的评估指标”AHP 专家咨询问卷》，用以协助专家来判断评估指标的相对重要性程度。该调查方法请专家对同一层次的评估指标进行两两比较，评分等级分为1-9分9个等级，分数越高，则意味着其中一个指标相对于另一个指标的重要性越高，最终对重要性越高的指标赋予越高的权重。根据已确定的指标体系，本研究建立了13个判断矩阵(一级1个，二级3个，三级9个)。

三是进行判断矩阵的一致性检验。本研究排序权向量采用特征根方法。在计算出矩阵的最大特征根后，需要先对矩阵的一致性进行检验(即对专家判断的逻辑合理性进行检验)。通过一致性检验后方可根据最大特征根求解矩阵的权向量。本研究的一致性检验分为两个步骤：首先对44份专家答卷进行一致性检验，对存在“不一致”或部分缺失的回答通过YAAHP的“检查”功能进行修补(其中缺失值通过其他专家的回答的算数平均值进行补充)。44份问卷全部通过一致性检验。在此基础上，本研究以群体决策的方式，通过几何平均数对专家回答进行集结，基于专家打分的均值得出一组判断矩阵。对集结后的矩阵进行一致性检验，13个矩阵均满足一致性的要求(<0.1)。

四是对评估指标进行权重计算。本研究采用几何平均数的方法集结所有专家的判断矩阵，得到的13个判断矩阵通过了一致性检验。之后通过特征向量法，分别计算出每级指标的权重(通过矩阵的最大特征根计算特征向量，经过归一化处理后得到权向量)。同时，为了检验组合权向量的一致性，研究根据软件输出结果C.I.和R.I.指标计算了各个维度的组合一致性比例。结果表明，总排序权向量的组合一致性检验通过，可以按照权重计算的结果进行决策。基于此，研究最终得出“青家之家”评估指标体系如下(见表6)。

表6 “青年之家”实体平台运行评估指标体系(含权重)

续表

五、结论与建议

本研究以国内“青年之家”实体平台作为研究对象，基于公共服务绩效评估理论中的CIPP评估理论模型，充分运用访谈法、德尔菲法和层次分析法，通过概念化模型建立、指标筛选和权重赋值等三个主要步骤，最终发展出一套包含了4个维度、11个一级指标和26个具体指标的“青年之家”实体平台评估指标体系。该指标体系具有两个重要特征：一是评估内容的涵盖面广，指标结构较为系统全面。二是评估的侧重点突出，体现出对结果的关注。产出维度的评价指标权重远高于其他维度，背景维度和过程维度的评价指标权重居中，投入维度的评价指标权重略低，对于“青年之家”工作实践具有较好的引导意义。

基于研究发现，为了进一步改善和提升“青年之家”建设水平和工作质量，推动共青团专项工作的发展，本文提出如下建议：

第一，加强专业化评估队伍建设，提高评估工作的规范化水平。针对目前青年之家评估工作现状，建议成立专门的评估工作团队和专家委员会，其职责包括研究起草“青年之家”评估工作计划和实施指南，组织评估相关培训，监督评估实施情况，撰写年度工作报告，负责运营评估网站，提出评估工作优化建议等。为保证评估工作的客观性，也可以考虑通过政府采购的形式，委托第三方社会组织对“青年之家”运行情况进行科学客观的评估。

第二，合理运用评估结果，实现评建结合、以评促建。开展“青年之家”运行评估工作的目的之一是查找其建设和运行过程中存在的不足，并通过“目标导向”来推动机构的发展建设。结合研究开发的评估指标体系，在公布“青年之家”评估结果的同时，应为其提供下一步持续改善的可操作建议。同时，对于评估过程中发现的特色项目、管理模式创新等典型事例，要做好系统内的宣传推广和激励，从而带动“青年之家”的整体建设向好发展。

第三，积极培育青年社团，开发特色项目，增强活动吸引力。针对评估指标体系开发过程中发现的平台活动中“由上而下”的“规定动作”所占比重过高问题，建议在“青年之家”的具体运行实践中，积极培育能够自主设计并开展活动的青年社团，鼓励其开发一批满足青年需求的特色项目，并以此带动“青年社团的培育及参与情况”“区域内青年自主设计和组织项目的情况”“符合区域青年需求的特色品牌项目情况”等一系列相关指标产出的提高。

第四，适时调整平台的角色功能，使其不断适应时代发展新趋势。在评估指标开发过程中，研究发现“青年之家”的角色和功能是决定评估指标内容的最为核心的影响因素。基于此，“青年之家”在实践中除了要紧紧围绕执政党的工作目标确定其核心功能之外，还要不断优化其公共服务功能，使平台的工作更加紧密地与各级政府服务青年群体、满足青年需求、促进青年发展的公共服务职能相结合，进而来获取政府机构更大范围、更多经费和更长时间的支持。