高校参与学习型城市建设评价指标的构建——基于德尔菲法的研究

○陈 伟 张慎娟 孟 德

第五届学习型城市大会的主题为“从紧急应对到迅速恢复：通过学习建设健康和韧性城市”，进一步深化了学习型城市建设的内涵，提出建设学习型城市是实现城市现代化发展的重要渠道，未来的城市建设必须围绕全民学习与终身学习进行，为各国学习型城市建设指明新方向。高校作为我国教育事业的重要组成部分，承担着公民教育的重任。当前，高校参与学习型城市建设过程中存在诸如高校定位不清、与社区的互动机制和资源共享机制不健全等问题。究其原因，主要因为目前高校参与学习型城市建设的评价缺失。从国内外学习型城市指标评价的发展历程看，学习型城市评价指标的发展将有以下变革：强调学习型城市的可持续发展；强调各类教育的充分融合，实现学习型城市的协调发展；注重更广泛的终身学习成果和形式，创建科学的评价框架；重视评价结果的透明度和实用性，促进结果的有效应用［1］。综合国内外的评价指标体系研究，尚缺乏将高校作为研究主体的评价研究，本研究将就高校参与学习型城市建设的评价指标开展研究。

一、研究设计与过程

（一）研究方法

本研究选择德尔菲法探寻高校参与学习型城市建设的关键指标，以期构建出合理的评价指标体系。通过问询专家对高校参与学习型城市建设的看法，初步确定指标，将结果反馈给专家，进而回收专家新一轮的看法，然后在此基础上对原有指标进行修改；如此重复几轮，不断优化现在指标并运用层次分析法确定各指标权重，最后达成普遍的共识，形成稳定的评价指标体系［16］，即高校参与学习型城市建设的评价指标体系。

（二）专家选择

本研究基于利益相关者理论，根据专家研究领域和利益相关性来框定专家组的范围，然后以参与多轮调查的可能性来最终确定专家人选［2］。共选定15 人组成专家组，专家分别来自北京、上海、天津、广州、杭州、成都、曲阜、临沂、桂林、南昌等地。具体的专家组资料如表1 所示。

表1 专家组资料

（三）研究思路

本研究通过自编咨询问卷去整合专家意见，自编咨询问卷主要借鉴了UNESCO 全球学习型城市评价指标体系和职业教育与成人教育司“全国学习型城市建设监测指导性指标体系（试行）”（2017）［3］［11］［14］。整个研究过程包括两个阶段，前后经过四轮专家意见收集。第一阶段主要是通过问卷咨询专家来获得不同意见，从而构建初步的评价指标体系，并且在过程中不断对其优化，最终实现科学合理的维度划分［4］，以此确保后续研究的顺利开展。这一阶段包含三轮问卷调查，第一轮通过自编咨询问卷对各专家进行咨询，通过专家反馈意见形成初步评价指标体系；第二轮则是在初步评价指标体系的基础上通过“评分式意见”和“开放式意见”来衡量各指标的合理性，并对初步评价指标体系进行修改、合并和增加，使得该指标能更加客观全面地评价高校参与学习型城市建设情况；第三轮问卷调查则综合专家意见，对一级、二级和三级指标所组成的指标结构进行综合判断，尤其对于一级和二级指标的概念进行优化，最终得到完整的高校参与学习型城市建设情况评价指标。第二阶段，主要是通过层次分析法最终计算各指标权重，最终完成高校参与学习型城市建设情况评价指标体系的构建。经过每一轮问卷的收集与分析旨在不断优化评价指标体系，使得最后各专家意见呈现较高的一致性，得出一个被普遍接受的最终方案，即高校参与学习型城市建设评价指标体系。具体的研究步骤如图1 所示。

图1 高校参与学习型城市建设情况评价指标体系构建流程图

二、指标体系的研究与构建过程

（一）整理分析专家初步意见，形成初步指标

本研究问卷的发放与回收依托问卷星平台开展，通过与专家点对点直接联系说明调查目的、过程和注意事项，并进行问卷的发放、回收和统计。第一轮问卷共发放15 份，回收15 份，其中有效问卷14 份，回收率为100%，有效率为93.3%。在这一轮问卷调查中，各专家对于高校参与学习型城市建设情况的看法差异性较大，难以直接形成较为系统的初步指标体系，这些回答体现出各专家的独特观点。为了尽可能保留各专家对于高校参与学习型城市建设情况的看法，本研究通过研究对象的内涵、特征和主要内容三个不同角度对所有专家意见进行整理和分析，最终得到初步指标总共33 条，这些指标也尽可能客观全面地表现出各专家看法。

（二）整合专家反馈意见，不断优化指标

第二轮问卷共发放14 份，回收14 份，其中有效问卷14 份，回收率为100%，有效率为100%。第二轮问卷的“开放式意见”较多，主要是关于指标项目修改、增加的意见，经整理可以得到更加集中的意见，具有较好的指导性和参考性。判断各指标项目应否保留，如何修改问卷，须同时参考“评分式意见”和“开放式意见”。具体而言，对于“评分式意见”中位值大于3 的指标项目，予以保留，结合“开放式意见”修改、调整；对于“评分式意见”中位值小于3 的指标项目，予以删除；对于“开放式意见”认为应该增加的指标项目，予以增加。因各项指标的评分值均在3 以上，故没有完全删除的指标项目。通过专家第二轮观点的整理与分析，最终决定对原有指标进行修改与合并，并且增添部分全新指标使整个评价指标体系更加全面和有效。

其中，指标修改部分。将“机构设置”修改为“学校专门机构设置”，“人员配备”修改为“学校专门人员配备数量”，“教学平台数量”修改为“思政教学平台数量”，“理论研究数量”修改为“核心价值观理论研究数量”，“师资队伍建设”修改为“思政师资队伍建设”，“图书资源的开放”修改为“图书资源的开放程度”，“教学设施的开放”修改为“教学设施的开放程度”，“在线网络课程数量”修改为“在线课程数量”，将“数字图书馆的建设”修改为“新媒体教育平台数量”，“校内外培训进修次数”修改为“培训进修次数”，“校内文体活动次数”修改为“文体活动次数”，“组织比赛次数”修改为“学习型组织的活动次数”，“参与社会公益活动次数”修改为“全民终身学习活动周开展情况”，“科研影响力”“成果转化数量”和“校地融合程度”合并为“科研成果转化数量”，“学校排名”和“学科评估”合并为“学校综合排名”，“校友影响力”和“文化素质教育”合并为“杰出校友情况”，“智库数量”修改为“学习型城市相关智库数量”，将“科研成果数量”扩展修改为“学习型城市的理论成果数量”和“学习型城市的实践成果数量”，将“留学生人数”和“派出学生数量”合并为“对外交流人次”。

指标增加部分，包括“学校发展规划”“学校专门经费投入”“学校评价激励机制”“核心价值观教育次数”“文体设施的开放程度”“实验设施的开放程度”“教职工继续教育的参与率”“年度招生人数”“学校办学层次”“相关专业人才培养数量”“非学历教育人次”“职业教育人次”“社区教育人次”“毕业生就业率”“教职工获奖情况”“学生获奖情况”“创新创业成果”“毕业生人数”“产学研合作数量”“国际化教育水平”“专利发明数量”。

经过第二轮修改后，指标项目由最初的33 个增加到51 个，形成初步的高校参与学习型城市建设评价指标，如表2 所示。

表2 高校参与学习型城市建设初步评价指标

（三）构建一级、二级和三级指标，再次征求专家意见，构建并且优化指标体系结构

本研究将51 个三级指标概括为9 个维度，分别为“学校政策”“核心价值观培育”“教育资源的融合开放”“教职工能力的提升”“学习型组织建设”“信息技术应用”“个人影响”“社会影响”和“可持续发展影响”。这9 个维度也构成了评价指标体系的二级指标。然后，再将9 个二级指标进一步归纳为“基础条件”“主要任务”和“广泛影响”3 个维度。这3 个维度也构成了评价指标体系的一级指标，其中“基础条件”包括“学校政策”，“主要任务”包括“核心价值观培育”“教育资源的融合开放”“教职工能力的提升”“学习型组织建设”和“信息技术应用”，“广泛裨益”包括“社会影响”“经济发展”和“文化繁荣”［5］［8］。

第三轮问卷的问题形式与第二轮相同，通过第三轮问卷向专家征集第三轮意见，前提是向专家反馈第二轮意见，专家将根据第二轮意见的反馈给出第三轮意见。经考虑，“开放式意见”可以不予反馈，“评分式意见”则可以以较为直观的四分位区间的形式（附四分位区间和指标项目修改情况）反馈给专家。第三轮问卷的建立是在第二轮问卷的基础上，根据第二轮问卷的统计结果，高校参与学习型城市建设的评价指标项目由33 个修改、增加至51 个，将这51 个三级指标以及上述概括而出的一级和二级指标列入第三轮问卷的量表，从而得到第三轮问卷，目的是为了让专家对一级和二级指标进行修改与完善。第三轮问卷共发放14 份，回收14 份，其中有效问卷14 份，回收率为100%，有效率为100%。最终51 个三级指标仍然分属于3 个一级指标和9 个二级指标，而二级指标和三级指标则做出相应的修改。

一方面，对于一级指标的修改主要是表述方面修改，将“基础条件”修改为“基础保障”，将“广泛裨益”修改为“广泛影响”。另一方面，对于二级指标的修改则是将一级指标“基础保障”下的“学校政策”修改为“学校基础保障”；将一级指标“主要任务”下的“核心价值观培育”修改为“社会主义核心价值观培育”，将“教职工能力的提升”修改为“教职工素养的提升”，将“信息技术应用”扩充修改为“构建终身教育体系”；将一级指标“广泛影响”下的“社会影响”“经济发展”和“文化繁荣”融合修改为“个人影响”“社会影响”和“可持续发展影响”。至此，本研究形成了系统的高校参与学习型城市建设情况评价指标体系。

（四）确定指标的维度与其权重，构建完整的评价指标体系

1.高校参与学习型城市建设情况维度划分原则。按照科学研究中实证与规范相统一的原则和要求，建立高校参与学习型城市建设的评价指标体系，有两个总的具体指导思想，一个是科学性，另一个是实用性。维度划分与指标选择的具体原则包括：（1）系统性原则。各指标之间要有一定的逻辑关系，它们不但要从不同的侧面反映出各个利益相关主体的主要特征和状态，而且还要反映出学习型城市的内涵、基本特征、形成要素及关联影响［6］。（2）典型性原则。尽可能准确反映出高校参与学习型城市建设的综合特征，即使在减少指标数量的情况下，也要便于数据计算和提高结果的可靠性。（3）时代性原则。学习型城市建设本身就是一个动态发展的过程，高校参与学习型城市建设的评价体系设计应反映时代特征对学习型城市建设的内在规定性，指标的选择要充分考虑到动态的变化［7］［8］［13］。（4）科学性原则。主要体现在理论和实践相结合，以及所采用的科学方法等方面。在理论上要站得住脚，同时又能反映评价对象的客观实际情况［9］［15］。（5）一致性原则。主要是指发展目标与评价指标之间的一致性和定量与定性指标结合的一致性，实质上就是高校参与学习型城市建设目标的具体化和可操作化［10］［12］。

2.高校参与学习型城市建设评价的维度划分。此前通过德尔菲法最终确定了高校参与学习型城市建设评价指标体系。其中各指标是权威的，符合逻辑的，由专家讨论而得。但由于无法验证其客观性，同时各指标的数据收集工作相当繁琐甚至无法进行，结合层次分析法的优点以及所要研究内容的实际情况，最终选择主客观相结合的方法对该问题进行评价并计算其权重。

根据对专家们的两轮问卷调查以及访谈最终确定指标体系并构建了层次结构模型。该评价指标体系可分为目标层、准则层、要素层、指标层。该评价体系的目标层为高校参与学习型城市建设，此为本研究的主题。将此目标进行分解，根据层次分析法的指标构建原则，结合头脑风暴法和专家法，提出了影响高校参与学习型城市建设的三个主要方面作为评价体系的准则层，分别为基础保障、主要任务以及广泛影响。要素层对应于二级指标，指标层对应于三级指标，同样由准则层和要素层分解而得，总共构建了9 个二级指标以及51 个三级指标。学校的基础保障是学校对于建设学习型城市的前提。主要任务分解为5 个二级指标，分别为社会主义核心价值观培育、教育资源的融合开放、教职工素养的提升、学习型组织建设、构建终身教育体系。广泛影响分解为个人影响、社会影响以及可持续发展影响这三个二级指标。此评价指标在合理性上面上文已进行阐述，这是进行层次分析法的重要前提。

3.高校参与学习型城市建设评价指标权重计算。判断矩阵的构建依据上述三个步骤：将判断矩阵按行归一化，其次将归一化的判断矩阵按行相加，最后将相加后得到的向量中的每个元素除以n 即得到权重向量。在第四轮问卷调查过程中，通过咨询此前参与过本研究的10 个专家，最终收回10份调查问卷，其中有效问卷10 份，回收率为100%，有效率为100%。判断矩阵的构建是从上而下的方式，本研究需要构建12 个判断矩阵，使用的打分标准为“1—7 标度法”。在此基础之上，本研究通过专家对于各指标重要性程度的评价并用MTALAB 软件计算出指标权重，并通过加权评价的方式得到了最终的权重。其中，一致性指标CI=0.0193，一致性比率CR=0.0370。因为CR＜0.1，所以该判断矩阵的一致性检验通过。最终得到如表3 所示结果。

表3 指标权重表

三、反思与展望

（一）方法反思

不同专家对于评价指标的构建均有独到看法，相互之间在存在众多共性的同时存在诸多差异，一部分话语也由于专业性较强和表述较为抽象而增加了整理和分析难度。为了确保专家意见整合的准确度，提升评价指标体系的有效性，本研究投入大量时间与精力去设计和优化问卷，并且按照问卷中不同的维度划分去寻求满意解。通过这种方法分析得出的初期评价指标体系虽然可以尽量还原专家意见，但是也面临着指标过于多样而不容易量化的情况，增加后期修改难度，同时本研究虽然秉持客观分析原则，但是整个研究过程难免会受到主观情绪上的影响，最终降低分析的客观性，让最终结果带有一部分研究者自身的主观判断。

（二）过程反思

在初步确定高校参与学习型城市建设情况的评价指标体系时，主要是通过统计分析法对其重复提及的核心关键信息进行提炼，最终形成合适的评价指标。如在专家的回答中，“开发”一次被提及7 次，同时开发的内容大致涉及高校图书馆、实验室和体育馆等多类型场所，在综合考虑之后最终形成“融合开放”概念，进而确定一系列与之相关的指标。在这一过程中，专家回答的话语可能存在概念模糊、意思笼统和抽象等问题。为了尽可能保证维持专家原本意思，本研究尽量使用专家回答的原始话语，以保证语意的一致性。例如：保留了诸如高校社会贡献程度、高校终身学习文化构建情况等提法，以此来保证更加客观全面反映各个专家对于高校参与学习型城市建设情况的看法。

在优化高校参与学习型城市建设情况评价指标的过程中，由于第一轮问卷范围相对较为宽泛，各专家所表达的意见间差异较大，可能无法保证初步指标的有效性和一致性。对此，本研究决定将33 个指标内容在第二轮将问卷细化进一步聚焦专家意见。一方面，通过各专家的“评分式意见”来判断这些指标是否合适，初步确定指标均符合标准。为了尽可能全面吸收专家意见，决定保留全部的33 个初步指标。另一方面，本研究通过整理分析各专家的“开放式意见”来对初步指标进行进一步的优化完善，对指标进行修改、合并和增加，最终形成51 个初步指标，即后续研究中的三级指标，也是层次分析法所使用模型的指标层。在这之后，通过借鉴UNESCO 全球学习型城市评价指标体系和职业教育与成人教育司“全国学习型城市建设监测指导性指标体系（试行）”（2017）的有关思想，对这51 个初步指标进行归纳分类，又形成了9个二级指标和3 个一级指标，多级指标之间形成一个相对完整的评价指标体系结构。为了优化这一评价指标体系结构，本研究进行了第三次问卷调查，依据专家意见对一级和二级指标进行优化升级，让各指标的概念更加精准。最后通过层次分析法确定指标各维度及其权重，形成完整的高校参与学习型城市建设情况评价指标体系。

（三）研究展望

基于对研究过程的回顾，认为还有待在以下几个方面开展进一步的研究：其一，本研究主要是通过问卷调查形式去了解不同专家的看法，缺乏与专家面对面的深度交流，没有针对专家观点中的独特看法进行追问与进一步探讨，如对于“仅仅将学校基础保障作为基础保障的唯一划分维度”是否可以体现出每一个专家想要表达的意见，这件事情无法询问每一个专家的看法，导致结果有效性降低；其二，本研究所选取的专家来自全国各地，所担任的职责也不同，可能导致不同专家对于高校参与学习型城市建设的立场与认识角度存在差异；其三，本研究使用的样本较少，无法充分代表该利益所有专家的意见，使最终结果缺乏稳定性，同时德尔菲法本身不属于实证方法，最终结论缺少足够的数据支撑，使结果可信度有一定降低。

本研究通过德尔菲法与层次分析法，系统构建了高校参与学习型城市建设情况评价指标体系，为高校参与学习型城市建设提供全新视野与实用工具。一是为后续实证研究打下坚实基础，通过数据支撑改进和完善当前评价指标体系；二是可以使用该评价指标体系去分析高校参与学习型城市建设的情况，为改善高校参与度提供有针对性的建议。