APP下载

“院为实体”背景下高校实验室管理水平评价体系的构建

2022-09-01

实验室研究与探索 2022年5期
关键词:咨询程度专家

杜 骁

(上海交通大学海洋装备研究院,上海 200240)

0 引言

我国高校实验室管理改革探索开始于上个世纪90 年代,在过去几十年中,高校实验室管理实践已经取得了不少成就,实验室管理的制度化、规范化、科学化和信息化水平不断提高。但是,随着我国高等教育投入不断加大,高校实验室数量急剧增长,实验室管理中的一些问题也逐渐暴露出来,如管理体系不够完善、基本建设前瞻性不足、安全管理亟需加强等,并且缺乏有效的评估机制。随着高校放管服改革的不断深化,院系在实验室管理中承担的事权与责任越来越重。在“院为实体”背景下构建实验室管理水平评价体系,对更好地发挥高校实验室人才培养和科学研究的作用有着重要意义。

1 构建高校实验室管理水平评价体系的理论依据

1.1 《良好实验室规范》

《良好实验室规范》(Good Laboratory Practice,GLP)是指在开展非临床卫生和环境研究的过程中,针对研究计划、实施、监测、记录、报告、保存(或存档)的一种管理质量控制体系。GLP 定义了在GLP 系统中运行的实验室管理部门、研究负责人、研究人员和质量保证人员的职责,以及有关设施设备、标准操作程序、原始数据文件、研究报告、记录存档是否适合进行研究的最低标准[1]。这个体系是国际经济合作与发展组织(Organisation for Economic Co-operation and Development,OECD)由1978年成立的GLP专家团在化学物质控制组织特别规划会制定的,经相关的政策机构审议,于1981年被国际经济合作与发展组织理事会正式推荐给成员国使用[2]。1997 年,国际经济合作与发展组织对良好实验室规范进行了修订,并沿用至今[3]。

1.2 《国家认监委良好实验室规范原则》

为服务于我国的出口贸易,使我国的产品在国内就能获得GLP 实验室的检测服务,建立我国统一的GLP实验室评价体系,国家认证认可监督管理委员会(以下简称“国家认监委”)于2008 年3 月发布了《关于开展良好实验室操作规范(GLP)评价试点工作的通知》(国认实[2008]10 号),开始组织开展GLP实验室评价试点工作[4]。2008 年6 月,经组织有关专家研讨,国家认监委就良好实验室规范(GLP)及评价程序的有关文件进行了公布,形成了《良好实验室规范(GLP)原则》(试行)等文件[5]。2013 年2 月,为进一步加强良好实验室规范(GLP)监控体系建设工作的科学性、有效性,根据认监委良好实验室规范评价试点工作实践经验,经组织有关专家研讨,国家认监委对2008 年发布的《良好实验室规范原则》(试行)等相关文件进行了修订和完善,形成了《国家认监委良好实验室规范原则》[6]。

2 基于Delphi专家咨询法构建高校实验室管理水平评价体系

2.1 Delphi专家咨询法概述

Delphi专家咨询法是20 世纪50 年代美国兰德公司与道格拉斯公司合作研究出的一种咨询方法,这种方法可以通过有控制的反馈更为可靠地收集专家意见。Delphi专家咨询法是专家会议预测法的一种发展,其核心是通过匿名的方式函询征求专家意见,并对专家意见进行汇总整理,在下一轮函询时提供给所有专家作为参考,直到专家意见趋于一致[7-8]。

Delphi专家咨询法具有以下主要特点:①匿名性。通过匿名形式进行函询,保证参与咨询的专家互不了解,消除了专家心理因素的影响。②反馈性。Delphi专家咨询法一般要经过2~4 轮,通过多轮反馈机制,使参与咨询的专家掌握每一轮所有专家的反馈意见,并作为反馈时的参考,从而使得最终结果能较为客观地反映出专家意见的一致性。③统计性。通过量表设计将专家咨询意见量化,从而可以选择合理的统计学方法作进一步的定量分析[10-11]。

2.2 高校实验室管理水平评价体系的构建原则

(1)系统性原则。构建评价体系时,要从多层次、多角度出发,全面、完整地总结梳理高校实验室管理的整体情况和重要特征,从而获取对实验室管理有影响的主要因素。对于评价指标的设置,既要考虑评价的总体目标、逻辑紧密,又要防止重要指标的遗漏,确保能够综合反映出高校实验室管理过程中各因素相互作用、相互制约的情况。

(2)科学性原则。评价体系的构建要以高校实验室管理水平评价为导向,采用科学的研究方法和手段,结合文献研究和工作实践,分类分级提炼评价指标。评价体系要能够客观、真实地反映出高校实验室的管理情况和管理水平,其形成的过程要科学严谨,有据可依。

(3)可操作性原则。构建的评价体系要具有良好的可操作性,各类评价指标要有着简单明了的定义内涵。同时,评价指标应数量中等、客观可测,实际操作时可应用的评价方法简单,便于数据收集。

2.3 利平用评价De体lp系hi的专实家施咨过询程法构建高校实验室管理水

(1)成立专家协调小组。本研究成立了5 人组成的专家协调小组,其中副研究员2 名、助理研究员2名、实验师1 名,拥有博士学位的2 名、硕士学位的3名,均为长期在高校实验室领域工作的管理人员和专业技术人员。

专家协调小组的主要任务是构建初始评价体系、选择咨询专家、编制专家咨询表以及分析讨论专家意见,通过专家咨询最终构建出高校实验室管理水平评价体系。

(2)建立初始评价体系。基于《良好实验室规范》和《国家认监委良好实验室规范原则》,通过查阅国内外相关文献资料,并对高校实验室的管理人员、专业技术人员以及相关领域的专家学者进行访谈,获取对实验室管理水平有影响的指标因素。同时,结合工作实践进行总结分析,经专家协调小组讨论,初步建立综合管理、基本建设、人员队伍、仪器设备、环境安全5个维度构成的评价体系。

(3)选择咨询专家。专家的选择是Delphi 专家咨询法成败的关键,如果专家对咨询的方向不具备广博的知识,就很难作出正确的判断、提出有价值的意见。专家数量的多少要视研究规模而定,咨询的精度随着专家数量的增加而提高,一般情况下,专家数量以15~50 人左右为宜[7,11]。

根据研究目的和规模,本研究遴选了20 位相关领域的专家,具体标准如下:①对高校实验室领域较为熟悉,从事该领域相关工作或研究至少10 年以上;②自身的知识储备较为丰富,拥有本科以上学历;③自身的专业技术水平较高,拥有中级以上专业技术职称;④对本研究有着良好的积极性,愿意支持本研究,能保证参加全部的2~3 轮函询。

(4)开展专家咨询。专家协调小组在初始评价体系的基础上编制了专家咨询表,并通过电子邮件函询的方式进行第一轮咨询。专家咨询表包括三个部分:第一部分是概念内涵界定,是对研究概念和指标内涵的界定。第二部分是指标咨询,采用Likert5 级评分设计量表,由专家根据自己的理论知识与实践经验对评价指标提出修改意见,并对其重要程度进行打分。第三部分是专家基本情况调查,对参与咨询专家的基本情况、作出判断的主要依据和影响程度,以及对评价指标的熟悉程度进行调查。

第一轮咨询结束后,共收到专家反馈意见74 条。专家协调小组根据Delphi专家咨询法的统计学要求,以重要性赋值均数>3.5、满分比>0.2 作为评价指标的筛选标准[12],结合专家反馈意见对评价体系进行了修改调整,并在此基础上形成了第二轮专家咨询表,与第一轮专家反馈意见一并再次发送给所有专家,开始第二轮咨询。第二轮咨询结束后,通过对第一轮、第二轮咨询结果进行分析,发现专家意见基本趋于一致,经专家协调小组讨论,结束咨询[7,13]。

2.4 专家咨询结果分析

(1)专家基本情况。本次专家咨询共有20 位来自国内高校实验室领域的专家参与,专家的基本情况见表1。

表1 专家基本情况表

(2)专家积极系数。专家积极系数是指参与咨询的专家对本研究的关心程度和重视程度,用问卷回收率表示,问卷回收率=(回收问卷数/发出问卷数)×100%。本研究共进行两轮专家咨询,第一轮发放问卷20 份,回收问卷20 份,回收问卷均为有效问卷,问卷回收率100%,有效回收率100%;第二轮发放问卷20份,回收问卷20 份,回收问卷均为有效问卷,问卷回收率100%,有效回收率100%。一般认为问卷回收率50%以上可以用于统计分析,70%以上是一次很好的调查[13-14]。本次两轮咨询的问卷回收率均为100%,说明专家对参与本研究非常重视,积极性很高。

(3)专家权威程度。专家权威程度(Cr)是指专家对于某一研究方向或问题的权威程度,主要来自于专家的自我评价,由专家在咨询过程中作出判断的依据(Ca)和对研究方向或问题的熟悉程度(Cs)两个因素决定,其计算公式为:Cr=(Ca+Cs)/2。

专家在本研究咨询过程中作出判断的依据由实践经验、理论分析、文献资料和直观感觉4 个维度构成,专家根据其影响程度分别从大、中、小3 个量级进行自我评价,具体赋值标准见表2。

表2 判断依据及其影响程度量化表[14]

专家对本研究咨询内容的熟悉程度分为很熟悉、比较熟悉、一般熟悉、不太熟悉、不熟悉5 个等级,具体赋值标准见表3。

表3 专家对咨询内容的熟悉程度系数表[14]

专家权威程度对咨询的可靠性有着相当大的影响,专家权威程度越高,预测精度越高,咨询结果越可靠[7]。一般认为,当专家权威程度≥0.7 时,专家对此次咨询的权威程度较高,咨询结果可信[13-14]。通过计算,本次两轮咨询的专家权威程度均大于0.7,说明专家的权威程度较高,咨询结果可信(见表4)。

表4 专家权威程度表

(4)专家意见集中程度。两轮咨询后,专家对研究概念和指标内涵的同意率在80%以上,并且没有对各项评价指标再次提出修改意见,说明专家认可对研究概念、指标内涵和评价指标的表述,意见基本一致[10,12]。

变异系数表示专家对各项评价指标相对重要性的波动程度,变异系数越小,专家意见集中程度越高。第一轮咨询各项评价指标的变异系数在0~0.21 的范围内,第二轮咨询各项评价指标的变异系数在0.05~0.19 的范围内,均符合变异系数<0.25 的标准,说明专家对各项评价指标相对重要性的波动程度较小,意见集中程度较高[10-13]。

肯德尔和谐系数(W)反映的是参与咨询的全部专家对于全部评价指标的协调程度[7,15],其取值范围为0~1,数值越大,专家协调程度越好。通过计算,本次两轮咨询的肯德尔和谐系数显著性检验P值均小于0.05,在95%的置信水平下显著,咨询结果可信[9,16](见表5)。

表5 肯德尔和谐系数表

3 “院为实体”背景下高校实验室管理水平评价体系的确立

通过专家咨询,本研究最终确立了包含一级指标5项、二级指标23 项、三级指标73 项的高校实验室管理水平评价体系,并通过专家评分法确定了每项指标的具体权重(见表6)。

表6 “院为实体”背景下高校实验室管理水平评价体系

续表6

续表6

4 结语

本研究以GLP 原则为指导,基于《良好实验室规范》和《国家认监委良好实验室规范原则》,结合文献研究及工作实践,利用Delphi专家咨询法构建了由综合管理、基本建设、人员队伍、仪器设备、环境安全五个维度构成的高校实验室管理水平评价体系,将管理评价引入实验室领域,进一步丰富了高校放管服改革以及院校两级管理的实践工具。

在实际工作中,该体系已经在我校新成立的工科交叉创新平台——海洋装备研究院进行了试点应用。通过利用评价体系对海洋装备研究院的海底集矿装备研发测试实验室、流动智能水槽实验室、材料磁性测试实验室等实验平台进行评价,对标对表各项指标,较为客观地评价了实验室的建设与管理水平。后续,将适时推广应用至全校,从学校角度对各院系实验室进行评价,依据评价结果进一步总结分析实验室建设与管理中存在的问题,找到差距、补强短板,为实验室规范化的建设运行以及管理体系的完善提供借鉴。

猜你喜欢

咨询程度专家
致谢审稿专家
精致和严谨程度让人惊叹 Sonus Faber(意大利势霸)PALLADIO(帕拉迪奥)PW-562/PC-562
男女身高受欢迎程度表
咨询联盟大有可为
请叫我专家
专家面对面
将内燃机摩擦减小到最低程度
幸福的程度
专家答疑
健康咨询