重点实验室评估指标体系的构建及应用

时盛英

(福建省科学技术信息研究所， 福建福州 350003)

重点实验室是区域创新体系的源头, 是高校及科研院所组织高水平科学研究、聚集和培养高层次人才、开展学术交流的重要基地。科技评估作为科技管理与市场机制相结合的产物，是科技管理的必要手段和科学决策的重要依据；是国家和政府对科技计划、技术市场交易、科研平台等实施有效管理，实行决策科学化、程序化的重要手段；是政府增强科技宏观管理调控能力、推动科技管理制度创新的动力。[1]科技评估是根据一套完整的技术标准和规范对科技系统及其相关活动的作用、影响和效果进行的科学、独立、公正的评价。[2]评估指标体系具有导向性作用，能够促进重点实验室健康良性发展，是科技管理部门对科研工作成效进行考核的重要依据。

一、国内外科技评估的基本情况

科技评估的方法在实际中得到不断发展和完善，最初采用定性分析方法, 受主观因素影响较大。为了提高科技评估结果的科学性, 逐渐把数学、经济学、运筹学等学科的一些定量分析方法运用到科技评估中, 科技评估逐步进入定性评价和定量分析相结合的阶段, 评估质量有了质的提升。[3]目前，科技评估大多是采用以定性评价为主, 以定量分析为辅, 定性与定量相结合的方法。现在评估方法仍处在不断研究和完善中。

美国于1972 年成立国会技术评估办公室,主要任务是对涉及科技或科技计划当前和未来的影响进行评估，对影响政策制定的科技新发展提出预见性评估意见, 为国会提供全面、有力的决策支持。法国政府1985年规定: 任何国家科技项目在没有评估体系作保障之前不能启动，并制定了一套公开、透明的评估标准和评估制度。日本1995 年颁布的《科学技术基本法》中正式把技术评价作为管理和推进科研开发活动的手段, 并规定不能随意设立和撤消评估机构。[4]德国建立有完整的科技评估体系和评估标准，科技评估体系大致分为三层：联邦和州政府、科研教育资助组织、大学和研究院所。[5]联合国开发计划署成立了评估与战略规划办公室, 比较系统地制定了相关的基本政策、评估规范、评估跟踪机制等,已形成了一个比较科学、完善的科技评估体系。[6]

我国于20 世纪90 年代初开始开展科技评估工作。1990 年建立了国家重点实验室定期评估制度，1999 年制定了《国家重点实验室评估规则》及评估指标体系，将国家重点实验室的评估由定量评估为主逐步转为定性评估为主。2003 年、2008 年科技部先后两次对《国家重点实验室评估规则》进行了修订，进一步规范了评估流程和评估指标体系，强调实验室的整体性、综合性和定性评估，不再对实验室进行分类，而突出对实验室代表性成果进行评估。2013 年根据科技体制改革的总体思路再次进行了修订，并延续了原有的定性评估、整体评价，引导重点实验室出重大成果和优秀人才等思路。[7]

二、科技评估指标体系的建立

科技评估是促进重点实验室发展与规范重点实验室管理的重要手段。评估指标体系应具有导向性，既要反映重点实验室本质特点，又要体现管理层的要求。因此，科学合理的评估指标体系是对重点实验室整体运行情况做出准确评判的重要依据，直接关系到评估结果的合理性和准确性。

1. 指标体系的设计原则

目标原则：重点实验室的建设目标是“出成果、出人才、出效益”，遵循 “开放、交流、联合、竞争”运行原则，是该领域先进技术与优秀人才聚集的重要科技创新平台。评估指标应能够多方位、多角度地反映重点实验室的建设成就。

导向原则：重点实验室评估的目的是为了总结成绩，找出不足，为未来的发展规划提供决策依据。评估指标应体现鼓励创新、鼓励承担高水平科研任务、出成果、出人才的指导思想和导向。

真实原则：数据采集既要体现重点实验室的共性特点，又要突出全局性的关键要素，区别主次、轻重，系统与重点兼顾，完整反映重点实验室的真实情况。保证数据采集与分析的可行性和数据来源的可靠性。

标准原则：专家现场考察的定性评估与上报数据的定量评估相结合，用相同的量化标准作为统一尺度衡量实验室的业绩，使评估对象建立在统一的标准上，保证评估结果的真实性和准确性。

2. 评估指标的筛选和权重的确定

重点实验室评估的主要目的是为了营造良好的科研氛围，激发科研人员的创新活力，提高科技资源的利用率，加强日常管理的科学性，将科学技术活动与重点实验室的建设有机结合，更好地服务于经济社会。因此，评估指标应包含两方面的内容：一是重点实验室科技创新活动的目的和内容，二是科技创新活动过程中的投入和产出。

(1) 评估指标的筛选

在明确重点实验室的评估内涵和指标设计原则后，运用文献分析法与访谈法，筛选出定量评估指标与定性评估指标。

定量评估指标具有简单明了、易统计、代表性强、可量化的特点，可以用数据全面反映重点实验室的成果与效益、建设与运行的成效，评估结果可以在重点实验室之间进行比较。筛选了包括重点实验室承担的研究任务、研究成果、经济效益、人才队伍建设4个一级指标；承担科研项目数量及金额、获奖成果、授权专利、标准制定、资质认证、开放课题、人才培养与引进等14个二级指标。定性评估需要利用行业专家与管理专家的知识、经验和判断进行评判和比较，指标无法量化，筛选包括研究方向、研究成果及学术和技术水平、人才队伍、开放程度、研究条件、组织与管理6个一级指标；主要研究课题与成果的学术和技术水平、研究工作与成果的创新性、学术带头人水平和作用、研究队伍结构的合理性、设备配套性与先进性、依托单位的支持程度等15个二级指标。

(2) 确定指标权重

根据重点实验室建设要求和评估目标，采用层次分析法(AHP法)确定评估指标的权重。将所要评估的内容分解为不同的指标，对每个指标的影响因素及内在关系进行分析，按各指标之间的相互关联、隶属关系、对重点实验室评估贡献的大小进行分配，聚集组合为不同层次，形成一个多层次的分析结构模型。把定量与定性指标合理地结合起来，使复杂的问题系统化和条理化；把评估过程层次化、数量化。

3. 评估模型的构建

目前科技评估所采用的方法主要有层次分析法、文献计量法、德尔菲法及同行评议法等，或者是以上几种方法相组合的评估模型。[8]这些方法虽然能够得出评估结果，但也都存在一定的缺陷，从而影响评估结果的准确性、科学性及公平性。鉴于重点实验室评估是采用“定量与定性相结合”“学术专家与管理专家相结合”的方法，因此选择由层次分析法、文献计量法及同行评议相结合的多指标综合评估方法构建评估模型。

(1) 定量评估模型的构建

定量评估采用综合评分法的修正加权评分法。依据各重点实验室上报的统计数据，给各统计项设基本分,计分标准含绝对分值和相对分值两类，相对分值按评估模型换算为相应的绝对分值。

换算方法：设被考核重点实验室该项指标的统计分值为Xi，Ai为被考核重点实验室该项指标的平均分值，以被考核重点实验室该项指标的平均分值为合格标准。该项指标的满分值为考核指标体系给出，实验室该项指标得分Yi：Yi=满分值×(0.6+((Xi-Ai)/Ai)×0.6)，并规定Yi的最高值为满分值，校正系数为经验值。

用数学模型计算出被评实验室相对应的各项定量指标的数值，各项指标的数值总和即为该实验室的定量分值。对各项指标的数量特征、数量关系与数量变化进行分析，来评估重点实验室的运行情况和综合实力。

(2) 定性评估模型的构建

定性指标具有模糊和非定量化的特点，无法直接测量，很难用精确数字来表示，我们采用同行评议法进行打分。根据定性评估指标，评估专家根据其学识和经验, 通过对重点实验室的了解、分析、讨论，做出独立的判断, 在规定的相应指标栏内打分, 最后运用评估模型计算出该实验室各项指标的加权平均分a( i) 和评委的平均分A, 即:

式中:ai为第i位评委评的分数(i= 1,2,3，…,n),n为评委人数。

(3) 综合评估模型的构建

把多个描述被评估重点实验室不同方面且量纲不同的定性和定量指标，转化为无量纲的评估分值，综合这些评估分值给出整体评价。

综合评估分值是根据评估专家评议得出的定性评估指标分值与各个重点实验室上报的统计数据换算得出定量评估指标分值，根据相应的模型计算得出。综合评估得分=定量评估指标分值*0.4+定性评估指标分值*0.6，满分值为100分。

根据综合得分将评估结果分为五类，分别是：优秀(综合得分≥90分)、良好(90<综合得分≥75分)、合格(75<综合得分≥65分)、整改(65<综合得分≥60分)、不合格(综合得分<60分)。

三、评估指标体系在福建省重点实验室考核评估中的运用及分析

为提高福建省基础应用研究水平及科技创新能力，推动经济、科技和社会的发展，福建省自1991年起先后在农林、海洋、生物医药、电子信息、光电子技术、轻工、测试等领域设立了新型科技创新平台——福建省重点实验室，截止2019年7月福建省共有学科类重点实验室150个。2003年福建省科技厅为规范重点实验室管理，增强重点实验室创新能力，促进重点实验室健康发展，将科技评估机制引入福建省重点实验室建设与管理工作，至今已开展了多次重点实验室科技评估。

第一阶段：群评估

2003年首次使用这套指标体系，对已通过科技厅验收的16个福建省重点实验室进行统一考核评估即群评估，打破了福建省重点实验室只建设不考核一成不变格局。

运用指标体系对各被评估重点实验室申报材料进行定量、定性及综合评估，结合现场实际调研情况，对福建省重点实验室的现状有了全面系统的了解。福建省重点实验室经过十多年的建设和运行，虽然承担了一定数量的科研任务，取得了一些较高水平的研究成果，但发展很不平衡。存在重点实验室结构布局不够合理、规模和水平参差不齐、原始创新能力不强、科研经费投入严重不足且筹集渠道单一、科研队伍建设差强人意、管理不够规范、开放与流动性低、资源利用不够充分等问题，重点实验室整体水平与国内先进水平相比有较大的差距。

由于参加本次考核评估的16个重点实验室既有依托科研院所建设的也有依托高校建设的，而且设立的时间、背景和科研实力等不同，运用本套指标体系进行群评估后出现了一些不合理的现象，如某个实验室的优势或者某些指标被过分强化，而其他实验室的优势被压制，某些评估指标的作用失真，没有达到全面真实地反映全省重点实验室总体水平的预期。

第二阶段：分类评估—基础研究类与开发类

在2005年到2007年的评估工作中，根据建设目的和研究性质将重点实验室划分为基础研究类和开发类两种不同类型。基础研究类重点实验室主要开展前沿领域和交叉学科实验性或理论性研究，成果的主要表现形式为学术论文和著作等理论性成果。开发类重点实验室主要利用现有知识创造新产品、新方法、新技术、新材料，解决本领域关键技术问题。根据两类重点实验室目标任务的不同，对评估指标体系进行了调整。基础研究类重点实验室在承担课题、人才培养、学术论文水平及数量等方面分值较高；开发类重点实验室在成果转化及收入、技术转让及收入、产品销售及收入等方面给予较高的分值；而成果鉴定与评审、科技奖励等二者共性的内容分值相同。

运用调整后的指标体系分类评估，虽然能够反映出基础研究类和开发类重点实验室自身的特点和实际情况，但是也出现了一个突出的问题：即依托高校建设的重点实验室从学术水平、研究成果、组织管理、仪器设备等各方面均优于依托科研院所类重点实验室；依托研究院所建设的重点实验室成绩不太理想或较差，6个评估不合格被除名的重点实验室有5个是依托科研院所建立的重点实验室。见表1。

表1 历年重点实验室评估结果为较差类重点实验室情况表

通过系统分析发现，出现这种现象既有历史原因，也有其自身因素。福建省从上世纪90年代初开始重点实验室的建设工作，依托研究院所建设的重点实验室都是2000年之前建设的，他们对重点实验室建设的意义和作用认识不够明确，对重点实验室的建设缺乏足够的重视，支持力度不大，从而造成这些重点实验室仪器设备相对陈旧、落后，人员老化出现断层，中青年骨干科研人员少；依托高校建设的重点实验室绝大多数为2000年之后设立，建设起点和要求相对较高，高水平的科研人员较多，仪器设备先进，相对产出的科研成果水平较高，数量较多。

由于依托单位职能不一样，研究院所类重点实验室在人才培养(博士、硕士)、学术论文的数量和水平、取得科研成果的能力等方面远远落后于高校，若继续使用这种评估模式和指标体系，势必造成绝大多数依托研究院所建设的重点实验室被淘汰， 即不利于重点实验室的健康发展，也偏离了以评促建设的初衷。为适应形势、促进重点实验室的良性发展，制定一个更加科学、合理的评估指标体系和评估模式势在必行。

第三阶段：分类评估—科研院所类与高校及中直机构类

2008年在总结以往历年评估工作经验的基础上，考虑福建省实际情况，根据依托单位的类别把福建省重点实验室分为科研院所类和高校及中直机构类，针对这两类重点实验室设计了两套不同的评估指标体系。

2010年、2011年运用这套分类评估指标体系分别对13个科研院所类重点实验室、16个高校及中直机构类重点实验室开展评估，每种类型的重点实验室放在各自的评估指标体系下进行统一比较、分析及综合评估，较好反映了两种不同类型重点实验室的整体运行状况和发展水平，对福建省重点实验室的良性发展起到了很好的促进作用。

但在本次评估过程中也发现，重点实验室规模的不同对评估结果的影响很大，甚至导致部分指标反映出来的结果失真，严重影响了评估的权威性和公正性。如个别重点实验室利用在固定人员数量上的优势，人为拼凑数据，上报的统计数据几乎是汇集本专业全院的数据，忽视了研究成果的实际水平和质量。为了改变重点实验室评估重形式、轻内容，重数量、轻质量，过于看重论文数量和科研经费等指标的现象，2012年我们向各重点实验室及部分依托单位科研管理部门征求修订意见和建议，共回收到反馈意见25份，主要集中在以下这些问题：(1)区别对待基础研究和应用研究类实验室，如对基础研究的研究成果及应用中的学术水平权重加大，而对应用研究的应用如专利、技术项目和技术咨询与服务的权重加大；(2)学术水平只统计专著和被SCI和EI 收录的论文；(3)建议加入对学科建设的评估，如国家级学科、重点学科等；(4)加大对国家级项目的权重；(5)根据实验室工作性质不同设置更具针对性的评估指标；(6)扩大知识产权的认定范围如软件著作权，集成电路布图保护等。见表2-表5。

表2 高校及中直机构类重点实验室定量指标修订建议

表4 研究院所类重点实验室定量指标修订建议

表5 研究院所类重点实验室定性指标修订建议

根据反馈意见的统计分析结果对具有代表性和广普性的评估指标内容、权重和分值进行调整和修订，并改变了部分指标的计分方法。重点实验室承担的863、973、国家杰青等项目给予较高的基础分值，区别于普通项目。科研课题的数量、科研经费金额、论文数量、技术转让或成果转化金额、仪器设备金额等不再单纯求和，改为计算人均值；实验室承担的课题、获得的科研成果等根据完成形式(独立、为主或参与)按不同的百分比计分。高校类重点实验室自身肩负着教学和培养学生的职责，因此去除了研究生(博士、硕士)培养、教材类型专著等评估指标；取消对普通学术论文的评估，只统计SCI/EI收录论文；取消产品研发与销售收入等评估指标。

修改后的指标体系通过在2013年、2014年、2015年及2017年研究院所类重点实验室和高校类重点实验室评估工作中的实践应用检验，取得了较好的应用效果，评估结果更加公正、公平、合理，很好的反映了福建省重点实验室整体实力、科研水平和存在的问题，成为管理层鼓励先进、淘汰落后，规范重点实验室管理的有力依据，达到以评促发展、以评促建设的评估目的，有效促进了福建省重点实验室的健康有序发展。

四、完善评估体系的思考与对策

评估指标体系反映了一定时期重点实验室的实际情况，但随着社会价值观的变化也会出现一些缺陷和不合理的现象，因此要及时进行调整、修正以适应科学研究的发展和进步。

1. 按学科邻域分类评估

现行的重点实验室建设与管理模式基本是先根据申报条件筛选然后通过专家予以论证立项，再根据依托单位的性质进行分类评估。由于每个重点实验室所处的学科邻域不同，定位和研究方向差异很大，采用分类模式的“一刀切”式的评估模式虽然简便、明晰，但较难对不同邻域间重点实验室的水平和贡献做出客观的评价。因此按学科领域或研究方向相近的原则分组评估，建立分组评估指标体系，不仅可以提高评估结果的可比性，而且能真正起到激励和引导作用，有利于重点实验室间的良性竞争和创新研究上的突破，从而推进科技创新体系的进步和发展。

2. 合理分配评估指标的权重

现行的评估模式是定量评估、定性评估和现场考察相结合。定量评估指标能够较客观的反映重点实验室真实的运行情况。但重点实验室在本学科领域的综合水平和地位、研究方向和内容的先进水平等指标需要有学术水平高、专业性强的评估专家做定性判断，而评估专家的专业能力、道德、人情等因素会影响这些指标的真实度，不能完全反映实际情况。现场评估不仅需要专家组听取成果汇报，而且要核查实际运行管理情况、质询答疑，可以更直观地反映重点实验室管理水平和科研水平，能够一定程度的弥补在定性评估中的失误，但目前只被当做一种辅助手段。个人认为采用评估权重为定量评估40%、定性评估40%、现场考察20%的定量、定性与现场考察相结合的综合评估模式，评估结果会更客观、准确、真实。

3. 指标数据的采集和分析

评估数据的采集和分析计算直接影响评估结果的准确性。定量评估信息的采集要建立在重点实验室产出数据的基础上，对上报数据出现矛盾或前后不一致时，在对数据进行核准和修正的基础上，采用较低数据作为评估信息；如果文字与附件不一致，以附件作为考核评估信息；掺杂有依托单位的数据信息，对不真实的数据进行调整或剔除，保证采集数据的完整性、连续性和准确性，便于数据的统计和评估指标的计算与分析。

4. 强化横向比较突出科研水平

同邻域重点实验室间的相互比较最能直观的反映实验室的科研能力和水平。评估科研水平的首要参考指标是论文质量，论文质量不仅可以反映实验室研究思想的前瞻性、先进性，而且可以反映科研人员的水平与能力、科研环境、科研数据质量、合作研究能力、科研经费投入等实验室的综合水平；另外研究成果的水平和数量也是评估科研水平的重要依据，包括国际、国内、行业、地方标准制定的数量和参与方式，授权发明专利、软件著作权、新药证书、新产品、科学研究方法的创立等[9]；最后，技术标准、发明专利、新产品的使用等反映重点实验室成果转化、转让与应用能力的指标，也是评估科研水平和能力的重要因素。

5. 严格界定研究成果的关联度

重点实验室代表性成果是评估期内以固定人员为主在本实验室完成的符合主要研究方向的科研成果，以及通过国内外合作研究取得的成果。但在实际评估工作中被评实验室申报材料中包含整个依托单位研究内容的现象屡见不鲜，部分代表性成果与研究方向关联度不高，甚至无关。要杜绝此类现象继续发生，必须加强对重点实验室研究方向、研究成果与固定人员间关联性的评估；强调代表性成果的质量，弱化代表性成果数量。

评估指标体系为重点实验室的规范管理提供了技术支撑，是实现优胜劣汰、保持整体优势的主要依据。评估指标体系的设计应该明确导向性，建立在统一的标准上，最大限度的反映出不同重点实验室的共性，并突出个性化指标，保证评估结果的真实性和准确性。

注释：

[1][4][6] 时盛英：《科技评估的发展及存在的问题与对策》，《情报探索》2003年第4期。

[2] 曹绍文：《科技评估有利于科技管理决策科学化》，《今日科技》2002年第4期。

[3] 王再进：《国外科技评估的历史、现状及其启示》，《北京航空航天大学学报》(社会科学版)2006年第4期。

[5] 张瑞芬、董建中、王宏雁：《山西省应尽快建立科技评估支持系统》，《科技情报开发与经济》2002年第4期。

[7] 杨晓秋：《关于国家重点实验室评估的思考》,《实验室研究与探索》2015年第9期。

[8] 杨 凤：《基础研究项目立项评估模型研究》，吉林大学硕士论文，2014年5月。

[9] 吴 根、于敬鹏：《国家重点实验室分类评价指标体系研究》，《实验技术与管理》2012年第9期。