应急装备科技成果评价指标体系研究

董炳艳

(新兴际华应急研究总院，北京 100020)

0 引言

应急装备是开展公共安全、防灾减灾、应急救援工作的有力手段与重要物质保障。发达国家应急装备发展较为成熟，拥有一批应急装备制造企业，并建立了相关装备体系。我国也日益加大了对应急装备科技创新的支持力度，从“十一五”开始对公共安全领域给予支持。“十三五”期间，科技部设立了“公共安全风险防控与应急技术装备”重点专项，综合应急技术装备是重点任务之一。同时，我国一批开展应急救援装备研发、生产的高校、院所、企业，积极参与到国家应急救援装备研制工作中来，取得了一系列成果。

从科研项目管理角度看，美国、日本、欧洲等国家和地区的科技评估体系都较为成熟。中国也高度重视对科研项目的评审、评估等工作，针对有关评价工具和评价方法开展了一系列研究。但不管是美日欧等国家地区还是中国，目前都缺乏对应急装备成果评价的有关研究。一般科技评价采取以专家评价为主的方式，通过召开专家会议，由专家对成果进行评价，所评价内容以定性为主。本文依托“公共安全风险防控与应急技术装备”重点专项相关成果，尝试通过分析应急装备科技成果的特点，研究建立科学合理的应急装备科技成果评价指标体系和方法，用于对应急装备科技成果进行客观评估，这样既有助于加强应急领域的科技研发和创新工作，为应急装备科技成果的实际转化、示范应用和产业化提供评价工具，又有助于对核心技术和技术群突破进行系统梳理、挖掘，发现系列优质科研成果，为专项未来发展提供参考，为公共安全和应急装备科技发展指明方向。

1 研究现状

1.1 相关概念

(1)应急装备。应急装备是应用于安全生产、防灾减灾、应急救援的专用装备、设备和产品的统称。《国务院办公厅关于加快应急产业发展的意见》(国办发〔2014〕63号)在发展目标中提出，一批自主研发的重大应急装备投入使用。“十三五”期间，国家重点研发计划“公共安全风险防控与应急技术装备”专项中将“综合应急技术与装备”作为专项的7项重点任务之一[1]。在2020年12月15日发布的《安全应急装备应用试点示范工程管理办法(试行)》中所指安全应急装备是为安全生产、防灾减灾、应急救援提供的专用产品。在“十四五”国家应急体系规划中，也有应急装备、安全应急装备推广应用示范等相关内容。同时，我国也涌现出了一批生产和研发应急救援装备的企业、高校、院所。

一些发达国家应急装备发展较为成熟，拥有一批应急装备制造企业，并建立了相关装备体系。在美国，由联邦政府主导的自愿性组织跨机构委员会从1999年开始每年发布标准化装备目录(Standardized Equipment List,简称SEL)，美国联邦应急管理署从2007年开始颁布授权装备目录(Authorized Equipments List,简称AEL)[2]，从联邦层面对应急救援装备物资进行总体分类[3]。

(2)应急装备科技成果评价。应急装备科技成果评价是指应急装备科技成果所有方、使用方或科技管理部门，运用科技评价指标和一定的评价方法，对应急装备科技成果进行的学术水平、技术产出、应急救援应用、社会效益、经济效益等方面的综合评价。在这里，应急装备科技成果评价作为一个评价过程，其评价主体是科技成果的所有方、使用方或科技管理部门，评价对象是应急装备科技成果本身，所运用的手段是应急装备科技成果评价指标和评价方法，评价的主要内容侧重于应急装备科技成果的学术价值、产出价值、应用价值、以及社会效益和经济效益等，所进行的评价是涉及科技成果产出、应用、研发过程的综合性评价。

1.2 开展应急装备科技成果评价研究的意义

(1)提供有效的应急装备科技成果评价工具和手段。开展应急装备科技成果评价研究，能够为应急管理部门、科技主管部门、研发机构和研发生产企业等行业主管、科研管理、研发和生产主体，提供有效的科技成果评价方法和评价手段，为评判应急装备科研成果产出提供有效的工具，进一步加强科研的全过程管理，提升应急领域科研活动的效率。

(2)科学评判应急装备科技成果价值。开展应急装备科技成果评价研究，有助于准确判断应急装备的水平、价值、效益等基本情况，为遴选出满足应急救援工作、应急管理实践需要的科技装备和科技成果提供借鉴和参考，有助于解决目前应急装备领域存在的诸如科技含量不高，自主创新能力不强，关键设备依赖进口等问题[4]，进一步提升应急装备科技创新能力和应急产品科技水平。同时，针对应急装备科技成果的应用性进行判断，有助于应急装备向实际应用领域进行转化。

(3)加强应急装备科技发展趋势的研判与预测。开展应急装备科技成果评价研究，能够对应急装备发展给予一定支撑，为应急装备科技创新工作提供发展思路，预测应急装备发展趋势，为应急科技装备发展提供科学借鉴，促进科技成果转化，促进应急产业的发展。

1.3 国内外研究现状

(1)国外科技成果评价研究。美国的科技评估体系较为成熟,涉及对机构和项目的评价。1993年，美国颁布了《政府绩效与结果法案》(Government Performence and Results Act,简称GPRA)，使联邦机构的绩效评价逐渐制度化，并确立了“目标-结果”的评价模式。2000 年，推行R&D投资标准(Research & Development Investment Criteria)，建立了机构间评估的统一标准。2002年，建立起了项目评价评级工具(Program Assessment Rating Tool，简称PART)，针对联邦机构项目建立统一的评估框架和标准[5]。在美国，既有政府科技评价机构，又有民间科技评价机构，为政府投资提供服务。一般来说，美国常用的科技评价方法包括文献计量分析、经济回报率分析、同行评议、案例分析、回顾性分析、指标分析等[6]。日本编制“研究评价指南”,包括机构评价、项目课题评价、人员评价3种类型，主要针对政府资助的研发活动进行评价，一般由独立的第三方来实施，没有科技成果评审制度[7]。在日本有各种类型的科技评价机构，包括综合性科技评价机构和国家直接管理的事业评价机构、专业性评价机构、企业性评价机构、研究机构内设的评价机构等4个层次，其中课题评价占有重要位置[6]。从欧洲来看，英国实施“研究卓越框架”(Research Excellence Framework,简称REF)科研质量评价新体系，主要评价科研成果质量和影响力，强调科研对经济、社会和知识传播的贡献，评价以成果质量为核心，设置不同类别指标，由主专家组制定标准和确定方法，由中介机构来实施[6]。其科技评估组织包括政府科技评估机构、研究机构和非政府基金组织的评估机构、科技中介机构[8]。瑞士的创新联合体将可行性、正确性、实用性、精确性等作为评价指标，针对基础研究项目、应用研究项目选用不同的评价内容，其中针对应用研究项目，主要评价经济意义、科技意义、潜在市场、可持续发展性、工作计划清晰度以及预算规划，同行评议和定性评价是主要的评价方式[9]。法国的科技评价组织机构健全，主要采取同行评议制度，对科技项目的评价重点包括项目的必要性、合理性、实用性和先进性，以及市场应用前景和经济效益[9]。

(2)国内科技成果评价研究。我国高度重视对科研项目的评审、评估等工作。2003年以来，先后出台了《关于改进科学技术评价工作的决定》《科学技术评价办法(试行)》《科技评估管理暂行办法》《关于改进科学技术评价工作的决定》等政策规章制度。2018年，中共中央办公厅 国务院办公厅印发《关于深化项目评审、人才评价、机构评估改革的意见》。2021年，科技部等十部门联合启动实施科技成果评价改革试点工作。党的十九大以来，财政绩效评价日益受到重视，有研究专门针对财政支出绩效评价指标体系展开[10]，这与国际上一些国家强调政府绩效评价的趋势类似。

我国关于科技成果评价的研究也有很多，主要集中在成果评价工具的研究，成果评价方法的研究，科技成果评价指标体系的研究，不同地市科技成果评价的研究，不同领域、不同类型成果评价的研究等方面[11]，也有很多研究是以上几个方面的组合。从评价方法来看，针对项目成果评价可以采取专家评价法、层次分析法、德尔菲法、模糊综合评价法等多种方式。围绕科技成果的知识产权，多采取成本法、市场法、收益法以及以上方法的衍生来进行价值评估[12]。从评价指标来看，不同研发阶段的科技成果具有不同特点，基础研究、应用技术研究的科技成果也都有不同的评价指标体系。有研究者认为评价指标体系包括水平和价值2个部分[13]。还有研究针对科技成果的知识产权进行，有些围绕一般性知识产权展开，如针对知识产权价值构建五维度评估指标体系[14]；还有些围绕专利、论文等知识产权形式展开，如针对“军转民”专利设置特殊性指标和一般性指标进行价值评价[12]，构建护理论文创新性评价指标体系[15]等。在区域科技成果评价方面，有研究运用系统论和系统分析方法，提出省级科技发展评价指标体系及综合评价方法[16]。在领域科技成果评价方面，一些研究针对具体领域科技成果评价展开，如构建区块链产品技术评价指标体系[17]等；还有些针对具体领域科技项目展开，如：结合农业项目提出基于创新价值的农业科技项目评价指标[18]，开展国防科技风险投资项目评价指标体系研究[19]等。科技成果最终要应用于实际，因此也有研究将科技对实际应用的支撑作为指标，这在军事领域非常明显，如借鉴美军的装备作战试验评估方法构建指标体系，形成面向需求基于使命的作战试验评估方法[20]；在国防科技发展指标体系研究中，将国防科技对军队的支撑作用作为一级指标，并设置相应二级指标[21]。从科技评价的执行来看，中国的科技评价机构多为一些事业单位，利用具有相关资质的第三方开展评价，评价指标体系构建也在不断探索中[22]。

在应急装备成果评价方面，尚未找到应急装备成果评价方面的研究，但有一些应急领域的相关评价研究可作为参考。如公安应用创新项目成果评价指标体系研究包含了二级指标体系，其中第一级指标主要包括科学性、先进性与创新性、难度与工作量、成熟度与适用性、社会效益和经济效益[23]。薛文斌等[24]提出了应急装备供应商综合评价模型，运用层次分析法、模糊综合评价法，对应急装备建设中的供应商进行评价。这些相关研究对应急装备成果评价也具有一定的参考价值。

总体来看，不管是发达国家，还是中国，前期都缺乏对公共安全和应急装备开展评价的研究，加之公共安全与应急装备体系庞杂，难以形成对应急装备发展的整体认识，因而也缺乏有效的应急装备成果评价手段，还未建立相关领域科技成果的科学评价机制。公共安全和应急技术装备领域以需求为导向，开展应急装备科技成果评价研究，既能够对应急装备核心技术和技术群突破进行系统梳理、挖掘，发现系列优质科研成果，又能对专项未来发展起到引领和促进作用，为公共安全科技发展指明方向，对于应急科技应用与推广、带动应急产业发展都具有重要的现实意义。

2 应急装备科技成果评价指标研究

在应急装备科技成果评价指标研究过程中，综合文献研究、实地调研、专家访谈和研讨等在内的多种方式，除了对成果给予定性评价外，还根据指标的设定，探索增加部分定量评价指标作为研究参考，依据一定原则构建指标体系，探讨分层评价问题。

2.1 指标构建原则

应急装备科技成果评价指标的构建，需要在兼顾应急救援特点的基础上，充分考虑科学性、系统性、兼容性、适用性、可操作性等原则。

(1)科学性原则。科学性原则是指应急装备科技成果评价的各层级、各项指标的确定，以及后续评价工作的开展都应符合科学自身发展的规律，需要进行充分分析、论证，做到有的放矢，能够科学指导应急装备的研发、创新、转化和推广等工作。应急装备科技成果需要具有先进性、创新性和较高的学术水平，指标体系设计也需要体现这一点，要对应急装备评价内容的准确、可靠，对应急装备的发展起到科学的引导作用。

(2)系统性原则。系统性原则是指应急装备科技成果评价应充分考虑应急的全链条需求，体现应急救援装备在应急救援工作中的整体协调运转，充分考虑在应急救援过程中的监测预警、预防准备、处置救援，以及灾后重建等不同阶段的需求特征和应用的异同，使应急装备科技成果在应急体系中良性运转。

(3)兼容性原则。一方面，应急救援领域本身具有多学科交叉、多学科融合的特点，影响因素多样化，需要进行综合的考虑。另一方面，由于应急装备科技成果具有功能、形态等的多样性，在指标设计时，为了适应这种特点，也要尽量考虑兼容性的问题，采取综合评价来衡量不同类型的应急装备，以实现不同装备成果之间的可比性。此外，还要考虑不同技术路线所形成的应急装备科技成果之间能够进行有效比较的问题。

(4)适用性原则。因为应急装备使用的功能性要求强，指标设计要充分考虑应急装备的实用价值、应用的意义。同时，由于应急装备可能应用于不同突发事件，指标设计也要考虑应急装备在不同突发事件场景中的应用问题。此外，还要适应应急工作对救援效率的要求，最大限度保障生命财产安全，满足应急救援需求。

(5)可操作性原则。应急装备是为了满足特定的功能——应急救援功能而形成的装备成果，需要以应急装备的实际操作为牵引，在指标设计中充分考虑用户的实际使用效果或预期效果等因素。应急装备科技成果评价的指标设计也要尽量适应应急的特点，体现出易于在救灾环境中进行操作和实施的特性。

2.2 指标体系设计

应急装备科技成果评价涉及多领域成果的判断，目前尚无一套有针对性的评价指标体系，基于此，需要设计一套指标体系对应急装备科技成果进行综合评价。首先进行指标分级，再对不同级别的评价指标设定下一级指标内容，最终形成一套指标体系，利用指标体系可以对应急装备科技成果进行不同层次的评价。

在综合科技评价相关研究的基础上，我们将应急装备科技成果的评价设计为三级指标，并提出表1所示的应急装备科技成果的评价指标体系，其中一级指标包括学术价值、技术产出、应急救援、社会效益、经济效益等。

表1 评价指标体系

续表1

这里需要说明的是，由于应急技术装备要以最终应用为主要目标，因此在评价指标体系设计时，本文重点考虑了应用性等指标内容，进而有针对性地提出应急救援指标这一主要一级指标，并设定相应的二、三级指标，以此加强对应急救援装备应用性的评判。这种指标设计主要是考虑应急装备科技成果的使用价值和使用前景的重要性，对应科技成果的研发需求，以结果为导向进行指标设计，这样相对于采用一般通用指标的评价，将更有针对性，更加科学、有效。同时，评价指标还充分考虑应急装备科技成果的适用场景问题，应急救援工作所面对的突发事件类型往往复杂多样，因而对应急装备科技成果的评价也需要考虑这种实际应用场景的复杂性。

评价指标层级越多，数量越多，往往实际操作难度就越大。在实际开展科技成果评价的过程中，还可根据数据的获取情况、科技成果的多少、实施的难易程度，进一步对指标进行整理，如将指标层级压缩，将指标数量减少，这样能够进一步减少操作的复杂性，降低实施难度。在进行应急救援装备项目群成果评价与集成研究过程中，课题组就对指标进行了缩减，将评价指标设定为二级，相应的指标数量也根据实际数据获取情况进行压缩。

2.3 应急装备科技成果分层评价问题

科技成果评价要结合科研管理方式来进行。我国目前采取项目为主的科技管理方式，科技部的项目管理就设置了重点研发计划、项目、课题这种多层级的科研管理方式。针对不同层级都有相应的科研成果产出，因此科技评价的重点也有所不同。在应急救援装备项目群成果评价与集成研究课题的成果评价研究过程中，实际也涉及到了应急装备科技成果、科研项目、项目集群等不同层级的评价问题，针对不同层级所需要进行的评价也有所侧重，具体如表2。

表2 不同层级科技成果评价的重点

3 应急装备科技成果评价方法研究

在科技成果评价过程中，一般采取以专家评价为主的方式，通过召开专家评审会议，由专家对成果进行评价，所评价内容多以定性为主。此外层次分析法、德尔菲法、模糊综合评价法等多种方法也常常应用于科技成果评价。

鉴于已知的一些原因，例如目前应急装备所涉及领域繁杂，应急装备体系、适用环境和要求、成果形态都具有一定的复杂性，研究成果也包括了不同类型、不同阶段、不同成熟程度的研究结果；应急装备科技成果评价指标较为系统、综合；成果评价可选择的定量指标比较少，定性指标多，并且总样本数量比较少等情况，在评价方法选择上，更多选择适宜定性评价的评价方法，这里主要选择德尔菲法和层次分析法进行评价。

3.1 德尔菲法的应用

德尔菲法在科技成果评价中应用较为广泛，也具有一定优势，可以将此方法在应急装备科技成果评价中用于某一环节或全程，鉴于应急装备科技成果评价的复杂性，因此主要将德尔菲法用在评价指标的设定、定性值的判定上。

针对应急装备科技成果评价指标的设定，可在综合前期科技评价研究成果的基础上，形成应急装备科技成果评价指标体系，利用德尔菲法，向有关行业专家、学者、企业管理者等发出应急装备项目科技成果评价指标体系调查表，请其背对背对评价指标的适宜性提出修改意见。按照专家意见，不断对指标体系进行完善和修改，并请专家进一步对指标体系进行判定，最终形成确定的评价指标体系。在对应急装备科技成果进行评价的过程中，也可采取德尔菲法，向有关专家、学者、企业人员等发出调查函，请其对应急装备科技成果进行整体评价，并逐步形成评价结果。

对于专家的选择标准，借鉴科技项目申报、评审、验收专家的选择标准，考虑专家的专业性，以及对应急装备科技项目所对应的学科领域、研究内容等熟悉程度，专家要长期从事相关领域研究，并对相关评价内容具有一定的熟悉度。同时，还要考虑专家的品格、能力和经验等因素，以实现对应急装备科技成果的公平评判。由于应急装备科技成果的实用性特点，特别注意应将从事应急装备研究、生产、制造、使用的人员纳入其中。

3.2 层次分析法

通过层次分析法将应急装备科技成果评价这一复杂的问题分解为若干层次和若干指标，通过对两两指标之间的重要程度作出比较判断，建立判断矩阵，实现最终科技成果评价要求。

(1)建立层次结构模型。本文将应急装备科技成果评价问题设定为目标层、准则层、方案层3个层次，构建多层次分析模型。其中，目标层可以理解为课题研究的最终目的，按照先找出要解决的主要问题的原则，课题研究主要针对“十三五”公共安全风险防控与应急技术装备重点专项应急技术装备类项目进行成果评价，选取亮点科技成果(如设定为T)。

准则层，可以理解为成果评价的指标，在这里我们将成果评价指标进行分级，这里设定为二级指标，并给每个指标按照一定的编码规则给出代码，相应形成成果评价指标体系。

一级指标(Ai)：学术价值、技术产出、应急救援、社会效益、经济效益等。

二级指标(Bik)：一级指标(Ai)分解为若干二级指标((Bik)，其中i对应着一级指标Ai。

方案层(pn)，是指决策时的备选方案，可以理解为是要进行评价的公共安全风险防控与应急技术装备重点专项的重点研发项目综合评价指标，n取1、2、3……到n，指的是第1、2、3......到n个项目，这主要取决于要评价的项目数。

图1 应急技术装备类项目层次结构模型

(2)构造判断矩阵。采取一致矩阵法构造判断矩阵。对于第一级指标采取两两比较的方式；对于第二级指标，针对同一个一级指标下的二级指标进行两两比较。判断矩阵的标度方法见表3。

表3 判断矩阵标度

(3)单层指标权重及判断矩阵一致性检验。进行指标权重判断，目标层与准则层之间，需要形成一定的权重，需要计算不同指标对于总目标的相对重要性的权重值。一级指标和二级指标之间，也需要形成相对重要性的权重值。

求解判断矩阵的最大特征根λmax，经过归一化后，得到同一层次指标对于上一层次指标相对重要性的排序权重，进而形成总体排序权重。

根据公式CR=CI/RI，进行判断矩阵的一致性检验，其中，CI为判断矩阵的一致性指标，可由公式CI=(λmax-n)/(n-1)计算得出，n为判断矩阵的阶数；RI为判断矩阵的平均随机一致性指标(见表4)。当CR<0.1时，判断矩阵具有满意的一致性，特征向量可作为权重向量。否则重新调整判断矩阵元素取值。

表4 平均随机一致性指标RI

(4)计算系统目标的合成权重。进行层次总排序，确定同一层次上不同因素对总目标的相对重要性的权值排序，这需要从最高层次到最低层次逐层进行。进行一致性检验，直到具有满意的一致性。

(5)项目成果综合评价值的计算方法。采用加权平均求和法计算应急装备科技成果的评价值，计算方法为：

一级指标的计算：

Ai=ΣWikBik

对每个二级评价指标划分评价等级，采用百分制，其中，Wik为二级指标Bik的权重，这样计算出来的Ai仍为百分制。见表5。

表5 一级指标评价方法示意

应急装备科技成果综合评价指标的计算：

pn=ΣXiAi

对每个一级指标划分评价等级，采用百分制，其中Xi为一级Ai的权重，这样计算出pn的评价值。见表6。

表6 综合评价方法示意

4 对策建议

(1)建立综合的、适用性强的应急装备科技成果评价体系。当前应急产业处于发展初期，应急产业覆盖面广、链条长，应急装备是其中重要的一类，以应急装备为重点的应急产业体系尚在逐步建立的过程中，加强应急装备科技成果评价研究，形成评价指标和评价方法，能够为应急装备科技创新提供有效的科技管理工具，进而推动应急装备产业的发展和科技创新能力的提升。

(2)加强应急装备科技成果应用性评价，完善评价方法。应急装备是以需求为导向的典型应用类产品，应急装备科技成果的评价，也需要加强对成果应用性的评价，充分考虑在应急救援过程中的应用效率和效果。这需要结合应急装备适用的突发事件类型、典型场景、环境条件，对装备成果的适用性进行系统评价，在评价过程中注重装备使用方的参与和使用意见，为筛选出适合应用的有效装备提供借鉴。

(3)建立应急装备科技成果分层评价机制。针对项目、科技成果、项目群等不同科研管理层级和评价对象开展评价研究，加强相关评价指标体系、评价方法的研究，构建体系化的评价机制，针对科研管理、应用方、企业和高校，在科技管理需求的基础上建立系统化的应急装备科技成果评价体系，为应急装备科研管理、科技成果转化、产业化应用，以及供需对接提供评价工具，为开展应急技术装备的预测提供有效手段。

(4)构建基于评价系统的应急装备科技成果数据库和供需对接平台。依托应急装备科技成果评价体系，整合应急装备科技成果信息，结合科研机构、企业的信息，专利信息、市场数据等进行综合研判，建立应急装备科技成果供需对接平台，为构建应急装备资源管理系统提供参考和依据，促进应急装备科技成果产学研合作对接和转化应用。