基于WBS的省级科技项目多元化评价体系研究--以吉林省科技计划项目实证评价为例

王 欣 周立娟 胡璐璐 杨 华 来则鸣 刘 臻 白 洋 刘小溪

（吉林省科学技术信息研究所，吉林长春 130000）

0 引言

省级科技项目是地方政府促进科研和技术创新等活动的基本组织形式，也是合理配置省内科技资源、促进全省科技与经济发展的重要手段。对省级科技项目开展评价是科研管理部门的重要管理手段，也是制定科学决策的重要依据。对省级科技项目的评价结果会直接影响地方科研经费的投入使用效果，并对实现全省科技资源的合理高效配置起决定性作用。

WBS（Work Breakdown Structure）即工作分解结构，是一种涵盖了项目全部工作内容的项目分组结构。在此结构中包含多级附属层级结构，每个下降层级都会表示出较其所属上一层级更加具体的项目工作分组[1]。WBE（Work Breakdown Element）即工作分解单元，是在工作分解结构中能够独立表达、独立测量、独立评价的基本单元。建立WBS的目的在于把一个项目细化、分解成不同的组成部分，以便于管理层和研发人员全面了解与掌握项目工作内容[2]。

本文以吉林省科学技术厅《关于开展“负面清单+诚信+绩效”科技计划项目管理试点的指导意见》[3]为导向，以2020年立项的吉林省科技发展计划项目中部分类别科技项目为研究对象，应用WBS方法进行多元化实证评价探索研究。对项目的主要内容、关键技术、产出成果等展开全面分解和梳理，并在此基础上加入成熟度、创新度、技术先进度和领域分析等评价过程，深入研究基于WBS的多元评价方法在省级科技项目评价中的应用。本文的研究目的在于丰富和完善现有省级科技项目的评价形式，为原科技项目同行专家评议方法提供辅助和客观评价依据，并与同行专家评议形式相结合，共同形成一套适合省级科技项目评价的多元化评价体系。

1 文献综述

自20世纪90年代中期，我国开始推行科技评估制度以来，不断有学者对科技项目评价方法、评估模型等进行深入探索挖掘[4-5]。姜文超等[6]采用DEA投入导向模型对成果转化类科技项目进行了绩效评价研究；何成等[7]基于模糊评价方法探索了科技计划项目的立项评估体系；马丽娜等[8]研究了层次灰色评价模型在科技项目立项评估中的应用；杨仕辉[9]研究了在区域项目发展优选中的应用数据包络分析模型的效果。这些科技项目评价方法，有些是早期的项目评价方法，而有些则并不适用于省级科技项目的评价。目前，最常用的省级科技项目评价方法主要为同行业专家评议法[5]。

同行业专家评议法是现阶段省级科技项目评价中应用最广泛的方法，但这个方法属于定性评价方法，其在评价科学性、客观性等方面也会受到一定程度的制约。如相关领域行业专家的数量、学术水平程度、对领域发展的预见性，以及行业专家对评审材料的理解程度、所形成评审意见的主观部分占比程度等都会对评审结果质量产生一定影响。同时，行业专家在评审过程中缺少评价的标准依据，也会间接导致评价结果缺乏客观性。

2018年以来，国务院办公厅印发了《关于深化项目评审、人才评价、机构评估改革的意见》[10]，其目的在于建立健全科技项目评估评价体系，推动我国科技项目评估工作向着科学化、规范化的方向发展。在国家政策引导下，我国各省市也相继开始在同行业专家评议法的基础上，探索多元化、系统化的科技项目评价方法。广东省在重大科技专项中期评估中正式引入了技术就绪水平评价方法[11-13]；河北省对省级重大科技成果转化项目和重点研发计划项目产业化交付物和关键技术成熟程度开展定量评价[14]；山东省青岛市出台了《青岛市科技计划项目技术成熟度立项评价工作规程（试行）》[15]，将技术成熟度应用于关键技术攻关及产业化示范类科技计划项目遴选的立项过程评价。从评价对象和评价周期来看，各省市涉及情况均不相同，但从评价方法来看，对于项目技术就绪水平（即技术成熟度）的定量评价已成为研究热点，而对于科技项目的评价形式也已经由仅对项目初始阶段的评价发展到对项目全周期过程的多维度、多类别的评价形式。

吉林省在促进科技项目评价体系规范化方面采取了多项措施，先后印发了《关于优化科研管理提升科研绩效的实施意见》《关于深化项目评审、人才评价、机构评估改革的实施意见》等多项指导实施文件，旨在以贯彻落实国家政策为根本依据，从深入推进吉林省科技项目评价改革机制、激发科研人员创新活力、坚持公平公正公开原则、建立客观标准的项目评估评价评审流程等角度出发，建设涵盖项目评审全过程关键环节的制度体系。

基于此，笔者从吉林省省级科技计划项目角度出发，融合同行业专家评议法，探索研究一套基于WBS且包含定量评价和定性分析过程的省级科技项目多元化评价体系。

2 省级科技项目多元化评价体系理论框架设计

2.1 评价体系构建原则

评价体系作为省级科技项目质量评价的重要工具，既应客观反映被评项目的真实技术水平，也应符合项目指南基本要求。因此，在体系构建方面应遵循以下原则。

（1）科学性原则。根据科技项目特点，评价指标等级界定应清晰明确，成熟度、创新度、先进度等指标设置应科学合理，让评估人员能够快速准确地判定评价等级，让项目管理机构及评审专家能够清楚每个等级所表达的含义。

（2）独立客观原则。评价体系应客观反映科技项目的真实技术水平，每个维度的评价结论皆应独立客观，并由论据充分的佐证材料进行支撑。

（3）导向性原则。评价体系应与项目指南要求相匹配，根据不同类别科技项目的不同支持重点，在设置评价体系的指标时应体现不同的导向性。

（4）标准可操作原则。评价方法、指标和评价结论应尽量简洁、标准易操作，能够让评估人员迅速抓住科技项目的评价重点，在有限时间内搜集密切相关材料，尽量作出精准评价。

2.2 评价体系构建方法

本文在构建多元化评价体系时主要基于以下4种方法：一是建立WBS法，是指按照省级科技项目的研究内容、实施过程、所在地域或交付物的物理结构、主要功能等对项目进行自上至下的全面逐级分解，将其拆分为多个可以独立表达、独立测量、独立评价的WBE，并建立所属分支明确的WBS结构图的过程。项目WBS结构如图1所示。二是多元化技术指标评价法，是指按照项目的WBS情况对项目每个WBE或核心WBE进行成熟度、创新度、技术先进度指标的等级评价，即分别从项目的技术就绪水平或理论方法就绪水平、新颖性程度和核心指标的先进性程度这3个维度来评价项目质量。三是所属领域分析评价法，是指利用文献计量法、专利聚类分析法等对科技项目的核心技术/理论所属领域或领域上游相关产业情况进行综合分析，旨在评价科技项目研发方向所属领域或其上游相关产业的发展趋势情况。四是行业专家咨询法，是指在以上评价方法形成综合评价结论的基础上，采取咨询相关领域行业专家的方式来验证评价结果的客观性，以最终形成完整、规范、科学、客观的科技项目多元化评价报告。

图1 项目WBS结构示意

2.3 评价指标的选取

本文的多元化评价体系指标主要从成熟度、创新度、技术先进度和领域分析4个维度产生。

2.3.1 成熟度指标

成熟度指标是指按照项目WBS对每个WBE进行技术/理论方法就绪水平进行评价时的指标。国家标准GB/T 22900-2022《科学技术研究项目评价通则》[16]对科技项目的类别划分为基础研究类、应用研究类、开发研究类。据此，本文将成熟度指标设定为2项，即基础研究成熟度指标、应用研究成熟度指标。对应开发研究类科技项目，本文采用同时考察其基础研究成熟度和应用研究成熟度评价的方式来获得评价结果。对于基础研究成熟度和应用研究成熟度的评价标准，本文借鉴山东省青岛市对科技成果标准化评价[2]的技术成熟度评价标准，根据应用研究类项目特点，设计了13级应用研究成熟度评价参照标准，如表1所示，并根据基础研究类项目特点，设计了7级基础研究成熟度评价参照标准，如表2所示。

表1 应用研究成熟度等级评价参照标准

表2 基础研究成熟度等级评价参照表

2.3.2 创新度指标

创新度指标是指对科技项目的核心技术部分或核心工作单元的新颖性水平进行评价时的指标。本文设定创新度指标1项，并对照山东省青岛市的科技成果标准化评价方法[2]，结合前期对评价体系的基础研究过程[17-18]和省级科技项目特点设计7级创新度评价参照标准，如表3所示。

表3 创新度等级评价参照表

2.3.3 技术先进度指标

技术先进度指标是指对应用研究类和开发研究类科技项目的核心技术先进程度进行评价时的指标。由于基础研究类项目一般无法产生具有可比较性参数指标的实质性交付物，因此这项评价指标不用于考察基础研究类项目。本文设定技术先进度指标1项，借鉴山东省青岛市科技成果标准化评价[2]中的技术先进度评价标准，根据应用研究类和开发研究类项目特点，设计7级技术先进度评价参照标准，如表4所示。

表4 技术先进度等级评价参照表

2.3.4 领域分析指标

领域分析指标是指对科技项目研发方向所属领域进行趋势分析评价时的指标，结合省级科技项目特点，本文设定生命周期阶段、领域方向实力机构、研发方向热点技术3项指标。由于领域分析为定性分析过程，本文设定的这部分指标不作为项目评价依据，仅作为辅助参考指标。

2.4 评价实施流程

本文所构建的多元化评价体系主要由确认评价目标、建立工作分解结构（构建项目WBS图）、提取项目相关指标、文献检索分析与佐证材料整理、进行多元化指标评价、形成综合评价结论、咨询行业专家、形成多元化评价报告等内容构成。其中，提取项目相关指标环节主要是指对项目预期产出或已产出成果、项目主要创新点、项目核心技术指标等内容的梳理提取，这个环节也可根据项目实际情况提取研发风险、研发团队情况、项目保障条件等信息；进行多元化指标评价环节主要包括对项目成熟度、创新度、技术先进度指标的等级评价和对项目研发领域的分析评价。在形成综合评价结论后，需要经过咨询行业专家环节，由相关领域行业专家对评价内容和评价结论进行判定，如行业专家对评价内容和结果提出质疑，则返回提取相关指标或文献检索分析环节对评价过程和评价结果进行修正。此过程可循环多次，最终形成无质疑的科技项目多元化评价报告。评价体系构建流程如图2所示。

图2 省级科技项目多元化评价体系构架流程

3 吉林省科技计划项目实证评价研究

3.1 研究方法

上述省级科技项目评价体系的框架结构仅为初步理论构思，还需通过实证评价进行支撑和验证。本文选取2020年立项的吉林省科技发展计划项目中14个技术创新引导项目为研究对象，基于多元化评价体系采取分类评价与分阶段评价相结合的方式对其进行实证评价研究。所谓分类评价，是根据项目的研究内容和交付物特点，遵循同类型事物横向可比较原则，将被评项目划分为基础研究类、应用研究类和开发研究类，并对不同类别项目采用不同的评价方法。所谓分阶段评价，是根据项目的全周期过程特点，对同一项目的不同阶段进行纵向实施情况的验证性评价，主要体现为对同一项目立项阶段的评价和验收阶段的评价。

本文按照分类评价方法，将14个实证项目分为基础研究类4项、应用研究类9项、开发研究类1项，并分别进行评价研究；按照分阶段评价方法，将14个实证项目分为立项阶段和验收阶段，并分别进行了两次评价研究。

3.2 实证评价研究

3.2.1 典型案例研究

选取基础研究类项目（案例一）和应用研究类项目（案例二）各1项作为典型案例，对其进行实证研究。典型案例的基本信息如表5所示。

表5 典型案例基本信息表

按照多元化评价体系的评价方法和评价指标对实证案例进行实证评价，其中立项阶段未实施领域分析评价。典型案例评价情况如表6所示。

表6 典型案例评价情况一览表

3.2.2 实证综合研究

本文对14个实证项目分别进行分类评价研究和分阶段评价研究，统计整理得到实证项目综合评价结果，如表7所示。

表7 实证项目综合评价结果一览表

3.3 研究结论

以吉林省科技发展计划项目为例，对省级科技计划项目多元化评价体系进行研究，得出以下几点研究结论。

3.3.1 WBE数反映项目饱满度

各类别实证项目的WBE数量范围均为8～13级，立项阶段和验收阶段项目的WBE数量基本相同或略有增加，未出现WBE数量减少的情况，说明全部实证项目在实施过程没有偏离技术路线，都能够基本做到按照任务书要求执行并完成项目内容，且项目实施饱满程度均较高。

3.3.2 成熟度等级跨度的横向可比较性

由于14个实证项目类别不同，其成熟度参照指标不同，评价得到的成熟度等级不同，各阶段成熟度等级不同。从项目立项阶段的成熟度等级情况来看，应用研究类项目整体高于基础研究类项目的初始等级；从项目立项阶段到验收阶段的成熟度等级跨度来看，应用研究类项目的平均等级跨度3.4级明显高于基础研究类项目的平均等级跨度1.8级。这种情况的产生原因：一是由于基础研究类和应用研究类项目的成熟度评价标准不同，二是从一个侧面反映了基础研究类项目在交付物成果产出方面很难产生跨越性研究进展。而对于同一类别科技项目的成熟度而言，本文认为如果设定评价阈值，则成熟度等级跨度也可作为反映项目工作饱满程度的评价依据。

3.3.3 技术先进度评价的局限性

在本次实证评价中，验收阶段的预期技术先进度水平大多达到或超过了立项阶段预期技术先进度水平。一方面说明项目的完成指标达到的效果较好，另一方面说明项目组的预期指标设定值可能过低。

而实证评价中发现有2项应用研究类实证项目无法实施技术先进度评价，其原因在于评价过程中虽然可以从实证项目中提取获得可量化的核心技术指标，但由于这类指标属于基础性能指标，而非具有可比性的功能参数指标，无法进行技术先进度水平对比。

3.3.4 技术生命周期稳定

在领域分析评价中，有6项实证项目处于技术萌芽期向技术成长期转变阶段，有8项实证项目处于技术成长期向技术成熟期转变阶段，未发现处于技术成熟期向技术衰落期转变阶段的项目。一方面说明实证项目均处在稳定的技术生命周期阶段，另一方面说明实证项目的研发前景均较为广阔。

3.3.5 行业专家认可程度较高

本文对14个项目的实证评价研究共形成了28份多元化综合评价结论，均获得了相关领域行业专家的基本认可。专家普遍认为，评价结论符合项目所处阶段的实际情况，具有一定客观性。但有部分专家对评价体系自身提出了一些建议和观点，其中包括成熟度等级划分应进行调整、领域分析不够深入、技术先进度佐证材料证据力不足等。以上说明，多元化评价体系虽然可以基本做到对科技项目的客观评价，但体系自身仍需不断调整和完善。

4 建议与展望

本文提出的多元化评价体系现阶段虽然存在一定的问题需要改进，但笔者认为，体系对于省级科技项目的评价具有较大意义，具体可以体现为评价结果在省级科技项目不同评价形式中的应用。因此，笔者建议，多元化评价体系可应用于省级科技项目评审、科技专项（计划）评价及科技奖项评选中。

4.1 评价结果应用于省级科技项目评审

多元化评价体系评价结果可应用于省级项目立项评审和结题验收评审中。在立项评审中，评价体系中各项指标可作为评审参考依据。如WBE数和成熟度指标值可以表征项目的前期工作量及项目内容饱满度；创新度指标可以表征项目的创新性水平；领域分析指标不但能表征项目的横向水平，还可以间接描绘出处于迭代期和衰退期的技术。与立项评审相比较，结题验收更侧重于项目本身的完成情况（即成果产出情况），因此评价指标的应用方法也不同。如成熟度指标在项目执行周期中的等级跨度值可以表征项目推动技术的发展情况；技术先进度指标可以用于考察项目技术指标水平的先进程度等。

4.2 评价结果应用于省级科技专项（计划）评价

对于省级科技专项（计划）评价而言，多元化评价体系相较于主观定性评价方法具有可统计、可分析的优势。笔者认为，对科技项目的多元化评价结果可以作为专家评审的辅助参考依据，并对某一类别项目的多元化评价结果进行统计分析，还可以间接获得此计划/类别项目的中观或宏观评价结论，进而为科研管理部门对专家评审结论的二次验证提供参考依据。

4.3 评价结果用于省级科技奖项评选

对于科技类奖项评选，笔者认为可以根据各奖项的奖励对象和奖励范围对评价体系设置不同指标阈值，将由此得到的评价结果应用于奖项评选的初筛中。如自然科学奖评选鼓励技术创新，可重点考察申报项目的创新度等级（即项目的自主研发情况）不应低于5级，而酌情放宽项目成熟度等级；科技进步奖评选则侧重考察科学技术的应用转化价值，可重点考察申报项目的成熟度等级（即项目成果的转化情况）不应低于12级。由此可见，既可以辅助奖项设置机构筛选出已取得重大经济效益的项目，又可以在某种程度上降低专家评奖的任务量，对于提高评审效率及评审客观性均能起到一定作用。

新体系从提出到推广应用，只有经过不断探索、论证、改进的往复循环过程，才能得到改善和提高。笔者希望通过扩大实证评价范围、增加评价样本量、邀请更多行业专家点评的方式对多元化评价体系进行不断论证和完善，使其更具备客观性、实用性和适用性。新时期、新形势下，科技项目评价方法和体系将进一步得以健全。相信在不久的将来，多元化评价体系必将在助力和成就优秀科技项目方面发挥至关重要的作用。