科技计划项目管理与评价的多维数据模型

张 智 王正君 朱国栋 马安安

（1.济南市科学技术信息研究所，山东济南 250001；2.济南市科学技术局，山东济南 250099）

科技计划项目具有创新性、风险性、整体性、一次性和生命周期性等特征，从立项开始到结束，要经历申报、实施、验收3个阶段。基于科技计划项目实施过程，科技计划项目管理过程可以分为3个管理阶段:事前阶段、实施阶段和事后阶段。事前管理阶段重项目立项，实施阶段重项目评价，事后阶段重项目考核。对科技项目的实施能否正确引导和有效控制将会直接影响政府科技计划目标的实现[1]。本文拟就科技计划项目管理评价模型进行初步探讨。

1 项目的事前管理

所谓事前，是指项目从申报到准予立项阶段。该阶段是立项的准入阶段，要反映被评价对象的整体情况，抓住主要信息，突出主要指标，同时又要克服主观因素的影响[2]。

科技计划项目一般分为科学项目、技术项目和运用项目，每类项目研发的侧重点各不相同。而事前评价以评价项目的“主要信息和主要指标”为目的，需要简明、客观、系统地评价科技计划项目，那就必须从每类项目开展的必要性、可行性、项目实施的预期效益和项目承担单位的实力情况等4个方面进行评价，保证项目顺利进入实施阶段。

对于科学项目和技术项目的必要性评价主要从当前发展政策、创新程度、发展趋势和市场前景等方面进行。而对于运用项目的评价则从与国民经济、社会、科技发展需求匹配，对政府部门决策科学化、管理现代化的影响程度或者提出的观点、理论、方法的科学价值及先进程度等进行。

对于科学项目应从项目研发应具备的硬件和研发团队人员结构、专业组成等情况进行项目可行性评价。对于技术项目应从已获得知识产权情况、科技成果成熟度及产业化等方面进行项目可行性评价。对于运用项目应从对研究方法科学性、研究计划及预期进展、研究方法以及与项目有关的研究工作积累和取得的研究工作成就等方面进行项目可行性评价。

对于科学项目和技术项目应从经济效益和社会效益两个方面进行项目实施的预期效益评价。对于运用项目应从直接的或间接的、近期的或远期的、有形的或无形的经济效益和社会效益进行项目实施的预期效益评价。

对于科学项目、技术项目和运用项目应从项目承担单位的财务报表、资金预算、财务核算等情况评价项目承担单位的实力。

为保证科技计划项目管理从事前阶段管理顺利进入实施阶段管理，从项目开展的必要性、可行性、项目实施的预期效益和项目承担单位的实力情况等4个方面进行评价。从这4个方面的评价内容可以看出，既有项目申报材料的评价，又有项目承担单位实力的评价；既需要项目评价专家对项目申报材料的评价，又需要项目评价专家对项目承担单位的实地评价。国内相关研究理论提出了科技项目管理可以实现信息化、专家管理信息化以及科研成果管理信息化等[3-4]。

现结合层次分析法理论[5]，将整个事前评价分为专家评价和现场评价两个层次。

1.1 专家评价

根据科技计划项目的3种分类，将科技计划项目专家评价体系设计的一级评价指标和二级评价指标[6]见表1、表2、表3。

专家评价采用异地专家网上在线评审，每个领域项目分成若干组，每个组由5或7名专家组成。系统根据项目领域自动匹配专家库专家，最大限度地降低评审中人为因素的干扰，完全由专家根据指标体系评价项目，以避免专家因对评分分档尺度的具体把握不同，或受到情绪、外部环境、所在地域科技发展水平不均等扰动因素影响而导致每组成绩之间可能存在比较大的差异。

表1 科技计划项目事前评价体系（科学项目）

表2 科技计划项目事前评价体系（技术项目）

表3 科技计划项目事前评价体系（运用项目）

图1显示了某次项目评审A、B两组的专家评分情况。从直方图来看，两组的评分存在明显的差异，A组内的分布杂乱无章，高分很多，但同时也存在一定数量的极低分；B组整体打分偏高，不存在不及格的项目。这样，也许会因为分组不同，同等水平的项目得到截然不同的成绩，如果不加以处理，直接按照原始评分成绩将项目进行比较，就会产生不公平的考核结果，一方面对项目申报单位极端不公平，另一方面也不利于科技项目管理部门很好地掌握科技项目的实际水平，进而影响下一步科技项目实施的开展。

解决目前存在的这种问题，一种方法是建立刚性的评分标准。刚性的标准可以大大减少评分专家的自由裁量权，专家的评分可以最大限度地反映项目的真实水平。在建立刚性评分标准方面，各级科技主管部门进行了很多有益的探索，也取得了一定的成绩。另一种方法是采用一些统计处理方法对原数据进行统计处理，消除每个组之间的数值差异，使组间数据可以相互比较。两种方法一个事前建立标准，一个事后统计处理，互相结合可以取得更好的效果。实际工作中笔者比较了线性映射法、标准分数法和正态映射法3种针对分组评分的统计处理方法，最终确定采用正态映射法对原成绩进行正态化处理，从而消除分组打分带来的不公平性。具体做法如下。

图1 A、B两组的原始成绩统计直方图

以图1数据为例，如要将A组成绩统一于μ=75，σ=8.33的正态分布函数，该分布曲线如图2所示。可以看出，在μ=75位置，分布概率最大，以75为中心逐渐向两侧下降，到50和100时，概率基本为0。在正态分布中99.7%的数据将分布在（μ-3σ，μ+3σ）的区域内。在此例中，将50-100划分为10个区域，并计算出正态函数的分布概率，如表4所示。

用该组项目总数乘以表4中概率即可得出每一区间内对应的项目数量，将原成绩按照对应区进行线性映射，即可得到处理后的呈正态分布最终成绩。

表5是A组的原成绩和经过正态映射调整后的成绩，图3是A组正态分布后的成绩直方图，可以看出，调整过后的成绩明显呈现中间高两边低的特点，符合正态分布规律，与原数据的杂乱分布截然不同。

正态映射法虽然计算比较复杂，但是通过Microsoft Office Excel的NORMDIST函数功能即可轻松实现。该方法将原成绩进行了统一的正态化处理，因此具有较好的分布特性。适用于各种情况的成绩处理。该处理方法可使成绩匹配于任意指定的分布，具有较好的可操作性，并且在实际应用中取得了较好的效果。

图2 μ=75，σ=8.33的正态分布曲线

科技项目管理过程中，可以结合刚性评分标准和统计处理两种方法的优点进行项目管理。通过对评价体系指标科学赋值和细化指标设计尽量固化专家打分区间，同时利用统计方法进行正态化处理，以防出现人为因素干预科技项目管理。如果个别项目出现了很大的专家打分差距，科技项目管理部门应采取项目干预措施，进行异地专家评审和本地专家评审结合的办法，最终保证科技项目管理的科学性、公正性和公平性。

1.2 现场评价

现场评价是对专家评的有效补充。根据科技计划项目的分类，结合项目承担单位的共性，设计了现场评价体系的一级评价指标和二级评价指标，如表6所示。该指标体系是基本体系，根据不同科技计划项目自身属性设立A、B、C三档，从而建立起更加行之有效的现场评价体系。

在专家评价和现场评价都完成后，按照相应权重进行加权计算，从而得到该项目最终的事前评价结果，完成项目的事前评价。

2 项目的实施阶段与验收

项目实施阶段是项目获得立项后到合同截止日的这一阶段。该阶段在以往传统科技项目管理过程中易被忽视，缺乏对项目实施的跟踪管理。该阶段管理要反映出科技项目的整体进度情况和实施效率，同时兼顾评价周期，不宜过短，以防对申报单位造成负面影响。

本着对财政资金合理和安全使用的原则以及帮助企业对项目实施进行科学规划、提高项目实施效率以及确保项目顺利实施的原则[7]，设计了项目实施评价的三级指标，如表7所示。

科技计划项目事后管理阶段的特点既重“数量”，又重“影响”。遵循定量原则、定性原则，称为项目的验收。项目的验收也设计了三级指标，见表8所示。

表4 每个区间的概率值

表5 A组的原成绩和经过正态映射调整后的成绩

图3 正态分布后的A组成绩直方图

为确保项目事后阶段管理的严谨性，采用了材料验收和实地验收相结合的方式。原则上以材料验收为主，但是只要有项目评价专家对项目承担单位提供的验收材料提出任何异议，项目验收评价就由材料验收评价方式转变为项目实地验收评价。同时，根据项目经费支出和项目产出评价两个方面的评价数据，对已经完成材料验收的科技项目采用抽检的方式进行实地验收评价。

3 多维数据模型

多维数据模型将数据集的属性分为两类:维和度量。维属性用来描述度量属性，是空间中的维度，度量属性的值用来分析处理，是空间中的点[8-9]。

表6 项目现场评价体系

按此理论，可将综合科技计划项目管理的事前、实施和事后的各管理阶段的指标，划分为项目实施、项目产出、经费管理以及单位综合情况的多维数据模型。

表7 项目实施评价体系

表8 项目验收评价体系

（1）项目实施

该模型主要包含时间维度、环境维度、资源维度。3个维度是以项目实施的各个阶段为中心。

时间维度针对项目的进展效率，考量每个时间点上项目进度目标的完成情况，主要分为提前完成、按时完成和延迟完成。

环境维度针对项目实施的外部环境，主要是根据相关领域或产业的发展情况，考量项目实施过程中项目的创新点、关键技术等指标的创新程度、先进程度和技术价值随外部环境变化是否发生了变化，例如当项目申报时某项技术在行业内或者领域内属于领先水平，但是随着行业发展在项目实施过程中出现了新的技术或产品，那么该技术可能就变成了先进水平，如果行业的发展政策发生变化或者技术变革，那么有些产品、技术就可能处于落后状态。

资源维度主要针对项目实施的资源投入情况，考量项目实施各个阶段的软、硬件资源和人力资源投入情况。

（2）项目的产出

该模型主要包括两个方面:一是成果维度，一是效益维度。两个维度是以项目实施的各个阶段的产出为中心。

成果维度主要以项目实施的阶段为顺序，针对项目实施过程中的知识产权（专利、软件著作权、集成电路布图、新药证书、农业新品种等）、著作、论文以及相关奖励等，与项目预期指标相比较进行评价分析。

效益维度主要针对项目的产业化程度、销售额、利润、税收、创汇能力等，一方面与项目预期进行比较，另一方面与同行业同领域同规模企业进行比较，从而完成对该项目的评价分析。

（3）经费管理

该模型主要包括经费投入维度、经费管理维度，以项目实施的资金投入为中心评价项目。

经费投入维度主要按照项目实施的时间顺序，针对立项后项目实施的各个环节和所要完成的相关技术经济指标，结合项目预期资金投入情况，评价项目投入经费的合理性和科学性。例如通过对某个项目的经费投入中的固定资产投入比重、无形资产投入比重、人员劳务费用比重、会议差旅费用比重等的分析，客观评价科技经费使用的科学性、合理性。

经费管理维度主要针对项目实施各个阶段中经费管理制度和管理水平进行评价。通过对项目单位经费管理的制度健全程度、文档票据齐全程度、经费监管体系健全程度以及相关材料的真实性、合法性、有效性的评价分析，达到规范经费管理、确保经费安全、提高经费效益的目的。

（4）单位综合情况

单位综合情况主要包括基本属性维度、创新能力维度、人才队伍建设维度等，针对立项前、项目实施过程中和项目验收后的企业自身能力提升情况对企业进行评价。

基本属性维度主要针对企业伴随项目研发的成长发展基本情况，比如企业规模增长情况、申请高新技术企业情况、企业基础研发硬件建设情况和企业资质变化情况等，对立项项目促进企业发展的成效进行评价。

创新能力维度数据主要是针对企业通过项目的实施提升自身创新能力的情况进行评价，通过工程技术中心建设情况、研究机构建设、产学研合作情况以及园区、产业基地建设情况[10]等。

人才队伍建设维度主要针对围绕项目实施打造企业高层次人才队伍情况进行评价，比如大专以上学历职工数量的变化、拥有中级和高级技术职称的专业技术人员数量的变化、创新团队主要成果等。通过这些数据的变化，全面考量项目对企业人才队伍建设的促进作用。

4 实证研究

以山东省济南市某高新技术企业申报的科技计划项目3D打印关键技术研究为例进行实证研究。该项目按科技管理部门要求，网上申报并经专家评审进入项目实施阶段。按项目计划，该项目研究时间为1年（2017年1月—2017年12月），成果产出以专利（发明专利3项）和学术论文（核心期刊2篇）为主；项目研究过程中不产生经济效益，在项目完成之后，提升企业已有的产品性能，预计经济效益达到7000万元；财政资金扶持100万元，企业配套资金200万元；项目研发团队以企业总监为负责人，配备博士10名，企业研发骨干5名；企业提供配套的研究场地及相关器材。按研发计划，项目研发分3个阶段，即1-6月、7-9月、10-12月。1-6月是项目研发的主要阶段，人员和经费高度集中，企业提供的配套设备和研发场所达到整个项目利用的高潮；7-9月，项目经费大量支出，企业为项目研发团队提供战略保障，并有成果产出；10—12月，项目研发总结阶段，成果产出全部完成，研发经费支出完毕，研发的关键技术与企业相关产品配套进入市场开始产生收益。

套用本文提出的多维数据模型管理该项目，分别从项目实施、项目的产出、经费管理和单位综合情况4个维度进行管理。以项目研发时间计划为管理依据，项目实施维度分别督查项目的研发进展情况、研发环境情况和研发资源情况；项目的产出维度分别督查项目的成果产出和预期效益产出；经费管理维度分别督查研发经费投入和研发经费管理；单位综合情况维度分别督查项目承担企业的人才队伍建设、财务状况、研发平台、创新能力评价、固定资产等。

1-6月，通过督查发现，项目研发进度完全按计划进行，企业为项目研发团队提供的研发环境和资源未出现重大变化，能为研发团队提供必要的支撑；企业人才队伍良好运转，经费及时投入，创新能力持续增强，未见不良资产；4月开始为申报发明专利准备材料，1篇论文被期刊录用；研发第一阶段，从4个维度的督查数据看，项目进展顺利，正按计划进行，财政资金未见不良。7-9月，企业整体状况良好，再次被认定为高新技术企业，财务管理制度合规，经费支出合规，企业配套资金追加100万元，人员匹配到位，并邀请院士进入研发团队进行关键技术攻关，发明专利申请全部进入材料完善阶段，论文发表一篇论文并提交一篇论文。截至12月底，项目研发进入尾声，企业财务支出审计成功，企业被认定为创新型企业，通过市级工程技术中心评审，3项发明专利全部成功提交，发表1篇，另1篇论文已经被期刊录用等待发表；项目成功通过行业专家评审鉴定；3D打印关键技术已经配套企业产品推向市场，市场部销售效果很好，已经产生回款。以上督查数据表明，3D打印关键技术研究项目完全按照项目研发计划有序进行，预期效果全部达到，财政资金按标准使用，项目承担企业财务管理、固定资产管理、研发环境、人才建设和创新能力全部符合标准。

经以上实证表明，科技计划项目在4个维度同时管理，可以及时发现项目进展和承担单位存在的问题，及时帮助承担单位改善状况，保证项目的顺利进行和财政资金的安全使用。

5 结语

科技计划项目评价体系是促进并引导科技项目科学管理的重要手段，而具有多阶段、多维度评价特点，这就需要政府部门建立科学完善的多维度评价体系模型。只有建立了基于多维数据的科技计划项目管理与评价体系，才能帮助政府管理部门以全局的眼光看待项目、以动态的思维审视项目、以立体的角度考察项目，引导科技计划项目承担单位朝着符合经济社会发展方向发展，刺激项目承担单位的研发活性，从而真正实现科技计划项目管理的目的，极大促进当地经济的发展。3D打印关键技术研究科技项目管理和评价的实证研究表明，本文设计的多维数据体系模型具有全面性、及时性、可行性、科学性和合理性，对科技项目管理行之有效。但不足之处是多维数据体系评价指标过于繁杂，指标设计存在高强度关联性，可能会影响个别项目的整体评价，还有待进一步研究改进。