我国高校科研项目管理动态跟踪评价体系的构建与案例验证

吴定会

(江南大学物联网工程学院，江苏无锡，214122)

我国高校科研项目管理动态跟踪评价体系的构建与案例验证

吴定会

(江南大学物联网工程学院，江苏无锡，214122)

利用Fuzzy Delphi和Fuzzy DEMATEL的结合方法，基于项目管理成熟度模型，着重于提高项目过程能力，构建动态跟踪评价高校科研项目管理的指标体系。2012—2013年对我国A高校10个无线传感器网络项目负责人的动态跟踪评价结果显示，该指标体系可以实现动态跟踪我国高校科研项目过程管理，为有效提升我国高校科研效率提供借鉴。

高校科研；项目管理；动态跟踪；评价体系

全球化经济发展的态势预示着世界各国在高新技术领域的竞争将日益突出。党的十八大报告中确立的创新驱动发展战略显示出我国对科技研发创新的高度重视。而高等学校是国家创新体系中原始创新的重要来源，已经成为我国科技发展的重要力量和国家创新体系的重要组成部分。作为高校科研创新的重要保障，如何确保科研工作有序组织、协调开展，持续推进，对我国高校科研管理提出了新问题和新挑战。目前我国高校科研无论在应用研究还是在基础学科研究方面都呈快速增长态势，但与此同时，我国高校科研管理仍存在基础薄弱、科研经费浪费、产出成果有限、项目进度缓慢、项目质量较低及项目转化能力有限等现实性问题[1]，对我国基础学科和重大科研的攻关造成巨大阻碍。由于高校科研管理的实质就是技术与项目相互融合的系统工程，其本质强调的是动态管理，适度控制。因此，基于科研项目的全生命周期，动态跟踪高校科研管理的全过程，建立规范化的评价体系和评价方法，形成具有我国特色的高校科研动态跟踪管理模式则显得尤为必要。

一、国内外研究现状

由于高校科研项目是企业重要的技术创新投入源，可以帮助企业更快地吸纳并采用最新技术。[2]因此，学者们普遍认为高校等科研院所的科研项目管理与企业技术创新项目管理基本类似，主张利用开放性的理念管理科研项目，使得项目管理最终更关注于市场。[3]当然，科技成果转化必须建立起有效的风险防范机制，而该机制的建立就要求科研项目管理应更关注于减少执行过程的不确定性，并将其管理过程标准化。[4]

目前来看，将项目管理与高校科研管理相结合理念与卡内基梅隆大学(Carnegie Mellon University)的软件工程机构(Software Engineering Institute，SEI)的软件能力成熟度模型(Capability Maturity Model，CMM)基本一致[5]，也基本符合项目管理过程就是为达到某个目标而采取的项目投入与产出相关活动集成的研究设想。完全可以在CMM基础上，将项目管理的每个过程相互融合或者分类推进。Cooke-Davies[6]则进一步指出，基于CMM的项目管理成熟度模型就是从技术层面将项目过程量化，推进项目可测量、可控制和持续改进的阶段式发展。而且，将项目按照过程分类有助于发现管理重点，以便深入推进项目新成果的研发。[7]Robert[8]则另辟蹊径地提出将项目作为系统，分析影响其有效性和过程中不确定性。Steyn[9]则进一步提出利用关键链的项目管理方法，要求提高项目过程管理的效率。由于进度、成本和绩效三项是项目验收的重要指标和因素[10]，展开科研项目管理的标准化，构建统一的绩效评价指标体系是学者们公认的手段。[11]

在具体管理方法中，Beynon和Marshall[12]主张在科研项目全过程评价中充分利用专家评判的Delphi方法，通过专家系统展开较为客观的分析。但由于Banker等[13]更多学者的研究关注于科研项目的绩效评价，所构建的评价复合体系为多层次、多指标。各层次、各指标的相对重要性各不相同，用传统的经验估值和专家评判难以真正展开客观分析。Beynon等[14]学者开始将定量分析方法加入专家评判研究中，不但严格挑选专家组成员，而且在评价过程中利用定量方法增强评价体系的科学性。因此，通过德尔菲法(Delphi)与分析网路程序(Analytic Network Process，ANP)、层级程序分析(Analytic Hierarchy Process，AHP)、数据包络分析(Data Envelopment Analysis，DEA)等定性和定量相结合的方法构建相应的指标体系评价项目，逐步为广大学者所采用。该方法一方面提高项目的过程管理效率，另一方面，也会提高项目的验收合格率并服务于企业，满足市场需求。[15−17]

科学研究具有特定的高投入和高风险性，控制科研项目的过程风险，加强科研项目的过程管理显得尤为重要。学者们逐步关注科研项目的过程管理[18]，在具体国情下，开始采用多种定量和定性相结合的方法展开研究。[19−21]但由于高校科研项目有其不确定性，目前为止，我国尚没有建立统一的、具有规范意义的高校科研项目过程管理科学评价体系。另一方面，由于CMM具有“过程保证质量”的理念，在解决软件过程存在的问题方面取得了成功，也有学者开始考虑将其作为评价项目过程管理能力的重要技术。[22]而多种基于CMM的项目管理成熟度模型(Project Management Maturity，PMMM)也随之被应用于各个领域的科研项目过程管理，强调对提高项目过程管理的效率。[23]

因此，考虑高校科研项目过程管理的特殊性，本研究将引入项目管理成熟度模型评估高校科研项目过程管理状况，试图通过项目过程跟踪模式，基于CMM，构建具有一定借鉴意义的、强调过程管理的我国高校科研项目动态跟踪评价指标体系，期望有效提升我国高校科研项目过程管理效率。

二、评价指标体系的构建

加强科研过程中的监督与控制，就是消除科研项目管理中重视投入和产出，忽视过程管理的不良现象，保证高校科研项目管理的过程性、连续性和系统性。因此，在科研项目管理的评价指标选择中，必须兼顾目的性、科学性、适用性与系统性原则。根据我国高校科研项目管理的实际情况和吕蔚等、邱均平等学者的研究结论[24−25]，本研究的科研项目过程评价将以项目实施进度、经费使用情况为主要内容，对我国高校科研项目展开全过程管理评价。

一般而言，构建项目评价的指标体系，采用的方法就是通过挑选专家组成专家组，再采用Delphi法选择相应的指标，最终得到分析结果。[15]由于我国高校科研项目具有管理的特殊性，与CMM模型针对软件能力的评价指标可能存在不同，现有CMM模型中的评价指标体系不一定适合本研究针对高校科研项目过程管理的评价指标体系构建。笔者将从我国高校科研项目过程管理的特点出发，基于CMM的指标，利用高校科研项目管理领域的相关专家，通过专家遴选以构建更适合我国高校科研项目特点的评价指标体系。同时，为最大程度避免构建高校科研管理动态跟踪指标体系中专家选择指标的主观因素干扰，且考虑到模糊德尔菲(Fuzzy Delphi)方法的实质就是通过确定专家评判的共识值，以消除主观干扰[17]，笔者拟采用Fuzzy Delphi方法获得多位高校科研项目管理领域的专家共识，以最大程度保证我国高校科研项目管理动态跟踪指标体系的客观性。

(一)选取调查对象与专家人数

Fuzzy Delphi方法的调查对象为专家，专家的选择将影响问卷的结果与说服力。而多数文献的专家选择的标准并不统一。考虑到高校科研项目的专业性，本研究选择的专家都是在高校科研项目管理中的高级项目管理者，除了熟悉高校科研项目管理外，至少还满足以下条件之一：①从事与本研究相关或类似的研究；②曾发表与本研究相类似的文章；③对本研究具有一定专业知识。而在专家人数的选择方面，由于专家人数至少为10人时，群体判断的误差会降至最低，可信度最高[26]，因此笔者也将选择10位满足以上条件的专家。

(二)建立指标和编制问卷

在初步建立与分类高校科研项目管理评价指标的基础上，本研究采用半封闭式问卷，充分搜集专家意见。根据初步遴选的指标，请各专家匿名按照各自高校科研项目管理的现状，按照1～10分由低至高地依次评判各个指标设定的重要性。各指标均给出定义，以保证专家对于各个指标认知的一致性。同时，在问卷的指标选项后还请专家提供指标补充说明，设置选项给专家自行增列指标，以补充原初步遴选指标可能存在的不足。

(三)实施反复性的问卷调查

通常Delphi方法的问卷调查需要实施3～4次，且如果实施第2次问卷调查时，数据显示调查结果已经达到完全一致或呈现极端的两极化时，问卷调查可以仅实施一次。[27]另外，问卷调查可分为两个阶段，通过请专家依据其个人的判断针对各指标的重要性展开评分。本研究采用几何平均数和四分位差代表专家评判值的集中和分散状况。第一次问卷调查结果利用四分位数计算各选项的重要性，第二次问卷采用几何平均数表示专家评判结果的一致性，利用K-W检定计算各专家对于选项间整体判定重要性认知的一致程度。最终本文确定的指标体系通过评价项目过程管理中6个项目管理过程能力，即项目启动过程能力、项目实施过程能力、项目执行过程能力、项目控制过程能力和项目验收过程能力以及项目成果转化能力，来衡量高校科研项目过程管理的成熟度水平。同时，整合我国高校科研项目的具体特点，动态跟踪项目内容中的计划、进度、评价、质量、资源和变更管理等六大范围(见表1)。

三、划分成熟度等级与确定指标权重

普华永道(Price Water House Coopers)在2004年的一项调查显示，30个国家的200名项目管理者都认为，组织的项目管理成熟度级别越高，越可能对项目整体性能产生积极影响。[28]需要指出的是，由于高校科研项目管理的环境相当复杂，直接影响项目过程管理、动态跟踪评价的结果。[29]本研究将在构建的动态跟踪评价体系的基础上，关注非线性的、人类动态实践行为的社会系统，强调如何规避科研管理人员的人源性因素的随机性影响项目成功。因此，强调科研管理人员技术熟练性的要求对提高高校科研项目管理动态跟踪评价效率。[30−31]同时，复杂环境需要科研管理人员具有开放性的创造能力，需要建立具有弹性的科研项目管理方法。[32]而这个方法恰是在高校科研项目动态跟踪管理中所必须的。

而Wheatley[33]则明确指出，不可能存在一个最优的成熟度级别适用于所有项目管理成熟度划分，最重要的是适用于特定项目的评估。由于高校科研项目具有一定不确定性，而我国多数高校科研项目管理方面的能力尚显不足，对项目高风险性也缺少认知，构建高校科研项目动态跟踪管理评价体系必须要综合考虑我国高校科研管理的现实特点。我们应利用项目管理成熟度模型不断提升项目过程管理，逐步积累管理经验的理念，通过制定项目管理水平的提升计划，帮助高校科研项目管理从最初的成熟度级别做起，把每一个成熟度级别的关键活动作为新的工作目标，动态识别现阶段我国高校科研项目管理过程中可能存在的薄弱环节，有针对性地通过解决问题，促进项目管理能力的持续改进。本研究拟在CMM基础上，将高校科研项目管理的成熟度等级划分为初始级、简单级、规范级、成熟级和改进级。相应的高校科研项目管理成熟度的等级标准划分及分值见表2。

表1 高校科研项目管理动态跟踪评价指标

表2 各评价指标的等级划分与分值

同样，确定各指标权重也得利用这些专家的问卷调查。为消除专家评判的主观影响，笔者考虑利用专家评判这些指标之间的相互影响程度，按照由弱到强分为1～5等级后，再将各专家评判结果对应的三角模糊数(Fuzzy Triangular Numbers)进行标准化处理，利用表3量化得到专家群体的共识。[34−35]

表3 专家评判各指标之间的影响程度与三角模糊数的对应

具体计算过程如下：

(1)三角模糊数的标准化处理。按照表2将每位专家的评判转换为三角模糊数，并按照公式进行标准化。

(2)计算左右的标准值。将标准化后的结果按照公式④、⑤计算。

(3)计算总的标准化值。

(4)获得第k个专家评判的i指标对j指标的影响程度。

(5)计算全部k个专家评判的i指标对j指标的平均影响程度。

由于决策实验室法(Decision Making Trial and Evaluation Laboratory，DEMATEL)可以平衡评价体系的各指标之间的因果关系，改善专家主观经验的不足，可以更加客观地确定各指标之间的因果关系[36]，本研究基于Fuzzy Triangular Numbers对评价结果的标准化处理结果，再利用DEMATEL方法，获得评价指标体系中各指标的权重。具体步骤如下：

首先，利用三角模糊数标准化处理后的专家对各因素间影响程度的评判值，生成初始直接关系矩阵A=[aij]。其中：A是非负矩阵，aij代表因素i对因素j的直接影响，i=j时，aij=0。

第二，将直接影响矩阵A转换为标准化的影响矩阵D。

第三，获得总影响关系矩阵T。

第四，计算T矩阵的各行和各列之和。

Ri、Cj分别为矩阵T的行、列之和。Ri表示i因素对系统其他因素的影响度(Di)；Cj表示j因素受到系统中其他因素影响的感应度(Rj)。

最后，计算指标权重。根据上述步骤获得各指标的影响度和感应度，就可按照公式⑪和⑫进一步确定这些因素在该指标体系中所对应的权重。

按照公式①～⑫，最终20位专家选择的指标体系及各级指标的权重见表4。

表4 高校科研项目动态跟踪管理评价指标体系

四、高校科研项目管理评价指标体系的案例验证

高校科研项目在发现和发明方面所获得的成果以及对这些成果的应用与推广方面更具创新性。而以无线传感器网络研究为代表的信息技术产业作为国家新兴战略性产业之一，更能反应出我国当前科学研究的侧重点以及未来发展方向。因此，本研究拟选择信息技术中的无线传感器网络的科研项目，展开高校科研项目管理评价。

有关高校无线传感器网络的科研项目的批准立项数据可以通过国家自然科学基金委员会的网站进行查询(见表5)。

对高校科研项目管理成熟度的动态跟踪评估必须通过一段时间验证以使得项目成熟度级别的设定更符合我国高校科研项目成熟度的评估。2012年，笔者选择表5中排名前五位的A高校，选择其中10个无线传感器网络科研项目的负责人，利用本研究的高校科研项目管理评价指标，对各个项目管理成熟度展开动态跟踪评价，并有针对性地对评价后该高校无线网络传感器项目管理中的薄弱环节提出改进措施，于2013年再次展开同样本调研。

表6显示，2012～2013年间，该高校无线网络传感器科研项目的10位负责人均认为，所在高校科研项目管理成熟度主要为第2级的简单级和第3级的规范级。其中认为项目管理成熟度达到简单级的比例最高。2013年，受访者认为所在高校无线网络传感器项目成熟度等级达到规范级、成熟级和改进级的比例较2012年都有所上升。

表7中，2012—2013年间，A高校无线网络传感器项目管理的一级指标评价的最高值均为项目成果转化能力。而2013年所有受访者均认为该校无线网络传感器项目管理一级指标的评价最高值占比，除了项目结题过程能力，其余各个指标都普遍提高。调研结果显示，项目负责人认为A高校的项目执行过程能力、项目控制过程能力提高最为明显。

表8则表明，按照表2的专家打分，2012—2013年间，A高校无线网络传感器项目管理的二级指标进一步指明了其中可能存在的薄弱环节，为动态跟踪与完善项目过程管理能力细化了改进方向。显然，正是针对二级指标的评价结果，A高校在这些方面采取了改进措施，这也同样对表5和表6提高项目管理成熟度等级、提升项目管理过程能力具有一定推动作用。

表5 2007—2014年高校无线传感器网络项目国家自然科学基金立项数

表6 2012—2013年A高校无线网络传感器项目管理成熟度比例(单位：%)

表7 2012—2013年A高校无线网络传感器项目管理一级指标评价最高值占比(单位：%)

五、结语

本文通过Fuzzy Delphi和Fuzzy DEMATEL的结合，基于项目管理成熟度模型，着重于提高项目过程管理能力和管理效率，构建动态跟踪评价高校科研项目管理的指标体系。而2012—2013年利用该指标体系对在国家自然科学基金委立项课题的无线网络传感器项目排名前五位的A高校展开动态跟踪评价的案例验证，可以得出以下结论：

表8 2012—2013年A高校无线网络传感器项目管理评价均值

第一，即使是信息技术含量高、创新能力强的高校无线网络传感器项目，其项目管理成熟度仍处于简单级和规范级。其中比较薄弱的环节是项目执行过程能力、控制过程能力和计划过程能力，而相对管理较好的环节是项目成果转化过程能力、结题过程能力。这也在一定程度上表明，对于我国高校科研项目过程管理而言，提高过程管理能力和过程管理效率的重点应该放在项目执行过程能力、控制过程能力和计划过程能力。因此，现阶段我国高校科研管理应制定合理的资源配置政策，方能总体提高科研项目的过程管理效率。

第二，研究结果表明，基于CMM的项目管理成熟度模型，构建我国高校科研项目管理评价指标体系，可以通过动态跟踪，有目标地完善与提升高校科研项目过程管理中的薄弱环节，且提升成效较为明显。本研究所构建的高校科研项目管理动态跟踪评价体系，可以作为分析我国高校科研项目管理能力的参考，并为最终设计出具有我国特色的高校科研项目全生命周期动态跟踪过程管理模式提供一定借鉴。

[1] 陆根书, 赵颖, 刘蕾, 等. 教育部直属高校科研投入产出效率及其发展趋势分析[J]. 大学教育科学, 2013(1): 30−36.

[2] Fabrizio K R. Absorptive capacity and the search for innovation [J]. Research Policy, 2009(38): 255−267.

[3] Chesbrough H, Vanhaverbeke W, West J. Open innovation: Researching a new paradig [R]. Oxford: Oxford University Press, 2006.

[4] 许长青. 论大学与产业科研合作的风险防范机制[J]. 现代大学教育, 2007(2): 48−55.

[5] SEI CMMI-SW. Capability maturity model integration [M]. SEI: CMMI Staged presentation, 2002.

[6] Cooke-Davies T J, Arzymanow A. The maturity of project management in different industries: An investigation into variations between project management models [J]. International Journal of Project Management, 2003, 21(6): 471−478.

[7] Barkley B. Project management in new product development [M]. New York: McGraw-Hill, 2009.

[8] Robert R S. Critical chain project management [J]. Project Management Journal, 2001(32): 55−59.

[9] Steyn H. An investigation into the fundamentals of critical chain project management [J]. International Journal of Project Management, 2002(2): 78−81.

[10] Kahn K B, Barczak G, Moss R. Perspective establishing an NPD best practices framework [J]. Journal of Product Innovation Management, 2006(23): 106−116.

[11] Cooper R G, Edgett S J. Maximizing productivity in product innovation [J]. Research Technology Management, 2008(51): 47−58.

[12] Beynon M D, Marshall D. An expert system for multi-criteria decision making using Dempster Shafer theory [J]. Expert Systems with Applications, 2001(20): 357−367.

[13] Banker R D, Janakiraman S, Natarajan R. Analysis of trends in technical and allocative efficiency: An application to Texas public school districts [J]. European Journal of Operational Research, 2004, 154(2): 477−491.

[14] Beynon M, Curry B, Morgan P. The Dempster-Shafer theory of evidence: An alternative approach to multicriteria decision modeling [J]. Omega, 2000(28): 37−50.

[15] Lee J, Kim S. An integrated approach for interdependent information system project selection [J]. International Journal of Project Management, 2001, 19(2): 111−118.

[16] Radulescu C Z, Radulescu M. Decision analysis for the project s election problem under risk [C]// 9th IFAC/IFORS/IMACS/IFIP/ Symposium on Large Scale Systems: Theory and Applications. Bucharest, Romania: ICI Press, 2001: 243−248.

[17] Vidal L A, Marle F, Bocquet J C. Using a delphi process and the analytic hierarchy process (AHP)to evaluate the complexity of projects [J]. Expert Systems with Applications, 2011, 38(5): 5388−5405.

[18] 肖人毅. 面向过程的科研项目评价方法研究[D]. 大连:大连理工大学, 2011

[19] 潘杰义, 刘西林. 科研项目评价指标体系及模糊优选决策模型研究[J]. 科学学与科学技术管理, 2004(1): 9−1.

[20] 张守华. 层次灰色方法在科研项目评价中的应用研究[J]. 系统工程与电子技术, 2005(27/10): 1744−174.

[21] 余阳. 高校科技成果绩效评价研究[D]. 武汉: 武汉理工大学, 2012.

[22] 欧立雄, 袁家军, 王卫东. 神舟项目管理成熟度模型[J]. 杭州管理工程学报, 2005, 19(10): 129−134.

[23] 江汉臣,强茂山. 四种项目管理成熟度模型的比较研究[J]. 项目管理技术, 2013, 11(7): 17−22.

[24] 吕蔚, 王新峰, 孙智信. 基于核主成分分析的高校科技创新能力评价研究[J]. 国防科技大学学报, 2008(3): 81−85.

[25] 邱均平, 杨瑞仙, 丁敬达, 等. 世界一流大学与科研机构学科竞争力评价研究报告: 2011—2012[M]. 北京:科学出版社, 2011.

[26] Linstone H, Turoff M. The delphi method: techniques and applications [M]. London: Addison-Wesley Publ. Co., 1995.

[27] Skulmoski G J, Hartman F T, Krahn J. The Delphi method for graduate research [J]. The Journal of Information Technology Education, 2007, 6: 1−21.

[28] 普华永道. 2004中国企业绩效管理实施现状调查分析报告[R]. 北京: 中国企业绩效管理竞越顾问公司, 2004.

[29] Klein L. Soziale Komplexität im project management [C]// Wald A, Mayer T L, Wagner R, Schneider C. Komplexität, Dynamik, Unsicherheit. Nürnberg: GPM, Dt., 2013.

[30] Dehlin E. Fleshing out everyday innovation: Phronesis and improvisation in knowledge work [C]// Pitsis T, Simpson A, Dehlin E. Handbook of Organizational and Managerial Innovation. Cheltenham, UK: Edward Elgar Publishing, 2012.

[31] Flyvbjerg B. Phronetic planning research: Theoretical and methodological reflections [J]. Planning Theory & Practice, 2004, 5(3): 283−306.

[32] Crawford L, Morris P, Thomas J, Winter M. Practitioner development: from trained technicians to reflective practitioners [J]. International Journal of Project Management, 2006, 24(8): 722−733.

[33] Wheatley M. Maturity Matters [J]. PM Network, 2007(7): 48−53.

[34] Chen C T. Extensions of the TOPSIS for group decision making under fuzzy environment [J]. Fuzzy Sets and Systems, 2000, 114(1): 1−9.

[35] Opricovic S, Tzeng G H. Compromise solution by MCDM methods: A comparative analysis of VIKOR and TOPSIS [J]. European Journal of Operational Research, 2007, 156(2): 445−455.

[36] Lin C J, Wu W W. A causal analytical method for group decision-making under fuzzy environment [J]. Expert Systems with Applications, 2008, 34(1): 205−213.

Construction and case verification of the dynamic tracking evaluation system of research project management in China’s universities

WU Dinghui
(School of Internet of Things, Jiangnan University, Wuxi 214122, China)

Based on the project management maturity model, we take the combination method of Fuzzy Delphi and Fuzzy DEMATEL to focus on improving the project process capability and to build dynamic tracking evaluation system of research project management in universities. The study investigated 10 managers of wireless sensor network projects in A University in 2012—2013. According to the results of evaluation system, we can estimate the dynamic tracing process management in research projects of these universities. The adoption of the estimation system can ultimately enhance the efficiency of scientific project management in China’s universities.

science & research of university; project management; dynamic tracking; evaluation system

G311

A

1672-3104(2015)04−0130−08

[编辑: 苏慧]

2015−02−11；

2015−03−26

教育部人文社会科学研究规划基金项目(13YJAZH096)

吴定会(1970−)，男，安徽庐江人，博士，江南大学物联网工程学院副教授，主要研究方向：科学项目管理方法，物联网技术