国土资源部地质信息技术重点实验室开放课题后评价研究

葛 佐，缪谨励，李 贞

(1.中国地质调查局发展研究中心，北京 100037；2.国土资源部地质信息技术重点实验室，北京 100037；3.中国农业大学，北京 100193)

国土资源部地质信息技术重点实验室开放课题后评价研究

葛 佐1,2，缪谨励1,2，李 贞2,3

(1.中国地质调查局发展研究中心，北京100037；2.国土资源部地质信息技术重点实验室，北京100037；3.中国农业大学，北京100193)

本文在对国土资源部地质信息技术重点实验室开放课题进行分类的基础上，明确不同类型开放课题后评价重点，结合美国政府投资项目评价工具PART(ProgramAssessingRatingTool)设计了开放课题后评价指标体系，利用层次分析法确定了各指标权重，最后通过“地质调查软件测试过程管理技术及支持平台”课题对所构造的评价体系进行了实例分析，表明所构建的评价体系可以对实验室开放课题进行评价。

后评价；开放课题；层次分析法；美国政府投资评价工具

项目后评价是指在项目已经完成并运行一段时间后，对已经完成的项目的目的、执行过程、效益、作用和影响所进行的系统、客观的分析[1-2]。相较于项目前评价，项目后评价除了对前评价中项目的研究基础、立项的合理性与可行性等进行再评价外，还对项目的实际运行状况进行深入细致的分析，更加侧重于对项目实施的重要过程和结果进行分析，间接作用于未来项目投资，而且项目后评价直接依据项目完成材料，说服力更强。项目后评价处于项目周期的最后一个环节，也可以看成是一个新项目周期的开始，处于“承前启后”的位置。开展项目后评价可以认真总结经验、吸取教训，为今后同类项目投资决策提供参考。我国项目后评价工作尚处于起步阶段，对项目后评价缺乏系统性的研究，至今还未形成一套全国通用的项目后评价方法[1]，部分学者针对特定种类项目开展了后评价研究，多集中于评价指标体系构建、评价方法选择、评价流程等[2-8],总体来说项目不同，指标体系不同，评价方法的适用性也差异较大，因此实际应用时应针对不同项目特点开展研究。

国土资源部地质信息技术重点实验室以开展数字地质调查评价与地质空间数据共享技术的开发与应用为核心，力求为地质工作信息化和现代化提供技术支撑。开放课题是实验室及时掌握前沿信息技术、理论、方法的主要方式。实验室瞄准地质信息前沿技术、高新技术和关键技术，每年以命题和自由命题两种形式广泛吸引和凝聚国土资源部、中国地质调查局系统内部、社会科研力量，形成创新性、引领性和前瞻性研究成果，支撑引领我国地质信息技术的发展和应用，推动地质工作更好地服务经济社会发展。然而科学评价开放课题成果，构建合理、完善的开放课题立项、实施、监管等管理模式是保证开放课题研究符合实验室发展方向，解决地质调查信息化问题的基础。因此，亟需建立系统、科学的开放课题后评价指标体系，开展开放课题后评价研究，对开放课题立项决策的合理性、预期目标实现与否、成果及其影响进行评价和分析，进而发现课题管理中存在的问题，总结经验教训，为未来开放课题的立项决策、实施管理提出建议，从而达到提高投资收益的目的。

1 实验室开放课题后评价的含义、目标和原则

1.1 开放课题后评价的含义

基于实验室开放课题属于预研类研究，故将开放课题后评价定义为：课题结题验收后，对课题的目标、执行过程、产生的效益和影响所进行的系统客观的分析。课题后评价主要是对课题的立项预测、预期目标、成果水平等进行检查，通过评价结果分析课题设计是否合理、立项过程中存在的问题、目标是否按期实现、研究成果是否满足当前需求等，分析原因，总结经验，为以后开放课题投资决策和管理提供参考和建议，从而提高开放课题投资决策水平。

1.2 开放课题后评价目标

通过开放课题后评价，确定课题达到的科学技术水平，发掘具有应用潜力和推广价值、能解决当前地质调查领域存在的共性、关键问题的新技术、新方法或者新理论；其次，通过课题后评价，发现开放课题在管理过程中存在的问题，总结经验教训，改进开放课题管理方式，提高投资决策水平。

1.3 开放课题后评价原则

数据真实，评价客观公正。数据真实是评价结果合理的基础，坚持独立、公平、公正的方式对开放课题进行后评价，以达到切实发掘新技术、新理论、新方法的目的，同时得到改善开放课题管理的有效反馈信息。

分类评价。实验室充分给予开放课题研究自由，鼓励大胆试验和自主创新，提倡新思想、新方法和交叉学科的研究，所以尽管开放课题在管理方式上大相径庭，但不同类型课题的研究成果相差较大，相应的评价指标也应该要兼顾不同课题间的共性和差异性。

定性和定量评价相结合。在课题后评价中能以定量指标评价的尽量使用定量评价，使用定性和定量评价相结合的方式可提高评价的准确度。

2 实验室开放课题分类及后评价指标体系构建

2.1 实验室开放课题分类及各类课题评价重点

对开放课题进行分类是对其进行管理和后评价的前提和基础[9]。本文根据实验室开放课题在成果类型方面的差异将实验室开放课题分为基础研究课题、软科学课题、应用研究课题。

2.1.1 基础研究课题

基础研究是在认识客观世界的过程中阐明、解释自然现象、特征、规律及其内在联系,在学术上有新见解,并对科学技术的发展或国民经济建设具有指导意义的研究[10]。

实验室基础研究课题主要是为了探索地质信息技术的原理和规律，为解决地质信息技术问题提供理论指导，其成果主要为新理论、新方法、新思想等，多以成果的原始创新性水平为评价重点。

2.1.2 软科学课题

软科学课题是为管理现代化和决策科学化而开展的研究[10]。实验室软科学课题主要是为地质调查信息化开展战略研究，追踪世界地质信息化发展前沿动态，搜集地质调查信息化领域管理经验等，成果多以政策建议、调查报告、研究报告的形式体现。软科学课题多以有无创造性和对地质调查信息化发展决策的指导意义水平等为评价重点。

2.1.3 应用研究课题

应用研究课题是为解决地质调查信息化发展过程中的科学技术问题，以发掘适用于地质调查的具有创新性、先进性、成熟性和实用性的新技术为出发点，成果多为新技术、新产品、新方法等，其评价多以知识产权、专利、技术应用及其转化、技术应用的潜在效益水平等为重点。

2.2 开放课题后评价指标设计

根据开放课题后评价的目标、原则以及各类型开放课题后评价重点，同时借鉴美国政府投资项目评价工具PART(Program Assessing Rating Tool)[11-12]，结合专家意见，从研究基础、课题管理、课题成果及其影响三个方面设置评价指标，构建开放课题后评价指标体系。由于开放课题在立项评审、过程监管、结题验收等管理环节的相似性和成果评价重点的差异性，故本文在研究基础、课题管理两方面对不同类型开放课题设置相同的评价指标，而在课题成果及其影响方面针对不同类型课题设置不同的评价指标。研究基础与项目前评价即项目立项时大致相同，课题管理和课题成果则按照实际实施过程及成果进行评价。后评价指标体系见表1。

2.3 开放课题后评价指标权重与计分方法

2.3.1 层次分析法确定指标权重

采用层次分析法确定各指标权重，并利用方根法计算判断矩阵的最大特征值及其对应的特征向量，具体权重确定方法见相关参考文献[2,9]。开放课题后评价指标单排序结果及总体一致性检验结果见表2。

表1 开放课题后评价指标体系

表2 开放课题后评价指标权重表

注：总体一致性检验：CI=0.0536，RI=0.8744，CR=0.0613。

2.3.2 开放课题后评价计分方法

基于本文研究目的以及力求评价时计算简单，可操作性强，对每个指标采取百分制，然后根据各指标权重选用普通加权法计算总分值，其计算公式见式(1)。

式中：F为课题总得分；Xij为专家对第i个准则层中第j项指标的评分值；wij为第i个准则层中第j项指标的权重；ai为第i个准则层指标的权重。

对于可以定量计算的成果数量而言，由于成果类型不同，采取一套软件和一篇论文分别相当于一份研究报告进行简单换算，从而得出各个课题的万元成果数量，万元成果数量分值的确定方法见式(2)。

式中：yij为第i类课题，第j个课题的万元成果数量；yimax为第i类课题中万元成果数量的最大值。

3 开放课题后评价的实例分析

3.1 课题概况

选取由北京航空航天大学计算机学院软件工程研究所承担的“地质调查软件测试过程管理技术及支持平台”开放课题对所设计的评价指标体系进行简单试用与验证。该课题目前已完成结题验收，属于应用研究课题。

3.2 课题指标

1) 课题以“研究建立适用于地质调查软件测试的测试过程管理平台”为目标，为实验室软件测试的需求、计划、设计、过程管理及追踪和监控提供支持，目标清晰，解决了实验室研发的众多软件的性能测试问题。

2) 与本课题直接相关的研究项目包括总装预研基金和预研项目、科工委预研项目、“863”项目及国防型号项目等7个项目，在国内外学术刊物上发表了相关论文十余篇。

3) 课题负责人及课题组主要成员在自然科学科学基金项目、“863”项目、国防预研项目等的资助下，开展过相关研究，其成果在电子政务、银行系统、石油勘探系统等大型软件系统以及航空航天等国防领域得到应用。

4) 总体工作部署与分年度工作安排细化到月份，任务量合理，目标明确。

5) 经费预算基本合理，能够体现研究目标。

6) 预算执行符合规定，未出现违规违纪现象。

7) 课题设计了质量保证与安全措施，依托北京航空航天大学，有全套的国家制度和学校制度控制和保障科研项目的质量。

8) 提交成果包括“地质调查信息系统测试过程管理平台”一套，“地质调查信息系统测试过程管理关键技术研究报告”一份，“地质调查信息系统测试环境详细设计”一份。

9) 成果创新性。设计了适合地质调查信息系统特点的测试过程管理平台，技术的创新与集成水平较高。

10) 成果的应用价值。满足当前地质调查信息系统测试的要求，能够解决实验室对相关研究成果的测试与评价问题。

11) 成果效益。为科学评价地质调查信息系统提供依据，减少了盲目投资，具有一定的经济效益。

3.3 评价结果

通过对该课题进行解析，该评价体系基本上可以体现从课题立项到课题验收过程中的成果，在深入解析各指标实际情况的基础上，通过咨询专家意见给出本课题各指标实际得分及综合成绩，见表3。

表3 地质调查软件测试过程管理技术及支持平台课题实证分析结果

“地质调查软件测试过程管理技术及支持平台”课题设计出能够满足实验室需求的软件测试平台，具有一定的技术创新与集成水平，满足地质调查信息系统测试需求，具有较高的应用价值。课题总得分91.8分，比较优秀，与实验室在课题结题验收时对其成果评定结果相符合。从课题各项得分情况可以看出，该课题研究团队具有深厚的研究基础和课题管理经验，这点与其丰富的软件测试与管理工作经验也是相一致的，由此可见，开放课题在立项时对于研究团队的工作经历不可忽视。课题在管理方面，未给出详尽的措施控制实施中遇到的挑战，仅以学校的科研保障平台为依托，应当有本团队的工作计划及管理制度，以保障科研成果水平。该课题得分最低项为“万元成果数量”，或许是由于时间短任务重，相对于同类项目，成果数量并不突出，后期对于此类项目可适当延长课题研究时间，以充分发掘课题创新能力。

4 结 语

本文在系统介绍实验室开放课题后评价的含义、目标与评价原则的基础上，明确了不同类型开放课题后评价重点，然后参考美国政府投资项目评价工具PART设计了开放课题后评价指标体系，并运用层次分析法确定了各指标权重，最后以“地质调查软件测试过程管理技术及支持平台”课题为例对所构造的评价体系进行了试用与验证，结果发现所构造的评价体系操作方便，结构合理，能够真实反映课题研究水平以及课题管理过程中所存在的问题，为课题管理提供建议。

然而，该评价体系集成创新性水平不足，如果能够采取多种方法进行评价并不断修正，其评价结果会更加客观公正、公平合理。未来需对不同的评价方法进行比较分析，以不断完善开放课题后评价体系。

[1] 王萍.浙江省水利项目后评价指标体系和方法研究[D].杭州:浙江大学,2006.

[2] 林浩伟.国家自然科学基金项目后评价研究[D].合肥：合肥工业大学,2008.

[3] 陈刚.投资项目后评价研究[D].重庆:重庆大学,2004.

[4] 孟建英.工程建设投资项目后评价理论方法与应用研究[D].天津:天津大学,2004.

[5] 徐帆.商业房地产项目后评价研究[D].重庆:重庆大学,2005.

[6] 刘钻石.我国农业科技示范园区项目后评价指标体系和后评价方法研究[D].杭州:浙江大学,2004.

[7] 张国辉.分布式光伏发电项目后评价研究[D].保定:华北电力大学,2015.

[8] 王颖.项目后评价理论与案例分析[D].昆明:昆明理工大学,2014.

[9] 肖利.科技项目评估的必要前提[J].科学学研究，2004(3)：290-293.

[10] 刘艳艳.科技计划项目后评价体系构建研究[D].呼和浩特：内蒙古工业大学，2013.

[11] 申嫦娥，曾绍武.政府投资项目评价方法研究——以科技项目为例[J].软科学，2009(9):38-42.

[12] 晁毓欣.美国联邦政府项目评级工具(PART):结构、运行与特征[J].中国行政管理,2010(5):33-37.

Afterevaluationofopenprojectsfromthekeylaboratoryofgeologicalinformationandtechnology

GE Zuo1,2,MIAO Jinli1,2,LI Zhen2,3

(1.Development and Research Center,China Geological Survey,Beijing 100037,China;2.Key Laboratory of Geological Information Technology of Ministry of Land and Resources,Beijing 100037,China;3.China Agriculture University,Beijing 100193,China)

On the basis of the classification of the open projects in the geological information technology key laboratory of the ministry of land resources,this paper analyzed the key assessment point of different open projects.Then the paper design a after evaluation index system for open projects drawing lessons from the United States Government Investment Project Assessment Tool PART (Program Assessing Rating Tool) and determine the weight of each index with the analytic hierarchy process method.At last,the “Geological Survey software testing process management and technical support platform” project is used for testing the after evaluation index system,indicating that the system can be used for the after evaluation of the open projects.

after evaluation;the open project;the analytic hierarchy process method;the United States Government Investment Project Assessment Tool

G322

A

1004-4051(2017)10-0053-05

2017-02-05责任编辑宋菲

“地质调查信息化适用技术应用研究”项目资助(编号：1212011220363)

葛佐，男，硕士研究生，助理研究员，主要从事地质信息技术方面的研究，E-mail：gezuo123@sohu.com。