科研项目评价专家数据库搭建与优化策略

李 欢

(常州机电职业技术学院科研处 江苏常州 213164)



科研项目评价专家数据库搭建与优化策略

李 欢

(常州机电职业技术学院科研处 江苏常州 213164)

科研项目作为科技创新成果的摇篮，是经济保持科学发展的动力源泉，是社会不断进步的基础和关键。而科研项目的最终决策与判定往往受评价专家的影响最大，所以科研项目评价专家数据库的搭建，以及评价专家与待评项目的匹配智能化研究则显得更为重要。针对科研项目评价专家基础数据获取与要素遴选等各个环节进行探究，提出科研项目评价专家数据库搭建的基础信息需详尽化、专家选取要素需精细化、项目匹配需智能化。

科研项目； 项目评价； 专家数据库

0 引言

经济发展的内在需求和创新成果的市场需要，要求科研项目的综合评价机制改革势在必行，特别是项目评价专家遴选机制的合理性和科学性引起了更多的关注。《高等学校“十三五”科学和技术发展规划》中明确指出，需推进科技评价机制的全面创新，项目评价导向应突出中长期目标，建立分类评价和开放评价并举的制度，不断完善同行评价专家遴选机制和评价专家库的建设，以优化项目评价的科学性，需加强评价专家的自律教育和责任追究机制，由数量论转为质量优先、由重形式转为效果为导向，建立起多领域、多类型的综合性项目评价体系。

1 科研项目评价专家体系

科研项目评价最初由欧美兴起，以提升科研项目的质量、整合有利资源、提高科研效率为目的。我国虽然起步较晚，但现在也已经建立起完整的评价方法，设计了成熟的考评体系[1]。但是针对科研评价专家如何遴选，评价专家如何有效管理，如何提高专家和项目的匹配度等方面的问题却鲜有研究。数据库的建立和网络平台的搭建可以更好地促进跨区域、跨领域项目评价的可行性，从而形成社会化的专家网络[2]。项目评价专家系统的顶层设计能够更好地完善项目评价专家体系，更好地管理和优化专家信息，更好地提升专家队伍的综合水平，更好地服务于项目评价环节，确保立项项目真正具备相应的创新潜力和未来市场影响力，确保项目不仅能够保质保量完成，更能确保其创新技术成果最终能够更大限度地实现市场化和社会化。项目评价专家系统应包含评价专家信息数据库、待评价项目信息数据库、专家与项目匹配算法模块、评价专家数据库优化算法、已评项目信息反馈等模块，具体如图1所示。

图1 科研项目评价专家系统的基本框架

1.1 专家遴选需多样化

评价专家是科研项目评价的核心要素，在评价目标、评价准则、评价对象等客观要素确定的前提下，评价结果完全取决于各个专家的具体评价行为与结论[3]。从项目选题指南的制订，到所有参评项目的立项评审、中期审核、最终验收，整个流程中，每个环节所涉及的科研项目评价专家的遴选大多采用静态选取的方式，从本单位或者同行院校选取。各组织单位通常是对项目进行科技与社科两大方面分类，然后根据不同领域和研究方向，在内部选取具备一定资格和经验的专家进行综合评审。整个项目评价的过程，并不一定能够充分考虑项目的前瞻性和创新潜力，不能够详细分析项目开发中的创新方向变更与科研环境的变化因素，不能够全面评估科技成果转化和市场应用的科学性、可行性以及有效价值，不能够全盘评价项目的连带效应，更未考虑项目评价专家库自身的升级和优化。而且，项目评价专家大体由科研同行或者不同职能部门管理人员组成，造成整个项目的评价具有一定的视角片面性、层次单一性、评价人员局限性，从而刷掉一些可能带来不同创新点的科研项目。

科研项目评价专家数据库的建立，并非简单的IT技术应用和植入，而是对评价专家体系的彻底更新，是整个系统的顶层设计变革。数据库建设一定要重视评价专家基础数据的选取、重视顶层架构的设计、重视评价专家的丰富性和多样性，评价专家应综合考虑“政—用—产—学—研—介—金”等科技创新与应用的每一个环节与领域，针对科技成果的研究、开发、转化、应用等各个环节进行专家选取与考核，兼顾专业方向与应用领域，从而避免项目评价过程中本末倒置、舍本逐末的不利局面。

1.2 数据属性需精准化

专家属性定义不能照搬现有规则，只注重专家的职称职务、供职单位，而应针对专家所做项目、研究领域、成果经验、所属环节等各个方面进行考察。针对所有属性制订不同的影响因子，经过特定相关性分析、数据提炼与加权计算等技术手段，最终得出专家的综合评估结果。科研项目评价专家选取的数据属性也不应一概而论，应根据项目评价的具体需求，分别设定地域、研究领域、项目偏好、活跃度等各种属性，以达到采集数据的精准化。专家数据库容量应足够大，属性应足够精炼，在后续项目匹配中才可以保证较高的匹配度与项目评价的科学性。

1.3 专家评价领域倡导专有化

科研成果对项目评价影响重大，而科研成果的评判标准却不能仅仅进行量化加减的评判，而应对科研成果的综合水平与价值进行评价。评价专家往往具有最终话语权甚至决策权，这就要求评价专家一定要具有相当的研究经历和前瞻性战略目光，要求评价专家能够在该领域具备相当的知识储备，要求评价专家能够在有限的时间内对项目成果做出相对全面、合理、科学与客观的评价。

专业领域如果偏离过大，会直接导致科研项目评价的简单粗放，评价专家则会采用和执行与“数量”密切相关的评价制度，忽视了科研成果的本质属性，不能完全符合科学精神的本质和科学研究活动的一般规律。而简单以技术成果的具体数量、技术成果的等级来评价其价值高低，则被形象比喻为“用手工作坊计件制统计科技成果”[4]。

1.4 专家与项目自适应算法

项目评价专家数据库的建立是以项目的有效评价为导向，最终为项目评价与项目引导服务的。项目研究根据研究对象分为不同类型，基础理论研究成果多以论文、专利、理论创新等体现，此类项目的评价专家应以高校、研究院所为主，企业和市场应用专家为辅。技术创新和产品开发类项目多为新技术和新产品等形式体现，此类项目评价专家应以企业和市场应用类专家为主导，重视技术开发的后续成果转化和市场应用潜力。社科类项目多以理论创新、政策研究为基础，以论文和报告为成果，此类项目评价专家应以高校、研究院所为主。

2 科研项目评价专家数据库构建

科研项目评价专家的数据库构建一定要充分利用IT技术和大数据智能化算法，从而确保专家数据库的高效率和客观性[5]。然而，具体到专家数据库系统的搭建，从前期的属性选择和顶层设计，到后续的基础信息采集、录入和属性分析都需进行算法分析与推演。评价专家数据库可分为专家基础数据采集与数据库搭建、评价专家数据库分析与组合、评价专家与待评项目智能化匹配等三个层次，分别管理评价专家的材料收集和分类、专家各个属性的数据分析与划分、专家遴选与待评项目的综合匹配等，具体内容如图2所示。

图2 科研项目评价专家系统分层管理模式

2.1 专家基础信息需详尽

项目评价专家选取的科学性与有效性要求数据库基础信息一定要全面详尽，只有这样，才能构建出真正以项目核心竞争力为导向，以项目评价制度为保障，以项目评价专家为依据的评价体系。评价专家的基础信息应该依托跨领域、跨行业、跨环节，引导大众的参与。专家基础信息除了姓名、单位、学历、职称和职务为代表的基本信息之外，还应涵盖发表论文、研究项目、申请专利、参加协会为代表的专业信息，更应涉及已有技术成果、参与的关键项目与学术会议等为代表的活力信息，从而全面详尽地获取专家的各个属性与类别，得出较为客观科学的综合评估结果。随着IT技术的不断发展与成熟应用，“互联网+”技术和“大数据”技术平台已迅速普及，数据库中的数据不再是一个“死”的信息和简单的档案管理内容，而是提炼各种特征的源泉，从而得出数据信息的深层价值[6]。

2.2 专家属性分类需科学

评价专家基础信息庞大复杂，包括了专家基本信息、专业信息、项目评价信息等。随着专家数量的积累以及信息更新，如不能对数据进行属性划分，将会形成大量的数据垃圾，使得后续工作事倍功半，无法科学有效地开展。只有底层基础数据属性划分合理，数据库管理科学，才能积累有价值的基础信息，从而为上层数据管理营造优良的应用环境。

地域属性主要是体现评价专家的地域特性，方便专家的地域化管理和资源共享；领域属性主要体现评价专家的研究领域，方便后续专家和项目匹配的领域精准性；职称和职务属性主要体现评价专家的等级，方便后续项目分类以及专家均衡化管理；项目属性、兼职偏向以及科研能力、成果偏向主要体现评价专家的项目偏好以及实时的项目研究成果等；参评历史和活跃度主要分析评价专家对项目评价的关注度以及反馈信息，便于数据库的更新与优化。

2.3 专家反馈信息需及时

“互联网+”时代，大数据以其数量大、计算快、种类多、价值高的4V特点而广受社会欢迎[7]。项目评价专家系统同样面临专家单体基础信息众多、专家数量大、专家评价以及反馈信息难以判定等诸多问题而一直无法有效实施，当前这些问题可利用大数据技术手段逐步解决。项目评价专家数据库的信息有效性和科学性极大地依赖于专家信息的更新效率和数据的可信度，只有建立一整套科学的数据反馈和自优化体系，才能确保数据库的健全和健康发展。项目评价专家信息并非一成不变，随着评价专家研究经验、研究方向、供职单位、研究环境的变化而不断变化。所以，一定要对专家系统中的基础数据不断进行更新，对已有的专家不断进行评判和排名，对评价标准进行不断优化。

通过将历年项目评价信息、专家个人信息、专家和项目的关联度、已立项项目的达成率、项目完成质量、成果转化率等基础信息及时录入专家数据库系统，可逐步形成对专家的评判依据。在此基础上，可结合专家单体评价结论与共体评价结论异同点以及最终的项目完成信息，从而更加全面权威地对专家加以定性和定量分析。只有通过基础信息的不断更新、数据提炼的不断完善，才能不断优化项目评价专家队伍数据库的管理和应用。

2.4 专家与项目匹配智能化

评价专家数据库的建立目的是更好地为项目评价服务，提升项目评价的科学性和精准性，提升项目评价的可信度。评价专家与待评项目需要一套智能化计算流程，才会促使项目与专家更好地匹配，从而提升项目评价的切合度，具体流程如图3所示。

图3 科研项目评价专家与项目智能化匹配流程

评价专家与项目匹配算法的顶层设计尤为重要。首先，匹配算法的理论依据要清晰，主要是匹配属性提炼需精细、属性数据应满足量化需求、属性数据采集应有一定的可行性；其次，匹配算法的维度选择和相关性分析要有科学理论的支撑；再者，匹配度最终的结论一定要定量分析和定性管理相结合。要确保项目评价专家和项目匹配属性一致，如领域、地域、类型、创新方向等各种属性。只有评价专家和待评项目的属性能够保证在同一维度和统一定义下进行顶层规划，才能确保项目数据库与专家数据库的协同运行与联合应用。

3 结束语

经济快速发展和产业结构调整对技术成果与产品创新的要求越来越高，项目评价依据和政策导向更加科学化。只有建立基于“互联网+”和“大数据”技术为基础的项目评价专家数据库体系，并且嵌入项目评审的智能化匹配算法，才能确保项目评价能够适应经济发展和社会进步的要求，最大限度地确保项目评价的科学性、合理性和客观性。本文提出的评价专家数据库建立和优化策略能够促进项目评价的科学性和项目管理的合理性，从而促进科技成果产出的高效性，提升科技成果转化的可行性。

[1] 戚安邦.项目评估学[M].天津：南开大学出版社，2006：50-52.

[2] 杜晖.基于web的专家评价信息服务平台构建研究[J]. 重庆大学学报(社会科学版)，2014(2)：99-104.

[3] 徐林生， 王执铨， 戴跃伟. 评审专家可信度评价模型及应用[J]. 南京理工大学学报(自然科学版)，2010(1)：30-34.

[4] 朱文辉.高校科研评价制度量化之得失[J].沈阳师范大学学报(自然科学版)，2007(3)：388-390.

[5] 李兴国， 宁平.基于BP神经网络的省级自然科学基金项目评价模型研究[J]. 科技进步与对策，2008(3)：144-146.

[6] 李欢，孙建三，袁本涛.基于校友数据库的高校人才培养质量控制系统模型[J].高等工程教育研究，2011(2)：60-64.

[7] 周枫.大数据时代档案馆的特征与发展策略[J].档案与建设，2013(8)：6-9.

[责任编辑：李娟]

Establishment and Optimization Strategy on Expert Database System for Research Projects Evaluation

LI Huan

(Department of Scientific Research， Changzhou Institute of Mechatronic Technology， Changzhou 213164， China)

Research projects， which are cradles of technological innovations and achievements， are not only the power sources of economic development but also the critical foundation of social progress. Meanwhile， the project evaluation is on basis of the experts who own the most influential decision of the final result， so the establishment and optimization of the expert database system is very critical and important. Based on the data collection and classification of categories of experts， this paper puts forward some opinions including detailed basic information of experts， and comprehensive selection elements of experts. Last but not the least， intelligent matching algorithm between the experts and projects is also involved.

research project; project evaluation; expert database system

2017-01-06

李 欢(1982-)，女，研究实习员，硕士，主要研究方向：高等教育、高校科研管理

G 311

A

1672-2434(2017)02-0028-04