基于文献计量开展高校科研评估的探索与思考

赵飞　艾春艳　游越　刘素清

摘要：从科研评估现有的问题与困难出发，探讨如何基于文献计量建立更为科学合理的高校科研评估体系，并以北京大学图书馆2011年进行的北京大学科研竞争力评估为实例，进行相应的改进尝试并讨论进一步完善的可能性。

关键词：学科评估 科研评估 文献计量

1 引言

学科建设是高等院校提高教学质量和科研水平的重要基础，如何更为合理地完善自身的学科体系、加强重点学科的优势将成为各高校增强科研竞争力及国际影响力的关键之一。而学科发展策略的制定首先需要对自身的学科发展情况进行客观准确的评估和分析，因此，国内高校也越来越重视各种类型的学科评估，以便准确把握自身的学科发展态势。通过系统、科学的客观评估，可以更为准确地了解本学科的优势和劣势所在，并为制定学科将来的发展策略、重点研究方向、资源分配方案等提供重要依据，从而对高校的学科发展战略起到指导意义。

学科评估中较为重要的一个部分就是科研评估，即对本学科的科研竞争力和影响力进行客观评估。而基于文献计量的科研评估是目前较被认可的方法之一，具有客观、量化、易于比较等特点，并能够对科研产出能力等重要指标有着较为直观的评价。本文将以国内外权威数据库中的客观数据为基础，从文献计量学的角度出发建立高校科研评估体系和方案。

2 科研评估中的问题与困难

虽然无论从国家层面还是各高校自身都在逐步加强和改进科研评估工作，但是由于科研成果的多样性、复杂性以及科研成果提交的不规范，目前科研评估仍然存在着一些问题和困难需要解决：

2.1 评估周期的确定

由于各学科科研过程和成果发表的习惯各不相同，利用文献计量方法对其进行评估时，评估周期的选择就成为十分重要的问题。如果评估周期过短，则对于科研周期和成果有效期较长的学科（如人文学科）来说，就无法准确评估其学科内科研成果的学术价值和影响力，同时也会导致科研过程中的急功近利现象；如果考核周期过长，则又会降低评估的时效性，无法及时发现学科发展中的问题并予以纠正或是发现优势予以推进；而如果针对不同学科类别设定不同的评估周期，其学科间的可比性又无法保证。因此，综合考虑各学科特点，恰当地选择较为合理和统一的评估周期是完成科研评估的重要任务之一。

2.2 评估数据的来源选择

在以往进行科研评估时，除院系提交的成果数据外，通常会选择统一的数据来源对全学科进行分析，例如WOS、ESI数据等。然而，对于不同学科而言，其科研成果的发表形式以及学科内刊物整体被数据库收录的情况并不相同，因而这种综合的数据来源虽然可以保证各学科间的公平对比，但对于一些英文发文量小或是相应期刊被综合型参考数据库收录量小的学科，则存在着数据量小、区分度低等问题。所以对于这些学科还应增加更符合其特点的数据来源，从而既保证各学科间的统一评估标准，也可以在本学科内进行更准确的纵向和横向对比评估。

2.3 交叉学科的评估

随着各学科的逐步发展，学科间的相互交融现象不仅越发频繁，同时也变得越发重要，因为学科交融通常意味着新的科研增长点的诞生。而现有的评估指标体系中，对于学科间的交融和交叉学科发展的重视程度还远远不够。如何更为有效地对学科间交融情况、对学校交叉学科发展态势进行分析，将成为推进科研评价进一步完善所要解决的重要问题之一。

2.4 定量与定性的结合

客观而全面地评价高等学校的科研实力，是一个需要严肃对待的科学问题。通过数据库数据和文献计量方法可以在一定程度上保证评估的客观性，但在数据来源的完备性和数据统计结果的解读方面还有着一定的不足。科学、合理的科研评估离不开客观的定量分析与各学科领域专家的定性分析之间的有效结合，需要多方面的共同配合才可能完成。

2.5 评估结果的实际作用

基于数据的文献计量分析是对过往事实的总结和评价，然而这只是进行科研评估的目的之一，更重要的是如何通过对数据的统计和分析，为今后学科的发展和布局提供有效的信息。然而很多学校虽然都在不断进行科研评估，但是每次评估工作仅限于总结为止。如何将科研评估与科研管理关联起来，使报告中发现的问题和分析出的建议真正得到重视，切实对学校统筹学科结构、优化学科布局起到参考作用，也是目前科研评估面临的困难之一。

3 科研评估方案设计思路

3.1 数据来源的选择

对于如何实现基于文献计量的高校院系层面科研评估，一般来说有两种思路：

1）以高校院系提交的科研成果列表为来源数据

即通过院系提交的科研成果数据为基础，对其科研产出情况进行统计分析。其优势在于可以涵盖各类型的科研成果，且出现明显错误的几率较小。其缺点在于：

·由于各院系提交情况相对复杂，无法保证整体数据的完整性；

·因原始数据均由个人提交，因此数据格式和重要字段的完整性无法保证；

·由于提交有一定的时间跨度，成果数据的时间范围无法准确界定。

2）选择具有一定评判性的权威数据库抓取原始数据

通过制定检索式，在较为权威的大型数据库中检索和抓取出学校整体数据，并在此基础上进行统计分析。其优势在于数据信息较为完整、数据时间范围较易掌控、数据具有更好的横向可比性等。而其缺点在于：

·科研成果形式受到限定（如只包含期刊论文、会议论文等）；

·较易出现漏检、错误记录等情况；

·数据需要进行院系归并，其工作量较大。

因而，选择数据来源时可以两种方法相结合，以其中一种方式为主，并用另一种方式加以完善和补充。同时，考虑到学科的差异，尤其是人文社科方面的论文发表习惯，建议对于人文社科方面增加中文数据库的数据作为补充。

3.2 评估体系的构建endprint

首先，基于科研评估的主要目标之一是客观评价学校内各学科的科研情况和发展态势，应对各学科构建一个较为统一的评价体系，这样才能保证评估在各学科间具有一定的横向可比性。其次，评估应包含学校整体、学科（或院系）、人员等多种层次，以便能够了解学校从宏观到微观的科研发展态势。其三，除学校内的评估比较外，还应收集国内外知名高校的相应数据并进行比较，以更为准确地了解自身的优势与劣势。其四，对于人文社科方面的学科，应增加专门的评估数据和评价指标，以适应其科研产出特点。最后，还应加强对交叉学科和学科交融情况方面的重视，制定专门的指标来对学校在此方面的科研发展态势进行评估。

3.3 评估流程的制定

科研评估涉及大量的数据收集与统一分析工作，如果没有一个清晰明确的工作流程与分工审核机制，将很难保证数据的准确性和统计工作的顺利进行。因此，应从数据来源选取、数据导出格式规范、数据汇总整理、数据清理、数据聚类统计、统计结果分析等科研评估的各个阶段出发，根据实际情况制定相应的流程机制。

4 评估方案的实施与结果分析

北京大学图书馆2011年受学校科研管理部门委托，基于文献计量方法进行了北京大学科研竞争力评估。本次评估从实际需要出发，针对学校亟待解决的学科规划布局问题，较为系统地对北京大学10余年来（2000-2011年）的整体及各学科科研实力进行了分析。

1）数据来源的选择

由于此次评估的年限范围较广，所以选择以权威数据库中检索导出的数据为主要数据来源，包括WOS数据库里的SCI、SSCI、A&HCI数据库、ESI数据库、JCR期刊引证报告、Nature、Science的部分数据。同时，对于人文社科方面的学科，还以中国社会科学引文数据库（CSSCI），中国期刊网（CNKl）中的数据作为补充。

2）数据的收集与清理工作

经过多次试检和调整，此次评估共从WOS数据库中检索到2.5万余篇北京大学从2000年到2011年的论文、从CSSCI中检索到1.9万余篇、从CNKI中检索到2.3万余篇、从ESI中提取近300篇文章。随后，根据记录中的作者地址字段，对数据进行了进一步的识别和清理工作，剔除非北京大学的文献记录。同时，也检索收集了国内外知名高校的相关数据以作评估比较之用。

3）评估内容与体系

本次评估兼顾了学校、学科（院系）、人员三个层面的分析，既涉及宏观层面的北京大学逐年科研产出与影响力趋势分析以及与国内外知名高校的对比分析，也包含了各个学科的科研发展态势和影响力情况，同时也从微观层面对具体人员的科研实力进行了评估。此外，还着重对人文社科领域的学科进行了针对性的评估，考虑其论文发表特点，综合了中外文数据库中的数据进行分析。而对于科研合作情况的分析，也是本次评估的重要组成部分，其中不仅涉及北京大学的国际间科研合作情况，也通过院系间合作情况的统计，分析了学科间交融的情况。

最终的评估体系构建如下表1。

4）评估结果分析

此次评估通过对数据的统计分析，客观评价了北京大学近十年的整体科研产出情况及发展趋势，并通过横向对比，给出了北京大学科研实力在国内外所处的位置及与国际知名高校间的差距所在。此外，通过学科、院系和人员层面的统计，识别出学校的优势学科和表现突出的院系及科研人员，并对交叉学科院系的科研发展情况进行了重点评估，为学校进一步制定学科发展策略提供参考。同时，评估也分析了北京大学的国际科研合作变化趋势与重点合作国家、各院系间的合作情况以及合作较为紧密的院系群体，从另一侧面反映出学校的学科交融情况。

5 总结与思考

通过此次北京大学科研竞争力评估的尝试，北京大学图书馆针对当时科研评估中存在的问题和实际需求进行了一定的改进和探索，为学校的科研管理部门制定学科发展规划和布局提供了急需的客观数据参考。不过，对人文社科学科和交叉学科的评估还只是初步的尝试，有待进一步总结和改进。此外，评估也总结出不少需要思考和完善的地方：

1）署名地址规范的重要性

权威的数据库是获取原始数据重要的来源之一。在实际的数据获取过程中，我们常通过作者地址字段对论文进行识别，而在数据库的数据中存在着相当数量的作者地址字段不规范问题，如机构名拼写错误、机构英文名未使用通用翻译、邮编错误、滥用简写、过于简略缺少必要信息等。这些问题有些是由于作者自身不够谨慎，有些是因为学校和院系没有统一明确的署名格式，还有些是综合的因素造成的（如国家重点实验室的署名问题）。因此，建议学校和院系都应规范自身的署名地址规则，并加强对机构内人员的相关培训。

2）数据的局限性

评估所用数据大部分均为学术论文方面的信息，包括期刊论文、会议论文等，对于其他科研成果形式，如专著、专利、调研报告等则基本没有涉及。然而对于部分学科领域，这些形式的科研成果同样具有重要的意义，如专著、学位论文对于人文社科的评估来说就较为重要。因此，如果想要更为全面地评估相应学科的科研产出和影响力，则应在评估中与科研管理部门的统计数据相结合，补充其他形式科研成果的信息。

3）国内外的学科间映射

无论是学科还是院系，国内外高校在其定义和结构建设上都有些许的差别，目前的学科对应关系还处于比较粗糙的阶段。如何能够在国内外学科间建立更为精准的映射，将成为加强科研评估的准确性和说服力、增强校际间横向可比性的重要因素之一。

4）深入内容层面的评估与分析

现有评估方法对于科研态势的揭示主要还是基于文献数量的统计层面，而未能深入到对文献内容的统计与分析。前者对于科研管理者而言固然非常重要，因为高校的科研管理者可以通过文献数量上的变化趋势和对比分析，从宏观层面了解各学科科研发展的大致情况，从而有助于下一步学科布局与规划的制定；然而对于教师和科研人员而言，他们更希望得到的则是基于文献内容的统计分析（比如关键词统计等），以从大量内容文本的信息统计中探寻出学科的某些发展规律和内在联系，从而为其科研工作提供参考和思路。

因此，目前基于文献计量的高校科研评估还存在诸多需要完善和改进的地方，只有通过不断地尝试，总结经验和问题，思考完善方案，科研评估才会越来越贴近学校科研管理者和科研人员的需求，其准确性、客观性、全面性、认可程度等才会进一步提高，最终使科研评估成为科研管理者和科研人员不可或缺的参考信息，为高校的学科发展起到重要作用。endprint