数字时代人文社会科学的正确评价导向——以数字学术成果的评价问题为中心*

曾 文

0 引言

2020年2月，教育部、科技部发布《关于规范高等学校SCI论文相关指标使用 树立正确评价导向的若干意见》(下称《意见》)，以“破除论文‘SCI至上’，探索建立科学的评价体系，营造高校良好创新环境，加快提升教育治理体系和治理能力现代化水平”[1]，作为清理“四唯”背景下的后续政策之一，为我国学术界通往正确的评价导向提供了重要指引。尽管“SCI至上”的风气主要弥漫于自然科学领域，但“相关指标片面、过度、扭曲使用”“以刊评文”“考核奖励功利化”等问题在人文社会科学领域同样存在。以期刊和论文为单一评价依据，易导致“牺牲质量追求数量”的现象出现，同时使一大批不以传统论文为成果产出表达形式的研究贡献得不到公平、合理的评价，多元化学术评价机制的缺乏容易弱化甚至丧失其对人才创新活力与潜力的激发作用。

数字人文作为一个逐渐崛起的交叉领域，具有区别于传统学科的研究特征，其最典型的特征为开放、协作与多元[2]，体现为：数字工具被频繁地运用在人文学者开展研究的多个阶段，开放数据库、开放软件、开放发表在数字人文领域中越来越常见；一个数字人文项目团队中可能包含人文学者、图书馆员、程序员、网页设计师等各类成员，他们在其中各展所长，人文学者不仅是工具的利用者，也常常成为工具开发团队的一员[3]。无论如何，人文学者的研究视角、方法和成果展现形式正在数字化转型中得到扩展与深化[4]。然而，这些特征也为学者们的人才考核、职称评定等带来了困难：数字期刊、数据库、网站、博客等新媒体产出能否与传统的印刷论文一样算作学术成果？如何计算跨学科的数字人文团队合作中各类参与人员的贡献？人文学者可能随时面临学术贡献不被承认的风险。很显然，新出现的数字学术评价问题亟待讨论和解决。

许多学术团体和高校已经认识到数字学术评价的重要性，他们呼吁扩展人文学科的传统学术定义、承认数字学术研究与成果，希望通过这些方式改善现状[5]。美国学院艺术协会(College Art Association，CAA)和美国英语教师协会(National Council of Teachers of English，NCTE)在20世纪末已经制定相关文本指导招聘和评价部门及教职员工开展数字人文领域的评价工作。进入21 世纪后，美国现代语言协会(Modern Language Association，MLA)、美国历史与计算机协会(American Association for History and Computing，AAHC)、美国历史协会(American Historical Association，AHA)和美国建筑史学家学会(Society of Architectural Historians，SAH)等人文协会相继针对数字学术工作制定评价指南，指导相关部门在日新月异的数字环境中更加开放和包容地评判人文学者的贡献，同时，为人文学者的招聘、考核与晋升提供建议。近20多年来，评价指南的相继发布体现了数字学术成果评价日益受到重视，本研究将围绕这些文本展开，通过回顾文本的内容，理清欧美评价评估体系的发展脉络以及其中的关键点，进而为我国数字学术成果评价机制的建立或进一步讨论提供思路。

1 数字学术评价研究现状

近10年关于学术评价的讨论不绝于耳，多在反思评价为行政权力部门服务的行政主导制度[6]、将学术评价等同于期刊评价的以刊评文方式和一味追求文章数量的过度量化风气[7]。而当将学术评价置于数字环境下时，首先映入眼帘的也是期刊和论文评价问题。现有研究探讨数字出版时代期刊评价的更多可能性，如通过定性与定量相结合、因学科制宜的方式建立其评价体系[8]，将公众纳入评价主体、对学术评价进行评价的元评价[9]。而在论文评价上，鉴于互联网的交互特点，有学者提出增加读者评价的互动机制，尊重信息的规律和读者作为受众的主体地位[10]，使评价更客观、合理，评价体系更完善，同时提升学术交流活跃度[11]，这类似于开放同行评议中的开放参与评审模式。这些研究提出更加灵活和开放的评价方式，但本质上没有跳出以期刊和论文为评价对象的框架。对更多样化成果的评价，亦有相关研究，包括对数字人文项目或数字人文服务质量的考察。比如，对美国佛罗里达大学数字人文工作组的评估战略的考察发现，图书馆应明确数字人文服务评估范畴、建立多维度的数字人文评估体系、构建数字人文服务最佳模型，对数字人文中心服务过程和绩效的评估，可以围绕数字资源的可获取性、服务影响、数字学术环境、用户个人控制、馆员感知等方面展开[12]；考虑到在线文档与传统物理文献的不同，为人文学者构建Web文档的质量评价框架，包括可信度、客观性和基本学术质量3个维度[13]。但需要注意的是，这些针对项目和研究本身的价值认定对于人文学者的“实在”作用还有待证实。

在2011-2012年间，曾有两次围绕数字学术评价议题的论文专栏。

一是MLA 杂志《专业》(Profession)2011年举办的数字学术评价专栏，该专栏包括6篇文章，深入讨论了数字学术评价的具体话题[14]。Anderson和McPherson一方面肯定了学院和大学相关部门、国家和国际组织制定评价指导方针的意义，进一步提出对现有指南进行评价也是必要的；另一方面也认为具有实验性质的新生成果形式也应当得到尊重，研究过程也需要被理解[15]。Fitzpatrick以个人经验讲述了数字学术成果在进行同行评议时受到的挑战，包括数字阅读材料过多、公开出版受到社会评论的影响等问题，同时坚持学术评价工作应当交由领域专家[16]。Nowviskie讨论了数字学术协作的评价问题[17]。

二是《数字人文杂志》(Journal of Digital Humanities)2012年秋季第1卷第4期刊登了一系列关于数字学术评价的文章，涉及议题包括对数字学术评价提出的政策建议、实践建议、评价案例，并提供了现有的评价指南入口，旨在为数字学术评价的交流与讨论提供一个展示平台[18]。学者们清楚地认识到传统的学术研究方式对人文学科发展的限制，以及数字技术为人文学科研究带来的创新与机遇，但同时，他们也感受到当前学术环境对数字学术并不友好。一方面，研究者呼吁重新定义学术研究、重新思考协作与开放获取、修改过时的同行评议模式，为人文学者提供更广阔的研究视野、更放松的研究环境和更公平的评价标准[19-20]；另一方面，许多富有可行性与实践性的建议也被提出。Presner、Rockwell和Mandell对人文学者在招聘、晋升和终身任职中的考察提出了评价标准，其内容涉及项目成果展示方式、项目教学和服务作用、团队分工与协作、同行评议、对领域和公众的影响、学术研究价值、可持续发展性等方面[21-23]。Smithies构建了包含6个类别的数字人文输出成果评价框架，依据人文学者的技术参与度、创新贡献和项目的社会评价划分类别，对学者进行评价[24]。

国内学界近期也对相关议题进行了探索。2020年9月12日，南京大学高研院数字人文创研中心主办、南京大学数字史学研究中心和南京大学数字人文与超媒体GIS工作室协办“数字人文的学术评价体系——定义与规范构建”会议，来自人文学界、图情学界等不同领域的专家在会上直击多个要点：(1)评价体系构建。是否应当构建独立的数字人文学术评价体系？现有的学术评价标准不能很好地适用于数字人文学术评价，但数字人文理论体系和领域边界尚存在诸多不清晰、不充分之处，要确立一套专门针对数字人文的评价规则可能为时尚早，可以肯定的是，相关的讨论有其积极意义。(2)评价主体。谁有资格评价？学术共同体能否建立及有所作为？就目前来看，同行评议是较为适合的评价方式，但数字人文的跨学科特性和诸多不确定性也使评价机构面临挑战，现有评价机构可能缺乏评价能力。(3)评价对象。评价应当针对数字人文研究、项目还是研究者？项目是需要高度关注的对象，但对于其他难以明确界定价值的成果和研究者的工作，也应当给予承认。(4)如何评价。如何判定多样化的成果形态的价值？团队合作项目中如何计算成员贡献？如前所述，对于多种非传统形态的学术活动和成果评价标准，还需要进一步讨论，但应当存着包容心态；团队合作成果划分亦是一大难题，但事先明确分工、署名等规则必不可少[25]。

总体而言，人文学科领域的数字学术评价已经受到了关注，许多学者为其建言献策，这些声音一部分为相关组织所注意，最终得以在人文协会的评价指南中体现，另一部分使该领域的研究有所积累。从这些研究中可以明显地发现：其一，国内对于数字学术评价的关注尚处于初始阶段，国外的研究时间更长、范围更广，且较为关注人文学者在数字学术环境下的遭遇；其二，虽然上述指南文本被多次关注提及，但尚未发现对其的回顾与梳理，这些文本发布多年，经过协会间的交流和文本修订，在许多方面已达成共识，对其进行拆解与分析将有利于数字学术评价问题的逐步明朗。

2 重要评价指南文本介绍

许多人文院系和专业组织都会制定和发布人文学科教职员工的考核和晋升指南，在研究、教学和服务3 个方面为评价者和被评价者提供指导。随着学术环境的变化，指南也会不断更新，数字人文的兴起使部分指南会在新修版本中与时俱进地增加对数字成果的评价建议，与此同时，也有部分组织专门制定了数字环境下的员工考核和学术评价指南。本研究采用网络调查法对国际重要人文组织和人文院系制定的政策文件进行搜集，经过对文本的阅读、整理和筛选，最后纳入本研究的文本共6份，均为人文协会制定的数字学术评价指南，用于指导教学、科研部门及人文学者的数字学术评价工作，以促进相关人员招聘和晋升工作的顺利开展。文本的基本信息见表1。

表1 重要评价指南文本

《新媒体艺术教学标准与指南》最初由从事新媒体工作的成员提交给CAA，1995年10月21日由CAA理事会一致通过，2007年10月28日修订。该文件“作为一套指导方针提出，以协助解决新媒体艺术领域教职员工的招聘、晋升、终身任职、工作量、薪酬、资金和支持问题，同时提供该领域教职员工的相关信息，以便相关部门做出准确和全面评价”。指南的面向对象主要为评价部门和机构，从新媒体艺术领域教职员工日常开展的学术研究、教学和服务3个方面阐述评价注意事项，最后提出建议[26]。其再三强调相关机构要考虑新技术的应用给教师所增加的工作量。

《大学写作与交流会议技术工作的晋升和终身任职指南》于1998年11月编写，2015年11月更新，其修订参考MLA 和AAHC 相关指南。指南提出，数字环境下，教师需要熟悉在线课程管理系统、网站开发与维护等繁杂的工作，数字媒体已深深嵌入每一位教职员工的研究、教学和服务之中，因此，指南旨在为招聘和评价委员会以及应征者提供指导。指南首先对数字媒体工作的性质作出声明与解释，如“数字媒体工作非常耗时”“使用技术的工作通常需要协作”等，接着分别对评价委员会和教职员工提出评价建议，内容分为研究、教学和服务3个方面[27]。该文本同样提到了许多教师使用数字媒体开展工作的细节，内容具有针对性。

《数字人文与数字媒体工作评价指南》的最初版本于2000年5月在理事会议上通过，2012年1月信息技术委员会(Committee on Information Technology，CIT)对其进行了修订，新版指南在MLA执行委员会2012年2月的会议上通过。指南包括评价委员会指南和教职员工指南，均明确描述了相应职责，强调“技术变革的步伐使任何一套指南都无法完全说明数字媒体和数字人文科学对文学和现代语言教学的影响方式。尽管如此，总的原则仍然成立：数字人文学者所在机构在对其连任、终身任职和晋升进行评价审查时必须充分考虑其工作贡献而无论形式”[28]。该文件在发布后引起了学界和业界的注意，被许多人文组织和学者作为指南制定和研究的参考，自该文件开始，人文协会制定的评价指南核心内容逐渐由个性化走向规范化。

利率市场化赋予商业银行自主定价权，加剧了市场竞争，提高了利率风险。利率定价关乎商业银行应对风险的能力，以及巩固甚至提升市场地位的水平，所以是至关重要的。有效预见未来利率趋势，精确计算利率定价，提出或确定方案不仅需要大量数据，建立数据库，还需要高素质的专业人才对数据进行筛选分析，构建模型。在风险控管方面，除了要牢牢把握市场动向，还要善于把控贷款业务风险，通过投资转移、分散风险，加强商业银行内部的管理。商业银行内部管理，往往能决定该行能否稳健经营。如何保持经营环境良好、工作人员廉洁、决策执行高效也是商业银行长期要面临的问题。

《数字媒体活动中的终身任职、考核和晋升评价建议指南：AAHC 文件》制定于2002 年1月，由AAHC根据MLA指南改编而成，其主体部分内容与MLA指南大同小异，同样分为评价委员会指南和教职员工指南两部分。值得注意的是，该文件对其制定背景进行了深刻阐述，文件提到，2000年春季学期，AAHC调查了650多个历史院系和组织有关技术工作的终身任职、考核和晋升政策情况，结果显示很少有部门制定正式政策承认数字技术在研究、教学和服务方面的作用，这对历史学者开展数字学术、发表数字成果产生了消极影响。基于此，人文院系和相关组织都应依据自身情况制定书面指导方针，以便给予从事数字媒体研究和教学的教职员工公平的评价与奖励[29]。

《历史学者数字学术专业评价指南》制定于2015年，与前几份指南相比，其出现的时间较晚，数字人文方兴未艾，因此，它强调历史学者使用数字工具进行学术研究的潮流无法阻挡，拒绝承认或无法正确评价数字学术成果的价值都会阻碍学者的创新与交流，相关评价机构亟需加深对数字技术的了解。指南从评价委员会和教职员工的角度提出开展评价时需要考虑的问题，接着提供建议，最后指南还阐述了AHA在这其中所扮演的角色，强调AHA一直关注数字技术的发展，并已建立具有数字学术经验的历史学者专门工作组，同时在其杂志上增加数字学术内容，以提供支持[30]。

《艺术与建筑史数字学术评价指南》由安德鲁·W·梅隆基金会资助成立的评价指南工作组于2016 年1 月制定发布，该工作组成员来自CAA&SAH，在15个月内对数字学术评价的实践、话题进行调研，最终形成文档。该指南的目的是帮助评价委员会、学术部门和人文学者评价数字学术成果，其篇幅约为其他指南的两倍，较为全面、细致地介绍了评价的定义和标准，出版和评价的形式，数字学术中的协作，管理、保存和访问等问题，并提供相关指南、报告和论文的参考资源清单[31]。虽然内容较多，但该指南相对完整、清晰的框架使其内容明确且易于扩展。

以上文本来自人文领域不同学科的专业组织，最初文本与最新文本发布时间跨越20 年，各份指南的关注重点和指导方式存在着差异，但彼此之间经过交流与参考，在总体方向把握和具体的评价建议上有不少已经达成共识，部分指南已经成为界内的示范性文本，如北卡罗来纳州立大学英语系[32]、内布拉斯加大学林肯分校人文学科数字研究中心[33]公布的评价建议均参考了MLA、AHA和CCA&SAH的评价指南。

3 评价要素与关键

3.1 评价内容与范围

明确数字学术的评价内容和范围是公平评价的基本前提。尽管该部分内容仅在CAA&SAH指南中专门提到，但其表达的理念和原则在每一份指南的话语中均有体现，需要明确的内容包括：

(1)数字技术的应用和成果的表达有多种形式，均应纳入数字学术评价的范围内。其一，利用已有的数字工具解决人文学科的研究问题、开发数字人文研究工具、结合数字与人文方法的实验研究三者都属于数字技术的应用，其中数字技术的贡献各有不同，需要人文学者来阐明。其二，无论学术成果以何种数字形式表达，都应得到与传统印刷品同样公平的评价待遇。美国应用语言学学会(American Association of Applied Linguistics，AAAL)在其不断修订的《晋升和终身任职指南》(Promotion & Tenure Guidelines)中亦认为，对于在线期刊和传统期刊应当一视同仁，但当中也提到语料库、学术博客等其他在线成果不太可能纳入评价范围[34]。就我国目前情况看，网站、数据库、程序等学术成果形态仍未进入评价视野。

(2)研究过程、研究方法也应该成为学术和评价的一部分。“过程对于知识的创造可能是必不可少的”[35]，数字人文工作因多样技术的介入和跨学科合作而变得复杂，一项人文研究的开展可能有赖于多年的数据库构建，而这个复杂的构建过程本身就值得被评价。此外，使用数字技术开展学术研究常常会催生或者改进一种研究方法，与传统学术一样，研究方法的创新也应当被承认为学术贡献。

3.2 相关部门/机构职责

招聘或评价委员会直接决定着人文学者的“去留”和“升降”，其对于数字学术的理解和态度体现着整个人文部门和机构对数字学术的态度，影响着教师结构，以及院系未来的学术发展道路。评价委员会扮演的重要角色使得多份指南花费大篇幅强调公平、开放、包容评价的重要性：

(1)明确自身计划，传达工作职责。人文院系和机构在招聘人才之前，首先必须非常清楚自身在新兴数字环境中谋求怎样的发展，包括具体要吸纳哪方面的数字人文人才，在哪些主题领域开展研究，并将这些内容形成文本，纳入招聘与评价指南，进行具体说明；在招聘中，需要向候选人“明确提及此类工作，并应告知候选人与此工作相关的职责”[37]。一项针对历史学者数字人文接受意愿影响因素的研究表明，学者所处的社会学习环境、学习资源环境和社交环境会直接影响学者对数字人文的接受意愿[38]，因此，提前知会学者机构的现状以及机构对数字技术使用的期望和要求是十分有必要的。

(2)聘请合格的评价专家。根据数字人文的特性，评价委员会应覆盖数字技术专家、人文学者、具有数字学术研究经验的学者这三类人员。CAA&SAH指南特别指出：“评价委员会应至少包括一名熟悉数字技术的成员。”[39]但由于数字技术应用的多样性和数字人文的跨学科特性，单一机构很容易出现缺乏专业人士的情况，此时指南给出的建议是“寻求外部评审人员的帮助”[40]。相关部门/机构应当意识到，研究团队的跨学科性必须导致评价团队的跨学科性，否则就无法有效评价所有参与者的贡献。

(3)尊重数字媒介的特殊性。数字学术成果常常通过多种形式呈现，如数据库、视频、网站、程序等，评价委员会需要明确，“只要同行评议的过程严格且明确，学术出版物的格式就无关紧要”[41]，学术价值不应因成果的表达形式而改变。只通过印刷形式查看和考察其成果会在很大程度上无法体现原有成果的效果与价值，如部分成果需要使用动态效果展现历史演变过程、通过立体模型还原城市风貌等。评价委员会应尊重媒介的特殊性，“在产生作品的媒介中评价作品”[42]。当前的学术评价中，成果材料往往只能通过文字和图片的形式提交和展示，这限制了数字学术成果的呈现效果。多样化的成果形态无法被承认，学者又怎会愿意大费周章再去利用新技术？

(4)考虑数字学术的合作性。长期以来人文学者都热衷于独立研究，而并不习惯开展学术合作[43]，数字技术的出现打破了这种局面，数字学术通常具有跨学科性质。这对评价委员会提出的要求包括：第一，评价委员会需要意识到合作“需要建立与其他学科的联系，还要求助计算机领域的同事，因此会增加工作量”[44]；第二，要认真衡量每个学者的贡献，在评价时“具有更广阔的视野，不要被作者姓名顺序、身份所约束”[45]，过程编辑者与内容创作者一样需要得到公平的考核；第三，团队合作通常在寻找资金支持方面需要花费更多的时间和精力，这个过程也应当被关注。

3.3 对人文学者的要求

越来越多的历史、文学、艺术等人文学者感受到数字技术带来的视野扩展、方法创新和结果深化，但数字学术成果评价机制的不完善使他们在招聘和晋升中陷入困境。如何在评价中展现自我的学术价值、与评价委员会进行谈判是需要考虑的关键问题。指南为人文学者提出了相应建议：

(1)了解相关部门对数字学术的支持和自身职责。在招聘过程中，商讨工作条件时，人文学者应当重点关注三方面信息，以便未来的学术与职业道路规划和研究开展：第一，询问清楚该机构在终身任职、晋升考核中数字工作所占的分量；第二，确认自己能够得到的开展数字学术研究的硬件与软件支持；第三，清楚了解自身在研究、教学和服务中的工作职责，尤其是兼具行政和教职职责的学者，“必须对其工作的评估条件进行谈判”[46]，因为行政工作必然会分散教学和研究的精力，有可能影响学术成果的产出，因此，有必要明确不同类型工作的评价标准，以获得公平、合理的评价。

(2)阐明自身工作的性质、价值和复杂性，包括工作细节。在面对评价的整个过程中，人文学者都要十分清晰地解释自己的工作，这是最重要的一点。即使评价委员会做好了招聘和晋升数字人文学者的准备，并为此制定了相当详细的指导方针与计划，人文学者也不应该“假定评审已经熟悉某些技术”[47]。数字学术研究所涉及的工作有时候是评价委员会难以想象和理解的，许多工作量可能产生于传统学术研究与数字学术研究之间的过渡与转变。因此，在日常工作中人文学者需要记录其工作细节，清楚每个步骤的截止日期、最终成果和评价期望，在考核时清晰解释学术成果的复杂性以及自身的贡献程度，包括：其工作如何“重新定义了传统意义上的研究、教学和服务，或是扩展了其边界”[48]；数字学术工作开展的基本流程；工作中与用户、公众、同事、其他部门及学生建立的新协作关系。

(3)制定并说明数字学术成果的可持续发展计划。如果一个项目不为人所知，且无法长期保存和继续访问，在评审眼中它的价值就会大打折扣。当前许多学术研究成果都存在只为评价考核服务的问题，考核过后便荒废，既没有转化为领域内的实际贡献，也没有为后来研究者提供素材，因此，学者可以计划将成果面向公众开放，并且与本校图书馆合作，为成果制定保存和可持续发展计划，这是体现学者们数字学术成果长期价值的一种方式。在计划中，以成果的原生格式保存为最佳方式，若不能，则选取其他备选方案，但仍旧应当保证成果所含的知识内容能够展现且能被访问。

4 结语

人文学者在招聘、考核、晋升中面临的窘境已经伴随数字人文这一领域的兴起存在多年，学者和相关组织为此进行学术讨论、制定相关指南、寻找最佳实践，虽然目前这一问题尚未能得到解决，但这些努力对欧美高校人文学科的数字学术评价产生了影响。本文分析了重要人文协会制定的数字学术评价指南，提炼和归纳出不同角度、身份与角色在评价中的注意事项，指南并未提供标准化的评价框架与规范，更多的是一种列举式指引，一种定性考量，当中涉及了许多细枝末节，传递的更多是对各种形式数字学术成果认可的强调，以及对团队合作中不同类型学者的关怀，而无论其贡献大小。这对我国学界的启示在于，快速变化的学术环境中，单一、量化的评价体系已经不再适用，数字学术成果的评价应当更多从定性的角度出发，在认可数字工作的学术价值、了解数字技术的多样性和特殊性、尊重数字人文团队的跨学科合作性的基础上开展，正如《意见》所提到的，要“建立健全分类评价体系”“完善学术同行评价”，以创新水平、科学价值和实际贡献作为评价依据，突出创新精神和服务贡献、回归学术初心，这才是评价工作正确的引导方向[49]。