超学科研究评价：理论与方法

文/蒋颖

（作者单位系中国社会科学评价研究院；摘自《国外社会科学》2021年第4期）

人类知识体系的发展从早期的综合积累开始，经过逐步深入和分化，形成专业化的学科及学科体系；在不断向纵深发展的同时，也从横向进行学科之间的交叉融合，形成交叉学科。随着社会的不断发展，出现了很多复杂问题，如可持续发展、环境问题、气候变化、传染病控制与医疗健康等，不但涉及多个学科的内容，同时还需要政府、社会的共同努力。由此在交叉学科研究的基础上进一步产生了超学科研究（transdisciplinary research）。关注现实世界的问题并促进其改变，是超学科研究的目标。各国政府为此投入巨大，同时也迫切需要对超学科研究进行合理评价，以决定资助、总结问题、检查效果并最终促进社会的发展变化。随着学科和领域之间的界限被跨越，以及更多地涉及复杂系统中的利益相关者，传统的学科评价标准无法直接用于评价超学科研究，需要针对超学科研究的特点制定相应的评价准则，选取合适的评价方法。

超学科研究的概念

超学科研究有以下几方面主要特征：（1）由涉及多个学科和领域的复杂问题所驱动，目的是解决现实世界的问题；（2）涉及科学与社会等不同领域的合作；（3）研究者之间、研究者与利益相关者之间的知识整合是超学科研究的关键。扬等给出的超学科定义能够更加清晰、具体地揭示超学科研究的特点：超学科是将社会问题与科学问题联系起来的一种批判性的、自我反思的研究方法；通过整合不同的科学见解和超越科学的见解而产生新知识；目的是为社会和科学进步做出贡献；整合是一种认知操作，即在构成给定问题情境的不同认知实体、社会组织实体和交际实体之间建立一种新颖的、迄今为止不存在的联系。

超学科研究与交叉学科、跨学科、多学科研究等几个术语关系密切。交叉学科（interdisciplinary research）是超越一个已知学科的边界而进行的涉及两门或两门以上学科的实践活动。交叉学科与超学科研究的共同点在于它们都是问题驱动，也都存在知识整合特征。超学科研究是交叉学科的进一步拓展，它要求专业研究者和利益相关者的共同参与，其本质是科学与社会的结合，超越了学术共同体的范畴，代表着一种更高等级的学科交叉形式。多学科研究（multidisciplinary research）指不同学科对一个问题从各自学科角度分别进行独立研究，多学科研究过程中不发生学科的交叉。在中文语境下，“跨学科”也是常用的名词，其含义与“交叉学科”相同或相近，对应的英文也有“cross-discipline”“interdiscipline”等多种形式。

从知识整合程度来看，多学科、交叉学科和超学科研究，可以描述为一个连续统一体，反映了三类学科整合程度，即可加性、交互性和迭代性。为了更好地认识和区分三类学科，杜格尔等建立了研究情境—机制—结果模型来评价某项具体研究的跨学科性，即该研究是属于多学科、交叉学科还是超学科研究。

超学科研究的评价框架

多位学者从不同角度提出了多个评价框架，其中较为全面的是克莱因总结的交叉学科与超学科研究评价的七项一般原则，即：（1）目标的多样性；（2）标准和指标的多样性；（3）整合的杠杆作用；（4）协作中社会和认知因素的相互作用；（5）管理与辅导；（6）在一个全面和透明系统中的迭代；（7）有效性和影响力。

该框架概括了交叉学科和超学科研究评价的主要因素。原则1和2考察目标及相关指标的完成情况。原则3指出知识整合是交叉学科和超学科研究评价的关键，通过对研究过程的形成性评价来检查交叉学科和超学科研究的整合程度。原则4充分认识和评价交叉学科和超学科研究过程中研究者之间的社会和认知因素的互动，以及超学科研究中与利益相关者的相互学习和共同活动，以完成知识整合任务。原则5则涉及对超学科研究领导者能力的评价，主要考察其能否很好地促进交流，在多大程度上促进知识整合，能否确保研究团队成员之间进行建设性和富有成效的互动，推动合作者实现研究目标。原则6意味着评价不是一次性的，需要在进行过程中多次反复，要求评价者的深度参与，并与被评价者充分沟通。与此同时，评价者和参与者最好从研究项目一开始就清楚地了解评价标准，做到公开透明，有时参与者也可以介入评价标准的制定工作。原则7要求对有效性和影响力进行评价。

克莱因的七项原则给出了一个理想状态下综合评估的全面框架，得到较为广泛的认可。后续多数研究的评价范围大致都在这个框架内，对其进行细化。很多学者针对不同研究领域提出了超学科研究的领域评价框架，可以为评价实践提供更加有针对性的指导。

对知识整合的评价

交叉学科和超学科研究共同的本质特征是两个或多个不同学科领域的知识整合。知识整合是对特定知识体的组合，以形成一个系统的视图，并理解不同概念在特定情境中如何相互关联和作用。因此，知识整合是要建立一个共同的框架来理解他人的知识和自己的知识之间的联系。

与交叉学科不同的是，超学科研究不仅与多个学科的研究者有关，同时还涉及多方面的利益相关者。所谓利益相关者，是指在超学科研究中，涉及的政府、行业、公众、非政府组织等角色，其以自己的方式影响研究过程和研究结果。在这样的情境下，超学科研究过程就是通过各方参与者的相互交流和学习，不断整合来自各方的知识，努力达到知识整合并最终形成共识的过程。研究者之间、研究者与利益相关者之间的交流互动成为知识整合的关键。不同学科背景、不同角色的成员之间如何有效交流，达到知识整合的目的，决定着超学科研究的效果。因此，可以从知识的创造、转化和流动的情况来反映整合程度。

扬等对不同类型的整合进行了细致的区分，将知识的整合分为认知、社会组织和交流三个层次。当前的评价研究大多在认知和社会组织层面进行，交流层面的相对较少。

在整合的认知层面，贝克尔将超学科研究整合中涉及的知识分为三种类型：理解问题所涉及的知识可称为系统知识，确定决策的可能性和边界所需的知识为目标知识，实现这些决策的方式方法的知识是转化知识。在此基础上，扬等建立了超学科概念模型，将理想的超学科研究过程划分为问题转换、新知识产生、评估三个阶段，并根据对知识和价值的一致性程度进行分析。该模型清晰地描述了知识流动、转变和整合过程，以及研究者与利益相关者在不同阶段的参与程度和每个阶段的重点任务，使得评价内容和评价重点更为清晰。

也可以从组织管理角度来评价互动与整合。如克莱因的评价框架中，原则5的主要目的就是考察项目管理如何有利于实现知识整合。另一种方式是通过事中评价过程中“内部和外部组织”指标来考察总体项目和子项目的内部组织结构是否有利于良好的合作。

通过多利益相关者治理可以提升对冲突或不同利益的包容度，从而促进集体行动，但有效性取决于其整合系统知识、转化知识和目标知识的能力。因此，需要全面评估多利益相关者治理中知识整合的能力。EVOLvINC是评价多利益相关者治理中知识整合能力的工具。该工具整合了克莱因和其他学者所建立的超学科研究评价框架中的要素，设计了23项指标。EVOLvINC能够对多利益相关者治理过程促进知识整合的能力进行结构化测量。

研究影响力的评价

研究影响通常被认为是研究过程或成果导致学术活动、经济和整个社会而产生的变化，通常可分为学术影响和非学术影响（社会影响）。

超学科研究的学术影响力指所产生的知识对本学科及其他学科的学术发展带来的变化程度。根据扬等的观点，超学科中涉及学术领域的相关内容属于交叉学科的范畴，因而超学科的学术影响力即相关交叉学科的学术影响力。其评价可结合交叉学科的特点并借鉴常规学科的评价方法。

非学术影响通常指研究对社会、经济、文化、政策等多方面的影响，经常被泛称为社会影响（广义）。狭义的社会影响是通过学术研究对政策或者人实现既定的社会目标方面产生改进或变化。本文采用广义的社会影响含义。

长期以来，社会影响力评价一直是研究评价的重要内容和难点。单一学科、交叉学科评价也涉及社会影响力评价，对于超学科研究而言，其面向社会的研究导向使得社会影响力在影响力评价中占有更大的比重。但是，社会影响到底包括哪些内容、如何衡量、怎样比较，这是一个难题。社会影响的效果具有滞后性，经常需要较长时间才能表现出来。同时，各种影响因素可能相互交织，很难直接归因于某项研究。因此到目前为止尚未建立起大家一致认可的社会影响力评价体系和评价方法。

但是这并不意味着研究的社会影响无法评价。合理的概念框架有助于更好地描述和理解研究的影响。目前已经建立起一些影响力评价的概念框架，从不同角度反映了非学术影响的程度。其中，得到较多认可的有三种。

（1）回报框架：将回报分为五个类别，即知识、研究收益、政策收益、医疗部门的收益，以及更广泛的经济收益，其中后三项属于社会影响。（2）经济价值评估框架：以各种方式表达研究带来的经济价值，包括成本节约、投资回报、货币化的收益等。这类评估可以给出定量的结果，但是很多影响的经济价值难以计算。（3）“生成性互动”框架：通过研究科学与社会之间的生成性互动来确定研究的社会影响。互动包括直接的个人接触、间接的相互作用和财务互动三个方面。

全流程评价的需求

传统的学术评价中，最常见的是事后的总结性评价和事前的预判性评价，但是事中评价相对较少。超学科评价更加关注研究过程，除了需要总结性评价和预判性评价之外，还需要形成性评价，即对研究过程的评价，特别是对大型、复杂的超学科研究项目的评价而言。

扬和基尔据此提出与政策相关的可持续研究领域的质量标准包括三个方面，即研究问题质量、研究过程质量和研究结果质量，并制定了各类参与者（资金资助方、科研人员和决策者）在事前、事中和事后等不同阶段的质量评价指南。韦沃德等认为，进行嵌入式形成性评价可以近距离接触研究者，并更好地理解复杂的内外部环境以及它们如何对项目产生影响。这有益于对超学科项目的社会影响进行有意义的评估，并将其归因于特定的过程要素。德菲拉等在瑞士国家科学基金会支持下提出了超学科研究评价的事前、事中和事后评价标准。

超学科研究过程评价的重点集中于对整合的评价。如迪亚科沃等针对社会性农业领域超学科研究过程进行评估，目的是了解超学科研究过程是否产生了“新的和共享的”知识。非学术影响的评价也可以通过研究过程评价来进行。如“生成性互动”评价框架，就是以描述研究期间团队的有效互动为基础来评价研究的影响力。

超学科研究的目标是促进相关情况的变化或改进，因此更追求“结果”而不是“成果”。米切尔等分析了超学科研究结果的主要构成，区分并阐述了超学科研究成果空间的三个关键领域，即研究环境、知识和学习。

鉴于超学科研究评价有全流程的评价需求，因此在项目开始阶段就需要明确评价标准，这也是克莱因七原则中的透明性要求。

评价方法的多样性

超学科研究的复杂性使得其评价方法也呈多样性。从目前的研究和实践来看，以文献计量指标为代表的定量评价方法遇到了较多的困难，而对多种定性评价方法的使用更为普遍。常用方法包括：同行评议、问卷调查、案例研究、参与式评估和实地考察等。与此同时，超学科研究评价也强调研究者的自我评价和自我反思。

同行评议作为最重要的评审方式，面对尚未建立起学术共同体的新兴领域存在缺乏“小同行”的问题。为此，需要合理配置评审专家组的学科结构，增加学科多样性，同时，评审者需要不断学习，增强超学科评审能力。提高评审者能力的一种方法是让评审者深度参与到项目过程中，通过加强交流和学习来提升对超学科研究的把握和评审能力。韦沃德等提出采用嵌入式形成性评估的综合方法以提高过程评估的质量。

问卷调查是超学科评价中经常使用的方法。问卷法的优点是可以厘清项目建设、评价与检查的思路，可与同行评议相结合，使用起来灵活方便。同时，问卷既可用于评价者，也可用于项目参与者的对照检查和自我评估。很多评价框架所采用的都是结构化或半结构化问卷的方式。

案例研究是一种定性的、描述性的评价方法，提供关于某一特定主题或背景的详细信息，适用于对特定情况的详细了解，能够比其他方法更好地处理异质性和非常规行为或情况，可以用来说明有效的实践。

有些评估方案利用了参与式评估方法。如果条件允许，也可以采取实地考察方法，以便进行深入交流和了解。

未来发展及对中国的启示

经过五十年的发展，超学科研究取得了较大的进步，相关的评价理论和评价实践也逐步深化。但是由于超学科研究的复杂性和独特性，其评价远远超出了传统学术评价的范围，比交叉学科评价的挑战更多、难度更大。鉴于对超学科研究的巨大现实需求，学术界和管理部门对超学科研究的关注会越来越强烈，超学科研究评价也会随着超学科研究的热潮而不断发展：通过对整合及整合过程的深入研究，推进和完善超学科研究评价理论构建；加强评价实践，构建领域评价指南，降低评价成本；在评价方法方面，开发更多适用的非学术影响力评价方法，探索定量数据的挖掘和使用的可能性。

目前，我国面临的很多重大问题都属于超学科研究范畴，例如新冠疫情防控、碳排放碳中和、人口与生育政策等。深刻理解和把握超学科研究的过程与规律，将超学科评价作为超学科研究的促进者和培育者，对更加科学有效地解决实际问题将大有裨益。然而超学科研究在我国尚未得到足够关注，更缺乏在学科认知基础上的科学评价。因此，第一，要明确基本概念，对超学科研究的内涵进行清晰界定。第二，加强对超学科的理论研究和认知，在面对复杂问题时具有超学科意识，充分运用超学科研究方法更好地解决实际问题。第三，完善学科体系建设，在交叉学科建设基础上，逐步区分面向学术的交叉学科和跨领域的面向复杂问题的超学科研究。第四，逐步建立超学科研究的资助机制，打破自然科学和社会科学之间的壁垒，为学术界与非学术界之间的合作架设更多桥梁。第五，逐步开展超学科研究的评价实践，在广泛了解国外研究的同时，更要在实践中总结和提炼适合我国国情的科学有效的评价方法，用评价去促进和培育更好的超学科研究实践，最终达到促进社会发展的目的。