理工科优秀博士学位论文的“学术基因”是什么?
——基于Z大学近五年优秀博士学位论文评选数据的分析
2022-04-09李芳平李金龙
刘 杰,杨 洋,李芳平,李金龙
(中国科学技术大学 a.管理学院;b.研究生院,合肥 230026)
一、引言
2018年,中共中央办公厅、国务院办公厅印发《关于深化项目评审、人才评价、机构评估改革的意见》,要求人才评价上“克服唯论文、唯职称、唯学历、唯奖项倾向,推行代表作评价制度,注重标志性成果的质量、贡献、影响”;2020年,教育部、发改委、财政部发布的《关于加快新时代研究生教育改革发展的意见》要求“合理制定与学位授予相关的科研成果要求……推动建立优秀学位论文示范制度,鼓励培养单位和学术组织开展优秀学位论文评选”。如何在人才评价中充分体现注重标志性成果的质量、贡献和影响?学位授予中合理的科研成果要求到底是什么?优秀学位论文应具备何种要素且其如何才能发挥示范作用……这些问题已成为“破四唯”背景下高等院校深化教育评价改革和人才培养模式创新的瓶颈。
博士研究生教育是高端人才群体成长成才的关键阶段,其所产出的学位论文和其他学术成果一般是其在学术生涯早期所能形成的最高质量科研“代表作”。Hamilton等提出博士学位论文可反映博士科研训练成效[1],优秀博士学位论文被认为代表博士培养的优秀成果,优博论文作者被视为拔尖创新人才的杰出代表[2]。何谓优秀博士学位论文?何毓琦认为博士论文的首要评价要素为创新性,即其可以教会别人(包括导师)新内容[3];Gulbrandsen则从原创性、严谨性、学术贡献性和实际应用性四个维度来评价优秀博士学位论文[4];Bourke和Holbrook提出结果分析的有效性、研究贡献的实质性、文献综述的相关性与研究方法的合理性在博士论文质量评价中排在前列[5];Ronau等针对数学门类学位论文制定质量框架量表,考虑理学学科理论模型具有高重叠度特征,需强调理论框架支持度,包括如何指导选题、保证推理链连贯可行与有效解释研究成果[6];Hallinger提出除学位论文研究主体评分量表,还需考虑论文影响力及其对领域发展贡献[7];Hagen对构成博士学位论文核心部分的学术期刊发表成果数量进行细致统计[8]。《全国优秀博士学位论文评选办法》要求评选作品选题前沿且研究意义重要、理论方法创新且达到同类学科的国内领先或国际先进水平、文章撰写逻辑严密与表达准确、体现作者扎实宽广理论基础与系统深入专业知识[9]。
已有著述虽对优秀博士学位论文的评价维度作了讨论,但在优博论文评选具体实践中,究竟何者才是决定其是否优秀的关键因素?在理工学科具有良好人才培养成就和声誉的我国“双一流”高校Z大学于2017年颁布《Z大学优秀博士学位论文评选办法》,每年评选不超过30篇校级优秀博士学位论文,旨在激发博士生创新精神与提高其创造能力,形成校内博士生培养质量监督和激励机制。目前,Z大学的优博评选机制主要依赖多领域专家的学科积累与育人经验,采取专家组现场评审的主观方式,不能明确客观上优博获得与哪些具体的关键因素存在紧密联系。本研究依托Z大学历年优博学位论文样本,结合学位论文多指标评审情况及其相关学术成果发表数据,以定量研究方法遴选出优博学位论文在选题创新度、理论扎实度、成果贡献度、表达流程性等方面的关键因素,希冀以此发掘出理工科优博学位论文所应必带的优良“学术基因”。
二、研究设计
(一)样本选取与变量描述
2017—2021年Z大学校级优秀博士论文共148篇(以下简称“优博论文”),历年样本数分别为28、30、30、30与30篇。另按学科人数随机抽取665篇未获评优博的学位论文(以下简称“非优博论文”),历年样本数分别为123、134、126、122与160篇。
学位论文数据涵盖以下三个方面:(1)学位论文信息,包含论文查重率,评阅专家对论文选题、文献综述、理论基础知识、创新性水平、工作期间成果、独立科研能力及中英文表达等多个方面的评分数据;(2)学术成果发表信息,包含发表论文分区、发表论文影响因子、论文类型以及发表论文作者排序等数据;(3)博士研究生的个人信息,主要为毕业年限数据。须指出的是,“学位论文信息中”的“工作期间成果”为评阅专家对博士学位论文所反映的研究内容、取得成果与学术贡献的总体评分,是一种基于学位论文学术成就的总体性主观评价;而“学术成果发表信息”指博士研究生在学位申请系统中提交的学术论文等成果列表,是一种基于学术论文发表数量质量的针对性客观评价。
此外,学位论文评审各字段信息均为“特优”至“差”五级评阅意见,需对其进行数值化处理,故对应设为5至1分;鉴于每篇学位论文由多位专家评阅得分,故取其平均值作为最终评价结果;在“学术成果信息”方面,本研究提取文章数量、SCI一区文章数量、本人一作文章数量、总影响因子与代表性文章影响因子等字段,其中“代表性文章”是指博士生作为第一作者或除导师外第一作者发表的文章中影响因子最高的一篇。
(二)研究方法与研究过程
首先,对学位论文数据进行描述性统计分析,包括样本关于年份、学科和毕业年限的分布情况,以及样本学位论文与学术论文信息分布特点;其次,分析单一因素与是否获得优博结果的影响程度;接着,选用机器学习算法刻画全部变量的联合影响,具体涵盖逻辑回归、支持向量机、随机森林等,这些方法可有效预测给定一类解释变量下另一解释变量的分类结果,并给出各变量预测贡献率。鉴于上述方法的预测效果,本研究最终选用随机森林方法进行后续研究,其核心思想是通过多次抽取大量独立样本、并行集成运行多基学习器且依据少数服从多数原则确定分类结果,因此具有抗噪声能力强、不易过拟合等优势。最后,考虑学科特色影响培养侧重点,本研究进一步探究不同学科背景下优博论文关键要素的个性化特点。
三、结果分析
(一)优博与非优博样本变量的描述性分析
1.优博论文出自拥有较大培养规模的理学学科比例较高。从学科数据来看(见表1):(1)博士研究生培养规模较大的一级学科优博论文数量与非优博论文数量样本比例基本保持在1/4左右;而当培养规模较小时,此比例波动较大,多数不足1/4,说明一级学科优博论文的产生一般需要足够大的博士研究生培养规模作为基本保障。(2)物理、化学与生物学等理学学科的优博论文数量占全部学科比例超过58%,且参考杨奕虹等借助某学科优博论文获得比例对“学科获优能力”的定义[10],理学学科优博获得比例多数小于全部学科均值(1/4.5)。
2.优博论文的产出年限大多为进入博士培养阶段后的第3~4年,延长培养年限于产出优博无益。从毕业年限(即从进入博士研究生培养阶段到其获得学位的时间)数据来看(见表1):在优博论文获得者中,4年内毕业的比例达到81%,其中3年内毕业的比例超过50%;对应非优博样本,此比例分别为51%与19%。由此观之,无论优博人数还是其占总样本比例,均随毕业年限呈递减趋势。以上说明并非在校学习时间越长,越有可能产出优博论文;非必要延长培养时间,消磨博士研究生的学习紧迫感,优博产出的概率不升反降。
表1 优博和非优博样本分布情况
3.相较非优博论文,优博论文的理论基础、创新水平、工作期间成果与独立科研能力指标优势突出。对优博与非优博样本的学位论文评分分布情况进行统计(见表2(a)),可以看出:(1)除查重率外,在学位论文选题、开展及写作等全过程、各阶段,优博论文的表现都更胜一筹,表现为平均值更高且t统计量显著。(2)在“理论基础知识”“创新水平”“工作期间成果”与“独立科研能力”四个指标上,优博论文的平均得分大幅高于非优博论文,这也成为区分优博与非优博论文的关键因素。(3)在所有指标上,优博论文的分布标准差均略大于非优博论文,这主要是由于非优博论文各项得分分布集中于平均水平,而优博论文在某一(些)指标上极具鲜明特色,故而可从众多学位论文中脱颖而出并获评委青睐。综上,博士学位论文应当在保证学术规范性的基础上,高度重视所研究的基础、问题、内容、成果等实质性内容,在产出高水平创新成果过程中逐步提升独立科研能力。
4.相较非优博论文,优博论文的“工作期间成果”指标优势极其明显。鉴于“工作期间成果”在表2(a)中t值最高,且与“学术成果发表信息”息息相关,故对此作进一步展开分析(见表2(b)):(1)从期刊等级看,优博论文在SCI一区发表文章的人均篇数明显多于非优博论文,且占比仅为18%的优博论文在SCI一区发文占比接近40%;优博论文发文占比与人均篇数随着SCI分区等级下降出现明显单调递减趋势,在中文期刊论文数量、专利数量等其他成果项目上亦占据较大比例。这说明优博论文获得者更加重视文章质量,倾向于形成更高水平的工作期间成果。(2)按作者排序看,由于优博论文获得者人均文章数量较多,各类作者排序上的人均文章篇数也更胜一筹,但占比差异不太明显,这与Z大学毕业要求中同等认可“本人一作”与“除导师外一作”有关。优博获得者在“并列一作”上的文章数量占比略高,表明其在满足毕业要求的文章外,更重视顶级期刊的发表。综上可见,Z大学优博获得者在学习年限内人均主导完成3篇论文,且其中至少2篇发表于SCI一区、二区以上学术期刊;略高于Hagen针对两所澳大利亚大学研究中所发现的每篇学位论文需1.6篇发表学术成果构成的结论[8]。
表2 优博和非优博变量描述性统计结果
(二)学位论文信息、学术成果发表信息变量对优博获得的相关性分析
借助相关性系数探究“学位论文信息”“学术成果发表信息”变量对优博论文的影响(见表3)。鉴于是否优博变量为有序变量,引入Spearman相关系数,正负号分别对应正负相关性,绝对值越大代表相关性越强。
表3 学位论文与学术论文变量对是否获得优博的相关性结果
1.学位论文信息中的成果贡献度和创新性水平与优博论文获得的相关性最强。除查重率外的其他学位论文评价变量均表现出正相关关系,查重率虽与优博变量存在负相关关系但影响程度最小(绝对值最小),这与前文提出的优博评审更加注重选题创新性、理论扎实度、成果贡献性与表达流畅性等实质性内容的结论较为一致,与Hemlin(1993)基于访谈法得出原创性和方法可行性重要结论较吻合[11]。其中,“工作期间成果”“独立科研能力”和“创新性水平”的影响程度最大,体现优博论文评审与当前Z大学博士研究生的培养目标吻合,即强调博士生的创新创造精神、独立思考深度和探索未知能力。
2.学术成果发表信息中的高质量学术文章与优博论文获得的相关性最强。“学术成果发表信息”变量与是否获评优博论文变量均存在一定程度正相关,其中“SCI一区文章数量”影响程度高于“文章数量”,“总影响因子”和“代表性文章影响因子”影响程度也高于“文章数量”,此相关性揭示在理论研究上具有颠覆性与创见性、对科研实践具有启示性与借鉴性的高质量学术发表成果在优博论文中占据更为重要的地位且更受重视。
(三)是否获得优博论文的分类模型选取
随机森林方法的AUC值最高,其对优博论文的获评与否预测与实际评选结果最为接近。鉴于相关性分析仅探究变量的单独影响,而“学位论文信息”与“学术成果发表信息”等通常联合决定论文质量,故此,需使用统计模型刻画上述变量的联合影响。本研究初步使用KNN、贝叶斯、Logistic、SVM等分类器与集成学习算法测算诸变量对优博论文的联合影响(见表4)。进一步,使用模型准确率与AUC值刻画模型对现实数据的表示能力,其中准确率是衡量样本被正确划分占比,AUC(Area Under Curve)为用来衡量分类结果与目标要求效果的ROC曲线与横纵坐标间的面积值,因此可以反映模型是否有效。据表4所示,各类模型的预测效果均良好,其中,随机森林的AUC值最高,说明随机森林方法对优博论文的获评与否预测与实际评选结果最为接近。因此,后文基于随机森林算法结果进一步展开分析。
表4 是否获得优博分类模型选择结果
(四)学位论文信息、学术成果发表信息变量的贡献分析
1.学位论文信息和学术成果发表信息中的高水平工作成果的贡献率最高。在前述研究生预测优博论文获得与否的联合模型基础上,进一步测算每一变量在模型中对于提升分类效果的贡献率及排名(见表5)。表5中的“(1)全部变量”使用学位论文信息与学术成果发表信息所有变量进行测算,发现:学术成果发表信息中的“总影响因子”“代表性文章影响因子”和学位论文信息中的“工作期间成果”的贡献率排在前列,且均超过10%;“总影响因子”和“代表性文章影响因子”的重要性高于“文章数量”的重要性,与前文相关系数结果契合;学位论文信息中的“论文选题”“独立科研能力”等变量的贡献率较低,可能由于其与其他创新性水平以及学术成果影响因子等变量相关所致。由此可见,高水平学术成果是优博论文的内在核心,博士生应注重提升学术能力,专注形成代表作;并且当前优博评选受多种因素共同影响,不存在某一特征占据绝对主导地位(贡献率最高小于30%),博士生在巩固理论基础知识、培养独立创造性、做好每一篇学术论文的过程中,不得忽视自身研究体系的构建与学位论文的合成,从而形成一篇富有创造力且表达流畅清晰的学位论文。
2.学位论文信息中的创新性成果贡献率依然占据主导地位,写作质量的贡献率次之。表5中的“(2)仅学位论文变量”选取学位论文信息相关变量并重复随机森林算法。“工作期间成果”与“创新性水平”依然占据关键性影响作用;“中英文表达”紧随其后,贡献率超过10%。此结果与Holbrock对学位论文评语数据分析发现评审者关于高质量论文的评价更加着重选题意义及原创性的结果一致[12];此数据也表明博士研究生须高度重视学位论文中英文写作水平,富有逻辑且清晰地将研究问题、研究过程与研究结论表达出来。
3.学术成果发表信息中的学术成果影响力贡献率最高。表5中的“(3)仅学术成果变量”选取学术成果相关变量进行测算。“总影响因子”和“代表性文章影响因子”的贡献率最高,此亦表明其重要性极其凸显,围绕研究选题发表更多高影响因子且内容彼此相关的文章已成优博论文的关键表征。
(五)针对不同学科门类及部分一级学科的进一步研究
考虑不同学科背景下,优博论文的关键特征存在差异,须基于学科门类及一级学科作进一步研究,以此观照关键变量在不同学科门类或一级学科中的作用是否存在或明显或轻微的差异。鉴于Z大学理学学科优博论文占比达到59%,工学学科优博论文占比达到36%,故选择理学与工学两个学科门类开展研究。其中,Z大学理学门类中的物理学一级学科和化学一级学科的优博样本数最多,故再次选取此两个学科作深入研究。变量贡献结果参见表6。
1.理学与工学门类的变量贡献率差异较小,但在学术成果质量与数量、理论基础知识表达及毕业年限上还存在不同侧重。比较表6第(1)~(2)列,多数变量的贡献率差异不大。其中:(1)理学门类更加注重学术成果影响力,表现为“代表性文章影响因子”与“SCI一区文章数量”两个特征的贡献率均次于“总影响因子”;工学门类亦注重高水平学术成果,不同的是,“文章数量”的贡献率相较更高。(2)相较工学门类,“理论基础知识”在理学门类样本中的贡献率较低。这由于理学类的学术研究活动一般倾向于对现有理论的进一步突破,其写作重心在于对已有理论的深度挖掘或接续扩展,而对已有理论基础知识的论述相对较少;工学类的学术研究活动一般是在既有理论指导下的现实运用,其所开展的应用研究必须结合理论知识才能较好地进行,故其对已有理论知识的论述更为注重。(3)“毕业年限”在不同学科门类中的贡献率差异较大,相较工学学科门类,理学学科门类的“毕业年限”对优博获得的贡献率较大,这是由于开展理学学科理论创新和基础研究活动,需要更为年轻、更富活力、更有激情、更具创见的年轻学者积极投身其中。
2.理学一级学科的变量贡献率总体一致,但在学术成果独创性、研究进展知悉度等方面略有差异。比较表6第(3)~(4)列,物理学和化学作为两个典型的理学学科,特征贡献率排名与表6第(1)列总体保持一致,“总影响因子”与“代表性文章影响因子”在两个一级学科中的贡献率均排在前两位。另外,物理学学科比较看重的特征还有“查重率”等,这说明该学科对学术成果的独创性要求较高;而化学学科比较看重的特征还有“文献综述”等,这说明该学科要求博士研究生对已有研究成果有充分的积累和较高的批判能力。
表6 不同学科门类、一级学科样本背景下的变量贡献率
四、结论建议
(一)工作期间成果、创新性水平、独立科研能力与理论基础知识是判断理工博士学位论文质量的关键因素
本文两样本t统计结果、相关性系数与变量贡献率结果均显示,“工作期间成果”“创新性水平”“独立科研能力”与“理论基础知识”是影响优博论文获得的关键因素。“工作期间成果”的评价对象包括学位论文正文所反映的研究内容与附录所列的学术成果,它是对学位论文整体研究内容及其学术成果质量的综合评价。学术成果是学位论文的有机构成,无此则难以体现博士研究生开展的学术研究活动之精华;研究内容则是学位论文的逻辑性表达,缺乏亮点学术成果的研究内容亦难以体现博士研究生培养之成效。故而,单纯地注重经由学术“小同行”评定的研究内容或单纯地注重经由学术期刊发表的学术成果的学位论文评价行为均不合理。另外,存在博士生将发表的高水平文章简单罗列成章或潦草译为中文且作为学位论文部分内容的现象,此举显然忽视了作为诸要素总成的学位论文对多篇已发表或进行中的学术论文的架构性作用,也易因写作表达水平低下而致使高水平学术成果“明珠暗投”或在冲击优博论文之路上“功亏一篑”。在学位论文评价中,对“理论基础知识”和“创新性水平”的观照一般集中于对某一领域的知识发展现状的了解程度及博士研究生据此作出的原创性贡献,它既包括理论创新和方法创新,也包括技术创新和应用创新,这就需要引领博士生在扎实理论基础的前提下探索未知领域,并引导其在研究活动中积极发掘新理论、融合新知识、运用新方法或拓展新视角,这对高校的课程教学体系、导师的指导能力和学术视野、博士生自身的努力等要素都提出了更高要求。培养“独立科研能力”是Z大学长期坚持的高端人才培养基本定位,在博士学位论文评价中则具体表征为研究选题的独创性、研究理论的独到性、研究过程的独自性、研究方法的独有性、研究结果的独特性以及研究贡献的首位性。只有独立或牵头完成全过程的科研活动,博士研究生才能加快成长为一名有学术思想、有研究能力的合格学者。故而,在博士研究生培养中,应当首先重视训练其独立思考和独立科研能力。
(二)高水平学术文章及其他学术成果是影响学位论文能否获评优博的决定性因素
描述性统计结果显示,高水平期刊中优博论文获得者的发文占比与人均发文篇数均显著较高;相关系数与变量贡献度也表明,学术论文影响因子对于优博获得的影响程度最强,且高水平期刊文章数量与代表性文章影响因子的作用程度均高于文章总数。“破四唯”的目的在于纠正当前的错误科研评价和人才评价导向,该政策本身并未限制学者在学科领域内的高水平期刊发表高质量学术论文行为。一些基础学科或理工学科乃至人文社会科学学科的研究成果,在国内外顶级期刊发表学术论文、展示研究成果能够更好地接受全球学术同行的集体检视,这也是对科学与真理的尊重和对人类知识与文明进化的负责。简单地取消学术论文发表或单纯地注重学位论文评价的行为,实质上曲解了“破四唯”的政策导向和混淆了学术论文与学位论文的逻辑关系。未经广大学者重复验证的科学成果不可称之为科学,未取得学术同行共同认可的学术成果亦不可称之为学者。故而,在博士研究生培养阶段,应引导其更加重视学术文章及其他学术成果的质量而非数量;对于高等院校而言,合理制定期刊分级制度并完善博士研究生学术成果的发表要求,将固有的数量导向调整为新型的质量导向,可有效推动博士研究生树立质量认知与精品意识,激励其进行原创性、高水平研究[13];对于博士研究生群体而言,应立足长远的学术职业发展,注重自身学术能力建设,投身具有理论深度、应用高度与知识广度的高水平研究活动,敢于挑战权威期刊,致力产出对人类文明和国家发展具有卓越贡献的优秀学术成果。
(三)非必要延长学习年限不利于产出优博论文
研究结果表明,Z大学校级优博获得与学习年限呈现负相关关系;84%优博获得者的博士阶段学习年限小于4年,超过50%的获得者的毕业年限小于3年,对应于非优博样本,此比例分别为61%与23%。这说明博士研究生培养时长超过4年后,期冀通过延长学习年限而使之产出校级及以上优秀博士学位论文的可能性不大。之所以会出现此现象,一方面由于理工学科研究选题的时代性或时效性相对较强,过长的学习年限有可能会使学位论文的研究选题和研究成果因“时过境迁”而成为“明日黄花”;另一方面也由于博士研究生的科研激情和创新活力很难保持随时间推移而逐渐递增趋势,有可能会在达到顶点后因主客观因素干扰而不断下滑。据此,高校可适当调整现行博士研究生培养方案中关于学习年限的规定,鼓励博士生积累一定学术能力与学术素养后尽快产出高水平学术成果,以达到博士阶段硬性学业要求,并留出足够时间丰富成果产出,谋划学位论文布局和充实其内涵;指导教师亦须关注博士生学术进程中过程性因素[14],提高其学习与科研工作的紧迫感,督促其明确学术动机并与其共同制定分阶段科研计划;此外,博士生也应当提前预估博士阶段可能遭遇的各种困难,在学术任务遇到瓶颈时避免逃避与佛系心态[15],及时疏导负面情绪并积极投入科研活动之中。
(四)不同门类或不同学科的博士研究生培养侧重点各有差异
选取理学与工学学科门类、物理学与化学两个理学一级学科开展的针对性研究发现,在博士研究生培养阶段产出高水平学术成果是各学科门类、一级学科的共同人才培养诉求,但在学位论文具体指标评价上,仍存在一些差异。针对不同类型学科的博士生培养方式,可根据学科性质作出针对性调整。对于偏向基础理论研究的理学学科门类,应更注重青年人才的加速培养和学术创见的凝练表达,鼓励理学学科门类博士研究生提高科研紧迫性和理论创新水平,在努力作出独创性、高水平科研成果过程中“早成人才、快成人才”;对于偏向理论应用的工学学科门类,应更重视博士研究生对理论基础知识的掌握及运用,鼓励工学学科门类博士研究生在充分的理论学习、知识积淀前提下稳健开展应用研究。需注意的是,即便归属同一门类,人才培养的侧重点亦有所不同,诸如理学门类下的物理学学科更注重研究成果的原始创新性,而化学学科则更注重研究成果的继承发展性。因此,在开展博士研究生人才培养活动中,应高度重视对学位论文、学术成果乃至整个人才培养过程中“学术基因”的把握,不仅要注重“因材施教”,还要注重“因门类施教”和“因学科施教”,如此,才能科学地指导博士研究生形成更高质量的学位论文、产出更高水平的学术成果,才能有效地助推博士研究生成长为具有独立科研能力、突出创新水平的高端人才。