学术型硕士学位论文质量评价的实证分析
2017-01-10杜庆良
杜庆良
(华侨大学 研究生院,福建 泉州 362021)
学术型硕士学位论文质量评价的实证分析
杜庆良
(华侨大学 研究生院,福建 泉州 362021)
为探索硕士学位论文质量评价的内容要素和影响因素,对国内某综合性高校近两年1 185篇学术型硕士学位论文评阅结果进行了统计分析。结果表明,该校学术型硕士学位论文评阅结果均值基本呈正态分布,成绩优良率高,总体质量良好。论文盲审结果明显低于明审结果,盲审结果相对客观,明审结果存在虚高现象。按各分项指标及学科大类进行描述统计,发现大部分评阅专家认为论文的选题还是很有理论意义或应用价值的;人文社科类论文的研究成果得分低于良好,说明其创新性不够;自然科学类论文的文献综述和研究成果较好,但论文写作方面有待提高。对评阅总体评价与6个分项指标进行多元线性回归分析,构建了回归方程。
硕士学位论文;评阅质量评价;实证分析
研究生教育是我国国民教育的最高层次,是创新型人才的主要来源。自2013年国家三部委联合发布《关于深化研究生教育改革的意见》以来,研究生教育开始向内涵式发展转变,以服务需求、提高质量为发展主线,全面提高研究生教育人才培养质量。学位论文是研究生的代表作,学位论文质量能够综合反映出研究生的培养质量[1-2]。
研究生在导师指导下完成学位论文的撰写后,评价论文质量最重要的一个方式和环节是学位论文同行专家评阅,可以说学位论文评阅结果体现了学位论文质量[3-4]。笔者试图通过分析评阅结果研究学术型硕士学位论文的质量,为研究生教育改革提供数据信息和决策支持。
一、研究方法
(一)研究对象
选取国内某综合性高校(以下简称H高校)近两年共1 185篇学术型硕士学位论文作为样本,数据来源于论文网上评阅系统的盲审评阅结果和通过传统纸质送审的明审评阅结果。按该校文件规定,每篇硕士论文均需要2~3名同行专家评阅,根据盲抽规则抽取715篇论文全部由研究生院找专家匿名评审(全盲审);自2015年起对于在学期间未发表符合学校规定学术论文的由研究生院找专家匿名评审1份,另由学院送审2份(半盲审),共抽取173篇;剩下未被抽取匿名评审的由学院送校外专家评审(明审)297篇。由此统计1 185篇学位论文共返回2 744份评阅结果。
为研究人文社会科学类和自然科学类两种学科大类硕士学位论文之间的差异,将本次研究涉及的8个学科门类划分到这两个学科大类中,其中人文社会科学类包含哲学、经济学、法学、文学、历史学和管理学6个学科门类,共1 153份评阅结果,自然科学类包含理学和工学两个学科门类,共1 591份评阅结果。
(二)概念测量
根据要求,论文评阅人由副教授及以上或相当专业技术职称的专家担任。评阅专家要对论文写出详细的评阅意见,并对论文选题、文献综述、专业水平、研究工作、研究成果及论文写作6个分项指标按优秀、良好、一般、较差4个等级作出定性评价,以此对论文给出百分制的总体评分,根据总体评价分数确定是否同意答辩。(90分及以上认定为“优秀,同意答辩”,80~89分认定为“良好,同意答辩”,70~79分认定为“合格,修改论文后经导师审核进行答辩”,70分以下认定为“不合格,不同意答辩,须修改论文后重新送审”。)
为更好地对分项指标进行统计分析和回归分析,将评阅结果中的分项定性评价进行量化,定义“优秀”为4分,“良好”为3分,“合格”为2分,“不合格”为1分。每篇学位论文的评阅成绩为专家评阅的平均成绩,同样各分项指标的成绩为专家对分项指标打分的平均成绩。
(三)统计方法和工具
分析方式采用描述统计和线性回归分析,使用MS excel 2013进行数据整理和SPSS 22.0进行统计分析。
二、数据分析
(一)总体质量分析
根据论文评阅份数和论文篇数对1 185名学术型硕士学位论文的2 744份评阅结果按评阅份数和论文篇数进行统计,结果分别见表1和表2。从表1来看,人文社科类和自然科学类的论文送审份数比例为4∶6。两种类别的论文评阅成绩优良率均在85%以上,总体优良率(优秀+良好)达到88.4%。从表2来看,人文社科和自然科学的人数比例也为4∶6,总体论文平均分达到85.21分。从平均分看,自然科学论文分数较高,从标准差看,人文社科论文成绩较为稳定。
表1 评阅描述统计结果(按评阅份数)
表2 评阅描述统计结果(按论文篇数)
(二)分年度及评审方式统计分析
为比较论文年度送审与明、盲审情况,本文按评阅份数和论文送审篇数,分年度及评审方式进行统计,结果分别见表3和表4。
近两年论文送审人数基本持平,分别为597人和588人。但2015年论文评阅份数比2014年多了334份,主要原因是学校文件规定自2015年起学术型硕士生若在学期间未发表符合学校规定学术论文的,须由研究生院加送盲审1份,而大部分学生未达到学校要求。这样盲审率上升了4.32个百分点。2014年论文评阅成绩略好于2015年,但2015年论文评阅成绩更为稳定。
从表3和表4可以看出,明审论文评阅的通过率是100%,优良率高达95%,平均分也超过85分,达到86.83,这显然不太符合常理。究其原因是明审论文为学院自行组织送审,有些学院由学生导师指定评阅专家或者直接由老师(学生)自行联系评阅专家,因为熟人关系,专家给出评阅成绩普遍在80分以上。相对而言,盲审专家能更加客观地评价论文的质量。
表3 分年度及评审方式统计(按评阅份数)
表4 分年度及评审方式统计(按论文篇数)
(三)全盲审论文各分项指标统计
对715篇全盲审论文按各分项指标统计,结果见表5。从表5可知,除研究成果外,总体评价和其他5项指标的均值都在3.0(良好)以上,说明论文质量总体不错。论文选题均值最高且标准差最小,说明绝大部分专家认为论文选题有理论意义或应用价值;研究成果均值最低,在良好以下,说明专家对论文的创造性成果评价最低。
人文社科类和自然科学类总体评价均值差异不大,自然科学总体评价略好于人文社科。但从分项指标看,二者有很大不同。人文社科类论文选题均值最高,然后依次为论文写作、研究工作、文献综述、专业水平,研究成果最低。自然科学类文献综述均值最高,随后依次为研究成果、专业水平、研究工作、论文选题,论文写作最低。
表5 全盲审论文各分项指标统计(按论文篇数)
(四)总体评价与分项指标的回归分析
为分析各分项指标与总体评价之间的关系,将学位论文总体评价均值作为因变量y,6个分项指标作为自变量(论文选题x1,文献综述x2,专业水平x3,研究工作x4,研究成果x5,论文写作x6),做逐步多元线性回归。因变量与自变量的相关系数分别为0.512、0.613、0.759、0.772、0.704、0.654,双侧显著性检验概率均为0.000,说明这6个变量与因变量的关系较为密切。
在逐步回归过程中产生6个回归模型,按照95%的标准概率值,模型1先把与总体评价关系最为密切的“研究工作”指标引入模型,建立y与x4之间的一元线性回归模型;模型2在此基础上引入x3,然后依次引入x5,x6,x2,x1;最后得出模型6的回归方程为:
y=-0.192+0.105x1+0.103x2+0.247x3+0.290x4+0.161x5+0.150x6。
其决定系数R为0.869,其t统计量对应的相伴概率除常数项为0.018外,其余均为0,显著性均小于0.05,可以判定,此回归模型的回归系数都是显著的。
三、研究结论及建议
通过实证分析,得出以下结论:H高校学术型硕士学位论文评阅成绩优良率高,成绩均值高于85分,总体质量良好,自然科学类总体质量略好于人文社科类。论文评阅结果均值基本呈正态分布,其结果是可信的。论文盲审结果明显低于明审结果,盲审结果相对客观,明审结果存在虚高现象。对715篇全盲审论文按各分项指标以及学科大类进行描述统计,发现大部分论文的选题具有理论意义或应用价值;人文社科类论文的研究成果得分较低,说明其创新性不够;自然科学类论文的文献综述和研究成果较好,但论文写作方面有待提高。通过回归分析发现,6个分项指标与总体评价密切相关,回归方程的决定系数R为0.869,说明评阅专家在给出论文总体评价时,除了主要考虑6个分项指标外,还考虑了其他因素。基于上面的研究结论,提出如下建议:
第一,提高科研创新能力是学术型研究生教育的核心。科研创新能力是研究生培养质量的重要标志。通过加强跨学科的学习与研究、采取灵活的教学方式、加强研究生科研实践与训练,使每一位学术型硕士研究生都有参与导师科研工作的经历;设立专门研究生科研基金、实施科研创新项目等激励计划,鼓励优秀研究生开展原创性研究;实施研究生高水平科研成果奖励计划,奖励具有重大学术价值的基础研究成果和解决重大现实问题的应用研究成果;承办学术论坛,搭建研究生学术交流平台,营造良好的学术交流氛围,不断提升研究生科研创新能力。
第二,加强研究基本功训练是学术型研究生教育的基础。打好理论基础是培养研究生科研能力的一个重要环节,应该加以重视;加强研究生学习期间的实践动手能力的培养,锻炼学生发现问题、分析问题、解决问题的能力;加强研究生论文的表达规范及写作能力、外语能力。
第三,坚持双盲评阅衡量和保障是研究生培养质量的关键。学位论文匿名双盲评审制度是保障研究生培养质量的一个重要措施。双盲审消除了评阅人的后顾之忧,使评阅人在不受非学术因素干扰的情况下,对学位论文作出客观、全面、公正的综合评价,提高了学位论文的评审质量,更重要的是增强了研究生及导师对学位论文质量的重视程度。可进一步完善盲审规则和评阅办法,采用随机盲抽加定向盲抽相结合的形式,适当增加前一年度存在问题论文所在学科的盲审比例,加大监控力度。还可利用信息化技术,建立信息全面的专家库和在线论文评阅系统,缩短盲审周期的同时提高工作效率。
第四,完善分类评价体系是科学评价和有效引导研究生培养质量的方向。为了构建科学合理的评价标准,提升学位与研究生教育质量,建议建立“分类指导,多元评价”的学位论文分类质量评价体系,明确区分学科类别,科学引导多元质量评价。首先,针对不同类型的硕士学位论文进行分类评价,按学科大类(人文社科、自然科学)或学科门类(哲学、经济学、法学等)分别制定出符合学科规律的学位论文评价指标体系,使评审工作更加科学合理,有利于推进研究生教育的人才分类培养模式改革。其次,进一步细化评价要素,在一级指标的基础上细化多个二级指标,各指标的权重可参考回归分析的相关系数确定,有效发挥学位论文质量评价体系的导向作用。最后,可尝试建立以过程评价为主导的组合加权评阅机制,评阅专家只对二级指标进行评价,系统根据一定的组合加权计算得出最终评价结果,避免专家在最终的表决中受到潜在因素的干扰,削弱论文总体评价及是否同意答辩的表决权重。
[1] 李艳,马陆亭.博士生培养质量与导师相关性的实证研究[J].国家教育行政学院学报,2015(4):78-84.
[2] 于晓舟,何卫华,张俐.基于AHP法的地学理工科类博士学位论文质量评价[J].中国地质大学学报(社会科学版), 2013(S1):79-82.
[3] 魏赤.关于博士学位论文创新问题的探讨:基于北京大学中文系博士学位论文评阅汇总数据的分析[J].海南师范大学学报(社会科学版),2011(1):152-154.
[4]李艳,赵世奎,马陆亭.关于博士学位论文质量评价的实证分析[J].学位与研究生教育,2014(10):50-54.
[5] 孔令夷.基于解释结构模型的博士学位论文质量关键影响因素分析[J].中国高教研究,2012(4):51-55.
(责任编辑:蔡洪涛)
An Empirical Analysis of the Quality Evaluation of the Academic Master’s Degree Thesis
DU Qingliang
(Graduate School, Huaqiao University, Quanzhou 350007, China)
Based on the 1185 master’s degree papers results on a comprehensive domestic university in the past two years, we explored the factors which influencing the quality evaluation of master’s degree thesis. The empirical results show that the averages is basic normally distributed and the overall quality is good. The blind review results significantly lower than the normal way, but it’s more credible. With the description statistics by six sub-index and two subject categories , most experts think the selected topic of thesis has important value in theory and practice; The lower scores of “research results” on humanities and social sciences papers show the innovation is not enough. It scores higher on “literature review” and “research results” of natural science papers, but the “paper writing” needs to be improved.
master’s degree thesis; review quality evaluation; empirical analysis
2016-06-10
2016年度华桥大学研究生教育教学改革研究项目“研究生科创及奖助管理系统”(16YJG22)
杜庆良(1987—),男,福建泉州人,华侨大学研究生院研究实习员、硕士,研究方向为高等教育管理。
G643.8
A
1008—4444(2016)06—0154—04