研究生学位论文质量评价指标体系的建立

2018-09-25俞婉琦吴梦吟李秀央

教育教学论坛 2018年35期

俞婉琦　吴梦吟　李秀央

摘要：目的：构建研究生学位论文质量评价指标体系，改进现有评价标准。方法：邀请12名相关领域专家作为调查对象，应用Delphi法对初步构建的研究生学位论文质量评价指标体系进行3轮咨询，利用层次分析法确定指标权重并建立综合评价模型，同时采用秩和比综合评价法进行实测评价以分析指标体系的科学性。指标体系的信度评价采用Cronbach α系数，效度评价采用探索性因子分析方法。数据分析采用IBM SPSS 20.0统计软件，以P≤0.05为具有统计学意义。结果：本研究构建了由9个一级指标和52个二级指标构成的指标体系。指标体系整体内部一致性信度高（Cronbach α=0.902），探索性因子分析共提取6个因子，分别命名为“文字表述”、“研究方法”、“资料分析”、“写作规范”、“文献综述”、“选题”，累计贡献率为50.32%。该指标体系的实测评价结果与秩和比综合评价法结果呈正相关（r=0.942，P<0.05）；秩和比综合评价法回归方程为R？譓R=0.100+0.080×Probit，根据Probit值将实测对象分为优秀、良好、及格和不及格四档。结论：本研究建立的指标体系专家认可程度高，整体信度较好，结构效度尚不理想，且与传统的秩和比综合评价法结果一致性高，说明该指标体系整体上科学、合理、有效，具有应用价值。

关键词：学位论文；质量评价；层次分析法；综合评价

中图分类号：G642.477 文献标志码：A 文章编号：1674-9324（2018）35-0037-05

研究生学位论文（Graduate Degree Thesis）是高等学校或研究机构的研究生为取得学位，在导师指导下完成的科学研究、科学实驗成果的书面报告。其作为连接理论和实践的纽带[1]，是研究生就学期间最重要的一项任务，它不仅汇聚了研究生对所学知识的理解和运用，更反映了研究生的工作实践能力和科研技术水平，是衡量高校研究生培养水平最重要的标志[2]。因此，如何科学、客观地评价研究生的学位论文质量至关重要。目前国内高校现行的学位论文质量评价方法存在评价指标粗略、评分标准模糊、受评审专家主观因素影响较大等问题[3-5]，急需一套客观、科学、全面的指标体系和评价方法。本研究在深入了解研究生学位论文的特点及内涵的基础上，运用Delphi法、层次分析法及秩和比法建立学位论文质量评价的指标体系和综合评价模型，为研究生学位论文质量评价提供标准和测量工具。

一、对象与方法

1.对象。根据Delphi法开展研究，邀请符合以下条件的12名相关领域的专家作为调查对象。

（1）从事高等教育或科研工作10年及以上。

（2）中级技术职称及以上，硕士学历及以上。

（3）对本研究积极性较高，愿意参加2—3轮专家咨询。

（4）愿意支持研究生学位论文质量评价研究，能够从不同视角提供意见及建议。

2.方法。

（1）指标筛选。本研究在2016年3—10月期间采用Delphi法对达到入选标准的专家进行三轮问卷调查，调查采用面呈及电子邮件的形式进行。专家资讯问卷采用李克特5点量表的形式，5分为“绝对必要”，4分为“必要”，3分为“无所谓”，2分为“不必要”，1分为“绝对不必要”。专家意见的集中和离散程度通过专家打分的满分频率（K）、算术均数■、标准差（s）、变异系数（CV）进行评价。对指标按如下规定进行筛选：①满分频率K≥50%，认为该指标必要程度高，可保留。②某项指标得分的算术均数■≥4，认为必要程度高；3≤■<4，结合满分频率和变异系数判断是否剔除；■<3，剔除该指标。③某项指标变异系数CV≤0.25，认为专家意见一致性较好；CV>0.25时结合满分频率和算术均数判断是否剔除该指标。

（2）权重确定。本研究利用层次分析法（Analytic Hierarchy Process，简称AHP）确定指标权重，采用1—9Saaty标度，根据Delphi法得出的专家对各指标的重要性赋值均数进行两两比较（见表1）。假设Zij、Zik分别为某一层次中任意两个指标的重要性分值，根据两者的差值确定Saaty标度的规定如下：若0.25≥Zij-Zik，Zij与Zik同样重要，Saaty标度取1；若0.25

根据上述规则，构造各层指标的判断矩阵，确定指标权重，并检验其逻辑一致性。

（3）实测评价。本研究以2008—2015学年的研究生学位论文作为实测对象。其中，国内硕博论文通过浙江大学图书馆购买的中国知网（CNKI）数据库进行检索，国外研究生学位论文通过OADT国际硕博学位论文发现系统获得。

样本含量计算公式如下：n=■×deff （1）

式中π=50%，α=0.05，允许误差δ=10%π，复杂抽样的随机效应deff=1.5。

本研究采用分层随机抽样法，国内研究生学位论文根据研究生的学科、导师职称、学位名称、出版时间进行分层随机抽样；国外研究生学位论文按研究生的学位名称和出版时间进行分层。

（4）统计方法。采用Epidata3.1建立研究生学位论文实测评价数据库。计量资料如服从正态分布，以x±s表示，否则M（QR）表示，计数资料用频数、率和（或）构成比表示。专家咨询采用Delphi法，确定权重采用层次分析法（AHP），综合评价采用秩和比法（RSR），调查表的信度检验采用Cronbachα系数，效度评价采用探索性因子分析方法。层次分析法计算指标权重采用YAAHP10.5软件，数据统计采用IBM SPSS Statistics 20.0统计分析软件，以P<0.05为差异有统计学意义。

（5）质量控制。数据采取双录入，所有评阅文章均由作者按统一的调查表进行评阅，并由另一作者复核，如两者评阅结果不同则由项目小组进行讨论决定。

二、结果

1.咨询结果可靠性分析。

（1）专家的基本情况。本研究共邀请了12位专家进行问卷咨询，其中男性10名，女性2名，平均年龄（51.0±8.4）岁，均满足中级职称以上、与相关专业领域相关等基本要求。专家的主要领域是卫生统计学（33.3%）、流行病学（25.0%）、劳动卫生学、社会科学、全球定位系统、预防医学、中医学。在教学科研单位工作的有11人，占91.7%；医疗机构1人，占8.3%。各专家对于研究生学位论文的质量评价的熟悉程度均较高。

（2）专家的积极系数。专家积极系数以问卷回收率表示。第一轮函询发放问卷12份，回收有效问卷12份，有效回收率为100%；第二轮函询发放问卷12份，回收有效问卷12份，有效回收率为100%；第三轮函询发放问卷12份，回收有效问卷12份，有效回收率为100%。

（3）专家意见协调程度。专家意见协调程度以肯德尔系数表示。三轮专家咨询的专家评分协调系数如表3所示。三轮咨询的专家协调系数依次为0.313（χ2=326.366，P<0.01）、0.192（χ2=154.318，P<0.01）、0.267（χ2=151.224，P<0.01），均具有统计学意义。

2.指标体系及权重确定。

（1）指标筛选。第一轮专家咨询问卷包括9个一级指标、88个二级指标，以本轮专家咨询打分结果为基础，结合专家对指标所提的意见，共剔除了20个指标，调整1个指标，得到新的指标体系，共包括9个一级指标和68个二级指标，并以此为依据制定第二轮专家咨询表。结合第二轮专家咨询结果，共剔除3个重复指标和1个必要程度低的指标，得到由9个一级指标和64个二级指标组成，并以此为依据制定第三轮专家咨询表。第三轮专家咨询后剔除5个必要程度低的指标，合并6个重复指标，剔除2个重复指标，将一级指标“文献综述”整体调至一级指标“讨论”之后、一级指标“其他注意问题”之前，使评分顺序与阅读顺序相符，同时修改部分指标表述方式，使语义一致。最终得到由9个一级指标、52个二级指标构成的研究生学位论文质量评价指标体系。

（2）权重确定。根据专家对各指标的重要性赋值均数构建判断矩阵，计算各级指标权重及组合权重，最终指标体系的权重设置、指标评分标准见表4。其中，各级指标判断矩阵的一致性比例CR均小于0.1。

3.实测评价。

（1）指标体系信度。本研究共抽取642份研究生学位论文进行实测评价，指标体系整体Cronbach α系数为0.902，各一级指标的信度见表5。

（2）指标体系效度。为判断观测变量是否适合做因子分析，首先进行适当性检验，结果显示KMO=

0.825，Bartlett球形检验P<0.001，表明指标间存在公共因子，适合进行因子分析。采用最大方差正交旋转法分析结构效度，以特征根值λ>1的标准提取因子，共提取6个因子，累计贡献率为50.32%，见表6。

（3）秩和比法评价结果。将642篇实测论文按52个指标得分由低到高分别排秩，计算得到无量纲统计量秩和比（Rank Sum Ratio，RSR），根据RSR由高到低将实测论文进行排序。计算得到回归方程：R？譓R=

0.100+0.080×Probit，方程决定系数R2=0.953，F=

13090.709，P<0.001。根据回归方程将实测对象进行分档，Probit>6.50为优秀，5.00

（4）综合评价结果相关性分析。综合以上两种综合评价模型结果，本研究制定的研究生学位论文质量综合评价模型与秩和比法的排序结果不完全一致，但将两种方法得到的排序结果进行相关性分析，得到综合评价模型与秩和比法的相关系数r=0.942，P<0.05，可以认为两种方法的排序结果呈正相关。

三、讨论

1.指标体系的科学性。本研究构建了一套由9个一级指标和52个二级指标构成的研究生学位论文评价体系，其理论框架、形成过程、指标筛选和权重配比均具有一定的科学性。首先，本研究以研究生学位论文质量要求、写作规范为导向，以研究生学位论文的构成要素为基础，从科研设计的原则和要素的角度出发，构建了一套条目较为细致、评价标准相对客观的指标体系，与以往的研究有较大的不同[6-8]。其次，本研究先后采用了文献研究法、Delphi法和层次分析法建立指标体系和综合模型，并首次采用秩和比法对研究生学位论文进行了质量评价，这些方法均较为成熟，所得结果可靠。最后，指标筛选和权重计算结果显示，本研究在进行研究生学位论文质量评价时对论文的创新性和科研设计两方面的重视程度较高，这一结果与部分已有的研究相契合[9-11]。此外，本研究通过实测评价，利用科学的方法对指标体系的信度和效度进行了分析，这一部分内容仅在极少部分研究中有所报道[12]。本研究所构建的指标体系整体具有极好的内部信度，但部分一级指标下属子指标内部信度较弱。究其原因，可能是由于本研究所制定的指标体系是以研究生学位论文的一般结构为基础，因此每个一级指标下所包含的子测度之间并不同质，但整体指标体系主要从选题、研究方法、资料分析、文字表达、写作规范、綜述等角度出发设置，因此产生了上述结果。而在效度方面，虽然提取出的因子符合理论构想，但其对结果的解释度并不高，且少数指标与公共因子的从属关系难以解释，因此指标仍有增删和修改的空间。除此之外，本研究同时还利用秩和比综合评价法抽取的论文样本进行实测评价，所得结果与本研究构建的模型评价结果相关性较强，可以认为本指标体系的权重设置较为合理，而该方法在国内研究生学位论文质量评价的研究中尚未见报道。

2.指标体系的可行性。在对现有学位论文质量评价的研究中，根据研究对象范围的不同，大致可分为两种类型：一种是面向所有学科的学位论文，这些研究大多仅设立了粗略的指标和模糊的评分标准[13]；另一种则是针对某些学科或专业所制定的指标，能够最大程度地贴合该专业的特点及需求，但其适用范围较小，且在不同学科之间无法进行横向比较[14]。本研究结果与上述两种类型的评价体系均有所不同，研究者力图以客观、细致的指标去评价所有学科的学位论文，使其评价结果尽可能标准、科学，并且能在不同学科之间相互比较。本体系中的大部分指标均能够适用于各个学科，使用时只需逐条计分即可，操作性较强。但由于本研究是从科研设计和统计学的角度出发，而部分学科（例如人文和经管的部分学位论文）并不涉及科研，因而少数指标（例如“具体说明所使用统计分析方法”、“给出描述性统计指标”等）对其不适用，仍需要修改和完善。

3.进一步研究计划。为了进一步加强该体系的科学性和适用性，拟定进一步研究计划如下：首先，针对某些指标适用范围有限的问题，可考虑邀请更多学科的专家进行讨论，进一步对指标进行筛选和修正。其次，该指标体系中仍有部分指标的评分标准较为模糊，可通过咨询专家意见对各个指标的评分进行量化处理，强调评分的客观性和可操作性，加强不同评审专家评审结果的可比性。最后，根据指标体系研制研究生学位论文质量管理评价系统，该系统依托于计算机技术，可实现研究生学位论文评审、管理等相关功能，提高学位论文质量管理的工作效率。

参考文献：

[1]Rowley J.Slack F.What is the Future for Undergraduate Dissertations？[J].Education and training，2004，46（4）：176-181.

[2]姚秀颖，李秀兵，陆根书，吴宏春. 研究生学位论文质量影响因素研究[J].学位与研究生教育，2008，（1）：2-6.

[3]刘颖，孙火斤，吴振一.博士学位论文评估的实践与思考[J].学位与研究生教育，2000，（4）：26-29.

[4]王战军.学位与研究生教育评估技术与实践[M].北京：高等教育出版社，2000：28-45.

[5]雷亞萍.研究生学位论文的模糊综合评价方法[J].西安科技学院学报，2003，（9）：331-334.

[6]杨培涛，谭骏珊，王帅，苏慧.硕士学位论文质量评价模型构建研究[J].中南林业科技大学学报（社会科学版），2012，（06）：217-220.

[7]蒲利春，冉秦翠.研究生学位论文质量评估的量化系统研究[J].上海教育评估研究，2016，（03）：56-59.

[8]管祎，夏品奇.博士学位论文评价体系的统计分析与合理制定[J].学位与研究生教育，2010，（05）：29-32.

[9]孔范龙，李悦，曲丽丽，郗敏，吴健敏，张清磊.专业学位研究生学位论文质量体系研究——以环境工程专业为例[J].高师理科学刊，2013，（03）：113-116.

[10]李曼菁，段万春.基于AHP和模糊综合评价的工程硕士学位论文质量评估[J].中国市场，2011，（09）：125-127，132.

[11]程姗姗，赵秋利，仰曙芬，李永泉，贺长治，孔繁莹，马江平，刘爽，王艳秋.护理学硕士研究生学位论文评价指标体系的构建[J].护理学杂志，2016，（01）：10-13.