法律硕士(非法学)专业学位联考的预测效度分析
2018-05-30戴一飞邢博特
戴一飞 邢博特
(教育部考试中心,北京 100084)
1 研究目的
法律硕士(非法学)专业学位设立于1995年,是我国最早创设的专业学位之一,是在研究生教育领域有重大影响力的专业学位,20余年来为国家培养了大批高层次复合型的应用型法律人才。2014年,党的十八届四中全会全面部署依法治国方略,明确要求推进法治专门队伍正规化、专业化、职业化,完善法律职业准入制度,党的十九大报告重申推进全面依法治国总目标。2015年年底,国家印发《关于完善国家统一法律职业资格制度的意见》,明确法律硕士是非法学毕业生进入法律职业的重要通道①《关于完善国家统一法律职业资格制度的意见》从专业条件方面,明确了法律职业的准入条件:具备全日制普通高等学校法学类本科学历并获得学士及以上学位,或者全日制普通高等非法学类本科及以上学历并获得法律硕士、法学硕士及以上学位或获得其他相应学位且从事法律工作3年以上;参加国家统一法律职业资格考试并获得通过。。新形势下,法律硕士(非法学)专业学位研究生的选拔和培养面临着新的挑战,探索招生考试改革的新路径,选拔优质生源,已成为深入推进法律硕士(非法学)专业学位研究生教育改革工作的重中之重[1]。
作为招生考试,法律硕士(非法学)专业学位联考(简称“法硕联考”)发挥着为国家选拔高层次法律专业人才的重要作用。然而,由于其考查从未系统学过法律的考生对法律专业知识的掌握情况,一些学者认为这项考试既违反常理,也没有任何评估价值[2]。现实中,这种考核方式也的确对法律硕士的教学产生了一定的干扰[3]。法律硕士制度创设之初,我国的法学教育尚处于起步阶段,法学界选择用法律专业知识测试从那些非科班出身的考生中选拔法律人才,是基于一定的实际考虑和社会需要[4]。随着我国法学教育步入正轨,多层次法律人才储备日益充足,继续沿用这种考核模式似乎已经不再具备当时的合理性。但客观地讲,在长期适用过程中,这一模式已经形成了一定的制度惯性,各法律硕士培养单位纷纷基于这种选拔模式,建立起了与之相配套的培养方案。教师在授课时也往往会基于学生有一定专业积累这个前提,组织和开展教学。此时谈改革,无论是全盘推翻,还是优化调整,都需要谨慎而为。
针对法硕联考的改革,长期以来存在两种思路:一是延续考核法律专业知识的大前提不变,对考核内容(考试科目)、题型、题量进行调整和优化;二是改变考核法律专业知识的成就测试属性,以能力倾向测试取而代之,考核法律职业所需的一般能力,不再评量考生对具体法律知识的掌握程度。第二种改革思路谈不上新颖,将法硕联考设定为类似美国LSAT(Law School Admission Test)那样的能力倾向测试的方案,在法律硕士制度创立时就曾重点考虑过[5]。如今重提这一方案,已经缺乏了当年从无到有的开创性环境,意味着对现行法硕联考在测试类型上进行根本性的变革。若要进行这种重大调整,就需要充足的理由,例如可以证明现行法硕联考在选拔法律专业人才方面是失效的。那么,法硕联考究竟能否有效地预测考生的专业水平和职业能力呢?对此,笔者拟通过基础性的预测效度分析,尝试从教育测量学角度回答这一问题,为法硕联考的改革提供参考和建议。本研究将具体回答以下几个问题:1)法硕联考两门专业课(专业基础课与综合课)成绩之间是否存在相关;2)法硕联考成绩与复试成绩是否存在相关;3)法硕联考与法律硕士生入校后相应的专业必修课期末考试成绩之间是否存在相关;4)法硕联考与司法考试通过情况是否存在相关。
2 研究方法与内容
效度是指一项测试对于所欲测量的属性能够测到的程度[6]。衡量一个测试是否有效有很多方法和角度,本效度研究主要是对效标关联效度的分析,即测量法硕联考分数与其他效标分数之间的相关性,用相关系数来体现效度。
2.1 样本来源
为确保样本的代表性,在确定样本来源时特别考虑了院校的培养水平、地域等特征,并最终选定了3所法学院。A法学院隶属高校是教育部直属院校,综合性研究型大学,国家“一流大学建设高校”,法学专业为其“双一流建设学科”;B法学院隶属高校是教育部直属院校,为国家“一流学科建设高校”,法学专业为其“双一流建设学科(自定)”;C法学院隶属高校为某省政府、某部委和教育部共建大学。
2.2 数据收集
基础数据统计长达6个月。对3所法学院根据表1所列清单,进行数据收集与整理。
表2显示,3所法学院在法律硕士的招生规模(不包括推荐免试等特殊类型考生)上有一定差异:A法学院招生规模最大,3年平均每年录取人数为137人;B法学院招生规模居中,为84人;C法学院招生规模最小,为35人。3所法学院分别提供了包括录取者的基本信息、法硕联考成绩、复试成绩、专业必修课的期末考试成绩以及司法考试通过情况在内的各项数据,共计10 352项,平均每位录取者样本提供数据14项。
表1 法硕联考预测效度研究的基础数据统计清单
表2 3所法学院2013—2015年录取法律硕士生人数
2.3 数据分析
2.3.1 总体情况
图1、图2分别是对2013—2015年3所法学院当年录取法律硕士生初试专业基础课与综合课的分数统计。其中,柱状部分为3所法学院法律硕士录取者的平均分,两条折线分别为样本法学院全体考生的平均分与当年教育部为法律硕士招生确定的进入复试的初试成绩基本要求。
图13 所法学院2013—2015年录取者初试专业基础课平均分统计情况
图23 所法学院2013—2015年录取者初试综合课平均分统计情况
3所法学院录取者初试专业基础课和综合课的平均分远高于当年法律硕士的国家基本要求,说明3所法学院在全国199所法律硕士培养单位中大致处于中等偏上的招生水平。具体来看,3所法学院录取者的两科目平均分基本呈现依次递减的趋势(除2015年C法学院的专业基础课平均分略高于B法学院),且A、B法学院的平均分之差要明显小于B、C法学院的平均分之差(2015年综合课平均分之差3所法学院呈等差递减)。无论是专业基础课还是综合课,A法学院录取者分数的标准差最低,其高分相对集中,分数离散程度低于B、C法学院。这些数据间接反映出3所法学院之间的生源水平差异。
2.3.2 初试专业基础课成绩与综合课成绩的相关性
表3是对3所法学院录取者初试专业基础课与综合课考试成绩的相关系数统计。3所法学院的录取者专业基础课与综合课3年的平均相关系数分别为0.214、0.299和0.162。具体来看,A和B法学院的录取者两科成绩的相关系数保持在0.2~0.5,B法学院2014年录取者的两科成绩相关系数最高(0.479),其中大部分相关性显著,两科目之间呈现线性弱相关或中等相关。C法学院的录取者两科目成绩相关性不显著。
2.3.3 初试法硕联考成绩与专业课复试成绩的相关性
专业课复试成绩是此次法硕联考效度研究的一个重要效标。由于复试与初试法硕联考(含专业基础课和综合课)在时间间隔上比较接近,二者的相关性在很大程度上反映的是法硕联考的共时效度。
表4反映的是3所法学院录取者初试法硕联考成绩与专业课复试成绩的相关性。B法学院录取者初试成绩与复试成绩之间呈现中等线性相关(其中,2014年综合课成绩与复试成绩的相关系数高达0.734),而A、C法学院录取者初试成绩与复试成绩之间主要表现为相关性不显著。
表3 初试专业基础课成绩与综合课成绩的相关系数
表4 初试法硕联考(专业基础课、综合课)成绩与专业课复试成绩的相关系数
2.3.4 初试法硕联考成绩与硕士在读专业必修课期末考试成绩的相关性
在早期的效度理论中,效度等同于相关系数,被试的得分与其入校后一年级期末考试成绩的相关度越高,测试的预测能力就越强,效度也就越好[7]。尽管后来学界普遍承认这种单一效度观对于效度的理解不够完整[8],但这种计算相关系数的方法,一直因其相对客观明了,被教育测量界所普遍使用[9]。本研究跟踪收集了3所法学院2013—2015级法律硕士生一年级末期考试中刑法、民法和宪法3门必修课的成绩,以之作为效标分数,计算法硕联考成绩同相应课程期末考试成绩的相关系数,反映前者的预测效度,即法硕联考预测考生在入学后学业表现的能力。
表5显示,除C法学院初试专业基础课成绩与2015年法律硕士生刑法期末考试成绩相关性显著(相关系数为0.368)外,其余情况下录取者的初试法硕联考成绩与在读专业必修课期末考试成绩之间均不存在显著相关。
为更准确地反映法硕联考成绩与专业必修课期末成绩之间的相关性,基于B法学院提供的考生编号(A、C法学院未能提供考生编号,暂无法统计),从原始数据中查找并统计对应考生初试专业基础课刑法与民法部分的分科成绩以及综合课中宪法部分的成绩,统计与相应课程期末考试成绩的相关系数。如表6所示,B法学院2013、2014两个年级法律硕士生初试专业基础课的刑法与民法部分和研究生阶段刑法与民法课程的期末考试成绩不存在显著相关,该结论同样适用于综合课的宪法部分与宪法期末考试成绩之间的相关性分析。
表5 初试法硕联考成绩与硕士在读专业必修课期末考试成绩的相关系数
表6 B法学院2013级、2014级法律硕士生初试联考分科成绩与期末考试相关学科成绩的相关系数
2.3.5 初试法硕联考成绩与国家司法考试通过情况的相关性
国家司法考试(以下简称“司法考试”)成绩对于统计法硕联考的预测效度而言,是一个比较重要的效标。法律硕士教育以培养高层次复合型的应用性法律人才为目标,其考核目标与国家司法考试的目的具有同向性。在我国,司法考试是法律职业资格准入考试。鉴于法律硕士的职业性,绝大多数法律硕士生会在毕业前参加司法考试,以拿到进入法律职业圈的“入场券”。法硕联考作为硕士研究生入学“门槛”,直接筛选出潜在的法律实务专业人才,再经由司法考试检验这些潜在的法律人才是否符合法律职业的要求。理论上讲,同一考生在这两项考试中的表现应具有相关性。因此,在统计时,专门收集了录取者毕业前的司法考试通过情况,作为与法硕联考进行相关性分析的另一效标。
为更准确地反映法硕联考与司法考试成绩之间的相关性,在选取样本时,排除了2013级法律硕士生(存在多次参加司法考试的情况)和2015级法律硕士生(尚未参加司法考试),仅统计了2014级法律硕士生的司法考试通过情况。表7反映了3所法学院2014级法律硕士生的法硕联考成绩与司法考试是否通过的关系。法硕联考两科目成绩与司法考试通过与否之间均呈现线性弱相关,专业基础课成绩与司法考试通过与否之间的相关要高于综合课成绩与司法考试通过与否之间的相关。通过对3所法学院的比较,发现B法学院2014级法律硕士生的法硕联考成绩与司法考试通过与否的相关程度最高,其次是A法学院和C法学院。法硕联考总分与司法考试通过与否的相关性要强于法硕联考单科成绩与司法考试通过与否的相关性。
为了同法硕联考成绩与司法考试是否通过的相关进行对比,笔者将2014级法律硕士生的期末考试成绩与司法考试通过与否的相关程度也进行了统计,如表8所示,A、B法学院2014级法律硕士生的期末考试成绩与司法考试通过与否不存在显著相关性,而C法学院2014级法律硕士生的期末考试成绩与司法考试通过与否存在弱相关。这一结果反映出,校内期末考试对于考生在司法考试中表现情况的预测,不及法硕联考。
3 研究结论与建议
3.1 局限性
本研究的取样尽可能追求样本的代表性,做到数据翔实、可靠,时间跨度达到3年,但依然存在一定的局限,并可能造成研究结果出现误差,这些局限包括:第一,样本来源高校数量有限,目前法律硕士学位授权点共有199所(截至2016年9月),3所取样院校仅占全部培养单位的1.5%;第二,法硕联考已实施21年,2013—2015年的数据统计并不能准确反映法硕联考早期的特点;第三,效标的选取比较有限,复试、期末考试这两种效标本身就带有很强的主观性和不确定性,会造成研究结果存在系统误差;第四,围绕预测效度的验证仅限于相关性分析,由于支持预测效度水平的指标并不仅限于相关系数,因此,研究得到的一系列相关系数并不能全面代表法硕联考的预测效度。
表7 2014级法律硕士生的法硕联考与其司法考试是否通过的相关系数
表8 2014级法律硕士生的期末考试成绩与司法考试是否通过的关系
本研究的参考价值在于,这是首次对硕士研究生招生考试中法硕联考进行的效度研究,尤其是以收集到的相关样本的司法考试通过情况作为效标,统计出法硕联考与司法考试的相关性,可为法硕联考命题工作和法律硕士的培养提供一些实证数据。
3.2 研究结论
结论一:法硕联考所设置的两个考试科目(专业基础课与综合课)之间呈线性弱相关至中等相关,且相关性显著,在通过考核法律专业知识选拔法律硕士生方面,两科目分别发挥着各自的作用,但二者并不是强相关,反映出两科目都以法学专业知识为考核内容的共性与两科目一个偏重实体法一个偏重理论法学的差异性。这一结论适用于以A、B法学院为代表的法律硕士培养单位。
结论二:以B法学院为代表的法硕培养单位,其法律硕士生的初试联考成绩与复试成绩之间呈现中等相关,但以A法学院为代表的高水平法律硕士培养单位和以C法学院为代表的一般水平法律硕士培养单位,其法律硕士生的联考成绩与复试成绩之间呈现低相关或者不相关,这在一定程度上反映出,B法学院的复试与法硕联考所考查的内容存在同质性的可能。
结论三:法硕联考与入学后相关专业课期末考试成绩之间没有明显相关性,法硕联考中的单一课程内容考核成绩与相关专业课期末考试成绩之间,也不存在相关性。理论上,法硕联考的考核内容与校内必修课程的期末考试考核内容应当具有一致性,可统计结果显示二者完全不相关,原因值得深思。校内期末考试的试题缺乏规范性,试题主观性强,赋分较为集中,以及培养环节的学术性过强等,都可能导致上述结果。
结论四:法硕联考总分与司法考试是否通过之间呈现线性中等相关,专业基础课成绩与司法考试成绩的相关性高于综合课成绩与司法考试成绩的相关性,说明法硕联考成绩对于考生在职业资格考试方面的表现具有一定的预测作用,而且,以刑法和民法两门实体法专业知识为考核内容的专业基础课,其发挥的预测作用要强于以理论法学为考核内容的综合课。
结论五:校内专业必修课期末考试成绩与司法考试成绩之间呈现弱相关或负相关,法律硕士培养阶段所形成的过程性评价对于法律硕士生在职业资格考试方面的表现,不存在预测性。
3.3 对法硕联考改革的建议
现行法硕联考对于考生在职业资格考试方面的表现的确具有一定预测作用,并非完全失效,如要以能力倾向测试取而代之,需要较为充足的实证数据来支持改革后的法硕联考具备更强的预测效度,抑或已形成连同培养方案、就业去向、职业资格考核等在内的一整套成熟的法律硕士专业学位的顶层改革设计,需以能力倾向测试作为制度配套。如短期内不能改变法硕联考成就测试的基本属性,则须尽快对考核科目进行调整,强化实体法与程序法的考核,弱化对综合课中法学理论知识的考核,实体法与程序法的考核占比应同国家统一法律职业资格考试保持相当。
从法硕联考与复试的相关性来看,法硕联考的考核目标更加符合以B法学院为代表的中等偏上培养单位对于法律硕士生的能力要求,能够为处于这一层次的法学院提供较好的初试选拔服务。从研究结果来看,A法学院的录取者几乎都处于高分数段,离散程度小,也就是说对于报考这类法学院的考生,法硕联考的区分能力并不理想。建议在符合一定条件的基础上,赋予以A法学院为代表的一流法律硕士培养单位在联考和自主命题之间进行自主选择的权利[10],以适应顶尖法学院更高的选拔标准。
数据显示,法律硕士培养阶段所形成的必修课期末考试成绩与法硕联考成绩和司法考试通过情况都不具有相关性。法律硕士的培养方案能否真正反映法律硕士作为专业学位的特点和需求,至少根据三者的相关程度还得不出肯定的结论。这一问题的出现可能源于设立法律硕士制度的同时,没有压缩法学硕士的培养,使得“双轨制”的法学教育模式长期存在。专业学位的设置初衷应当是市场导向、需求导向、应用导向的,将法学硕士的培养方案移植到法律硕士的培养上来,并不符合专业硕士的培养特点。从培养目的即市场需求着手,设计不同的专业学位类型,制定相应的培养方案,完善配套的招考机制,是目前整个专业学位教育体系需要树立的观念。
自《关于完善国家统一法律职业资格制度的意见》发布至今,司法考试的改革方案一直处于论证阶段,但法律职业准入门槛将会提高,这一点是肯定的,非法学本科生不能直接报考资格考试,需要至少修读过法律硕士或法学硕士及以上学位。如此一来,法律硕士就成为非法学本科生进入法律职业的重要途径之一,法硕联考因此成为挡在非法学本科生进入法律职业前的又一道门槛,决定着将什么样的人输送到国家的法治队伍当中的问题。法硕联考的改革应该在这一制度大背景下进行,只有同国家统一法律职业资格考试制度有机对接起来,法硕联考的改革才可能充满生命力,才具有可行性。
[1]王红.深化专业学位研究生教育综合改革,提高法律硕士研究生培养质量[J].学位与研究生教育,2016(1):8.
[2]方流芳.法律硕士教育面临的三个问题[J].中国政法大学学报,2006(1):101.
[3]王健.法律硕士教育制度的改革与发展:一个政策分析[J].政法论坛,2009(3):126.
[4]戴一飞.法律硕士联考二十年:制度回顾与政策反思[J].政法论坛,2014(6):156.
[5]全国法律硕士专业学位教育指导委员会秘书处.中国法律硕士专业学位教育的实践与探索[M].北京:法律出版社,2001.
[6]王孝玲.教育测量(修订版)[M].上海:华东师范大学出版社,2005.
[7]CRAWFORD A B,GORHAM T J.The Yale Legal Aptitude Test[J].The Yale Law Journal,1940,49(7):1237-1249.
[8]THORNDIKE R L.Educational Measurement[M].Washington,DC:American Council on Education,1971.
[9]ANTHONY L C,DALESSANDRO S P,REESE L M.Predictive Validity of the LSAT:A National Summary of the 2011 and 2012 LSAT Correlation Studies[R].Newton,PA:Law School Admission Council,2013.
[10]戴一飞.法律硕士联考的新路径:国家统一法律职业资格制度对法硕联考的实质类型化要求[J].当代法学,2016(5):149.