“法治评价”量化研究的方法论基础

刘　凯, 白立士



“法治评价”量化研究的方法论基础

刘凯, 白立士

【摘要】从方法论的角度，法治评价量化研究应遵循“概念的共识”⟹“操作化”的逻辑前提。概念共识是对测量的对象的限定，操作化则是将抽象的概念转化为实际测量的指标和变量的过程。法治的共识概念应兼顾其实质面向和形式面向，并辅之以合理的程序。法治评价指标体系的设定则应避免文义模糊、过度涵盖、涵盖不足和同义反复等缺陷，并通过信度、效度和可靠性的检验。

【关键词】法治评价方法论概念共识操作化

一、问题的提出

对一行政区域内的法治水平的客观评价，一直是学界十分关注的课题，此类研究通常被称为“法治评价”。*也有学者称之为“法治评估”，笔者以为，“评估”倾向于理解为对未来的预判与预估，更多地适用于对项目未来成果的估计。本文采纳学界通常采用的“法治评价”的说法。相关研究的早期实践可以追溯到20世纪60年代兴起于美国的法律与发展运动，该运动采用了定量研究的方法描述欧洲和拉丁美洲的法律制度的发展样态，提出了定量比较法研究的范式。*鲁楠:《世界法治指数的缘起与流变》，载《环球法律评论》2014年第4期。“法律与发展运动”由国际开发署和美国律师协会赞助发起，其主要的学术成果体现在梅里曼、克拉克与弗里德曼所著的《大陆欧洲与拉丁美洲的法律与社会变化》一书中,这项研究虽未能持续，但对后期的法治评价研究从理论和方法上提供了指引。区别于传统的比较研究方法之强调法律规范的实体内容、学说以及概念的比较，转向定量的进路描述法治的客观真实状态和动态发展水平。*B.Tamanaha.The Lessons of Law-and-Development Studies. The American Journal of International Law,1995,89: 483—485。而到了20世纪80年代，越来越多的人开始认为，法治相对于民主和人权等概念，更容易嵌入各国的政治文化当中，世界各国形成了一股推行法治的潮流。*Thomas Carothers. The Rule of Law Revival. Foreign Affairs, 1998,77:95—106.在这一波法治全球化的浪潮当中, 法治评价定量研究领域出现了各种测量不同国家和地区法治水平的“指数”，其中包括世界银行的世界治理指数(World Governance Index, 简称WGI)和美国律师协会发起的世界正义工程法治指数。世界银行发起的世界治理指数是一项关注世界各国治理状况的综合指数，其指数包括言论与可问责性、政治不稳与暴力、政府效能、规制负担、法治以及腐败六个方面。*鲁楠：《法律全球化视野下的法治运动》，载《文化纵横》2011年第3期。这种指数化的尝试对于法治评价的定量研究意义重大。法治本身就是治理的重要一环，这不仅体现在指数设计当中直接对法治进行了评价，其他方面的指标与法治也有着内在的联系。但更重要的是，相较于60年代的法律与发展运动而言，其对社会学研究当中的最新的研究方法以及现代分析工具的使用做出了最早的实验。而WJP的法治指数是这一脉相承的方法论实践的产物。WJP建立了以法治形式概念与法治的四个基本原则为基础的共识概念、一个四级指标体系和541个可供测量的变量的研究框架。这是实证化的法治概念和在这一概念涵射下的法治评价指标体系以及大量用于测量的具体的变量。*《2014年世界正义工程法治指数报告》，世界正义工程网，2015-12-01，http://worldjusticeproject.org。其实证化的法治概念以及操作化的法治评价指标体系依托的是社会学定量研究的方法论逻辑：“概念的共识”⟹“操作化”。 然而，国内目前的法治评价实践中，学者在进行定量分析时，忽视了定量研究的这一方法论基础。*钱弘道、戈含锋、王朝霞等：《法治评估及其中国应用》，载《中国社会科学》2012年第4期。我们可以发现现有的法治评估往往是地方政府的政治导向，缺乏对法治本身内涵的严格探讨。在这一基本逻辑中，概念共识是对测量的对象的限定，是使测量结果客观、有价值和可比较的前提；概念的操作化则是将抽象的概念转化为实际测量的指标和变量，是实现定量研究必不可少的技术方法。二者是测量的前提和必经的步骤。因此，缺乏概念共识将导致评价结果偏离“法治”真实的社会意义，而忽视“操作化”的技术方法，则难以得到客观的结论。*[美]艾尔芭比：《社会研究方法》(第11版)，第116页，邱泽奇译，华夏出版社2009年版。本文旨在从方法论的角度，探讨法治评价量化研究的前提，为进一步的法治评价的量化研究提供方法上的参考。*本文很多时候以WJP的法治指数为样本展开讨论。WJP的实践是我们进行法治评价可以借鉴的对象，但本文并不局限于WJP的资料和方法，笔者试图从更为宏观的理论层面探讨法治评价定量研究的方法论基础，以期从理论上对法治评价定量研究进行反思，推动法治评价相关领域研究的进步。

二、概念共识与操作化的理论溯源

(一)概念共识理论

人们总是试图使用一个媒介来描述对事物的想象，而这个媒介就是概念。康德曾说，见解是对个别事物的想象，而概念则是对多个事物的共同点的想象。*[德]康德：《纯粹理性批判》，第67页，邓晓芒译，杨祖陶校阅，人民出版社2004年版。概念便是人们不同观念之间的“最大公约数”，可以在人们的思想之间流通。而概念的形成即为概念共识的过程。社会学定量研究从这一立场出发，认为定量研究的第一步便是获得概念共识。因为，往往抽象的概念并没有具体的指涉对象，我们真正测量的是人们脑海中“概念”的影像或者说是观念。起初，社会学家普遍认为，我们测量的对象是一切存在的事物，例如性别、年龄、物体的长度和温度等。但后来研究者发现，需要测量的对象往往都是并不存在的抽象概念，就像我们现在要进行的对法治的评价，世界上并没有一个称之为“法治”的器物摆放在你的面前，让你去测量它的长、宽、高，其并不是某一可以直接度量的事物。虽然不能凭借感官感知，但人们不会放弃用理性去探究它的含义，在此过程中便会产生各种各样的观念，而概念则是这些不同观念之间重合的部分。所以，为了测量此类无法用感官感知的事物，定量研究的第一步便是“概念化”，避免各说各话的危险。因此，法治评价的首要环节也是定义法治，对法治的基本共识是量化法治的前提。*现代社会学定量研究则是在“唯实论”的基础之上建立起来的系统的研究方法，本文不纠结于“唯名论”与“唯实论”的争议，旨在从方法论的角度探讨法治评价的研究基础。

笔者以为，科学的共识概念应该包含三个要素：核心语义、常识认同与可操作性。核心语义与常识认同是概念共识的实体性要求，而可操作性则保证共识概念易于测量。现代语言学的研究表明，一个概念有其核心语义和边缘语义，人类认知无法到达一个概念的全部，人类能描述的主要是概念的核心语义。*[英]哈特：《法律的概念》，第12页，张文显译，中国大百科全书出版社1996年版。所谓核心语义指的是，概念的外延限于文字的字面意义与语义学的逻辑演绎的范围之内。常识认同则指的是共识概念应该符合人类一般经验。概念的发展过程往往会伴随着价值的渗入，一个概念的内涵已经不仅限于其字面的涵义，这个时候就需要使用解释的工具对其进行限缩或者扩张。而可操作性的要素要求社会科学的概念应满足如下特征：协调、简约、实用、清晰。从而与其他概念界限分明，易于测量。*孟涛：《法治指数的建构逻辑——世界法治指数分析及其借鉴》，载《江苏行政学院学报》2015年第1期。

(二)概念的操作化理论

从定量研究的方法论基础——“概念的共识⟹操作化”出发，概念共识是定量研究的前提，而操作化是特定研究程序的发展，指向感知判断。如果说前述过程乃概念的形成过程，则操作化是概念的二次分解。操作化实际上是将抽象的概念分解为具体的指标，再对其进一步测量。指标的形成过程可以表述为：将一个概念分解为相应的维度，再将不同维度细分成一系列指标(indicator)，直到最终的指标指向人类的感知判断。在这一指标体系当中，具体的指标是我们所要研究的“法治”这一概念具体存在的一个标记。这一分解的过程使得“法治”由一个抽象的概念转化为可操作的定义，最终运用于量化研究。这一“概念⟹指标”的过程我们称之为概念的操作化。

概念操作化的终点在于最终的指标是一个可以凭一般经验感知的变量，从初始的概念到最终的指标的过程会形成一个指标体系。在此原则之下，一个理想的指标体系的指标之间还应具备互斥性、穷尽性和单向性特征。*[美]劳伦斯·纽曼、拉里·克罗伊格:《社会工作研究方法:质性和定量方法的应用》，第230—231页，刘梦译，中国人民大学出版社 2008年版。其中，互斥性要求指标之间不要重复测量，每个指标反映概念的一个侧面；穷尽性要求指标完全尽可能地接近概念的全部；单向性则要求所有的指标都指向同一个概念。具体的指标确定之后便可以对各个指标进行权重的分配和一定范围的数据的搜集和计算，利用信度、稳定性和协调性等参数完成对指标体系的科学性检测。通过检测的指标体系便可以运用于更大规模的测量。

由以上论述可知，概念共识到操作化之所以为定量研究的基础，在于：(1)概念本身来自于经验的实证主义思想，概念的共识是经验抽象后的共相，对共识概念的测量实际上便是测量本身可以量化的经验，由此而具备了定量研究的方法论基础。(2)操作化是运用演绎的方式，将共识概念回归为可供测量的变量。演绎的逻辑的优点在于，只要前提确定，结果便具有相当的客观性，从而保证测量的结果指向共识概念。同时，现代分析工具的繁荣以及统计学的发展，使得操作化的科学性能够进行检测和调整，从而渐进地改善操作化的指标体系。

三、法治的概念共识

(一)法治概念的形式与实质面向

形式法治论者从法治的核心概念出发，以一种分析哲学的进路，通过概念的语法考察(Grammatische Untersuchung)以及形式逻辑的方法，表达概念。法治的外延都来自于法治概念的逻辑推演。例如，2004年联合国秘书长发布的对于法治的定义是偏向于形式法治的，它的表述为：“法治指的是这样一种治理原则:所有的人、机构和实体，无论是公共的还是私有的，包括国家自身，都必须对法律负责。而这种法律，是公开发布、平等实施、独立裁决的，并与国际人权规范和标准保持一致。法治概念还要求采取措施来保证遵守下列原则：法律至高无上、法律面前人人平等、对法律负责、公平适用法律、权力分立、参与决策、法律确定、避免恣意以及程序和法律透明。”此概念中的表述，可以从法治(rule of law)的概念以及人们的理性推导出来。法治当然意味着所有人在法律之下，也意味着法律应该是公开的，公民在法律面前是平等的，法律的程序是透明的等。持这种立场的学者认为，概念的语义是由人们日常习惯中约定的语言规则设定的，是人们共同观念的一种反映，而概念的意义就反映在语言的词义当中。所以，概念的本义便是人们的共识。同时，这种方式符合实证主义的一贯立场，实证研究需要研究者尽可能与研究对象保持距离，乃所谓研究者的中立性。中立性要求研究者摆脱主观意志和价值判断，只从技术上还原概念本身的意义。反映在具体的法治评价定量研究当中，形式法治的进路测量的是法律体系本身、法律的实施以及法律主体对法律的服从，不关心法治的目的与效果。而数据的采集可以是立法的数量、各类案件的结案率以及犯罪率等客观的数据，减少对问卷调查等主观数据的依赖。

区别于形式法治理论，实质法治理论强调法治应该立足于一定的价值追求，而不只是一具合法性的外壳。从亚里士多德关于“良法善治”的概念可以窥见，最早的实质法治理论便要求法治的实现首先需要一部良法，善治则体现了法治对程序正义的要求。而目前最具代表性的实质法治理论是以保障公民权利实现为中心的。因为，根据人类的长期经验和常识认同，法治的目的是保护人权，法治的共识概念应该体现常识认同这一要素。这种对法治共识概念的追求也体现在一些法治评价定量研究的实践当中。例如，WJP的法治概念为：“所有人服从法律规制的规则系统，同时应该符合以下四项原则：(1)政府及其官员均受法律约束；(2)法律应当明确、公开、稳定和公正，保障人的生命安全和财产安全等基本权利；(3)法律的颁布、实施和执行程序应当开放、公平、高效；(4)法官、律师和司法工作者应当称职、独立，具备职业道德，而且数量充足、装备精良并具有一定社会代表性。”*《2014年世界正义工程法治指数报告》，世界正义工程网，2015-12-01，http://worldjusticeproject.org。其中限制政府权力、保障公民权利等原则就是实质法治理论在WJP法治概念中最直接的体现。而关于法律公开公正、法律从业人员的德性以及选拔程序的要求，也是法治形式概念与程序正义的结合。WJP的法治概念是法治实质面向与程序面向的结合，也是当下法治实质理论和程序理论融合趋势的一个注脚。

(二)法治概念与程序理性

在晚近的法治评价定量研究当中有一种新的倾向，即在概念共识的达成过程中强调各界的参与，商讨确定法治的概念，从程序上保证概念的共识基础，这种“协商共识”的方式由于体现了专业性和民主性而广受青睐。这种概念的确定方式反映了人类在后现代主义的冲击下，展开了对理性的反思，也更能体现达成概念共识的方法论基础。*[德]哈贝马斯：《在事实与规范之间》，第273页，童世俊译，生活·读书·新知三联书店2003年版。协商共识强调以法治的核心概念为基础的广泛的主体参与。笔者以为，协商共识是一种程序理性，是完善法治概念的有益途径。比如，WJP的法治指数中使用的法治概念便是经过与一百多个国家的17个专业领域的领导人、专家学者、普通人的沟通研讨，从而得出了法治形式理论与实质理论相融合的法治的四项基本原则，将其作为法治概念的界定。这种方式试图通过协商的方式达成对法治概念的一致理解，成为达成共识的一种有效的方法。*戴耀庭：《香港法治指数》，载《环球法律评论》2007年第6期。

前述科学的共识概念包含三个要素：核心语义、常识认同与可操作性。一个妥当的法治概念同样如此。法治概念的形式面向与实质面向的融合对应了对共识概念核心语义和常识认同的要求。两种研究方法的融合也是目前法治评价定量研究的趋势。同时，辅之以程序上的公众协商，小心得出法治的共识概念。使得达成的共识概念在核心内涵上符合法治的语义，在价值关怀上体现常识认同，在程序上满足公众的有效参与，法治的概念便能更接近共识。因此，要测量法治水平，首先应该是定义法治，法治的概念共识是进行法治评价定量研究的前提。虽然，“法治是一个无比重要的，在内容上却未曾被界定，甚至是不可能被界定的概念”*陈林林：《法治指数中的认真与戏谑》，载《浙江社会科学》2013年第6期。。定义法治实属不易，其艰难之处在于达成概念共识是如上所述的复杂工程，但达成共识却是进行定量研究的前提条件。

四、法治概念的操作化

法治的共识概念确定之后，便是进行概念的操作化。从抽象的共识概念到具体的可供测量的变量，便是操作化的过程。比如，WJP的法治指数确定了以所有人在法律之下以及四个原则为支撑的共识概念之后将其分解为九个一级指标。*《2014年世界正义工程法治指数报告》，世界正义工程网，2015-12-01，http://worldjusticeproject.org。在其公布的2011年的版本当中，又将其分解为52个二级指标、76个三级指标和14个四级指标。该体系的终端指标还要分解为可以直接观测和赋值的变量，总数达到541个。*Juan C. Botero and Alejandro Ponce. Measuring the Rule of Law. The World Justice Project-Working Papers Series No. 001,2011:39—54.这样一个从共识概念到具体变量的操作化过程，形成了一个指标体系，即所谓的WJP的法治指数。因此，指标化是操作化的核心。指标体系的设定应该充分考虑指标应该分解为变量的原则以及指标的互斥性、穷尽性和单向性的特征。

(一)法治评价指标体系的设定

法治的共识概念是抽象的，而指标体系的设定旨在让受访者凭一般经验参与问卷调查。所以，法治评价的指标首先应该满足的条件便是能够还原成可以测量的变量。比如，在WJP法治指数当中，第(1)项“政府及其官员均受法律约束”就可以再一次细化为：“政府及其官员的权力通过宪法或其他基本法加以界定和限制”，这就更加明确了，我们可以从法律文本中寻找答案。尽管如此，我们还是会担心纸面上的法是否得到很好的实施。此时，我们只能通过调查研究去发现，这便需要更加客观与细化的指标和变量，尽量排除受访者的主观看法。

法治的共识概念的确定，一定程度上界定了评价的一级指标，紧接着是下一级指标和变量的确定。而对于具体指标和变量的设计，现有研究鲜有公布的数据可供分析，目前只统计综合性的一级指标的得分的做法实际上有悖于定量研究的基础，因为变量的设定和后期数据的分析是测量的关键。通常而言，一级指标都是原则性的表述，仍然停留在名义概念的阶段，而要进入实际的测量大致要经过“概念化——名义概念——操作概念——变量”的阶段。最终的操作概念应该是参与测评的对象用经验可以感知的概念。以2006年香港法治指数为例，其中第一项法律的基本要求分为八个二级指标，分别是一般性、公布、稳定、确定、没有溯及力、不可要求不可能的作为、不可赋予任意的权力、与一般社会价值相符。而这“一般性 ”又分解为三级指标 “法律是适用于所有人而不是个别人士 ”，该要求可加强对执法者的酌情权力的规限，因为他们必须引用相关法规和原则来解释为何不同人会得到不同的对待，并在三级指标的基础上进行变量的设计和问卷调查。由此可知，其对各级指标都作了详尽的解释，确保参与者不会有歧义和误解。

通常，研究者以为所列指标都指向法治概念的同一方向，变量之间不存在逻辑矛盾。实际上，我们最终所采纳的单个指标看起来是对的，但相互比较仍然可能会出现逻辑混乱。如前所述，一个科学的操作化指标应该具备互斥性、穷尽性和单向性特性。对应法治评价指标体系的设计，研究者应该尽力避免的问题包括文义模糊、过度涵盖、涵盖不足与同义反复。文义模糊的概念是操作化未完成阶段的产物，未彻底的操作化概念会导致定量研究的数据失真。受访者在评测时很难达成统一，因此难以保证测量的信度。*钱弘道：《2012年度余杭法治指数报告》，载《中国司法》2013年第11期。而信度是数据质量的一个关键指标，它体现为是否可以重复，模糊的文义将导致不同的受访者会作出不同的解释，因此降低信度。*张保生、郑飞：《世界法治指数对中国法治评估的借鉴意义》，载《法制与社会发展》2013年第6期。过度涵盖与涵盖不足都将影响法治评价指标体系的效度。定量评价研究中常出现的问题是指标超出了共识概念的涵射范围。原因可能是研究者给予研究对象以过高“期待”，让法治承担了过多的评价功能。而法治的共识概念将所应测量的对象进行了有效的限定，所有的指标设定都应该指向法治的共识概念，法治是国家治理的重要环节，但不是全部，指标设定的过度涵盖和赋予法治概念的过度解读都会影响测量结果的客观性。而指标体系中对法治重要面向的忽略将导致涵盖不足而降低效度。通常来讲，这两种情形并不会影响单个变量的测量结果，但是对最终的加权会构成影响。同义反复指对同一变量进行的重复测量。除非研究者设计不同的提问方式，期望从多角度测量受访者的态度，否则，同义反复会牺牲指标的互斥性特征，同时会降低受访者进行问卷反馈的效率，从而影响测量的效果。

(二)指标体系的检测

在法治评价指标体系投入大批量的测量之前，应当对其进行小范围的检测，测试其指标体系的科学性。同时，指标体系投入使用后依然需要不断地改善和调整。*对比从2008年到2014年的WJP的法治指数的指标体系，其指标已经发生了很大的变化。以一级指标为例，从2008年的13个一级指标，到2009年的16个，2011年至今确定了九个一级指标的框架。一直以来WJP都会根据相关系数对指标体系的信度、效度和可靠度进行检测，同时也对比与其他指数的一致性程度。其指标体系的调整取决于WJP在进行内测和外测的过程中不断地调整。《2008—2014年世界正义工程法治指数报告》，世界正义工程网，2015-12-01，http://worldjusticeproject.org。从测量的基本公式O=T+S+R可以看出，测量值O与真实值T之间有误差，包括系统误差S和随机误差R。理想的状态是S=R=0，从而O=T。但S和R是测量中不可避免的量，而如何尽量将其减小到最小的值，一个重要的因素在于指标体系的科学性。而检测指标体系的方式主要有信度检测、效度检测和可靠性检测。

1.信度检测

信度是数据的精确度指标。常用的指标有重测信度、分半信度和克隆巴赫系数(C-alpha)。其中重测信度也称为再测信度，指的是对多次测量的系数进行相关性分析，如果相关性达到0.8以上，表明该指标体系是相对精确的。分半信度则是将量表分成奇数和偶数两个半量表，信对半量表的结果进行相关性分析。目前最可信的指标是克隆巴赫系数(C-alpha)，该系数用来检测指标体系指标的内在一致性。克隆巴赫系数的值达到0.7以上即为可接受。在WJP的九个一级指标中，唯独“非正式司法”这一项系数低于0.7(2014年的C-alpha=0.37)*张保生、郑飞：《世界法治指数对中国法治评估的借鉴意义》。。这也是很多学者提出质疑的原因，认为“非正式司法”这一项指标实际上是美国律师协会企图推广其在世界范围内的ADR业务所设置的条目。

2.效度检测

效度是指标体系的准确度指标。常用的指标有内容效度、标准关联效度和建构效度。其中内容效度检测的是法治指标的设计是否指向法治的共识概念，是检验操作化的重要指标。而标准关联效度指的是，新设置的法治评价指标体系应该与成熟的指标体系在数据结果上具备的相关性。例如，从这一指标对我国目前常用的法治评价指标体系的分析来看，其与WJP法治指数、香港法治指数等数据结果偏差较大，意味着我们的法治评价指标体系仍需进行一定程度的调整。建构效度检测的是指标之间的相关性，被认为是最关键的指标。其呼应了指标的互斥性、穷尽性和单向性的主要特征。通常可以用克隆巴赫系数进行检测，配合以斯皮尔曼等级系数(spearman)进行验证。

3.可靠度检测

量表的设计还需要考虑问卷调查的现实因素。一个好的指标体系应该在量表接受度、量表完成度和量表完成效率方面达标。量表的接受度和完成度能达到85%以上属于优秀的量表，而通常情况下以量表的回收率和完成率作出综合的考量。同时量表的设计还应该考虑受访者的完成效率，通常受访者应该在20分钟以内完成问卷，过长时间地填写问卷会使测量的数据质量下降。

五、结论

从以上分析可知，要测量法治，首先需要法治的概念共识，进而是法治概念的操作化。从方法论的角度，法治评价量化研究应遵循“概念的共识”⟹“操作化”的逻辑前提。概念共识到操作化之为定量研究的基础在于，概念本身来自于经验的实证主义思想，概念的共识是经验抽象后的共相，对共识概念的测量实际上便是测量本身可以量化的经验。同样，法治作为一种社会事实，具备量化评价的理论基础。研究者可以通过演绎的操作化的方式将法治的共识概念编绘成一套完整的法治评价体系。其中，概念共识是对测量对象的限定，操作化则是将抽象的概念转化为实际测量指标和变量的过程。结合现代法治理论以及WJP的法治评价实践，法治的共识概念应兼顾实质面向和形式面向，并辅之以合理的程序，既反映法治的核心语义与常识认同，同时也应该体现法治对于正义和保障公民权利的追求。在法治评价指标体系的设定过程中，应避免文义模糊、过度涵盖、涵盖不足和同义反复等缺陷，并通过信度、效度和可靠性的检验。进而随着年度数据的不断积累，反复检测指标体系的科学性，及时调整和完善法治评价指标体系，以此实现测量结果对法治真实状态的客观反映。

【责任编辑：肖时花】

(作者简介:刘凯，江西新余人，华南理工大学法学院博士研究生；白立士，河南睢县人，华南理工大学法学院博士研究生。 )

【中图分类号】D90

【文献标识码】A

【文章编号】1000-5455(2016)02-0131-06

【收稿日期】2015-12-18

【基金项目】国家社会科学基金重点课题“中国地方治理与法制发展问题研究”(14AZD015);国家社会科学基金重大课题“法治国家、法治政府、法治社会议题建设进程中的地方实践研究”(14ZDC007)