基于项目反应理论的社情民意调查问卷设计

刘 全，刘 汀

0 引言

社情民意调查是使用社会科学的调查和分析方法，对一个地方政府所管辖的居民的调查，通过调查了解公民的需求、行为特征、政策偏好及其对政府服务的评价，并确定公民对政府服务评价高低的决定因素，以利于政府改进服务的过程。目前，我国社情民意调查主要包括民主政治类、经济（心理）类、社会民生类等方面。社情民意类调查已成为当前统计调查的重点。

社情民意调查的基本目的是了解公民对政府行为及其产生的后果的评价，以及决定公民评价的影响因素。在政府的行为和绩效的评价上，公众本着“合理的无知”原则[1]，一般只能给出他们看得见、摸得着的政府施政行为及其结果的感知。所以，满意度调查是社情民意调查的主要形式。而如何设计出科学的问卷（量表），对公众就政府行为及其产生的后果进行准确的心理特质（如感受、意愿、态度等）测量，是社情民意调查中的关键问题。

项目反应理论[2]（Item Response Theory,IRT）用于心理学上对所谓潜在心理特质的测量，这与社情民意调查研究目标一致。IRT起源于20世纪50年代，主要由劳勒（Lwaley,1936）、拉扎斯菲尔德（Lazarsfield,1950）、伯恩鲍姆（A.Birnbaum,1957）、拉希（G.Rasch,1960）等人创立，70年代起，IRT理论已在大多数国家中成为心理测量学家的主要研究课题。近年来，国内学者漆树青、余嘉元、何晓群、柯惠新等在这方面进行了大量研究[2-6]，但其研究侧重于IRT基础理论及其在心理测评、标准化考试、试题库建设、自适应测验的应用等方面。

1 基于IRT的社情民意问卷设计原理及过程

1.1 IRT建模

不失一般性，设公众对政府行为及其产生的后果评价为θ，其取值范围在-1.0∼+1.0区间。显然，每个受访者在任何一个给定时刻都有一个，并且只有一个态度量值θ，但这个θ是潜在的，是无法直接观察到的。调查时，当把我们把第i个调查项目呈现给受访者时，将会诱发出受访者的一个态度反应γi，由于误差的存在，一般可以假定γi=ρiθ+εi。此时，受访者能否对某项目给出满意评价，关键取决于其潜在态度反应γi是否大于某个阀值若则该受访者将给出满意评价（记作ui=1，否则记作ui=0）。于是，受访者对该调查项目给出满意评价的概率就是 γi大于的概率，即

在 γi=ρiθ+εi中，对于具体一个受访者，θ 是固定值，因此，使潜在态度反应γi具有概率性质的原因是误差εi的存在。这里，εi是由大量随机因素共同产生（如受访者对该调查项目理解、分析等环节产生的误差），一般可认为服从正态分布，且均值是0。于是，γi的分布也应是正态的，且均值为 μi=ρiθ ，标准差为从而，受访者对调查项目i给出满意评价的概率为

又由于ICC形同正态分布的累计函数曲线，故自然考虑用下函数来拟合它，即

这便得出洛德（F.M.Lord,1952）双参数正态肩形ICC模型[2]。其中ai和bi分别与该项目的区分度、难度特征有关，故分别称为区分度、难度参数。再根据伯恩鲍姆（A.Birnbaum,1957）的研究结果 ，正态肩形函数与逻辑斯蒂（Logistic）函数有如下关系成立

其中，函数

称为逻辑斯蒂函数，其中x为任意符号。这样，复杂的正态肩形ICC曲线便可用简单的逻辑斯蒂ICC曲线来近似表示。x取不同代数式，就形成各种不同逻辑斯蒂模型。社情民意调查中常用的二参数逻辑斯蒂模型为

其中，Pi(θ)表示态度量值为θ的受访者回答第i问项为满意的概率；D是常数1.7；参数a是该调查问项的区分度，在ICC中反映为曲线的陡峭程度。α参数越大，ICC越陡，α越小，ICC越平。参数b表示其难度，反映在ICC上是斜率最大处在态度量表上对应的点。项目越难，所需态度量值会越高，ICC也偏右，这时具有一般态度量值的受访者在该项目作出肯定或满意回答的概率会较低。

由IRT模型可见，对于任一受访者，一调查问项（即调查题目）能否得到肯定或满意回答的概率，取决于两个方面：一是自身态度，即主观因素；另一是用难度（即问项能得到肯定或满意回答的程度）与区分度（即问项能将具有不同态度或满意程度的受访者区分开来的程度）等属性所反映的调查问项客观属性。换言之，该问项是否得到肯定或满意回答，是由受访者自身态度、调查问项的难度与区分度共同决定的。以上IRT建模基本思想，充分体现了IRT在社情民意调查问卷设计应用中的重要性。

1.2 社情民意调查精度估计

根据抽样理论，抽样分布的标准误（SE）减少则会使统计推断置信区间缩短，从而提高估计精度。由此，IRT用标准误的平方（即方差）的倒数，即 I(θ)=1/SE(θ)2作为调查精度，这里I(θ)称信息函数。可以证明，对于逻辑斯蒂模型，按照极大似然法估计受访者的态度量值θ时，其估值是随样本容量的增大而渐近正态分布的，进一步推导，可得出其计算公式为[2]

其中，Pi(θ)是第i调查项目的项目反应函数。并且，(4)中的每一项还恰好是第i调查项目的信息函数。若选二参数逻辑斯蒂模型，则信息函数是[2]：

可见，信息函数能给出基于不同态度量值θ受访者的不同调查精度。信息函数图象呈钟形，在态度量值θ接近调查项目难度bi时达到最大。为此，可选择对不同态度量值的对估计精度最有增益的调查问项，使调查达到预先规定的满意精度。

1.3 基于IRT的问卷设计过程

(1)问项编写和预调查。问项编写与传统方法一致，根据确定的调查目标，在其构建的评价指标体系的基础上编写调查项目（问项），编写的问项要足够多（至少30个以上[3]），并尽量保证问项与调查目标的内在一致性，以便后续选择和优化。使用以上问项进行预调查，为保证采用IRT进行问卷设计的精度，一般要求接受预调查的被试在500以上[3]。

(2)单维性假定检验及ICC选择。所谓单维性，即只有一种潜在心理特质对反应数据起作用。基于IRT理论，对模型进行单维性假定检验是必须的。单维性假设检验常采用主成分分析法，若第一和第二主成分的特征根之比在5.0以上则可认定该假定成立。社情民意类调查中，因态度量值低的受访者没理由要给出态度量值高的评价，故常用二参数逻辑斯蒂模型。

(3)参数估计及问项初选。根据预调查数据，可采用各种IRT软件对各问项的二参数逻辑斯蒂ICC模型的参数进行估计。而问项初选是根据估计出来的各问项ICC参数，将有极端参数值的问项去掉。一般来说，对于a≤0.3（或a≥4），b＞2.95（或b＜-2.95），c＞0.4中任意一个条件不满足的问项均需要修改或被删除[8]。

(4)确定目标信息曲线（Target Information Curve,TIC）。根据用户对调查精度要求，计算调查的标准误SE(θ)，得出调查所需最低信息量的要求，即目标信息曲线TIC。

如若构造真实态度量值θ1的置信度为98%的置信区间，根据正态分布理论，则θ1应在以态度中立点θ0为中心的两个标准差以上，即应该有 ||θ0-θ1≥2SE(θ)，再据公式(4)，从而得出入选问项应具有的最低信息量I(θ)，这便产生出满足相应精度要求的目标信息曲线TIC。这样，对调查精度的要求转变成了调查问项应具有的最低信息量及TIC确定。显然，精度要求越高，对应的信息函数值就越大。

(5)问项选择并形成最终调查问卷。问项选择旨在产生一组调查问项，综合其信息曲线以产生一条TIC，符合或大于目标TIC。问项选择时，一般在所要求的态度量值θ区间内，根据确定的入选问项应具有最低信息量标准，按照问项具有的信息量从大到小依此选取。

2 基于IRT的大学生校园生活满意度调查问卷设计

满意度调查是社情民意调查的主要形式。本文以我国大学生校园生活满意度调查问卷设计过程为例，进一步阐述基于IRT的社情民意调查问卷设计的基本思想及方法。

2.1 大学生校园生活满意度调查指标构建

满意度的测量模型有多种，最具代表性是费耐尔（Fornell，1989）提出的包括顾客预期、感知质量、感知价值、顾客抱怨和顾客忠诚等五方面组成的逻辑模型[7][8]。如在对大学生校园生活满意度调查中，借鉴费耐尔顾客满意度模型的核心概念和架构，并结合我国高校具体情况，再利用结构方程模型等理论，可构建出如图2所示的大学生校园生活满意度评价模型（图2）。

图2 大学生校园生活满意度评价模型

图2中变量均为潜变量（隐变量），是不可直接测量出来的。为此，围绕图2中7个潜变量构造出相应的显变量，构架相应的调查指标体系（表1）。

表1 大学生校园生活满意度调查指标体系

2.2 大学生校园生活满意度问卷设计

(1)问项编写。根据以上构建的“大学生校园生活满意度调查指标体系”，采用五级李克特量表，编写出相应的初始问卷（含64个问项）。对540名大学生进行预调查，并经同向化和二级评分处理，取得建立IRT模型的基础数据。

(2)单维性假定检验和模型参数估计。应用SPSS11.5对基础数据进行主成分分析，结果表明第一因子的特征根为17.239，第二特征根为3.061，两者之比达到了5.632。故可以认为单维性假设检验成立。

选用二参数逻辑斯蒂ICC模型，其模型参数估计采用BILOG_MG[9]软件进行，得出各问项的ICC曲线，去掉项目区分度和难度不满足要求的项目，尚余24个调查项（见表2）

由BILOG_MG生成的总体信息函数曲线如图3。由此可知，本调查方案对满意度量值在-1.0～+1.0之间（通过等值化处理，相当于24个问项中回答满意的有4项至21项之间）的大学生调查很有效，当大学生满意度琅值为0.0（相当于24项问项中填写满意的为12项）时调查最精确（信息量最大），此后随着态度量表的减低或增强，调查逐渐失去其鉴别作用。

(3)确定目标信息曲线TIC。如若要求置信区间|θ0-θ1|=0.8的置信度为98%，则根据关系式 |θ0-θ1|≥2SE(θ)可知，SE(θ)=0.4 ，再由上式(4)可得结果表明，调查方案所含问项的信息函数累计值须大于或等于6.25这一最低信息量要求。

图3 大学生校园生活满意度调查的信息曲线

(4)问项选择并产生调查方案。根据计算出来的各问项分别在-0.8和+0.8处的信息量，并依此从大到小排列（见表3）。

表3 各问项测量精度（信息量）排序

再按信息量大到小依次提取问项，直至满足最低累计信息量6.25的要求，在此基础上生成最终的调查方案（含19个问项）。其TIC与方案的调查信息曲线如图4所示。可见，本方案的测量误差完全满足精度要求。

2.3 基于IRT的满意度合格线划分

对于满意度调查来说，如何科学、准确地划分满意度的合格线是一个难点。基于信息函数，IRT为其提供了相对精确和完备的合格线划分方法。因为，如果一项调查能较好地测量出其满意度的实际状况，则被试在该项调查中回答满意的百分比应是其在该测评全部问项上期望的平均数，近似计算公式为[2]：

图4 最终生成的大学生校园生活满意度调查方案信息曲线

其中，n为调查问项数，Pi(θ)是被试能力θ下对第i问项回答满意的概率。如果我们根据实际和权威专家评估小组研究，确定出满意度合格线应该至少达到的满意百分比π1，再根据选用的IRT模型可得出Pi(θ)的计算公式，那么公式（5）就只含一个参数θ，采用牛顿迭代法即可求解出满足方程（5）的θπ值，这就是对应的满意度合格线标准。显然，也可采用等值化处理，将θπ转换为回答满意的问项数。

3 结论

本文系统探讨了基于IRT的社情民意问卷设计的基本原理，研究了社情民意类问卷设计的过程规范、问项选择、方案配置、误差控制、满意度标准确定等关键技术和方法，并结合大学生校园生活满意度调查详细讨论了其具体实现过程。

研究表明[6]，IRT方法允许方案设计者根据规定的目标信息曲线TIC，编制出符合要求调查项目，方案调查精度能在受访者满意度θ连续统上的若干点和区间得到严格控制；同时，满意度的合格线标准划分更加科学合理。现代问卷设计理论研究还表明，在问卷设计中，项目反映理论IRT在处理微观问题（即受访者与问项之间的实质性关系）时优势明显，经典测量理论CTT在处理中观问题（如处理常见的标准化测试等）时显得方便易懂，概化理论GT则在处理宏观问题（如对结果作推论）时更显出色。以上三种调查理论各有长处，可为问卷设计研究和实践提供强大理论支撑。

[1] 张光.社情民意调查：理论、实践和过程简论[J].天津行政学院学报,2008,(3).

[2] 余嘉元.项目反应理论及其应用[M].南京:江苏教育出版社,1992.

[3] 漆书青.现代教育与心理测量学原理[M].北京:高等教育出版社,1998.

[4] 许健,马世晔,何晓群.标准化试题的评价与IRT模型的应用[J].考试研究,2004,(8).

[5] 柯惠新,祝建华.传播统计学[M].北京：北京广播学院出版社,2003.

[6] 魏华忠.教育统计与测量[M].沈阳：辽宁师范大学出版社,2006.

[7] 涂荣庭.顾客满意度测量探讨：量表设计、信度和效度[J].管理学报,2008,(1).

[8] 刘武等.中国高等教育顾客满意度指数模型的构建[J].高教发展与评估.2008,(7).

[9] Robert J.Mislevy,Bilog,R.Darrell Bock(芝加哥大学),1990.

[10] 孔燕等.基于项目反应理论的中国公民科学素养测评方法研究[J].科学管理研究,2009,(4).

[11] 杨业兵等.应用项目反应理论对《中国士兵人格问卷》的项目分析[J].心理学报，2008,(5).