网络问卷调查有效性研究——基于大学生对土地利用信息心理需求的调查

董贝蓓，刘海燕，董　哲

(中国地质大学〈北京〉马克思主义学院，北京100083)



网络问卷调查有效性研究
——基于大学生对土地利用信息心理需求的调查

董贝蓓，刘海燕，董哲

(中国地质大学〈北京〉马克思主义学院，北京100083)

采用自编《土地利用信息心理需求问卷》，对随机选取的同一批中国地质大学(北京)大学生进行网络问卷(N=135)和纸质问卷(N=116)两种方式的调查，通过对比两种作答方式下调查结果，探究《土地利用信息心理需求问卷》网络调查的有效性。结果显示：等效检验结果表明，两种方式下土地利用信息各个维度的心理需求均等效；真实性检验结果表明，两种方式在作答真实性上无显著差异；两种作答方式下，同义测谎题上存在差异的题目均处于问卷前部，表明不同作答方式下被试在答题初期均存在一定程度的不认真作答现象，被试作答态度不存在显著差异。研究结果表明，网络调查与纸质调查两种方式不存在显著差异，土地利用信息心理需求网络问卷调查具有有效性。

等效性检验；土地利用信息；心理需求；网络问卷调查；大学生

一、前言

问卷调查是社会问题研究中普遍使用的一种数据收集方法。然而，传统调查方式存在一定的弊端，例如，研究成本较高；回收率并不确定；纸质调查不利于大样本施测，导致样本分布广度不足，样本代表性不佳，影响研究的外部效度。随着信息社会的发展，心理调查的数据收集逐渐转向互联网领域，采用线上调查能够使数据收集变得更加方便快捷，网络调查在克服上述传统纸质调查弊端的同时还有诸多优势，例如，通过网络分发问卷，缩短了调查时间，简化了研究程序；网络调查可以通过程序设定精确记录被试作答时间，作为被试作答态度的参考依据。然而，网络调查作为一种新的调查方式，其真实性以及调查结果的有效性一直受到许多研究者的质疑。有的学者认为纸质调查与网络调查两种方法是等效的[1]94[2]108，也有大量研究在许多方面质疑了两者的可比性，包括条目或者量表的分数、内部一致性、因素结构等[3]389[4]153[5]2。于洪彦、黄晓治通过对数据的表层和深层分析得出，纸质调查具有更高的数据缺失率，但平均值更高，在测量信度上与测量模型上纸笔调查与网络调查无差异，纸笔调查在数据变异上的误差更小[6]102。Kenneth Boyer等对纸笔与电子调查两种数据收集方法进行了比较，统计分析结果表明，电子调查与纸质调查基本等效，电子调查相较于纸笔调查有更低的漏答率[7]358。对于线上线下两种数据收集方法等效与否的原因，有的研究分析认为，问卷作答态度或者社会赞许性、匿名等因素是引起两种调查方式差异的因素，但通过实证方式对这一差异是否存在并进行检验和分析的研究仍然较缺乏。

在迅猛的城市化进程中，土地资源日益稀缺，导致地价、房价飞涨等现象频频出现，土地信息公开受到的关注度与日俱增[8]23。然而，政府信息公开程度仍存在一些问题，例如有些政府部门信息公开时间有偏差滞后现象，公开内容也存在不平衡[9]287。公众作为信息公开的服务对象是信息公开工作的直接受众群体，其评价及期望对土地信息公开工作具有指导意义。因此，为了有效且有针对性地面向公众公开土地利用信息，建立完善的土地利用信息服务系统与公众参与的土地利用机制，必须了解公众对土地利用信息的需求状况与需求程度[10]98。本研究以土地利用信息心理需求问卷为例，利用传统零假设检验方法和生物学常用的药物等效性检验方法，对纸质调查与网络调查的等效性程度作出评估；同时，问卷还设置测谎题，比较两种数据收集条件下问卷作答的真实性，以期通过网络调查与纸质调查的等效性与真实性检验，为网络调查的可靠性提供依据，为土地利用信息心理需求网络问卷调查结果的有效性提供支持。

二、材料与方法

(一)被试

本研究的调查对象为在校大学生，原因在于：一方面，大学生求知欲望强，希望接受更多的外界信息，特别是对于当前的热点问题更有了解的意愿。土地利用问题是当今社会大众关注的焦点之一，并且与大学生即将踏入社会生活的状态息息相关，大学生充分了解土地利用方面的信息有助于扩大视野；另一方面，大学生参与意识强，科研素质高，本研究依托国土资源部公益性行业科研专项项目，对大学生参与调查具有较强的吸引力。基于以上两个方面，选取大学生被试进行线上线下两种方式的问卷作答，能够较好地控制额外变量的干扰，防止被试参与调查的态度影响比较结果的有效性。因此，本研究在中国地质大学(北京)，选取同一批大学生被试进行线上和线下问卷调查。土地利用信息心理需求调查的线上被试为135人，线下被试为116人。其中线上被试中男生41人，女生94人；线下被试中男生34人，女生82人。在中国地质大学(北京)，选取同一批大学生被试进行线上和线下问卷调查。土地利用信息心理需求调查的线上被试为135人，线下被试为116人。其中线上被试中男生41人，女生94人；线下被试中男生34人，女生82人。

(二)研究方法

1.研究工具

自编《土地利用信息心理需求调查问卷》，共52条目，问卷为五点量表，分别为1=“非常不需要”——5=“非常需要”。通过因素分析(探索性因子分析和验证性因子分析)，将问卷中的土地利用信息分为6类，分别为土地整治与保护、土地规划与地价、地籍数据、农用地、土地调查与统计、土地征收。

为了确保问卷作答的真实性，每份问卷都编入了6道测谎题，分别为：(1)在地籍数据类别下编入“本题监测您是否认真看题目，请填写非常不需要选项”，以下称为指定选项题；(2)分别在地籍数据类别下编入位置(宗地或地块的空间坐落)的同义选项——土地所处位置；(3)在地价数据类别下编入交易地价的同义选项——土地交易价格；(4)在土地利用规划数据类别下编入基本农田分布的同义选项——农田分布基本情况；(5)在土地调查数据类别下编入灾害损毁土地分布的同义选项——受灾土地分布情况；(6)在土地征收类别下加入征收后土地用途的同义选项——被征收土地如何进行再利用，以下均称为同义测谎题，这类测谎题相近选项相隔题数为3～7个题；除土地调查数据类别下的同义测谎题外，其他4道测谎题均在原始题目之后。

2. 问卷施测

本实验研究分为两部分，第一部分是被试在实验室内采用纸笔作答方式完成《土地利用信息心理需求调查问卷》；第二部分为在纸质问卷施测一周之后，被试在网上完成相同的《土地利用信息心理需求调查问卷》。被试纸质问卷作答完成后，主试即时统一收回问卷，并对问卷进行检查。主试询问被试是否有其他问题，确定无疑问后，请被试离开实验室。线上问卷作答结束后即时回收，并通过线上计时工具对被试作答每一题的耗时及总问卷耗时进行观察记录，作为问卷有效性的参考。

3. 数据处理

数据处理采用SPSS 10.0和SAS9.21软件对回收的数据进行录入及统计处理。首先,比较网络调查和纸质调查两种方式下问卷作答的等效性。在等效性检验中，本研究借鉴了Weigold等研究中的分类及其统计方法，分别从定量等效(Quantitative Equivalence)、定性等效(Qualitative Equivalence)和辅助等效(Auxiliary Equivalence)三个方面进行检验[11]53。其次，比较网络调查和纸质调查两种方式下被试作答的真实性。针对土地利用信息心理需求问卷中的6道测谎题，利用卡方检验计算指定选项题网络调查和纸质调查中不按要求作答的被试数量是否有显著性差异，并利用配对t检验对5对同义题进行差异性检验。

三、结果与分析

(一) 心理需求网络问卷调查的有效性分析结果

1.定量等效

大学生对土地利用信息心理需求的均值及标准差如表1所示，大学生对各类土地利用信息的心理需求程度均较高。针对土地利用信息心理需求调查问卷的调查结果，进行传统假设检验以及均值等效性检验，对网络作答和纸质作答两种作答条件下的均值进行比较，结果如表2所示，传统检验和等效性检验的结果一致，表明线上线下大学生对土地利用信息的心理需求不存在显著差异，两者等效。

2.定性等效

土地利用信息心理需求问卷各维度及总问卷的内部一致性检验结果如表1所示。研究结果表明，线上线下两种作答条件下问卷的信度基本大于0.75，除土地征收维度外，其他各维度及总问卷均表现出了良好的内部一致性，并且线上线下两种条件下问卷各维度及总问卷的内部一致性系数值差异不大。

3.辅助等效

线上问卷作答的有缺失数据的被试数量为0个，线下作答拥有缺失数据的被试数量为2个，卡方检验结果表明线上线下作答拥有缺失数据被试的数目没有显著差异(χ2=2.381，p=0.123)。线下作答的2个被试，在52个条目中，均有1个条目未作答。

(二)心理需求网络问卷调查的真实性分析结果

表1　大学生对土地利用信息心理需求的平均分、标准差和信度表

表2　公众对土地利用信息心理需求的传统假设检验和等效检验结果

注：CI代表置信区间，LCL代表低置信界限，UCL代表高置信界限。a标准为线下组平均值的±20%。b报告两个单侧检验中最高的p值。*代表p<0.05,**代表p<0.01，***代表p<0.001

1. 指定选项题的差异比较

线上作答指定选项题的被试中，有11人没有按照题目进行选择，线下则有6人没有按照题目要求进行选择。卡方检验的结果表明，线上线下指定选项题作答结果中，未认真作答的比率差异不显著(χ2=0.842，p=0.359)，这表明线上线下被试在指定选项题目上不认真作答的数目均较少。

2. 同义测谎题的差异比较

如表3所示，在成对的同义测谎题目上，线上被试在位置(宗地或地块的空间坐落)-土地所处位置以及基本农田分布-农田基本分布情况两对题目上差异显著，后面作答的题目分数显著高于先前作答的题目，在其他成对同义题上差异不显著。而线下被试则在位置(宗地或地块的空间坐落)-土地所处位置以及交易地价-土地交易价格两对题目上差异显著，其中，位置(宗地或地块的空间坐落)-土地所处位置同义题作答时，被试后作答的题目分数显著高于前者，在交易地价-土地交易价格这组题目中，前者分数显著高于后者。由此看出，线上线下被试均在两个同义测谎题上出现了不认真作答的情况，特别是问卷中第一个测谎题——位置(宗地或地块的空间坐落)-土地所处位置这组同义题上表现出显著差异。

四、讨论

(一)线上线下作答方式下心理需求问卷的等效性

本研究比较了线上线下大学生对土地利用信息心理需求调查的等效性，总体而言，无论是在土地利用信息的各个维度还是总问卷上，线上线下两种作答方式结果等效，这说明线上施测会取得与线下调查同等的效果，得到的调查结果是有效的。

表3　公众对土地利用信息心理需求调查测谎题的描述统计和差异检验

注：*代表p<0.05,**代表p<0.01，***代表p<0.001

从定量等效的结果可以看出，大学生线上线下作答问卷的均值等效，两种条件下大学生均表现出对土地利用信息较强的心理需求。根据传统t检验的结果，虽然结果表明线上线下两种数据收集方式差异不显著，可是除了土地规划与地价以及地籍数据外，在其他维度和总问卷上大学生在线下作答时比线上作答分数略高，这可能是由于线下作答时实验者在场或者其他被试在场的原因，被试有时会作答他们认为主试想要获得的答案，即产生“实验者效应”。然而，两种条件下被试作答的结果并未呈现显著差异，表明线上线下大学生对各类土地利用信息均表达了自己的真实需求程度。等效性检验的结果中，两个单侧t检验的结果均拒绝了零假设，所得的置信区间均落在了先前设定的等效区间之内，进一步表明线上线下两种问卷作答方式等效。从各维度及总问卷的结果可以看出，传统t检验和等效性检验的结果一致，并未出现由于不合适的样本大小或者其他过多的噪声(组内变异)所引起的矛盾的结果，可以认为线上线下两组之间不存在重要的差异[12]564。

由定性等效的结果可知，线上线下问卷的内部一致性均较好，除线下问卷的土地征收维度外，其他各维度线上线下内部一致性信度均大于0.75，而且差异较小，这说明线上线下两种条件下调查问卷具有同等可信度。土地征收维度纸质问卷的内部一致性信度只有0.509，这可能是由于土地征收维度的题目是问卷的最后部分，被试已出现疲劳效应，在纸质问卷作答的最后部分，应付答题的态度占据主导位置，在速度-准确率权衡问题上，只要求答题速度，而放弃自身答题的准确率，而网络调查的漏答提醒设置以及个体对网上作答的新鲜感能够有效矫正其作答态度。而在辅助等效方面，虽然结果显示线上线下问卷作答被试的缺失数目差异不显著，可是由于网络控制线上问卷作答并未出现一个缺失数据，这也进一步体现了线上问卷调查的益处，利用专业的网络平台进行问卷施测可以通过作答设置有效控制问卷作答完整性问题，避免出现漏答的现象。

(二)线上线下作答方式下心理需求问卷作答的真实性

线上线下两组大学生在作答《土地利用信息心理需求调查问卷》时，指定选项题的作答结果较好，表明两组学生在回答问卷上的问题时均较为认真。然而，在回答同义测谎题时，线上被试在第一组(位置〈宗地或地块的空间坐落〉—土地所处位置)和第三组(基本农田分布—农田基本分布情况)得分上均表现出显著差异，两组题目分别位于地籍数据和土地利用规划数据类别信息下，居于问卷的前部分。线下被试则是在第一组(位置〈宗地或地块的空间坐落〉—土地所处位置)和第二组(交易地价—土地交易价格)题目上得分差异显著，这两组题目也位于问卷的前部分。这说明学生在起初作答问卷时并未像指定选项题所表现的十分认真，而且大学生需要一定时间进入答题状态，当然这也可能是由于大学生对土地利用方面的个别专业词汇理解并不是十分准确。

线下作答的大学生在同义测谎题上表现出更多的差异，特别是在大学生土地利用信息需求较高、较为感兴趣的地价数据上。这可能是由于心理能量的损耗所造成的，自我损耗理论研究表明，自我损耗会影响自身的认知[13]717。被试由于其他被试和实验者在场可能损耗了部分心理能量，在答题时就会表现出注意力无法集中、不认真作答等现象。而线上被试由于自己独立在电脑前完成问卷，时间和作答环境相对较为自由、舒适，可能被试回答得更为认真，但也需要一定时间适应问卷作答的状态。总体而言，线上线下被试在作答态度是否认真上并不存在较大差异。

五、结论与展望

研究结果表明，网络调查这一线上调查方式与传统的纸质调查方式具有等效性，网络调查结果真实可信。对于土地利用信息心理需求问卷，线上收集的数据结果是有效的，能够反映人们对各类土地利用信息的真实心理需求，土地利用信息心理需求网络问卷调查具有有效性与真实性，其调查结果可靠。与传统调查方式相比，网络调查具有其自身独特的优势，漏答提醒设置、精确记录各题目作答时间、便于大样本施测等特点更有利于研究者得到所需数据，进一步进行研究分析。因此，网络调查这一收集数据的方法具有可行性，适用于获得研究所需数据。由于线上问卷调查具有节省开支、操作方便、被试招募简单等优点，应鼓励采用这种方式对被试进行施测。政府可以搭建专业的网络信息平台，上传土地利用信息心理调查问卷进行施测，实时了解公众对土地利用信息的心理需求、心理满意度等信息，为公众提供即时、专业、有效的数据信息，满足公众对土地利用信息的需求，同时为政府进一步进行土地政策的修订提供指导。

研究被试主要选取了大学生被试，虽然结果表明线上调查与线下调查具有等效性，但该结果是否适用于其他群体仍有待于进一步证实，为了进一步提高本研究结果的外部效度，未来研究可以选取不同职业的公众群体进行调查，检验该结果是否具有推广性。在探究线上线下两种数据收集方式是否等效时，探讨了被试态度方面的原因，对社会赞许性等其他原因并未深入讨论，未来可以加入社会赞许性量表，探究线上线下两种方式是否等效背后的多种原因。

[1]Gosling S O, Vazire S, Srivastava S, et al. Should we trust Web-based studies?[J]. American Psychologist, 2004,59(2).

[2]Lewis L, Watson B, White K M. Internet versus paper-and-pencil survey methods in psychological experiments: Equivalence testing of participant responses to health-related messages[J]. Australian Journal of Psychology, 2009,61(2).

[3]Barak A,Cohen L. Empirical examination of an online version of the Self-Directed Search[J]. Journal of Career Assessment, 2002,10(4).

[4]Buchanan T, Ali T, Heffeman T M, et al. Nonequivalence of on-line and paper-and-pencil psychological tests: The case of the prospective memory questionnaire[J]. Behavior Research Methods, 2005, 37(1).

[5]Naus M J, Philipp L M, Samsi M. From paper to pixels: A comparison of paper and computer formats in psychological assessment[J].Computers in Human Behavior,2009, 25(1).

[6]于洪彦，黄晓治．书面调查和网络调查的区别——两种数据收集方法的比较[J]．统计与信息论坛，2011，26(10)．

[7]Kenneth K B, John R O, Roger J C, et al. Print versus electronic surveys: a comparison of two data collection methodologies[J]. Journal of Operations Management,2002,20(4).

[8]邵伟波，魏丹，刘磊．基于KANO模型的政府信息公开的公众需求研究[J]．图书情报工作，2013，(7)．

[9]赵天琪，王广东．我国政府信息公开的困境与出路[J]．东北师大学报(哲学社会科学版)，2013，(6)．

[10]李晶，王宇鹏，赵晓霞，等．北京市土地利用信息公众需求状况调查与分析[J]．国土资源科技管理，2014，31(1)．

[11]Weigold A, Weigold I K, Russell E J. Examination of the equivalence of self-report survey-based paper-and-pencil and Internet data collection methods[J]. Psychological Methods, 2013,18(1).

[12]Rogers J L, Howard K I. Using significance tests to evaluate equivalence between two experimental groups[J].Psychological Bulletin, 1993,113(3).

[13]谭树华，许燕，王芳，等．自我损耗：理论、影响因素及研究走向[J]．心理科学进展，2012，20(5)．

(责任编辑杨爽)

2015-12-21

国土资源部公益性行业科研专项项目“面向公众的首都土地利用服务关键技术研究与应用”(201211001)。

董贝蓓，女，山东威海人，中国地质大学(北京)马克思主义学院研究生；刘海燕，女，山东荣成人，中国地质大学(北京)马克思主义学院教授，博士生导师；董哲，女，辽宁昌图人，中国地质大学(北京)马克思主义学院研究生。

B841

A

1672-0040(2016)03-0040-05