社会化媒体调查的测量效果评估

朱文龙 ，邵培基 ，方佳明，曹云忠

（1.青岛理工大学 商学院，山东 青岛 266520；2.电子科技大学 经济与管理学院，成都 610054；3.四川农业大学 建筑与城乡规划学院，成都 611830）

在网络调查领域，采用混合调查进行数据收集已变得越来越普遍。主要原因在于不同调查方式能够吸引不同类型的被调查者，不但可以减小涵盖误差与非响应误差，而且可以降低调查总成本，从而带来较好的调查效果。社会化媒体经历了近几年的高速发展，目前已在调查领域展现出了潜在应用价值，其社会化特性能够以更低的成本吸引更多、外部效度更高的被调查者；而某些平台的实名制特性也能够增强被试者的信任水平，使其更用心地进行作答。

鉴于混合调查与社会化媒体调查各有其优势，因此，将两者有效结合就成为现阶段调查领域所关注的重点内容。然而，研究表明，运用不同调查方式获取的调查结果往往有所不同［1］，不同调查方法会导致不同测量效果。调查测量效果会因问题排列顺序、认知负担以及作答效果等因素而各不相同。

社会化媒体有多种表现形式，基于不同平台实施混合调查会因调查方式差异而致使被调查者处于匿名与潜在非匿名的作答情景中。因此，当利用该平台进行混合设计时，需要考虑的一个重要问题是：社会化媒体调查造成的不同作答情景能否产生相同的调查测量效果？即不同调查方法获取的数据是否具备同质性？作答结果可否直接进行比较？调查测量效果直接关系到所获数据的有效性，影响到研究人员对调查数据采取的预处理方式，其重要性不可言喻。

本研究基于称许性平衡量表（Balanced Inventory of Desirable Responding，BIDR），运用多组结构方程模型，评估了社会化媒体平台下匿名调查（微博调查与SNS调查）与非匿名调查（QQ调查）间的测量效果，包括被试作答方式效果、被试认知效果、两类调查产生的主效果以及样本结构与调查方法间的交互效果。研究旨在考察两类调查间的测量效果异同，以明确社会化媒体作为一种新型调查平台所具备的适用性与应用前景。

本文将反映被试基本属性的协变量加入到评估模型中，研究混合调查获取的实验数据与非实验数据间的交互效果，这克服了以往研究中只通过比较调查方法间均值差异而忽略了交互效果所造成的研究缺陷。

相对于以往研究，本文所得结论较为新颖，能够为国内外社会调查研究方法领域中关于社会化媒体调查的文献提供学术补充，并能够为后续科研工作者开展深层次调查测量效果的探究提供借鉴与参考；调查人员今后可依据本研究结论来设计混合调查方案，以保证所获调查数据具有较高、一致的有效性，以便在统计分析前可对其采取相同的预处理方式。

1 文献回顾

1.1 国内外研究现状

根据Vannieuwenhuyze等［2-3］的观点，在混合调查中，测量效果是指调查方法对被试作答产生的影响。目前，国外学者就混合调查中的测量效果进行了研究，本文将相关研究成果归纳为：

（1）数据质量研究。该部分研究基于作答结果来分析各调查方式所得数据的异同。Bowling［4］对面对面调查、电话调查及邮件调查进行了数据质量差异的测量效果分析，结果发现，后两类调查在该层面上存在显著性差异；Heerwegh［5］从四方面就面对面调查与网络调查间的回复质量进行了对比分析，发现网络调查会产生较低水平的数据质量；De Leeuw［6］对混合模式调查进行了理论分析，并解析了面对面调查、邮件调查等传统模式调查所得数据的优劣。

（2）被试作答方式研究。该部分研究大多从社会学、心理学视角来探析调查方式对被试行为的影响。Dillman等［7］研究了4类传统调查方法间的作答倾向差异，最终发现，听觉模式调查较视觉模式调查更易使被试受到社会期望倾向的影响；Kreuter等［8］研究了计算机辅助电话采访调查、交互式音频调查及网络调查间的社会期望作答效果，分析发现，网络调查相对于其他两类调查会带来更小的社会期望偏差；Heerwegh等［9］评估了电话调查与网络调查间的作答默认效果及社会期望效果，发现电话调查中被试行为会表现出更高水平的社会期望倾向，但两类调查在默认效果上不存在显著性差异。

国内研究方面，截至2013年3月27日，对CNKI、万方、维普数据库检索主题和关键词，发现仅有少数学者在从事该方面研究。樊茗玥［10］基于数据误差产生的机理，对网络调查的数据质量进行了控制分析；于洪彦等［11］对比了书面调查与网络调查之间的测量效果。

1.2 评述

国内外虽然相关文献较多，但其所涉及调查类型大多为传统调查方式，目前尚未有学者单独对社会化媒体调查的测量效果展开研究。由于混合调查并不是一个完全可控的方法论实验，故若调查人员需要将社会化媒体调查纳入到混合方案设计中，那么探查该平台下不同作答情景所产生的测量效果就显得尤为重要。因此，有必要对该问题进行研究。

2 研究设计

2.1 研究方法的选择

本研究运用多组结构方程模型（Multiple Group Structural Equation Model，MG-SEM）来探析两类调查中的测量效果，主要原因：①该方法能够有效地区分随机测量误差与系统测量误差，减少了非实验误差所带来的估计偏差；②该方法允许对调查方式间样本结构差异与作答方式差异进行控制，从而保证了评估模型的合理有效；③通过引入协变量，该方法能够避免混淆调查测量效果与非响应作答效果，确保了测量效果评估的精确性。

2.2 量表的选择

本研究选用称许性平衡量表（BIDR）进行实证分析。BIDR是用来衡量社会期望倾向的专用量表［12］，目前已广泛应用于调查领域学术研究中。该量表包括2个维度：自我欺骗（Self-Deception，SD）与印象管理（Impression Management，IM），前者衡量诚实但过于肯定的自我表现，后者反映迎合他人的自我表现。

本研究选用该量表主要基于以下考虑：①该量表可以充分考察被试对于调查情景反应的敏感程度，易于探查作答方式效果；②该量表为平衡性量表，被试对正、负向题项产生的作答方式效果可相互抵消，使作答分布均值不会产生偏差；③该量表所测量的内容因子与协变量间的协方差不易受到作答方式效果的影响，从而能够精确地评估主效果及交互效果；④该量表已广泛应用于某些领域，信效度均较高。

该量表采用Likter7点打分法。为保证分析结果效度，并基于评估模型简洁的考虑，从BIDR的IM维度中选取6个测量题项，将其作为本研究所使用的调查量表。这6个调查题项与被试密切相关，需要被试如实反映其真实观点与看法，因此，它们均具有一定程度的敏感性［13］。具体调查题项如表1所示，其中，正、负向题项各为3个。

表1 研究选用的平衡性量表

2.3 量表的设计

本研究中，匿名调查与非匿名调查所使用的调查量表完全一致，量表主体均是按照先调查题项、后被试属性的顺序进行设置的。

调查题项中，为消除问题排序产生的测量效果，量表中的调查题项均以表1中各题项的排列顺序为准；为了准确评估作答方式效果，规定作答选项最左边为强烈不同意（用“1”表示），最右边为强烈同意（用“7”表示），“2”～“6”位于“1”、“7”之间，从左到右依次排列，表示同意程度逐渐增强；由于本次调查涉及的内容较少，所有调查内容均可呈现在1页（网页或文档）之内，故无需再按统一模式设置原则来设计调查内容的显示方式。

被试属性方面，参照Krosnick［14］的观点，并结合国内社会化媒体用户的基本特征［15］，选择与被试认知能力有关的性别、年龄以及教育水平作为本次调查的协变量。其中，性别为定类变量，教育水平为定序变量，根据2012年社会化媒体用户发展调查报告［15］，按照被试学历将教育水平划分为4类：专科及以下、本科、硕士及博士。由于本次调查采取了激励措施，被试公开其手机号码，故基于对被试隐私保护的考虑，将年龄设定为定序变量，依据调查报告［15］将其划分为5类：小于18岁；18～22岁；23～28岁；29～35岁；大于35岁。

3 数据收集

依据调查视角，社会化媒体可用作两种用途：问卷URL发布平台与问卷发放平台，前者主要用于招募被试，后者用于放置调查问卷。基于研究可行性及实际可操作性，选择现阶段3种主流的社会化媒体：微博、社交网站（SNS）和即时通讯作为调查平台。

本研究选取国内知名的新浪微博和人人网作为招募平台，选取腾讯QQ作为问卷发放平台。考虑到3种社会化媒体的特点及研究采取的调查方式，当运用此3个平台实施匿名调查时，招募平台与问卷发放平台会分别致使被试处于匿名与潜在非匿名的作答情景中。即在本研究中，微博调查与SNS调查属于匿名调查，而即时通讯调查为非匿名调查。

匿名调查中，选取问卷星网（http：//www.sojump.com）作为问卷作答平台。为提升调查参与率并保证数据质量，现实调查中采取激励措施，为每位认真作答的被试提供3元手机话费作为报酬，并规定每位被试只允许参与1次。此外，鼓励被试在该平台上转发此条调查信息，以期获得更多样本。数据收集完毕后，进行Box观测变量协方差矩阵检验，得到F=1.09（P=0.35＞0.05），说明本研究基于两平台所得的调查数据具备测量一致性，即可将此两部分调查数据整合以进行后续统计分析。

非匿名调查中，本文招募一批研究生作为调查者，对他们进行简单培训，培训内容包括发放问卷及回收问卷等事宜。调查者以各自QQ好友作为调查被试，并采取一对一发放方式，即只通过聊天窗口向好友发放问卷，而不利用群聊天或空间等其他平台。被试作答完毕后（不必当场作答）再通过聊天窗口将问卷传回调查者。为保证激励效果一致，同样对每位认真作答的被试提供3元手机话费报酬。

依据调查结果是否存在明显作假或大范围重复作答的原则对问卷进行筛选，得到了最终有待分析的调查数据，如表2所示。

表2 调查情况与统计状况 %

根据Bentler等［16］的研究，当样本容量（N）为模型待估参数（p）的5倍以上时，即N:p＞5:1，才能保证拟合矩阵的稳定及分析结果的信度。在本研究一系列有待检验的模型中，单个模型的最大待估参数为25个，等同模型的最大待估参数为50个，而本次调查无论是单一调查还是混合调查，各自的有效样本数均超过了最低样本容量标准，因此，两类调查的有效样本数均能够满足研究分析的需要。

对3个协变量分别进行χ2检验，发现性别及年龄的分布不存在显著性差异，但非匿名调查中的被试具有显著高的教育水平，这说明，本研究中两类调查样本的结构并不完全相同。具体分析结果如表3所示。

表3 两类调查样本结构的统计分析

4 研究方法

4.1 评估步骤

根据文献［17-19］中的评估步骤，并结合研究目的与分析需要，确定了本文进行调查测量效果评估的4个步骤：

（1）基线模型的评估。基线模型是评估各测量效果的前提和基础，本文按如下思路建立并确定基线模型。

①构建单因子基线模型。量表中的6个测量题项均来自BIDR中的IM维度，即这些题项均是反映IM内容的测量指标，因此，可基于此建立图1模型MA。该模型中，采用固定载荷法将IM因子与Q1题项间的因子载荷设置为1.0，即λ1=1.0，其他因子载荷均为自由估计。

图1 单因子基线模型MA

②构建双因子基线模型。参照文献［19-20］中的研究，被试的作答方式也会对调查结果产生影响。因此，在MA的基础上加入Style因子，构建图2模型MB。为了更好地识别MB，将IM因子与Style因子间的协方差设置为0［17-18］。该模型中，Style因子测量的是被试在调查过程中表现出的作答行为倾向，而且该因子会对所有题项产生相同程度的影响效果［18］，因此，将该因子上的因子载荷设置为相同，令其均为λ。

图2 双因子基线模型MB

③确定研究所需的基线模型。在两类调查中分别对模型MA与MB进行拟合，并观察其拟合情况。如果MB的拟合显著优于MA，则说明将Style因子加入到MA中是完全合理的，正是由于该因子使得模型拟合更加完美，此时MB即为基线模型；如果MB与MA的拟合不存在显著差异，因MA较MB更为简洁，此时选择MA作为基线模型。

（2）作答方式效果的评估。若研究以MA作为基线模型，则说明被试作答方式不会对调查结果产生偏差，也无需再探查该效果；若选择MB作为基线模型，那么在该步中需分别评估两类调查作答方式效果的类型，然后观察它们是否相同。具体做法：

在MB中加入Effect因子，该因子用于检验被试作答方式效果的类型，在本研究中，检验其与Style因子反映的效果是否一致，因此，它与Style因子间存在相关关系。为了准确评估该效果，将Effect因子与IM因子间的协方差设置为0，该模型记为MC，如图3所示。其中，Effect因子只用1个题项Q7进行测量，该指标为被试在6个调查题项中其作答方式服从某类效果的得分计数，由于只有1个题项，故将Effect因子的载荷设置为1.0。

图3 作答方式效果评估模型MC

依据量表特点，并基于研究采取的调查方式，对传统调查方法中被试通常表现出的4种作答方式效果：默认效果、中间项效果、近因效果和首因效果分别进行检验，利用相关系数φ来确定社会化媒体平台下两类调查的效果类型。

（3）认知效果的评估。该步骤检验两类调查中被试对调查题项的认知水平是否相同，从而探查这两类调查方式是否具有相同的测量模型。评估认知效果需检验两类调查测量模型所具备的等同性水平，由于本次调查的6个题项均来自BIDR的IM维度，故两测量模型只要满足因子载荷矩阵等同（构念等同），就认为两类调查中的认知效果相同。

鉴于两类调查的样本结构存在差异，且性别、年龄与教育水平均对IM因子和Style因子产生效果［9］，故将这3个协变量加入到基线模型中，构成本研究所需的测量模型MD，如图4所示。其中，γi为协变量对因子产生的效果。

图4 测量模型MD

根据文献［21-22］中的等同性检验步骤，分别对两测量模型进行模式等同检验（Hbase）和因子载荷矩阵等同检验（Hbase，Λ：Λ（1）=Λ（2）），等同模型分别记为ME与MF。如果此两步检验得到满足，则可用MF进行后续的评估分析。

（4）主效果及交互效果的评估。该步骤旨在探查两类调查产生的作答结果主效果、作答方式主效果，以及样本结构与调查方法间的交互效果是否完全相同。本研究中，主效果通过IM因子与Style因子的截距αIM、αstyle来反映，而交互效果则用γi进行衡量。具体操作：

将两类调查产生的所有主效果及交互效果设置为等同，该等同模型记为MG。如果MG与MF不存在显著差异，则说明两类调查在本质上是一致的，它们之间不存在测量效果差异。

如果MG与MF存在显著差异，则需要进一步探查存在差异的具体效果类型。依据MG提供的修正指数（MI），对具有最大修正指数值的等同限制进行释放，得到部分等同模型MH，然后比较MH与MF的显著异同。以此类推，循环往复，直到找到与MF不存在显著差异的模型，此时该模型与MF等同的参数即表示两类调查产生的相同测量效果，释放的参数则表明它们之间存在不同的测量效果。

4.2 软件工具及拟合指标的选择

本研究运用Lisrel8.7软件进行统计分析；鉴于3个协变量均非连续型变量，采用一般加权最小二乘估计法（WLS）来估计模型中的参数［23］；对于模型的拟合优度评价，选择χ2、CFI、RMSEA这3个指标，这些指标在检验等同模型时较为有效［24］。

5 统计分析结果

在本文统计分析中，对于需要就两类调查分别进行评估的模型，在该模型中下标1表示匿名调查，下标2表示非匿名调查。

5.1 基线模型评估

按本文分析步骤，两类调查的评估结果如表4所示。

表4 基线模型评估结果

由表4可以看出，两类调查中MA的拟合均非常差，CFI低于0.9且RMSEA超过了0.08。在加入Style因子后，各自MB的拟合显著提高且拟合值均在可接受范围之内，与MA相比，Δχ2均达到了显著性水平（P＜0.001）。因此，选择MB1与MB2作为两类调查的基线模型。

5.2 作答方式效果评估

对4种传统作答方式效果分别进行测量，检验其与两类调查中的效果存在的关系，最终得到表5所示结果。

表5 作答方式效果检验结果

根据Billiet［18］的观点，当相关系数φ在0.7以上且相应T值达到显著性水平时，认为模型中的两类效果是相同的。依据表5结果，虽然两类调查中的效果与默认效果间的相关超过了0.9，但却均为负相关。由此可知，两类调查中的效果与4种传统效果均不相同，说明被试在社会化媒体平台上参与调查时，表现出了不同于传统调查的作答方式。

然而，通过与默认效果间的φ值可知，被试在匿名与非匿名的调查情景下，会采取相同的作答方式。即两类调查中的被试作答方式效果是相同的。

5.3 认知效果评估

按本文评估步骤，两类调查的测量模型状况及等同性检验结果如表6所示。

表6 测量模型及等同性检验结果

在加入性别、年龄和教育水平3个协变量后，两类调查的测量模型MD1与MD2均拟合良好。等同性检验结果表明，ME与MF之间不存在显著差异（Δχ2（6）=7.77，P=0.26＞0.05），说明被试在匿名与非匿名的作答情景中具有相同的认知水平，他们对测量题项具有相同的理解能力，也可对调查结果原分数均值进行有意义的解释。

在本研究中，相同的认知效果就表明等同的测量模型。因此，为方便后续模式效果的评估，选用MF作为这两类调查的测量模型。

5.4 主效果及交互效果评估

两大类效果的探索过程及所得结果如表7所示。

表7 主效果及交互效果的探查结果

将两类调查的Γ矩阵及αIM、αstyle设置为等同，等同模型MG拟合较差且与MF存在显著差异（P＜0.001）。通过MImax发现，λ1影响了模型的拟合，然而，λ1并非是两类调查的主效果或交互效果，出现这种情况主要原因在于对λ1同时设置了2个限制：①采用了因子载荷法将其固定为1.0；②将两类调查中的λ1等同。在认知效果评估中，由于MF的等同限制较少，λ1对MF产生的影响还未完全呈现，随着等同限制的增多，在MG中该参数对模型拟合的影响显现了出来，从而导致MG拟合较差。

表8结果说明，被试教育水平对基于社会化媒体的匿名调查产生了显著的测量效果。实际分析中，对λ1进行释放，但为了保证两类调查认知效果的一致，仍限制λ11=λ12。修正后的MH具有较好的拟合值，但其与MF仍存在显著差异（P=0.02）。此时，与MImax相关的参数为γ6，由此可知，两类调查具有不同的交互效果，被试教育水平对两类调查的作答方式产生了不同程度的影响。

释放γ6的等同限制后，MI拟合良好且与MF不存在显著差异（P=0.08）。此时主效果及交互效果的探索已完成，但为了确保λ1不会对模型产生其他额外影响，再进一步分析。结果表明，两类调查的作答方式主效果不存在显著差异，因此，MI即为可接受的最终等同模型。

表8 最终等同模型各参数值

为了有效展示表8所示结果，分别对两类调查中“专科及以下”和“博士”这2个教育层次的Style因子得分进行计算，所得结果如图5所示。

图5 两类调查的Style因子得分

6 结论

本研究对基于社会化媒体的匿名调查与非匿名调查间的4类测量效果进行评估，最终得到：

（1）两类调查具有相同的被试作答方式效果，但该效果不同于任何传统测量效果。依据Newman等［26］的研究，被试在面对涉及自身的调查问题时，作答行为会符合其感知到的社会行为标准。在传统调查中，这种作答行为大多表现为社会期望倾向［4，6，18］，会产生“默认”效果。然而，基于社会化媒体的两类调查却未表现出任何传统作答方式效果，这与以往调查测量效果研究所得结论有所不同。虽然运用MG-SEM无法探析出该作答方式效果的类型，但通过相关系数φ可知，在参与社会化媒体调查时，被试作答更加仔细、认真，对所调查的问题也更愿表露出自己的真实观点与看法。

产生上述结果，主要有以下原因：①本研究采取的调查方式系网络调查，调查者不会出现在作答现场，因此，被试有充分的时间进行调查认知工作（包括对题项的理解、思考、判断与作答），从而减小了其从事“满意行为”的倾向；②社会化媒体具有社会性，人与人之间的“社会距离”更近，被试对于调查者身份的认知会增强其对调查者的信任，会更用心的作答问题，而且，本调查采取了相应的激励措施，也会对被试的作答产生积极的正向影响。

此外，6个题项的测量内容侵犯被试个人隐私的程度较低，因此，被试在作答时产生的各种顾虑较小。在本研究的实证分析中，两类调查没有表现出相异的作答方式效果，该结论也可通过相同的αstyle得以证明。

（2）两类调查具有相同的被试认知效果。依据Krosnick的满意理论，被试作答时所付出的认知努力程度会受到三方面影响：题项难易程度、被试作答能力和被试作答动机［14］。在本研究中，认为只有被试作答动机会对两类调查的被试认知效果产生实质影响。

社会化媒体是一个圈群化的人际关系网络平台，其人际关系模式能够增加被试的作答动机水平，增强其认知努力并减少其认知捷径，使他们更倾向于花更多时间与精力来回答每一道问题，从而产生较高水平的认知效果。本研究认为社会化媒体导致的高水平认知努力掩盖了调查情景所带来的认知偏差，致使两类调查展示出相同的被试认知效果。

（3）两类调查能够产生相同的主效果，且它们与被试性别、年龄间的交互效果均不存在显著差异，但教育水平会对两类调查的被试作答方式产生显著差异的交互效果。由于被试在两类调查中具备相同的作答方式和认知水平，故不但作答方式的得分计数均值不存在显著差异，而且在调查题项所得结果的均值比较中，也未发现显著差异。同时，该结果也表明，本研究两类调查的样本结构差异不会对作答结果和作答方式带来影响。

然而，这并不能说明被试属性会对两类调查产生相同影响。本文实证分析已表明，被试属性与两类调查间存在着不同的交互效果。根据Billiet等［18］的研究，在传统调查中，被试的年龄及教育水平均会显著影响其采取的作答方式。但是，在本研究非匿名调查中，并未发现教育水平对被试作答方式产生的显著交互效果。

由于无法确定社会化媒体调查中被试所采取的作答方式类型，故目前尚不能对研究得到的交互效果结论进行准确合理的解释，但本研究已充分表明，当基于社会化媒体实施混合调查时，被试属性与调查方法间的交互效果不可被忽略。