教育类调查问卷设计中的常见问题及策略研究
2020-04-01吴晓霞徐小颖丁海东
吴晓霞 徐小颖 丁海东
摘要:问卷调查法决定数据信度和效度的关键是所设计的问卷的信效度。文章以某校生物学教育硕士论文中的部分问卷内容为例,指出了设计问卷中常出现的一些问题,如题项设计随意、题型设计不当、题干表述不清等。并以问卷编制流程为主线,给出问卷设计中的一些策略性建议如目标分级法、反馈自查法等。
关键词:教育研究;调查问卷设计;常见问题;反馈自查法
中图分类号:G642.0 文献标志码:A 文章编号:1674-9324(2020)11-0083-03
问卷调查法是教育研究中广泛使用的实证研究方法[1],高信度和效度的调查问卷可以对选择教育研究方向及教育决策起到正确的导向作用[2]。由于在调查报告及研究论文中通常不出现问卷本身,导致问卷本身的信度和效度成了问卷调查研究中的隐性问题,尽管非常重要,却常常被忽略[2,4],而问卷有效性的基础就是问卷中的问题设计[3]。
教育硕士论文是教育硕士在教育教学研究中针对我国基础教育事业改革与管理及教育教学实践中存在问题进行的基础性、实证性研究结果的体现;由于教育硕士群体多为从本科直接进入硕士阶段的学生,对研究对象缺乏实践性了解,因此调查问卷法就成为其研究的重要手段。但抽样分析结果却表明,教育硕士毕业论文调查问卷设计方面存在的问题相当突出[2,5]。本文以所收集的某校部分生物学教育类硕士毕业论文中的问卷为例,归类分析教育类调查问卷设计中常见的问题,并结合教育研究方法论指导,提出科学编制教育类调查问卷的一般原则和策略。
一、常见问题分析
(一)问题缺乏针对性
问卷的调查问题应与调查目标密切关联;但分析发现很多问卷中普遍存在的问题是问题缺乏针对性,根据调查者自己以为相关而随意设计。如在“初中生物学实验教学改进的研究”教师调查问卷中,提问“您所在学校的相关领导是否了解教科书中生物学实验存在的问题?”就很牵强;在调查“生物学教学中传统文化要素分析”时提问“你的生物任课老师是否只强调记忆,不注重渗透传统文化教育”等。
(二)题型选择不当
调查问卷一般有三種题型:封闭式、开放式和半封闭式(表1),不适当的题型选择可能影响作答者的真实作答,常见问题为题型选择不当,如:“你喜欢/不喜欢生物学课程的原因是什么?”调查内容为主观感受,因此开放式题型更适应本题,但作者设计成封闭式选项:“A.老师讲得不好 B.没有实验课 C.生物课不好玩 D.没有原因”,导致调查对象的随意勾选,或推测调查者提问意图进行选择,从而会影响调查结果的信度。
(三)题干表述不清
常见问题表现为,同一问题题干中出现多个提问主体,如“课堂上,学生自主探究、合作讨论的时间是否大于教师讲解的时间?”中自主探究与合作讨论是两个不同的问题主体。部分问卷中问题的陈述带有倾向性或权威性引导,如“你是否具有良好的个人卫生习惯?”,这里良好的个人卫生习惯是一种倾向性引导,如果改为“你一般多久打扫一次房间?”可能更适宜;部分题干中还会加入权威性引导,如“中学生物教育倾向于主动探索与合作交流的教学方式,而现行的教学方式仍以教师讲课为主,你对此的看法?”中的前半句为权威性引导;有些问卷的题干中还会出现一些有歧义的概念,如“上网对你的学习有影响吗?”中的“上网”“影响”均为有歧义的概念,上网干什么?影响是正面影响还是负面影响?……这种题干会使被调查者不知如何作答,或者会按照自己的主观理解作答;部分问卷题干的语言缺乏逻辑性、语意模糊、不通顺或冗长复杂也会影响调查结果的信度。如“你对有关生物教育的评价制度如学生综合素质评价和学分制的看法是”,这一问题陈述冗长复杂、提问主体过多、语意不清。部分问卷中的问题还存在对敏感性问题的直接发问,这也会引起调查对象反感拒答或不能如实回答。
二、编制教育类调查问卷的一般流程与实施策略
(一)问卷设计前的准备工作
1.确定调查目的与调查对象:教育类问卷调查目的一般包括对教育/教学某一方面的现状调查、教学/教育策略的可行性与存在问题的预测调查、被调查者对某种教育观点的认同度调查、对引起某一教育问题或教育现象产生原因的析因调查等。
无论哪一类调查,问卷设计的第一步都需要对所调查的“教育问题”进行明确的定义,对于现状调查类问卷,应分析定义问题的内涵与外延,结合调查对象的实际情况,尽量穷尽列举研究问题的组成方面;对于析因问题,主要分析影响调查问题的可能影响因素,并设计调查问卷,探讨“典型问题”产生的主要原因。调查者在确定调查目的时可以从以下几个问题入手:为什么要进行调查?通过调查想要获得哪些信息资料?问卷调查能否帮助你获得所需资料?利用所获得的信息资料能做什么?以上几个问题可以帮助调查者明确调查目的,并根据研究需要,选择适宜的调查对象(抽样样本)和确定调查范围(抽样样本量的大小),调查时应选择具有代表性的样本来代表整体。
2.确定问卷题项:问卷中的每一题项(提问的项目)都应有利于说明调查目标中的对应点,题项的全面性与针对性是确定调查内容完整和结果有效的关键环节。
确定题项时可采用目标分级法,从研究目标入手,通过对目标核心概念分级分解,认识其内涵,并通过操作性定义的方法使内涵的各个方面具体化,只有具体可操作化的内容才是设计问卷题项的直接依据。以李志专[6]的“中学教师情感教学技能的理论构建”问卷编制为例(图1),作者首先确定核心概念“教师情感技能”,接着从中学教师情感教学技能的理论构建入手,分析得出中学教师情感技能的四个维度,然后通过可操作化分析,提炼能够体现中学教师运用情感教学技能的各种可能的具体教学行为,最后结合对教学技能内部结构的理论推演,将所提炼出的115种教学行为归纳到情感教学技能的不同维度中,完成了问卷框架的系统构建,经与专家深度访谈,最终确定62个项目53顶样例作为问卷题项。
3.确定题型:调查问卷的题型中,封闭式因其“方便快捷、简洁明了、被调查者比较愿意配合作答”等优点而成为问卷调查中的主体形式,根据问题回答的方式又可以分为多选式(对于一个问题列举多个限定答案)、五步量表式(对于一个问题列举被调查者态度/观点由强到弱或由弱到强的5个答案)以及二分式(把问题简化成是与否两种答案)。
在确定问题形式时,应根据所问问题的特点选择合适的题型(表1),对于态度类问题建议采用五步量表式,将问题设计为“非常同意/符合”“同意/符合”“不一定”“不同意/符合”“非常不同意/符合”五种回答,其优点在于可以通过将五个选顶换位1到5进行赋值,根据受测者的各个项目的分数计算代数和,得到个人态度总得分,有利于进行量化分析。
(二)设计问卷
1.问题表述:问卷正文中的一系列题目,都是围绕调查目标而设计的,要获取科学可靠的信息,就必须做到合理地、科学地、艺术地提出每一个问题[7],问题的陈述应尽可能地清晰、中性,不要带有倾向性或引导性,每一个问题中只能出现一个调查事件主体,表述问题时避免使用专业术语,如果必须出现时最好先对术语给予解释,语句尽量以简洁明了的短句呈现;为了激发被调查者回答问题的兴趣,可通过虚拟情境化设计问题[8],有时为了识别不诚实、不真实的回答,还可以设置1—2道必要的重复性或验证性题目[2]。
2.问题排序:编制好的问题依据逻辑性原则[9]重新排列组合,通常第一个问题尽量有趣且容易回答,重要问题放在突出的位置,容易的问题放在前面,慢慢引入比较难答的问题。问题要一气呵成,注意问题的前后顺序的连贯性,不要让被调查者的思绪中断,如果设计有重复性、验证性的问题时应放置于问卷的不同部位。
3.指导语的表述:指导语通常包括调查标题、调查对象称谓、研究目的与意义、回答問题的要求、易误解问题的解释以及对调查对象的利益关系,撰写时应表述简明扼要、语言诚恳热情、说明保密性与匿名性特点以消除调查对象的顾虑。
4.形式审查与测试修正:对设计好的问卷还需要进行形式审查和测试修正,形式审查可以根据问卷设计中常出现的问题,采用反馈自查法(图2),对已编制好的问卷逐条逐项审查修改。
问卷初稿形成后的测试修正可分为三个环节:首先,邀请相关研究方向的专家或同行对问卷项目及其因子归属进行评估,删除其中不合理的项目;其次,选择与潜在的研究样本类似的小样本,以面对面的形式,进行尝试性测试与跟踪访谈,修改问卷中可能存在的问题;对精确性要求较高的调查,进行信度和效度分析[10],并根据结果对问卷做出调整、修订。
三、问卷调查方式
问题调查通常使用有面对面发放问卷调查、发送邮件调查等,随着网络运用的普及,网络调查被广泛使用,常用的网络调查网站有问卷星、问卷网、乐调查、微信问卷调查等。其主要优势有及时性、交互性、突破时空性等,且可以节省传统调查中的大量人力和物力。
但是,无论是传统调查还是网络调查,问卷调查的核心均在于调查者在较短的时间内从一个相对较大的研究群体中获得对一套精心设计的问题的回答,教育调查问卷结果可用于教育决策或检验教育教学的效果,但是由于研究者与调查对象并非面对面的交流,被调查对象可能会问卷设计中存在的各种问题而选择弃答或虚假作答,导致调查结果的信度和效度下降,设计一份目标明确、题量适宜、编制有效的调查问卷才是决定调查结果有效性的根本保证。
参考文献:
[1]钟柏昌,李艺.问卷调查方法在教育研究领域的应用状况分析[J].开放教育研究,2012,(18):74-80.
[2]钟柏昌,黄锋.问卷设计的原则与问题分析——以某校2011年教育学硕士学位论文为例[J].学位与研究生教育,2012,(3):67-72.
[3]杰克·R.弗林克尔&诺曼·E.瓦伦.教育研究的设计与评价[M].第4版.蔡永红,等.译.北京:华夏出版社,2003
[4]黄娟娟.教育调查问卷设计的常见问题及应对[J].上海教育科研,2015,(5):51-55.
[5]来凤琪.教育研究的方法、步骤、逻辑及其发展[J].开放教育研究,2017,(3):29-36.
[6]李志专.中学教师情感教学技能的理论构建、问卷编制及现状调查[J].教育研究与实验,2012,(6):80-83.
[7]王景英.关于问卷调查研究的几个问题[J].中小学教师培训,1999,(c1):16-18.
[8]杨玉东.如何运用虚拟情境问题设计专题调查问卷[J].上海教育科研,2010,(1):47-50.
[9]秦一竹,刘长鑫.调查问卷在大学英语教学分析中的应用[J].黑龙江高教研究,2015,(3):161-162.
[10]卢家楣.教育科学研究方法[M].上海:上海教育出版社,2012.