基于心理学研究中元分析方法的系统评价
2020-09-12张进辅
陈 维,黄 梅,张进辅
(1.贵州师范大学 心理学院,贵州 贵阳 550001;2.西南大学 心理学部,重庆 北碚 400715)
0 引言
系统评价,也称系统综述,它主要针对某一具体研究问题,全面地收集已发表或未发表的研究结果,运用减少偏倚的策略,逐个进行严格评价和分析,并通过比较筛选标准,选择出符合要求的文献资料,在此基础上进行定性或定量的综合分析,得出一个可靠有效的研究结果。一般地,若系统评价采用了以效应量(ES)为基础,综合研究结果为目进行统计推断时,即元分析,可称为定量型系统评价;而未使用元分析的系统评价,则称为定性的系统评价。系统评价与元分析一样,含有以下几个步骤:确定研究问题;制定检索策略;系统编码;数据整理及分析;撰写报告[1-5]。值得注意的是,其搜索策略与元分析、内容分析以及文献计量有相似的地方,但又不尽相同。
近年来,元分析虽作为一种重要的研究方法被广泛应用于心理学研究,但其在研究设计、数据分析和研究报告等方面还存有较大差异现象,势必会让学者们对该方法产生质疑。鉴于此,笔者通过运用系统评价这一方法,统计、分析1990年至2012年期间心理学学科领域中有关元分析的文献资料,以期为相关研究提供借鉴。
1 研究方法
1.1 检索策略
检索时间 1990年1月1日—2012年12月31日。
检索数据库 以CNKI、万方和维普为目标数据库,同时,定位于心理学领域(属于哲学领域,而关于心理学研究人员发表于其它刊物,但不属于心理学学科刊物的文章不予以分析;其它有心理命名的期刊,但不属于哲学领域的心理学学科期刊不予以分析)。
检索词 “元分析”、“再分析”、“荟萃分析”、“汇总分析”、“整合分析”、“二次分析”、“集成分析”和“meta analysis”的文献。
文献纳入和排除标准 纳入所有已发表期刊、会议论文和硕博学位论文;应用Endnote X7管理,排除重复资料。
1.2 资料提取和信息编码
表1 纳入资料基本情况Tab.1 The basic status of collecting data
期刊基本资料 通过逐篇全文阅读资料,提取有关文献的题名、发表时间、发表期刊或硕博论文以及研究类型(分为基础理论和实际应用)等信息。
元分析方法 依据元分析方法中涉及的内容,主要针对ES类型、异质性检验、统计分析模型(固定效应分析模型,FEM;随机效应分析模型,REM)、调节分析(MA)和发表偏倚(PB)等方面定性分类编码(见表1)。
1.3 数据处理
所有数据采用IBM SPSS 21.0软件进行统计、分析,主要涉及描述统计及条形图。
2 结果与分析
2.1 文献纳入结果
按以上检索策略,排除重复的文献资料,共计73篇相关资料全纳入系统评价。其中发表期刊37篇(50.68%),社会心理科学2篇,心理学探新2篇,心理学报6篇,心理科学进展9篇,应用心理学1篇,心理科学11篇,心理研究1篇,心理发展与教育2篇,其它心理期刊3篇;硕博学位论文12(16.44%)篇,会议论文24(32.88%)篇,由于会议论文无法获取全文文献,只参与研究类型的统计分析。
2.2 整体描述
由图1可见,关于元分析的研究呈逐年上升趋势,尤其是近几年在实际应用方面的研究较多,但基础理论研究较少(仅13篇),与实际应用研究不相匹配,若排除介绍型综述和因子分析方面的研究,涉及元分析方法的基础理论研究相对更少。
图1 1990—2012年有关元分析研究的发展趋势Fig.1 The development trend of meta-analysis from 1990 to 2012
2.3 基础理论
由表2可知:有关ES的研究,仅4篇综述型研究提及(d族和r族),其它9篇文献主要是传统综述文章,针对元分析方法步骤的介绍,如搜集文献,系统编码,数据分析及撰写报告;关于数据分析的细节方面,如异质性检验、合并模型、调节分析和发表偏倚等方面,几乎没有基础理论研究关注。
表2 基础理论研究基本情况Tab.2 The basic status of basic research
2.4 实际应用
由表3可知:在ES上,主要集中于d族和r族,少数研究选择脑区坐标和P值,但也有“元分析”研究没有涉及ES,是否真正属于元分析,值得探讨;在异质性检验上,其研究数量各占约一半,但仅1篇研究涉及到I2值,其解释可能有误;在合并模型上,主要选用REM,其中有一半研究不清楚选用的分析模型,也有可能直接忽略异质性,选用REM进行分析;在调节分析方面,86%的研究均涉及到,但没有一篇研究将其与调节效应分析区分开;在发表偏倚方面,仅39%的研究有所涉及,主要采用漏斗图方法,而61%的研究没有进行检验,其研究结论的推广性可能有所夸大。
表3 实际应用研究基本情况Tab.3 The basic status of applied research
3 讨论
3.1 整体描述
总的来说,元分析基础理论研究相对滞后,以致于元分析实际应用研究质量呈现良莠不齐的现象。笔者曾以超星、当当、亚马逊和Google图书4个数据库为书库来源,以“元分析”和“meta-analysis”为检索词,发现国外有关元分析方法的专业书籍就达数本。而国内心理学学科中,目前尚无专门介绍元分析方法的书籍,只有7本心理学研究方法书籍中的章节对元分析略有介绍,而对元分析方法中的异质性检验、合并模型、调节分析及发表偏倚均没做详细介绍。可见,有关元分析方法的基础理论研究有待进一步加强。
3.2 关于元分析
研究发现,一些非元分析研究也命名为元分析,尚有必要再次审视元分析的本质。依据Glass等[1,3,6-9]关于元分析的理解,将元分析定义为将相同问题的各研究结果转化为同一可比较的尺度(ES)上,进行定量的统计分析,应包括确定问题,检索策略,文献筛选,系统编码,数据分析及撰写报告等步骤。可见,有研究虽含有元分析的所有步骤,但并没有将结果转化为ES进行统计推断,因此该研究不能称之为元分析,只能称为定性的系统评价,这也是元分析与系统评价的最根本区别。因此,本研究所检索到的一些文献资料可能不是元分析。
3.3 关于效应量
纵观元分析的应用研究,ES的概念和种类不再局限于Cohen的研究范畴,如脑区坐标。所以,元分析中的ES不再仅仅是一个与统计功效有关的统计量,只要是可比较的同一尺度均可称为效应量,即是一个直接描述研究问题的效应大小指标,其内涵可从以下2点理解:效应常指研究所关注的问题,即从哪个方面去描述效应;量可理解为测量和大小,测量即依据效应实施地可操作手段,而大小则为最后求得的数值[10-12]。
3.4 关于发表偏倚
在实际研究中,多以漏斗图和失安全数(Nfs)来检验发表偏倚,但严格地说,这2种方法并不是统计检验。漏斗图是一种简单的图示方法,除了用于观察ES的分布情况以外,最重要的用途是用于分析那些样本容量小或者精度小的研究出现较大效应的现象,而不是仅作为诊断特定类型偏倚的工具[13-14];而Nfs只能作为对发表偏倚的一种粗略估计,同样缺乏统计检验。有研究显示:当未发表研究的平均效应与已发表研究的方向相反,Nfs则有可能得出误导性的结果[14-15],所以该法不再推荐使用。目前,有关发表偏倚的检验方法已相对很成熟,并且统计功效也高于传统方法,如:Begg相关、Egger回归及剪补法。
3.5 关于异质性检验
目前,异质性检验主要基于HedgesQ检验[16],但Q服从χ2分布,易受纳入研究数量的影响,并且没有描述异质性的大小信息。较少有研究关注一些的统计量,如H和I2。
3.6 关于统计分析模型
本研究发现,大多应用研究都选用随机效应模型进行分析,很少选用其它模型。究其原因:对于心理特质这种潜变量,不同工具的测量都会导致额外的误差,使得其在ES的合并上,更倾向于选择随机效应模型而非固定效应模型;元分析方法收集的数据存有天然的层级结构,样本嵌套于单个研究,单个研究又嵌套于元分析,势必会影响统计模型的稳定性。今后,传统元分析与多水平模型融合形成的多水平元分析(亦称混合效应元分析),能避免上述缺陷。但值得注意的是,上述模型都是基于传统频率论统计学,元分析的样本量是否能满足大样本的稳健性,是争论的焦点。
3.7 关于调节分析
元分析的调节分析与一般调节分析有相似之处,但更多的是不同,本研究发现了两者在应用中存在着误用和混淆等现象。因此,未来需要进一步比较两者的差异。