临床观测量表评估前的定性和定量研究

Emuella Flood

ICON Clinical Research Hong Kong Limited，Hong Kong 999077

临床观测量表评估前的定性和定量研究

Emuella Flood

ICON Clinical Research Hong Kong Limited，Hong Kong 999077

美国食品药品管理局为使用受试者报告结果（PRO）支持药物审批和产品标签颁布了行业指南，以强调通过定性研究确定临床量表内容有效性的重要性。最近，一些PRO研究人员鼓励使用混合方法确定PRO量表的内容有效性，即推荐在量表开发的认知访谈阶段中进行一项Rasch分析。Rasch是一种试题反应理论（IRT）的建模，可在PRO发展过程中用于评估和完善PRO量表。如该建模可确定某些量表项目是否覆盖了设计概念的严重性的全部范围、项目是否冗余，以及反应选项是否有用和作适当排序。这种方法的拥护者认为，认知访谈阶段的Rasch分析将有助于发现内容有效性的问题，以便在开展大规模心理测量有效性研究之前得到解决。

临床结果评价量表（PRO）；Rasch分析；混合方法

受试者报告结果（Patient report outcome，PRO）作为临床结局评价的方法之一，在评价疼痛、症状、治疗满意度等方面具有不可替代的作用。PRO可以用问卷或临床量表进行测量。美国食品药品管理局（FDA）为使用PRO支持药物审批和标签陈述颁布了行业指南，以强调通过定性研究确定临床量表内容有效性的重要性[1]。内容有效性指量表对设计概念的测量程度，通过患者定性研究予以确定。这些患者不仅参与为了发现概念和生成项目而进行的概念启发访谈，还参与为了确认量表内容清晰性、相关性和全面性而进行的认知访谈。

最近，一些PRO研究人员鼓励使用混合方法确定PRO量表的内容有效性（以下简称有效性），即在量表开发的认知访谈阶段中进行一项Rasch分析。然而，对于以上述迭代方式混合使用定性和定量方法以确定患者报告的内容有效性的价值，研究人员尚存在争议。

1 Rasch分析

Rasch建模是一种试题反应理论（item response theory，IRT）建模，可在PRO发展过程中用于评估和完善PRO量表。这种建模能够提供有用信息，以便确定某些量表项目是否覆盖了设计概念的严重性的全部范围、项目是否冗余，以及反应选项是否有用和经适当排序。这种方法的拥护者认为，认知访谈阶段的Rasch分析将有助于发现内容有效性的问题，以便在开展大规模心理测量有效性研究之前得到解决。

美国食品药品管理局已明确表示，对于确定用于支持药物审批和产品标签的PRO内容有效性来说，“单独使用定性研究仍可接受”[2]。然而，如图1所显示，美国食品药品管理局越来越鼓励使用混合方法。事实上，如果量表开发者没有进行Rasch分析而项目的适当性存在问题，美国食品药品管理局本身会进行Rasch分析。

图1 应用混合方法（全面心理测量评估前的定性和定量研究（“全面定量研究”）的量表开发步骤概览

2 争 议

围绕混合方法的争议并不在于Rasch分析在量表开发中的价值。作为量表心理测量评估的一部分，Rasch分析在开展大规模研究时十分有用[3-5]。相反，争议焦点是在量表开发的认知访谈阶段进行Rasch分析的附加价值。

在此阶段进行Rasch分析的问题是，一般而言，认知访谈的样本量相当小，通常只有15至30名患者。尽管混合方法的拥护者认为Rasch分析可以通过少至30个样本完成，但许多Rasch专家表示，对于大部分量表来说，必须取得大量样本（N>100）[2，6]。此外，认知访谈是在大约5至10次访谈中通过迭代方法进行，而在每轮访谈之间，会根据患者的反馈评估和修改量表。因此，基于认知访谈的最终量表范围，通常只被用于10名甚至更少患者。所以，即便假设30个样本量对于Rasch分析来说已经足够，但必须有更多的患者参与，才能执行最终量表的Rasch建模。

有关样本量的具体顾虑是，评估小规模样本中Rasch或IRT的有用性的研究发现，结果既会误导决策，亦不能作为决策的充分依据[2，6-7]。陈君和同事探讨了使用从患者报告的临床结果测量信息系统（PROMIS）项目库中摘取10个自我报告病痛行为项目数据所带来的样本量影响。Rasch分析通过由800个对象组成的整个样本和从整个样本随机抽取30、50、100和250个样本的方式进行，而在30个目标样本中，对象经过特别筛选，以反映疼痛程度的整个范围。对于大部分分析来说，结果应由样本量而异，而对于表1所显示的较小规模样本（<100）来说，结果特别有问题。

表1 样本量对Rasch分析的影响程度

如表1所示，由30个样本组成的Rasch分析结果导致了不准确的结论，而基于这些结果作出的任何决策都会是错误的。采取混合方法确定内容有效性的拥护者作出退让，认为分析具探究性不应只基于分析作出决策。因此，假设所有项目和反应程度都会保留，因为它们是以认知访谈为基础的，且被引入较大规模的心理测量验证研究中，以便通过较大规模样本进一步评估。所以，尽管Rasch研究的基本理由是提高效率，但实际上，Rasch研究似乎并不能达到这种目的。那么问题将是，“这种方法的附加价值是什么？”

再者，由经过培训且经验丰富的采访者开展经过精心设计的认知访谈研究，能够发现与项目覆盖、反应程度排序和项目适当性和冗余性等问题。实际上，认知访谈工作通常无法发现Rasch建模所发现的相同问题。然而，我们并没有关于某种方法发现问题而其他方法没有发现的潜在问题的项目归档范例。这种证据将有助于深入了解混合方法的价值。另外值得注意的是，与不考虑量表实际内容的Rasch分析不同，定性研究保证了所开发的以患者为中心的测量指标包含对患者最为重要的概念。

3 结 论

对于采用混合方法确定支持产品审批和标签的PRO内容有效性的价值，目前仍然缺乏证据。开发PRO量表需要大量资源和时间。在认知访谈阶段采用混合方法需要额外的患者参与，以及数据收集与分析的时间。鉴于缺乏证明这种方法有价值的证据，因此很难以充足理由解释与之相关的额外成本和时间。可获得的证据表明，在经过彻底、大规模心理测量评估后作出的优质定性研究可能仍是最佳方法。比较Rasch分析和认知访谈结果的额外研究，将有利于进一步评估采用混合方法确定内容有效性的价值。

[1] US Department of Health and Human Services,Food and Drug Administration.Guidance for Industry.Patient-reported outcome measures:Use in medical product development to support labeling claims[S].December 2009.

[2] Lenderking W,Coon C,Fehnel SE,et al.The utility of mixed-method approaches to evaluate the content validity of PRO measures.Internationalsocietyofpharmacoeconomicsand outcomesresearch (ISPOR) 18th annual international meeting[C].New Orleans,LA,USA.Presented May 21,2013.

[3] Bode RK,Cella D,Lai JS,et al.Developing an initial physical function item bank from existing sources[J].J Appl Meas,2003,4(2):124-36.

[4] Lai JS,Cella D,Chang CH,et al.Item banking to improve,shorten and computerize self-reported fatigue:an illustration of steps to create a core item bank from the FACIT-Fatigue Scale[J].Qual Life Res,2003, 12(5):485-501.

[5] Smith AB,Rush R,Velikova G,et al.The initial development of an item bank to assess and screen for psychological distress in cancer patients[J].Psychooncology,2007,16(8):724-32.

[6] Chen WH,Lenderking W,Jin Y,et al.Is Rasch model analysis applicable in small sample size pilot studies for assessing item characteristics?An example using PROMIS pain behavior item bank data[J].Qual Life Res,2014,23(2):485-93.

[7] Linacre JM.Sample size and item calibrations stability[J].Rasch Measurement Transactions,1994,7(4):328.

Clinical View of Qualitative and Quantitative Research Evaluation before Measurement Table

Emuella Flood
ICON Clinical Research Hong Kong Limited,Hong Kong 999077

The FDA Guidance for Industry on the use of Patient Reported Outcomes(PROs)for drug approval and product labeling highlights the importance of establishing content validity through qualitative research.Recently,a mixed methods approach has been encouraged by some PRO researchers for establishing content validity of PRO instruments.Specifically,the recommendation is to perform a Rasch analysis during the cognitive interview phase of instrument development.Content validity refers to the extent to which an instrument measures the intended concept and is established through qualitative research with patients involving concept elicitation interviews to identify concepts and generate items and cognitive interviews to confirm clarity,relevance and comprehensiveness of the instrument's content.Rasch modeling is a type of item response theory (IRT)modeling that can be used to evaluate and refine PRO instruments during their development.It can provide useful information about whether items in a scale cover the full range of severity for the concept of interest,whether items are redundant,and whether response options are useful and ordered appropriately.Proponents of this approach suggest that Rasch analysis at the cognitive interview stage will help identify content validity issues so that they can be resolved prior to the large-scale psychometric validation study.

Patient Reported Outcomes(PROs);Rasch Analysis;Mixed Method

R965.2

A

1673-7806（2015）01-057-02

Emuella Flood，女，患者报告临床结局，高级总监，ICON

2014-10-19

2014-12-04