APP下载

定量检测体外诊断试剂临床试验统计方法常见问题分析

2017-01-21蔡江波

中国药业 2016年24期
关键词:系统误差临床试验试剂

蔡江波

(江苏省食品药品监督管理局认证审评中心,江苏 南京 210002)

定量检测体外诊断试剂临床试验统计方法常见问题分析

蔡江波

(江苏省食品药品监督管理局认证审评中心,江苏 南京 210002)

目的采用正确的统计分析方法对定量体外诊断试剂临床试验数据进行评价,以得出科学、合理的临床试验结论。方法介绍4种常见临床试验统计分析方法及各自优缺点,列出常见错误并进行分析。结果单一、不当的统计分析方法可能会得出错误的结论。结论应采取多种方法从不同角度对2种检测系统的一致性进行综合评价,并加强统计分析人员专业知识培训。

定量检测;体外诊断试剂;临床试验;统计分析

临床试验作为体外诊断试剂产品研发过程中评价安全性和有效性的重要内容,试验方案的设计至关重要。如何选择统计分析方法对不同检测系统的检测结果一致性进行科学、合理地分析评价,是生产企业比较关心的一个问题。对于定量检测体外诊断试剂,生产企业一般会选取公认的、质量可靠的同类试剂进行临床对照和一致性分析。目前,常见的定量体外诊断试剂临床试验统计分析方法有相关性分析、偏倚估计、配对 t检验、Bland-Altman分析等,不同统计方法侧重点不同,且各有局限性,分析相同的试验数据可能会得出相反的结论[1]。因此,应根据具体情况选择合理的统计学方法,随便选取一种方法进行分析或选取的方法不尽合理,有时也能得出一致性的结论,但结论缺乏合理性和可靠性。

将试验用体外诊断试剂、对比试剂、配套用检测仪器、校准品、质控品和检测程序分别作为各自独立的检测系统,对同一样本进行检测,由于存在系统误差和随机误差,两系统的检测结果不可能完全一致,因此需对偏倚/偏差是否可以被临床接受作出评价。根据《体外诊断试剂临床试验技术指导原则》及相关产品技术审评指导原则,试验用样本例数属于大样本,可用4种方法进行分析。

1 常见统计分析方法

1.1 线性相关与回归分析

相关分析以对比系统测定值为 X轴、试验系统测定值为 Y轴作散点图,根据散点图判断两者的相关程度,计算样本相关系数 r。r反映了具有直线关系的2个变量间的相关关系密切程度和相关方向,在定量体外诊断试剂临床试验中,r一般为正相关,r越接近1,说明2个变量相关程度越强,越接近0,相关程度越弱。如果2个变量都符合正态分布,采用Pearson相关系数;如2个变量为非正态分布时,应通过对数转换等方法使之符合正态分布,再根据变换值计算相关系数,或者直接采用Spearman相关系数。

样本相关系数 r是总体相关系数 ρ的一个估计值,与总体相关系数 ρ之间存在抽样误差,因此需对 r作总体相关系数 ρ是否为0的假设检验,判断两者的差异是否有统计学意义。通过最小二乘法计算回归系数b和截距 a,建立样本线性回归方程 Y=a+bX,并对总体回归方程=α+β X作假设检验,即检验 b是否为β=0的总体中的一个随机样本,可采用 t检验或F检验。

相关系数 r对系统误差不敏感,不能检出恒定或成比例的偏倚,不能判定检验结果的一致性。截距 a反映试验系统与对比系统的系统误差,回归系数 b偏离1的程度反映两者的比例误差。

1.2 配对 t检验或配对符号秩和检验

定量体外诊断试剂临床试验一般采用对比系统和试验系统对同一个样本进行检测,可采用配对设计定量资料。配对设计定量资料分为配对 t检验或Wilcoxon配对符号秩和检验,配对 t检验是对2种检测系统检验结果差值的总体均数是否为0的检验,配对秩和检验是对2种检测系统检验结果的差值的总体中位数是否为0的检验。当检验结果的差值符合正态分布时可采用配对 t检验,当差值结果偏离正态分布较大时可采用Wilcoxon配对符号秩和检验。

配对 t检验主要检验的是2个检验系统的系统误差是否有差异,是对“差异”的检验,对系统误差敏感,对随机误差不敏感[2-3],不能解决一致性问题。配对符号秩和检验省略了具体的值,只是对样本进行排序,适用范围广,但检验效率不如配对 t检验高。当假设检验H0不真时,配对符号秩和检验犯第二类错误的可能性大于配对 t检验。

1.3 偏倚估计EP9-A2法[4-5]

EP9-A2文件《用患者样本进行方法学比对及偏倚评估》是美国临床和实验室标准协会(CLSI)发布的正确度比对评价方案,主要用于评估2种临床检验方法或设备间的偏倚和使用患者标本进行方法学比较的试验设计及数据分析。每份样本按2种方法各自顺反序重复测试2次,浓度应尽可能宽,50%以上的浓度处于参考区间外。以试验系统测定结果为 Y、对照系统测定结果为X,将数据绘制成4张图,分别是2张散点图和2张偏倚图,目测2种试验方法的线性关系、离散的均匀性是否可接受。对照系统测定范围是否合适可用相关系数 r作粗略估计。一般情况下,如 r≥0.975(或 r2≥0.95)则认为X的取值范围合适,可用直线回归估计斜率、截距,否则应扩大数据范围。计算线性回归方程、预期偏倚和95%置信区间,如医学决定水平(或参考范围的两端)的预期偏倚的置信区间与允许误差的限值相比较,小于规定的允许误差的限值,试验系统可被接受,大于规定的允许误差的限值,试验系统不可被接受。允许误差建议采用小于或等于1/2CLIA88或室间质评可接受范围。该方案程序数据处理烦琐,耗时,成本高。

1.4 Bland-Altman分析法

Bland-Altman分析法由英国学者Bland JM和Altman DG提出。该方法以2种检验方法的均值为横轴,以2种检验方法的差值为纵轴,绘制散点图,同时计算差值的均数 d及差值的95%分布范围,以图形的方式确定一致性界限LoA(d-1.96Sd,d+1.96Sd)[6-7]。LoA越窄,2种检验方法的一致性程度越高。如果95%的差值位于一致性界限以内,且与临床可接受的界限值比较可接受,就可以认为2种检测方法一致性较好。d与 y=0水平线的距离反映系统误差的大小,Sd则估计随机误差的波动程度,反映随机误差的大小。此外,还应考虑抽样误差的情况,计算LoA的置信区间。该法同时反映了系统误差和随机误差对2种测量方法一致性的影响,可根据坐标图直观判断一致性程度[8]。

Bland-Altman分析法要求2种检验方法数据的覆盖范围尽量宽,差值符合正态分布,差值与均值不相关,如果差值与均值相关时,可通过对数转换或采用2种测量方法结果的比值,但在实际测量过程中,转化后相关性仍存在[9]。

2 常见错误分析

2.1 统计方法单一

不同的统计方法各有侧重,仅仅通过单一的统计方法可能得出错误的结论[10]。如仅仅通过计算相关性或配对 t检验就得出2种检验系统结果一致性的结论。相关分析回答的是2种方法检测结果之间的密切程度,配对 t检验关注的是2种方法检测结果的平均差值是否等于0,两者单独使用时并不能回答检验结果的一致性问题[11]。存在系统误差,如试验系统结果总是高于或低于对照系统时,配对 t检验显示一致性较差,而相关性分析仍能得到较好的线性相关系数[12]。Bland-Altman分析法检验结果可能显示偏差在一致性界限内,会得出一致性较好的结论。以某生化试剂临床试验为例,通过观察200例样本的临床数据,发现试验用试剂检测结果与对比试剂检测结果非常接近,但大部分数据略高于对照数据1~2 g/mL,根据专业知识,两者差异较小,没有临床意义。此时统计分析结果为相关系数 r≥0.975,相关性很好,由于存在系统误差,配对 t检验结果为有显著性差异(P<0.05);采用Bland-Altman检验,结果为一致性较好。

此外,由于相关系数 r检验时与0相比,如果回归系数 b值过低或过高,r仍可通过显著性检验。如试验方案采用参考值差异较大的2种试剂作对比试验时,回归系数 b偏离1较远,仍可得到较好的线性相关系数,但两者检验结果存在较大差异,无法得出一致性结论。

2.2 统计方法选择不当

每种统计方法均有各自的适用条件和局限性,如果不对试验数据进行初步分析,任选一种统计分析方法,方法使用不当,可能会造成错判。如一些产品的临床试验数据为偏态分布,统计分析人员未进行数据正/偏态分布检验或未进行数据转换,直接选用与正态分布相关的分析方法如Pearson相关系数、配对 t检验、Bland-Altman分析法等试验方法来确定一致性,可能会得出错误的结论。Bland-Altman分析法图中散点分布呈现相关线性趋势时仍采用该方法进行评价,也不能正确评价两者结果的一致性。

2.3 未考虑样本与总体的关系

临床试验是抽样检验,一般选取显著性水平α为0.05对总体进行假设检验。一些临床试验结果一致性的结论是在样本检验的基础上直接得出的,未考虑抽样误差的影响,缺少假设检验,未对总体进行评价,如对线性相关、回归系数、Bland-Altman分析法的一致性界限未作95%置信区间的显著性检验[7]。

2.4 分析结果与试验结论不一致

临床试验过程缺少专业统计分析人员参与,或者部分统计分析人员对统计专业知识理解不够,对假设检验不理解,导致分析结果与试验结论不一致。如对回归方程进行总体假设检验分析时,对截距进行 t检验,结论显示有显著性差异,或者未对截距进行假设检验,却直接得出两者一致性结论。

3 建议

3.1 合理运用多种分析方法进行评价

在定量体外诊断试剂临床试验的一致性评价过程中,临床试验研究人员应充分了解各种医学统计分析方法的优缺点和适用条件,在设计临床试验方案时兼顾系统误差和随机误差对试验结果的影响,结合产品临床检测意义,确定一致性评价方法[13-15]。

统计分析人员应根据临床数据的正/偏态分布情况选择合适的统计分析方法。一般而言,在相关分析和回归方程分析的基础上,应重点对截距或偏倚/偏差进行统计分析,可采取多种方法从不同角度进行分析。当分析方法的结论不一致时,应结合产品实际情况和临床意义,如医学决定水平处的偏倚/偏差等,对2种检测系统的偏倚/偏差是否可接受进行综合评价,使评价更加科学、有效。

3.2 加强统计分析人员专业知识培训

统计分析人员参与从临床试验方案设计到临床试验报告完成的全过程,人员的专业知识水平直接影响临床试验结果,因此应加强对统计分析人员的专业知识培训,提高统计分析能力,以便在临床研究过程中及时发现问题并进行修改,从源头上减少统计分析错误的发生。

[1]苏武锦.检测系统间方法学比对实验数据处理方法的探讨[J].国际检验医学杂志,2013,34(9):1 138-1 140.

[2]马斌荣.医学统计学[M].第5版.北京:人民卫生出版社,2008:35.

[3]余松林 .医学统计学[M].北京:人民卫生出版社,2002:48-57.

[4]NCCLS EP9-A2.Method comparison and bias estimation using patientsamples;Approved Guideline-second edition [S].Wayne,PA:NCCLS,2002.

[5]杨有业,张秀明.临床检验方法学评价[M].北京:人民卫生出版社,2008:118-128.

[6]陈 卉.Bland-Altman分析在临床测量方法一致性评价中的应用[J].中国卫生统计,2007,24(3):308-315.

[7]缪华章,陈 林,刘玉秀.定量方法对比研究一致性评价Bland-Altman法LoA的可信区间估计[J].中国卫生统计,2014,31(1):64-67.

[8]李镒冲,李晓松.两种测量方法定量测量结果的一致性评价[J].现代预防医学,2007,34(17):3 263-3 266.

[9]萨 建,刘桂芬.定量测量结果的一致性评价及Bland-Altman法的应用[J].中国卫生统计,2011,28(4):409-411.

[10]曾宪飞,李军民,谈 昀,等.不同评价方案在临床比对试验应用的方法学探讨[J].现代检验医学杂志,2012,27(2):66-69.

[11]张时民.配对 t检验和相关分析中的误区[J].江西医学检验,2001,19(5):303-305.

[12]李卫宁,吴志成.不同生化试剂检测结果的比较研究[J].现代检验医学杂志,2006,21(2):56-57.

[13]朱 川,曹生亚.脑梗死患者红细胞比容不同检测方法的一致性评价[J].齐齐哈尔医学院学报,2014,35(2):199-200.

[14]周金玉,孙增先,许 静,等.酶放大免疫分析法与高效液相色谱法检测人血浆中丙戊酸浓度比较[J].中国新药与临床杂志,2012,31(12):748-751.

[15]周宇豪,许金芳,贺 佳.诊断试验一致性评价中几种方法的比较及应用[J].中国卫生统计,2011,28(1):40-46.

Analysis of Problems of Statistic Analysis Methods Used in Quantitative Testing IVD Clinical Trials

Cai Jiangbo
(Center for Certification and Evaluation,Jiangsu Food and Drug Administration,Nanjing,Jiangsu,China 210002)

Objective To use right statistical analysis methods to evaluate quantitative testing in vitro diagnostic reagent(IVD)clinical trial data and get scientific and reasonable conclusion.Methods 4 common statistical analysis methods used in clinical trials and their advantages and disadvantages were introduced,and the problems of statistical analysis were pointed out and analyzed.Results Only 1 statistic analysis method or misuse of statistical analysis method might lead to false trial conclusion.Conclusion Multi-methods of statistical analysis should be adopted in agreement evaluation of 2 testing systems and researchers should be trained professionally.

quantitative testing;in vitro diagnostic reagent;clinical trial;statistical analysis

R954

A

1006-4931(2016)24-0007-03

蔡江波(1981-),女,硕士研究生,主管药师,主要从事认证审评工作,(电话)025-84536872(电子信箱)caijiangbo2611@163.com。

2016-09-14)

猜你喜欢

系统误差临床试验试剂
美国特战司令部参与抗衰药临床试验 合成一百余种新型NAD+增强剂
国产新型冠状病毒检测试剂注册数据分析
品管圈在持续改进医疗器械临床试验全周期质量控制中的应用
检验科试剂管理面临的主要问题及对策
参加临床试验,也要“顺道”
环境监测实验中有害试剂的使用与处理
基于ADS-B的航空器测高系统误差评估方法
基于Bagging模型的惯导系统误差抑制方法
用系统误差考查电路实验
基于奇异谱的精密离心机空气轴承主轴回转系统误差分析