受试者工作特征曲线及其在金融危机预警研究中的应用

余垠(上海第二工业大学经济管理学院,上海201209)



受试者工作特征曲线及其在金融危机预警研究中的应用

余垠
(上海第二工业大学经济管理学院,上海201209)

摘要:基于受试者工作特征(ROC)曲线的分析框架,梳理了ROC曲线对预警指标分类能力的评估和预警模型预报准确性评估两方面的应用情况。认为ROC曲线及ROC曲线下面积(AUC)在金融危机预警研究中表现出3个优点:ROC曲线可提供结构法而非经验法来选择预警指标;为指标选择与模型评价提供了统一的分析框架;为不同预警模型的等效性检验提供了分析基础。

关键词:金融危机;预警系统;受试者工作特征;受试者工作特征曲线下面积

0　引言

过去的30多年中,全世界研究者构建了大量的金融危机预警系统用于预报未来的金融危机。每一个系统都采用不同的分析框架,在指标选择、分析方法等方面均具有特异性[1]。什么样的指标才称得上是好的预警指标？什么样的系统才是预报效果好的预警系统？评价金融危机预警系统的预报效果成为金融危机研究中的一个重要组成部分。

评价预警系统性能的研究主要包括局部差异分析和整体性能测试。局部差异主要包括指标间差异、危机信号间差异和危机识别期间差异[2-5]。整体性能测试的方法主要使用样本内和样本外测试[6-9]。

由于不同指标发出的危机信号具有显著差异,且对识别危机发生的时期也存在明显差异,那么可能就不会只选择一个信号标准来判断预警系统[2-4]。通过比较预警系统所使用的指标及其发出的信号和识别危机发生的时期,往往这些局部的评价无法判断哪一个系统更好,还必须对预警系统的鲁棒性(Robustness)进行研究[5]。由于存在上述的差异,样本内-样本外测试方法中的单一阈值(通常为0.5或0.25)也仅仅是根据经验而随意设定的。因此,这样判断一个系统整体优于另一个系统很难令人信服。如何比较不同系统的预警性能一直是预警研究中的一个难点,对不同预警系统性能的鲁棒性比较至今也没有实现[1]。

受试者工作特征(ROC)曲线为评估金融危机预警系统的预报效果提供了一种新的分析方法。然而,ROC曲线在经济领域的成果并不多见。ROC曲线最初出现在财务预警和信贷风险的相关研究中,均用于不同模型的性能比较[10-17]。Jord`a等[18]将ROC曲线用于识别商业周期拐点,张伟锋[19]则运用ROC曲线分析了所选指标对银行业短期流动性风险的预警能力。近3年,ROC曲线在金融危机预警效果评估领域有了一定的应用。

本文介绍了利用ROC曲线确定最佳阈值及模型准确性的方法。在此基础上,分别介绍已有文献利用ROC曲线分析预警指标的分类能力和在不同系统中预警性能的评价研究。

1　ROC曲线的基本分析框架

在确定预警标准时必须从若干个阈值中选出最佳阈值(最佳工作点)。确定最佳阈值的方法通常有两种:成本分析方法和一般方法。

基于成本分析的方法[20],ROC曲线的最佳阈值依赖于执行预警模型成本C0和预报结果成本Ci。其中:C0包括构建预警模型的成本,运行和维护预警模型的成本;Ci则包括真阳性(TP)结果的成本CTP、真阴性(TN)结果的成本CTN、假阳性(FP)结果的成本CFP和假阴性(FN)结果的成本CFN。因此,运行预警系统的总平均成本C为

式中,Pi为i的概率,i = TP,TN,FP,FN。

考虑到预报结果所导致的政策成本、危机调整成本而确定的最佳阈值θ可以作为政策干预点,Drehmann和Juselius[21]认为,“常态或繁荣”(D = 0)和“危机”(D = 1)分别对应两种真实的经济时机,政策制定者可以选择实施政策(P = 1)或者不实施政策(P = 0)。那么,真阳性的概率PTP= SeP{D = 1},真阴性的概率PTN= SpP{D = 0},假阳性的概率PFN=(1-Se)P{D = 1},假阴性的概率PFP=(1-Sp)P{D = 0}。其中,Se为灵敏度,表示预警系统所识别出的危机数占所有实际危机数的比例;Sp为特异度,表示金融系统实际未发生危机,预警系统也没有识别危机的能力。因此,

运行预警系统的成本依赖于预警模型的灵敏度、特异性、危机出现的先验概率以及预报结果所导致的政策成本、危机调整成本。

在式(2)中,ROC曲线的最佳阈值θ存在于总平均成本C最小时,也即dC = 0时,计算出最佳阈值θ处ROC曲线的斜率τ[20]:

式中,P{D = 0} + P{D = 1} = 1。用UPD表示在状态D选择政策P的效用,那么它满足假设:U11＞U01和U00＞U10,其最佳阈值θ处曲线的斜率τ为[21]

如果ROC曲线是光滑曲线,斜率τ所决定的直线与ROC曲线的切点便是最佳阈值θ;如果是不光滑的线段连接的经验ROC曲线,斜率所决定的直线从上至下左向移动与ROC曲线相交的点便是最佳阈值θ。

然而,度量政策成本是很困难的,度量不同信号的灵敏度TPR(Se)和误报率FPR(1-Sp)的最优组合值也是十分困难的[21]。因此,计算ROC曲线下面积(AUC)便成为最方便的寻找最佳阈值的方法。AUC由下式计算:

AUC的取值范围为0.5～1,其中1为最理想值,0.5及以下表示信号完全无价值。作为全局性的综合指标,AUC不一定适合,但通常情况下,最大AUC所对应的便是理想的最佳阈值θ。

通过构建ROC曲线,使得在所有阈值中比较两个或多个模型的性能成为可能。比较模型的准确性,通常比较的是准确性综合指标[22-23]。然而,当对两个模型M1、M2的性能进行比较时,可能出现模型M1的灵敏度较高,而M2的特异度较高,以至于无法判断哪一个模型更好。在只有一对灵敏度和特异度时,改变阈值也会造成难以确定哪个系统更优的后果。

因此,尤其对于有序或连续型数据,需比较与ROC曲线相关的指标,包括灵敏度、特异度和AUC。一般可以通过设定多个不同的阈值来绘制ROC曲线,通过比较两个模型的AUC进行判断。也即,比较ROC曲线下面积(或部分面积)是否相等。通常,较大的ROC曲线下面积(或部分面积)对应着预警效果较好的模型。

2　ROC曲线在研究预警指标分类能力方面的应用

ROC曲线最初用于探讨不同预警指标的优劣性上。Drehmann和Juselius[21]从时机选择(Timing)、稳定性和预警效果优劣(Outperform)3个方面对所选择的预警指标进行了ROC曲线分析。他们认为一个好的预警指标应该同时满足两个条件:①能尽早地发出危机信号以便政策能及时有效地实施;②不能过早地发出危机信号,否则会提高政策成本。因此,他们建议预警指标S发出危机信号的合适时间区域(h)在危机发生前的20个季度到6个季度之间,并定义:

如果对h∈[-20,-6],有AUC(Si,h)＞0.5,那么,第i(i = 1,2,···)个预警指标Si有正确的时机选择。

考虑到政策制定者不会在信号数据发出后就立即行动,Drehmann和Juselius认为如果预警指标发出稳定或持久的信号,将会减少政策制定者对趋势判断的不确定性。因此,要评估信号的稳定性,也就是评估信号的信号质量在预报区域改变时是否会退化,需要对指标的稳定性进行定义。即:

如果对时间区域j = 1,···,14和时间区域k = 1,···,5,有AUC(Si,−6−j)≤AUC(Si,−6)≤AUC(Si,−6+k),那么,预警指标Si是稳定的。

要评估拥有正确时机选择和稳定性的两个预警指标Si,Sj中哪一个的预警性能更好,则需要计算两个指标在相同时间区域h内的AUC大小,AUC大的指标优于AUC小的指标。也即:

如果AUC(Si,h)≥AUC(Sj,h),那么在时间区域h,预警指标Si优于预警指标Sj。

基于上述定义,选择已有明确经济意义并可在多个时间和国家使用的10个指标,如表1所示,Drehmann和Juselius[21]对26个国家从1980年1季度至2012年2季度的数据进行了AUC分析。分析发现,信贷与GDP比率缺口(Credit-to-GDP gap)和偿债比率(Debt Service Ratio,DSR)在银行危机预警方面始终超越其他的变量,其中,信贷/GDP缺口是最好的长期层面的指标,而DSR在短期层面起主导地位。

表1　在不同时间区域内的指标的AUC[21]Tab.1 AUC of indicators among different time region[21]

Bonfim和Monteiro[24]则认为一个“好信号”的标准是它能在一次危机前的12个季度至4个季度之间发出危机信号。他们用9个国家自1957年以来的季度数据评价了对银行危机具有分类能力的15个指标,见表2。分析结果显示,信贷/GDP缺口在对银行危机的预报性能中是所有指标中最好的。

将研究的时间区域分成3个子区间:危机前的20～12个季度,为“早期”;12～4个季度,为“晚期”;4～0个季度,为“即期”。表3分析了以上两项研究中7个相同指标的AUC值。虽然数据集的选取、研究对象均不同,但在危机前的20～1个季度的时间区域内,除了股票价格指数与GPD增长率两个指标出现较大分歧外,几乎有着相同的结论。

表2　评价指标的AUC[24]Tab.2 AUC of evaluation indicators[24]

表3　两项研究的AUC比较分析Tab.3 Comparative analysis of AUC for two studies

3　ROC曲线在评价预警模型预报性能研究方面的应用

ROC曲线还应用于模型的预警效果评估方面,为评估两个或多个预警系统的预报准确度提供了共同尺度下的一种直观比较方法。

Candelon等[23]比较了简单logit模型对南美和南亚12个国家和地区的货币危机的预报准确性(见表4)。为确定最佳阈值θ,他们规定,如果危机在某一时期t发生的概率估计ˆSt＞θ,就属于“危机期”(危机预报的估计值ˆIt(θ)= 1),否则是“平静期”(ˆIt(θ)= 0)。基于传统的信号评分方法(Credit-Scoring Approach,CSA),他们定义最优阈值θ是使灵敏度与特异度之差的绝对值最小的阈值。也即,θCSA= argmin|TPR(θCSA)+ FPR(θCSA)-1|。

他们构建了包含收益率价差与不包含收益率价差的两个简单logit模型,选择6个变量,利用12个国家及地区的自1980年1月至2010年12月的数据进行了比较分析。结果显示,在观察时间窗、预警指标相同的情况下,同一个模型对不同国家货币危机的预报准确性有很大差异。如果对两个模型分别只增减一个预警指标,两个模型对同一个国家货币危机的预报准确性也会发生变化。这又一次证明根据一个特定国家的经济特征选择合适预警指标的重要性。

Alessi等[1]认为好的预警模型发出信号的时机在一次银行危机前的20个季度到4个季度之间,并把它分为两个子区间,20～12个季度的“早期”和12～4个季度的“晚期”。通过“a horse race”(赛马,进行方法比较的复杂系统),他们对欧洲中央银行体系发起的预报银行业危机的9个不同模型的性能进行了比较,见表5。其中,数据来源于9个模型中使用的欧盟和OECD 27个国家的1970Q1～2010Q4的数据集,共选择了37个指标。9个模型的样本内AUC的比较结果显示,多变量logit模型在样本内的预报质量最好,其他模型也有较好的样本内表现。

表4　12个国家及地区两种模型的AUC分析[23]Tab.4 AUC for two models of twelve countries and regions[23]

表5　9个模型的样本内AUC比较[1]Tab.5 In-sample AUC of nine models[1]

由于大部分预警模型的出发点都是依据传统离散选择模型(logit/probit),Antunes等[25]采用与Alessi等[1]相同的方法,通过28个国家的股票价格指数(Equityprice index)、信贷/GDP缺口(Credit-to-GDP gap)、房地产价格指数年增长率(House price index)、偿债比率(Debt Service Ratio,DSR)和危机哑变量指标,比较了简单probit模型和动态probit模型的预报质量,见表6。分析显示,动态probit模型的样本内表现要比简单probit模型优秀。与Alessi 等[1]不同的是,他们除了评估两个模型样本的表现外,还利用样本外数据对模型预报准确性的鲁棒性进行了分析,两个模型的AUC均表现出了较好的稳定性。

虽然选取的研究对象、指标和时间窗均不相同,但两项研究成果中简单和动态probit模型在样本内的AUC趋于一致。利用ROC曲线分析技术,可以直观地对预警模型的表现做出结论。

表6　简单与动态probit模型样本内和样本外AUC[25]Tab.6 In-sample and Out-of-Sample AUC for simple and dynamic probit models[25]

4　结论

本文对ROC曲线在预警指标分类能力和预警模型性能评估的应用进行了分析。AUC对所考察的时间区域与对象等影响指标选择的因素不具显著性差异,为预警指标的筛选提供了一种可供选择的结构化分析方法。同时,AUC在不同时间窗、不同指标、不同考察对象等情况下对不同模型的预报准确性评估也表现较好。由于尚未对预警模型的预报准确性进行等效性检验,AUC分析是否一定优于已有的评估方法,还需要更多研究的支持。然而,ROC曲线分析为金融危机预警研究中的指标选择与模型评价提供了统一的分析框架。

相较ROC曲线分析在其他领域的应用,它在金融危机预警领域的应用尚处于起始阶段。从ROC曲线的基本原理看,只要数据类型符合要求,对测试结果需要做出二元判断以及确定判断阈值时,都可以使用ROC曲线分析。因此,ROC曲线方法在金融危机预警领域将具有广泛而实际的应用。

参考文献:

[1]ALESSI L,ANTUNES A,BABECK´Y J,et al.Comparing different early warning systems:Results from a horse race competition among members of the Macro-prudential Research Network[Z/OL].[2015-05-08].http://ssrn.com/abstract=2566165.

[2]BERG A,BORENSZTEIN E,PATTILLO C.Assessing early warning systems:How have they worked in practice?[J].IMF Staff Papers,2005,52(3):462-502.

[3]P´EREZ J.Empirical identification of currency crises:Differences and similarities between indicators[J].Applied Financial Economics Letters,2005,1(1):41-46.

[4]BURKART O,COUDERT V.Leading indicators of currency crises for emerging countries[J].Emerging Markets Review,2002,3(2):107-133.

[5]KAMIN S B,SCHINDLER J,SAMUEL S.The contribution of domestic and external factors to emerging market devaluation crises:An early warning systems approach[J].International Journal of Finance &Economics,2007,12(3):317-336.

[6]PELTONEN T A,Are emerging market currency crises predictable?A Test.European Center Bank working paper series 571[Z/OL].[2015-03-03].http://www.ecb.europa.eu/pub/pdf/scpwps/ecbwp571.pdf.

[7]BERG A,PATTILLO C.Are currency crises predictable? A Test[J].IMF Staff Papers,1998,46(2):107-138.

[8]ABIAD A.Early warning systems:A survey and a regimeswitching approach[J].IMF Working Paper,2003,32:993-1052.

[9]BERG A,BORENSZTEIN E,MILESI-FERRETTI G M,et al.Anticipating balance of payments crises:The role of early warning systems.IMF Occasional Paper[Z/OL].[2015-02-03].http://www.imf.org/external/pubs/cat/longres.aspx?sk=3396.

[10]TANG T C,CHI L C.Predicting multilateral trade credit risks:Comparisons of logit and fuzzy logic models using ROC curve analysis[J].Expert Systems with Applications,2005,28(3):547-556.

[11]蔡晶晶.基于违约距离的Logistic财务困境预警模型研究[D].浙江:浙江工商大学,2011.

[12]阚士行.商业银行信用评级筛选财务指标方法效果对比与校验[D].山东:山东大学,2010.

[13]彭建刚,屠海波,何婧,等.有序多分类logistic模型在违约概率测算中的应用[J].财经理论与实践,2009,30(160):2-7.

[14]陈台芳.会计保守性、财务危机与机构投资人持股关联性之研究[D].中国台湾:台湾国立政治大学,2005.

[15]程建,朱晓明.信用风险评估模型预测力的验证研究[J].山西财经大学学报,2007,29(2):86-92.

[16]李关政,彭建刚.经济周期、经济转型与企业信用风险评估——基于系统性风险的Logistic模型改进[J].经济经纬,2010(2):87-90.

[17]石晓军,任若恩.基于期权与基于会计信息信用模型的一致性研究——对我国上市公司的实证研究[J].系统工程理论与实践,2005(10):11-20.

[18]JORD`A`O,SCHULARICK M,TAYLOR A M.Financial crises,credit booms,and external imbalances:140 years of lessons[J].IMF Economic Review,2011,59(2):340-378.

[19]张伟锋.银行业短期流动性风险预警研究[J].时代金融,2014(5):60-61.

[20]METZ C E.Basic principles of ROC analysis[J].Seminars in nuclear medicine,1978,8(4):283-298.

[21]DREHMANN M,JUSELIUS M.Evaluating early warning indicators of banking crises:Satisfying policy requirements[J].International Journal of Forecasting,2014,30(3):759-780.

[22]ZHOU X,OBUCHOWSKI N A,MCCLISH D.K.诊断医学统计学[M].宇传华译.北京:人民卫生出版社,2005.

[23]CANDELON B,DUMITRESCU E I,HURLIN C.How to Evaluate an Early-Warning System:Toward a unified statistical framework for assessing financial crises forecasting methods[J].IMF Economic Review,2012,60(1):75-113.[24]BONFIM D,MONTEIRO N.The implementation of the countercyclical capital buffer:Rules versus discretion.Economic Bulletin and Financial Stability Report Articles,The Bank of Portugal[Z/OL],[2015-03-01].http://www.bportugal.pt/en-US/BdP%20Publications%20Research/AR201306_e.pdf.

[25]ANTUNES A,BONFIM D,MONTEIRO N,et al.Early warning indicators of banking crises:Exploring new data and tools.Banco De Portugal:Economic Bulletin and Financial Stability Report Articles[Z/OL].[2015-03-07].http://www.bportugal.pt/en-US/BdP%20Publications%20Research/AB201404e.pdf.

Receiver Operating Characteristic Curve and Its Application for Early-Warning of Financial Crisis

YU Yin
(Economics &Management School,Shanghai Polytechnic University,Shanghai 201209,P.R.China)

Abstract:Based on the basic principle of receiver operating characteristic(ROC)curve,this paper presented that ROC curve was used for evaluating the classification ability of early-warning indicators and the forecasting accuracy of early-warning systems of financial crises.ROC curve and the area under the curve(AUC)analysis displayed three advantages.First,it proposed a structural method rather than experiential method to choose the predicting indicators.Second,it provided a unified analytical framework of indicator selection and model evaluation.Third,it provided an analytical basis to test the equivalence of different early-warning model.

Keywords:financial crisis;early warning system;receiver operating characteristic(ROC);the area under the ROC curve(AUC)

基金项目:教育部人文社科规划项目(No.12YJAZH183)、上海市教委科研创新一般项目(No.12YS160)资助

通信作者:余垠(1968–),女,新疆人,教授,博士,研究方向为金融风险管理、智能金融。电子邮箱yuyinnn@163.com。

收稿日期:2015-07-01

文章编号:1001-4543(2016)01-0050-07

中图分类号:C81

文献标志码:A