APP下载

非平衡样本集下公私合作(PPP)可融资性评价
——基于改进边界样本自适应算法

2021-09-11沈俊鑫

科技管理研究 2021年16期
关键词:分类器样本分类

沈俊鑫,程 墙,吴 以

(昆明理工大学管理与经济学院,云南昆明 650093)

公私合作(public-private partnership,PPP)作为新型融资模式,已成为地方政府扩大公共基础设施供给、提升项目运营效率、激发民间投资的重要政策工具。自PPP 改革推行以来,国内PPP 模式在深度和广度方面都得到了巨大发展,但在PPP 可融资性分析方面尚未引起足够重视,导致PPP 项目落地率和融资交割率普遍较低,阻碍了PPP 模式的健康发展。项目落地难已成为制约我国PPP 健康持续发展的关键问题[1]。开展PPP 可融资性评价,是提升PPP 项目落地率的重要手段之一[2]。对PPP 可融资性进行科学评价,将有助于缩短项目入库周期、优化入库流程[3]。现有PPP项目主要存在政府变相兜底、重建设轻运营等问题,普遍缺乏有效的商业化运营,大部分仍为政府购买服务,导致伪PPP 频出,而且地方政府、社会资本对政府购买服务类PPP 项目的可融资性普遍重视不足[4]。本研究基于社会资本视角,以财政部政府和社会资本合作中心(China Public Private Partnership Center,CPPPC)的管理库和示范库PPP 项目(以下简称“入库项目”)为研究对象,建立PPP 可融资性集成学习评价模型,分析项目落地率影响因素,探寻PPP 项目落地难形成机理。

1 文献回顾

金融界通常认为可融资性指项目根本上是否可以融资、是否具有积极的或明显的现金流[5]。Akintoye 等[6]认为可融资性是吸引社会资本、银行或其他金融机构参与项目的基础。叶晓甦等[7]认为可融资性研究是解决公共项目投资者资本回收或贷款偿还问题的有效途径。吴亚平[8]认为项目可融资性取决于项目主体、投资主体和地方政府三大信用组合。上述观点虽不完全一致,但基本都认为融资是PPP 项目落地和实施的关键,合理的融资方案和规范的融资行为是PPP 项目成功的重要保障。

PPP 可融资性评价可分为两个阶段:第一阶段是政府通过招标吸引社会资本,从政府视角完成了第一轮融资;第二阶段是项目从准备阶段进展至采购阶段,从项目公司视角向金融机构进行再融资。受限于数据可获得性,本研究仅从社会资本视角进行PPP 可融资性研究。由于财政部对PPP 入库项目特别是示范性项目采取严格的筛选制度,入库项目通常为优质项目,而大量落地率低、失败、中途退库的PPP 项目由于中途夭折,因此往往披露信息少之又少,项目数据集分布呈显著不平衡状态,即非平衡样本数据集。非平衡样本数据集容易导致评价的最终结果偏向样本数量多的类别,往往会出现过拟合现象,因此,如何降低因样本非平衡产生的评价失真是本研究拟解决的重点问题。

现有解决非平衡数据集问题主要有采样优化和集成学习方法。采样优化主要包括过采样或欠采样,通过不同的抽样方式调整数据集样本分布以实现样本集平衡。其中,过采样是对少数类样本进行多次有放回抽取,增加少数类样本数量,从而实现数据集平衡,这种方法容易导致过拟合;欠采样是通过随机抽样方式从多数类样本抽取与少数类样本数量相同的样本数,实现数据集平衡,这种方法会丢失与多数类样本相关数据与信息。对于体量较小的样本集,大多数学者均从过采样角度研究平衡样本集。过采样的改进算法最为经典的是Chawla 等[9]提出的人工合成样本(SMOTE)算法,借助少数样本以及邻域样本生成新样本,实现样本数据集平衡;但SMOTE 算法合成样本较为粗放,未能针对实际样本空间分布合成数据,可能造成合成错误分类样本或冗余样本。尽管如此,SMOTE 算法仍为解决数据不平衡问题提供了重要思路,众多学者针对SMOTE 缺陷开展了算法优化研究,改进思路大致概括为两类:一是精化合成样本的操作,使人工合成样本分布更加符合现实问题需求,例如Wang 等[10]和Molinari 等[11]改进提出的边界自适应合成样本算法(Borderline-SMOTE,B-S)、自适应综合过采样方法(ADASYN 算法)等,这些算法对合成少数类样本进行精化处理,通过改善样本合成机制降低合成样本所带来的噪音影响;二是混合采样算法,将采样算法与其他算法(如支持向量机SVM、聚类等)相结合,SMOTE 混合采样算法并非在合成样本时进行操作,而是对合成结束后的样本进行多次分类,清除其中噪音样本或冗余样本[12],例如林宇等[13]、衣柏衡[14]、陶新民等[15]将人工合成样本导入SVM或其他分类模型中进行再分类,去除不良样本点,多次重复以降低不良样本点对分类结果的负面影响,陈思等[16]、李卫红等[17]通过聚类算法对合成结果进行欠采样,删除新样本集中的冗余数据。混合采样算法的核心思路即对SMOTE 算法合成样本进行再次处理,以提高合成样本质量,其本质上只是对合成样本再次分类,而分类意味着仍会存在分类错误情况,最终形成的新训练集仍可能存在噪音。Borderline-SMOTE 算法根据K 近邻算法 (K-nearst neighbors,KNN)对样本进行分类,合成样本时仅针对边界样本点,不易合成冗余样本或错分类样本,适合科技领域PPP 项目这类复杂的非平衡样本集。

集成学习解决样本非平衡问题通常采用训练多个弱可学习分类器方法,将多个弱可学习的分类器集成转换为强可学习的分类器,进而提高算法的准确率,其中最为经典的为装袋算法(Bagging)、提升算法(Boosting)、改进提升算法(Adaboost)等集成算法。为提高集成算法在不平衡数据集下的表现,部分学者尝试从如何进行弱分类器输入样本采样这一角度入手,如曹莹等[18]提升算法框架(Bootstrap)。

抽样算法类似欠采样实现数据集平衡,形成分布平衡的弱分类器训练集[19]。Liu 等[20]提出EasyEnsemble 算法,使用随机欠采样算法抽取多数类样本与少数类样本合并,构成弱分类器训练集。然而,这些算法均通过欠采样实现弱分类器样本平衡,这不可避免会丢失大量与多数类相关的信息,科技领域PPP 项目数据集的数据量本身就不足,如果损失部分数据易导致最终模型分类不准确。

综上,本研究在以上两种思路基础上,结合PPP 项目数据集特征,综合样本合成算法与集成算法的优点,提出改进边界自适应合成样本算法(Borderline-SMOTE Bagging)。B-S 算法通过合理合成样本实现正负样本平衡,构成基分类器训练集以提高Bagging 算法中基分类器的多样性,保证最终模型的准确性及其性能发挥。

2 问题研究

2.1 大数据驱动PPP 决策

从研究方法看,现有PPP 研究主要采用博弈论、实物期权、数值模拟、系统动力学、案例研究、扎根理论、定性比较分析(QCA)等方法,这些方法主要基于中小样本集进行数值测算,数据来源以单个项目数据信息或问卷调查为主,主观性较强。截至2020 年年底,CPPPC 已形成相对完备的项目管理库和项目储备库,共收录、发表项目信息13 352 个,为基于大数据方法开展PPP 研究提供大量数据。在大数据时代,PPP 项目融资管理理论与实践也将发生根本性改变。王守清等[23]指出,大数据对市场信息的收集与分析可有效解决PPP 现阶段存在的预测难和“乐观估计”问题。传统统计回归模型或计量相关算法虽具备可解释性和较好稳定性,但往往要求变量之间的相关性不能很强,同时自变量需要服从某种统计分布,显然实践中往往无法满足这类假设,也无法处理复杂指标数据,不适合在大数据环境下用于开展评价研究。

从研究范式看,现有PPP 研究主要以模型驱动研究为主,包括选定模型的组成变量、建立模型的基本假设、模型的模拟与求解、实证检验以及分析结论5 个步骤。在大数据时代,模型驱动已难以适应管理决策研究的需要,数据驱动研究范式因其可最大限度利用巨量数据所提供的有价值信息而表现出模型驱动研究范式不可比拟的优势,未来的管理决策研究必将由数据驱动研究范式所主导。因此,PPP 可融资性评价模型构建应充分考虑数据驱动与机器学习,集成模型驱动与数据驱动两大范式,以适应大数据变化。

从数据角度而言,随着PPP 不断发展,财政部、国家发改委及各省(区、市)财政部门已积累了大量项目信息,但数据获取存在明显缺陷:一是已有数据因渠道分散、标准不统一、公开程度不一致等原因难以获取,典型的如各省(区、市)有各自数据库、国家发改委有独立数据库等;二是数据流失的情况,如退库项目或部分未入库项目均难以获取相关数据。未来,若数据获取通道持续优化,完善各类PPP 项目库数据获取路径和标准,PPP 项目样本数量将进一步提升。同时,PPP 决策往往需要结合宏观经济、金融财税以及市场等信息,相比传统方法,大数据技术在解决多源、多维、异构、海量数据方面更具优势,因此采用机器学习算法进行PPP 研究具备动态反馈性和可持续优化能力,大量PPP 数据动态更新可以进一步训练、优化学习模型,提升模型精度和泛用性。

2.2 模型思路

基于CPPPC 数据采用机器学习方法开展PPP可融资性评价,主要面临以下3 个问题:一是由于CPPPC 的入库项目大多为优质项目,导致从整体上或者各个领域间均产生样本数据集类别不平衡现象,可融资性强的项目数量远大于可融资性弱的项目数量,即样本不平衡性;二是由于PPP 项目具有一次性特性,可融资性评估纵向数量相对较少,而项目可融资性优劣受多方面因素综合影响,评价维度更为复杂,高维样本点意味着样本空间复杂,为人工合成新样本增加了复杂度;三是样本点之间在样本空间中分布特征存在较大差异,导致训练中存在大量噪音样本,这部分特殊样本对分类器有较大影响。

由于上述问题,直接使用欠采样实现正负样本平衡将损失大量多数类样本信息,采用过采样方法实现数据集平衡虽不会损失信息,但过采样处理后样本数据集在高维空间上样本点的位置却不会发生任何变化,例如采用SVM 算法分类时,目的是在样本数据集中找出可以划分正负样本的最大间隔分离超平面,使用过采样算法的效果并不佳。因此,为使非平衡样本集实现平衡,本研究文采用SMOTE 算法人工合成数据。但由于PPP 项目样本点在超平面分布较为复杂,SMOTE 算法虽然能在训练集上实现正负样本平衡,但因未精化选择参与合成的少数类样本点,容易冗余样本和噪音样本点。以SMOTE 算法合成二维样本数据集为例,如图1 所示,A点属于少数类样本点,处于多数类样本点中,对于A点而言,其最近邻同分类样本点为点B,通过SMOTE算法合成的样本点C从实际意义而言,判定为多数类样本点会更准确,但SMOTE 算法会将其合成为少数类样本点,这无疑会增加分类器结果偏差,影响结果准确率。因此,需要改进SMOTE 算法以提升噪音样本点处理能力。

图1 SMOTE 算法人工合成样本示例

比较Borderline-SMOTE 算法与SMOTE 算法合成样本的差异。如图2(a)所示,浅灰色样本点为少数类样本,深黑色样本点为多数类样本,分别使用SMOTE 算法和B-S 算法对原始样本数据集进行处理。采用 SMOTE 算法对原始样本数据集中所有的少数分类样本计算近邻,并根据k-means 算法合成样本,结果呈聚集状,如图2(b)中浅灰色样本点所示。由于原始样本数据集中本身存在大量少数类样本,采用SMOTE 算法合成样本对评价性能提升影响较小,主要原因在于在少数类噪音样本点合成过程中,SMOTE 算法分类容易产生错误,而且由于合成的样本大部分都是由安全样本合成,在样本空间中集中,所以对模型分类性能影响不大。如图2(c)所示,采用B-S 算法合成后样本点呈箭头状,样本数据集中于边界样本。对于与多数类样本差异明显、容易区分的安全样本而言,B-S 算法并不会有太多改变,新合成样本集中出现在边界样本区域,便于对边界样本进行近邻插值,因此B-S 算法合成样本的分布比SMOTE 算法更为合理。B-S 算法不会对噪音样本进行处理,虽损失少量信息,但最终模型的准确率会有所提高,避免出现如SMOTE 算法容易生成错误分类样本的情况。因此,本研究将采用B-S算法进行人工合成样本,以解决PPP 项目样本数据集的边界少数类样本点错误合成导致分类模型偏差变大的问题。

图2 不同采样算法合成样本数据集比较

在处理完不平衡样本数据集后,通常将新的样本数据集和传统分类器如逻辑回归(LR)、SVM 等相结合,然而人工合成的样本在本质上仍是人为虚构,样本数据集在实现平衡的同时为了避免给模型带来噪音,导致模型偏差变大,因此,本研究融合B-S算法和Bagging 算法,改进后可以实现的具体效果包括:一是降低噪音少数类样本对合成样本集准确率的影响;二是避免合成过多冗余数据影响分类性能;三是集成算法因在多个基学习器多次采用和训练,可最大限度降低人工合成样本带来噪音的负面影响。当不平衡的训练集样本使用B-S 算法处理后,新的训练集样本的正负样本比例将达到平衡,最终测试集中样本分类采用投票(voting)模式,人工合成样本带来的噪音产生的负面影响将大幅度下降。

2.3 模型设计

SMOTE 算法是最为经典的合成少数类过采样技术,其基本原理是根据现有少数类样本点,使用KNN 算法合成新的少数类样本点,与多数类样本点相组合实现正负样本的平衡。算法思路如下:

(1)针对所有样本点X(少数类),计算它到k个相邻样本点(少数类)的欧式距离,其中k根据KNN 算法确定;

(2)计算正负类样本不平衡比例,根据正负类样本比例确定采样倍率(sampling rate),对所有样本点X(少数类),根据采样倍率从k近邻中随机抽取若干个样本;

(3)假设选择的近邻为x(1),x(2),x(N),对任意x(i)(i=1,2,,N),根据式(1)计算,通过原样本合成新的样本:

而B-S Bagging 算法在每次抽取样本时均进行了精化处理,仅针对边界样本合成新样本,避免生成错分类样本或冗余样本。算法思路如下:

(1)针对所有样本点X(少数类),计算它到k个相邻样本点(少数类)的欧式距离,其中k根据KNN 算法确定。

(2)根据k近邻将少数类样本分为3 类:安全(safe)、边界(danger)和噪音(noise)。划分标准如下:设在k近邻中有m个属于多数类样本,其中0 ≤m≤k,若样本点0 ≤m

(3)计算正负类样本不平衡比例确定采样倍率,对所有样本点X(少数类)根据采样倍率从k近邻中随机抽取若干个样本,假设选择的近邻为x(1),x(2),x(N),对任意x(i)(i=1,2,,N),根据式(2)计算,通过原样本合成新的样本:

重复上述步骤,直到多数类与少数类样本数量相当,合并原有样本与新合成样本,构成新训练集Sk’。

(4)从Sk’中随机抽样x条样本,输入弱分类器A1,作为第一个基学习器B1;

(5)再次从Sk’中有放回随机抽样x条样本,输入弱分类器A2,作为第二个基学习器B2;

(6)按步骤(4)(5)的方式重复n次,构建n个基学习器B1至Bn。

(7)对测试集的每一个样本Pi均输入n个基学习器进行测试,通过voting 决定测试集样本的分类结果。将样本Pi输入模型,其中n个基学习器进行voting,预测为多数类的票数有m票,预测为少数类的有n-m票,则:若n-m≤m,样本Pi被判定为多数类样本;反之,被判定为少数类样本。

3 实证研究

3.1 数据预处理

为验证B-S Bagging 算法对PPP 可融资性评价效果,本研究结合项目本身和当地政府两方面特征,构建基于社会资本视角的PPP 可融资性评价模型,为地方政府及时调整和优化可融资性较差的项目和社会资本投资PPP 项目决策提供决策依据。以CPPPC 的入库项目为例(以下简称“案例数据”),首先通过人工收集和爬虫的方式获取入库项目数据,并将项目分为可融资性强和可融资性弱两种,通过项目所处阶段和项目发起年份两个指标确定:发起年份在2018 年以前且处于识别阶段或者准备阶段的项目,标记为可融资性弱,记为-1;所有处于采购阶段和执行阶段的项目,标记为可融资性强,记为+1。通过网络爬虫获取19 个领域共计10 848 个PPP 项目数据信息,根据上述规则对原始数据进行数据预处理后,清除无法使用规则进行标签定义的项目共475 个,最终样本集包括10 373 个PPP 项目(以下简称“案例项目”)。其中,标签为可融资性强的项目为7 445 个,标签为可融资性弱的项目为2 928 个。

从本质上而言,PPP 可融资性评价问题即传统意义上的分类问题,案例数据集的数量不平衡体现在两个方面:一是19 个PPP 领域均存在显著不平衡现象。PPP项目全行业可融资性数量比较如图3所示,可见市政工程、交通运输以及生态建设与环境保护这3 个领域的项目数量远大于其他领域,其中市政工程领域PPP 项目数量占了总项目数量约38.53%。二是各领域内部间正负样本比例差距较大。

图3 不同领域PPP 入库项目可融资性比较

表1 统计了正负样本比例大于2 的十大领域,其中林业最高,其次是能源,其他领域不平衡比例为2%~3%之间,存在高度不平衡现象的领域占比高达57.89%,表明领域内部正负样本不平衡现象普遍存在。为方便后文分析,对这部分领域根据其现有样本量进行分类,可划分为3 类:第1 类为样本数量较少的领域,主要包括林业、能源、科技和政府基础设施;第2 类为样本数量较多的领域,主要包括市政工程、交通运输;第3 类为样本数量居中的领域,主要包括生态建设与环境保护、教育、城镇综合开发、水利建设。

表1 PPP 可融资性正负样本比例排名前十领域不平衡程度

由上述分析可知,案例数据无论整体或者在领域内部均存在样本集数量不平衡问题;当辐射面从单个领域扩展开后,项目总量将达到万级,且都存在样本不平衡问题。PPP 项目本身情况复杂,因此应基于社会资本角度构建相对详细的评价特征体系。

3.2 数据评价特征

基于社会资本视角,同时考虑数据可获取性限制,对案例项目可融资性的评价特征包括项目本身和地方政府两个核心维度,即项目本身特征和地方政府的各项实力特征,具体如表2 所示。由表2 可知,案例样本数据集共有24 个特征,去除部分不需要参与计算的特征,仍有19 个特征作为模型的输入特征。为了避免与可融资性相关性较小的特征可能给模型带来噪音,首先计算评价特征与可融资性之间的相关性系数,按相关性系数的绝对值大小排序,最终选出排名前10 的特征作为模型的输入特征。在模型输入特征中,项目和政府相关特征基本各占一半,包含项目的基本特征、地方政府财政实力以及地方政府清廉程度等。在计算相关性系数前,对类别型字段采取人工赋值或者采用one-hot 热编码转换成数值型,并对所有特征进行归一化处理。

表2 PPP 可融资性评价特征体系

3.3 模型评价标准

将案例数据根据真实情况和模型预测情况的组合划分为4 种情形:真正例(TP)、假正例(FP)、真反例(FN)、假反例(TN),分类结果的混淆矩阵如表3 所示。

表3 PPP 可融资性评价混淆矩阵

将PPP 可融资性强的项目定义为正例,可融资性弱的项目定义为负例。非平衡数据集一般使用准确率(Precision)、召回率(Recall)、G 均值(G-mean)、F值(F-measure)等特征进行算法评价,计算方法分别如下:

式(3)至式(6)中:Precision 为正确分类的正例样本数占所有预测为正例样本数的比例;Recall为被正确分类的正例样本数占实际所有正例样本数的比例;G-mean 为综合考虑了正类分类和负类分类的准确率,表示正例分类准确率和负例分类准确率的均衡值;F-measure 值是准确率和召回率的加权调和平均;β为参数,本研究采用的是当参数β=1 时的F值,F1值越高说明算法分类结果越好。

3.4 模型结果与分析

运用Python 调用imblearn 库和sklearn 库进行样本合成和模型训练,采用10 折交叉验证法确定每组样本组中算法的最优参数。为保证每次算法中所划分的训练集和测试集的数目均相同,在划分数据集时将变量random_state 固定为统一常数值;同时为保证采用SMOTE 算法和B-S 算法每的每个对照组均合成同样的样本,在合成样本时将变量random_state值设定为统一常数。对原始数据预处理后,将数据按4∶1 的比例划分为训练集和测试集。在实证研究前,首先对训练集数据进行了标准化处理,消除量纲对参数估计的影响。为更好验证算法的可行性和优越性,将案例项目的原始数据集分为A、B、C、D共4 组。其中,A组数据为全领域样本数据集;B、C、D这3 组分别从前文中第一、第二、第三这3 类领域选取其中样本不平衡性最高的行业作为样本数据集,即B组为林业领域样本数据集,C组为市政工程领域样本数据集,D组为生态建设与环境保护领域样本数据集。这4 组样本可展示当数据量在万级、千级、百级和十位数级时模型的不同表现,选择其中不平衡程度最高的行业作为样本集有助于体现模型对非平衡样本集的处理能力。结果具体分析如下:

(1)非平衡样本集在不同分类器效果比较分析。4 组原始数据集均为非平衡样本集,对4 组数据不进行任何处理,直接划分训练集和测试集,分别使用逻辑回归模型、支持向量机模型、决策树(DT)模型等传统分类算法对训练集进行学习,并与Bagging算法在数据集的表现进行比较,模型测试结果如表4、表5 所示。其中,B组采用SVM 算法的各项评价指标均相当之高,有3 项指标值均超过0.9,然而G-mean值仅0.554 4,但这并非意味着模型性能优异,而是因为B组本身总数据量极小,划分后的测试集数据量更小,分析实验结果发现,该算法训练时几乎将所有的样本全部预测为正例样本,这样的结果在现实应用中毫无意义。除此之外,观测4 组实验结果,相对其他3 项指标,Recall 指标最高,原因在于目前实验的数据未经过任何处理,正负样本之间存在极大的不平衡,因此即使实验结果FN 相当高,但仍远远小于TP 值,最终指标显示算法效果极佳,但实际上算法却难以识别负类样本,由此表明使用传统单一算法建立PPP 可融资性评价模型的效果不佳。另外,各实验组中Bagging 算法的各项评价指标比其他3 类算法的评价指标都更为优秀,但G-mean值仍较低,说明该算法对于负类样本的识别性能依旧不够优秀,Bagging 算法在每次重复采样时,原始样本数据集本身就存在不平衡问题,重复采样仅可缓解这类负面影响,无法彻底消除。

表4 非平衡样本集在不同分类器下的可融资性评价结果(一)

表5 非平衡样本集在不同分类器下的可融资性评价结果(二)

(2)平衡样本集在不同分类器效果比较分析。对4 组数据集均采用B-S 算法进行处理后,与非平衡样本集在不同分类器中算法相结合,验证对比B-S Bagging 算法与其他算法之间的性能差距。对B-SLR、B-S-SVM、B-S-DT 和B-S Bagging 共4 类算法进行了测试,分别计算出Precision、Recall、G-mean、F-measure 等特征,用以评价算法的性能。如表6、表7 所示,案例数据实现平衡后,在表4、表5 中存在的特殊情况不再出现,经B-S 算法处理非平衡样本数据集后再次使用传统分类器进行分类测试,新的测试结果表明效果均有小幅度提升,但在实际运用中效果仍不够理想,可能原因在于经处理后,在负类样本数量上实现了与正类样本的平衡,但单一算法得到的TN 虽在数量绝对值上有大幅度提升,但相较FN 的提升效果仍不明显,故最终从评价指标上模型精度依然不够优秀。

表6 平衡样本集在不同分类器下的可融资性评价结果(一)

表7 平衡样本集在不同分类器下的可融资性评价结果(二)

从 表6、表7 可 知,B-S Bagging 在Precision、Recall、G-mean 和F-measure 这4 个指标表现均最为理想,综合表4 至表7 可知,Bagging 或者是B-S Bagging 等集成算法对少数类样本的分类性能要优于单分类器的分类性能。B-S Bagging 算法在4 个实验组中均有较为不错的表现,4 项指标结果比较均衡,这意味着该算法对PPP 整体行业(实验组A)或者领域间(实验组B、C、D)的样本不平衡问题有良好的解决能力。其中,与表4、表5 中Bagging算法结果相比,Precision 和Recall 两项评价指标在实验组A和C均取得了明显的提升,A组的提升幅度分别为39.55%和14.73%,C 组的提升幅度分别为50.32%和7.01%,特别是Precision 有了较大幅度提升;而B、D组中的Recall 值有所下降,原因在于负类样本达到平衡后,FN 在数值上可能稍有提升,导致Recall 下降,但G-mean 和F-measure 两项指标均有大幅提升。综上分析表明,融合后的B-S Bagging 算法识别负类样本的性能得到了明显提升。

(3)不同样本集平衡方式性能比较分析。为比较SMOTE 算法和B-S 算法性能优劣,分别用两种算法对4 组训练集进行处理,将平衡后样本集结合Bagging 算法进行训练,测试集结果如表8 所示。可知在4 组实验组中,相较于传统SMOTE 算法,B-S算法下各项指标结果均更优秀一些,且指标结果之间相差幅度较大,说明B-S 算法合成少数类样本时忽略噪音样本的能力更强,能有效提高模型准确率,避免生成错误样本影响最终模型性能,同时也并未因损失少量数据影响对少数类样本分类能力。

表8 不同样本集平衡方式的可融资性评价结果

综上所述,B-S Bagging 算法在解决非平衡样本数据集的效果最优。在数据集平衡方面,B-S 算法能有效避免过拟合,提高最终模型对少数类样本的识别能力,而在实践中,PPP 项目长期面临样本量较少且样本数据集非平衡问题,因此,B-S 模型对解决现实问题具有一定参考意义;在集成学习算法优化方面,对于非平衡样本数据集而言,Bagging 算法性能优于其他传统分类器,因此当各分类器与B-S结合后,各项评价指标效果均有所提升,且能够进一步减少因合成样本带来的噪声。这表明Boderline-SMOTE Bagging 算法在对PPP 项目进行可融资性评价上有着显著效果。

4 结论及建议

4.1 研究结论

本研究以CPPPC 管理库和储备库入库项目为样本数据,综合比较多类机器学习算法处理非平衡样本数据集的性能,建立PPP 项目可融资性评价模型。研究结果表明,Borderline-SMOTE Bagging 算法效果最佳,能有效解决非平衡样本数据集导致的偏向问题,削弱了SMOTE 算法因噪音产生的负面影响,且在新的数据集上具有良好的泛化能力。得到主要结论如下:

(1)在大数据背景下,使用机器学习方法研究PPP 项目可融资性具有可行性。同时,基于PPP 可融资性评价特征体系,结合Borderline-SMOTE 算法和集成算法等机器学习方法,可从社会资本视角对PPP 可融资性进行全面评价,能有效解决样本不平衡问题,且能有效解决因高维特征导致样本空间复杂度高进而影响数据合成质量问题。

(2)Borderline-SMOTE Bagging 模型具有较高的分类性能。对人工合成样本形成新的平衡样本数据集,Borderline-SMOTE Bagging 算法在Precision、Recall、G-mean、F-measure 等指标上发挥性能最佳,该模型对负类样本有着更为优秀的识别能力,实验结果验证了应用大数据技术开展PPP 管理决策的可行性。

(3)Borderline-SMOTE Bagging 模型具备推广性。当PPP 的决策主体从本研究中的社会资本视角切换至地方政府、金融机构等,通过增加修改特征集后,可基于不同视角开展PPP 项目可融资性评价,帮助相关决策主体及时发现落地率或可融资性较低的项目,提升PPP 整体运作效率。

4.2 建议

本研究基于社会资本视角构建PPP 可融资性评价模型,可进一步扩展为基于金融机构视角评价其他领域PPP 项目可融资性。开展PPP 可融资性评价,有助于从项目识别、采购、落地执行全过程监控项目运作情况,及时解决因不良融资产生的负面问题,有助于推动PPP 健康可持续发展。根据以上实验过程中遇到的问题,对未来PPP 数字化发展提出以下建议:

(1)政府部门应尽可能全面地收集PPP 项目数据,新增退库项目库和待入库项目库,并实现项目数字化,全面记录PPP 项目实施全过程,并逐步实现不同部门、不同层级PPP 项目数据开放共享,借助大数据技术提升PPP 管理效率和精准度。

(2)加强政府部门和社会不同领域数据的开放共享,包括宏观经济数据、财政税收数据、企业社会信用数据等,扩宽大数据技术在PPP 中的应用领域和应用主体,包括基于地方政府实力、项目市场前景、社会资本资信等。

(3)不同领域PPP 项目可融资性具有显著差异性。新冠疫情暴发后,新型基础设施建设(以下简称“新基建”)成为了我国投资转型升级建设重点,因此,合理开展新基建PPP 可融资性评价对政府和社会资本都有着积极的现实意义。对地方政府而言,识别可融资性差的项目可以及时、有效地对劣质项目进行改进,“回炉重造”或者寻找其他方式建设项目,有助于提高PPP 项目整体可融资性和落地率水平;对社会资本而言,Borderline-SMOTE Bagging模型可以起到有针对性的推荐作用,有助于社会资本选择可融资性较高的项目。

猜你喜欢

分类器样本分类
学贯中西(6):阐述ML分类器的工作流程
分类算一算
用样本估计总体复习点拨
基于朴素Bayes组合的简易集成分类器①
基于特征选择的SVM选择性集成学习方法
规划·样本
教你一招:数的分类
基于差异性测度的遥感自适应分类器选择
说说分类那些事
随机微分方程的样本Lyapunov二次型估计