复杂数据条件下一级学科评估方法探究——基于SPCA构建一级学科评估模型分析

李 霞 王 星 任 超 林梦泉

复杂数据条件下一级学科评估方法探究
——基于SPCA构建一级学科评估模型分析

李 霞 王 星 任 超 林梦泉

提出利用SPCA构建一级学科评估模型的思路，并利用实际数据对模型进行了分析和测试。结果表明，在目前复杂数据环境下利用SPCA构建的一级学科评估模型较一般方法更容易发现影响学科水平的主要指标，便于高校或评估机构从宏观和微观角度开展学科分析和有针对性的建设工作；另外，SPCA能够有效提高学科评估工作效率和评估结果的稳定性。

大数据；SPCA；一级学科；评估模型；学科建设

学科是大学最基本的元素，是大学教学、人才培养、科研、师资等方面实力的综合反映，学科建设水平直接反映出大学的办学能力和办学特征。评估一校的学科建设水平，大量的数据信息是基础，运用数理、系统工程以及统计学知识识别有效数据、构建与评估目标相适应的学科评估模型更为重要。SPCA（Sparse Principal Component Analysis）是当前国际上比较前沿的、对复杂大数据进行综合评价的多元统计分析方法，通过对复杂数据主成分的有效稀疏和降解，突显影响复杂数据的主要因素，目前多应用于生物医学领域，而将其应用于学科评估和分析不失为一种大胆尝试。

一、研究背景

1．大数据时代下，反映学科水平的数据变得越来越复杂

随着我国高等教育的快速发展，学科评估和评价功能更加多元化，由满足政府部门检查验收和民间大学排名逐渐向提供全局性、科学性和针对性的集咨政和民意为一体的学科服务转型，这表明学科评估将具有更多的社会性，要求学科评估结果具有更多的准确性和可信度。当今网络技术的快速发展，使体现学科动态的基础建设数据大量涌现，评估指标的可利用数据选择自由度增大，这一方面大大改善了学科评估来源数据的质量，另一方面也对学科评估指标体系的系统性、稳健性和鉴别力提出了挑战，这种挑战集中体现在三个方面：

一是，学科评价参建指标之间存在跃层相关性，若没有有效的指标筛选将导致评价指标和评价要素层级模糊，破坏指标体系的系统性能。

二是，由于学科评价可利用指标数量迅速膨胀，出现评价指标量多于或与参评对象数持平的现象，利用科学方法提取主要指标可保证学科评估体系的稳健性。

三是，评价指标数据类型不一、区分度不一，数据噪声分布不均衡，易导致测评结果出现偏差。在分布偏态、噪声异质的复杂数据环境下如何提高评估体系的鉴别力，如何对科学评估过程实施有效监测，是学科评估服务于学科建设的一个基础性关键问题。

2．复杂数据条件下，传统的学科评价技术越来越显示出局限性

我国政府和社会民间机构先后于20世纪80年代末、90年代初涉足高校学科评估排名事项，当时的评估技术方法相对简单，主要采用专家评议法，即通过专家经验判断和项目打分数据对学科某一方面的建设质量做出评判。

20世纪90年代中后期至21世纪初的十年间，我国高等教育的快速发展使人们的学科管理意识、水平不断提升，运筹学方法被广泛用于学科评估和排名。例如，90年代较为流行的AHP层次分析法(Analytic Hierarchy Process)，通过将定性问题转为定量分析，把学科评估复杂问题中的各种因素划分为相互联系的有序层次。但是，AHP方法是典型的体系驱动型方法，指标之间的关系和权重数据分配都有较强的限定，不宜用于评价指标数量较大且关系复杂的指标体系。

近年来，网络技术的发展使反映高校学科质量的公共数据陡增，为深度监测学科质量提供了一个基础，这使得以数据结构驱动的主成分分析方法（Principal Component Analysis，简称PCA）在学科排名和评估中得到部分应用。PCA方法运用降维思想，可以对高维变量进行综合和简化，并且能够客观确定指标权重，完成指标体系的结构提取，避免了主观随意性。但是，PCA比较适用于层次不多且数据同质性较高的简单指标体系的设计，当反映学科质量的数据存在多层和异质的情况时，利用这一方法进行评估，结果呈现不稳定性。另外，当学科评估指标数过大，大于参评对象数或与参评对象数基本持平时，PCA方法一般也不能给出稳定结果。同时，PCA方法生成的主成分一般较强依赖于所有原始变量，不允许变量冗余，由此造成解释主成分特征比较困难。

为此，面对大数据下复杂的学科综合评价任务，需要探索新方法构建适用性更强的评估模型，突出对评价问题本质的解读能力。

二、SPCA适用于一级学科评估的理论分析

1．SPCA方法的主要特点

SPCA是稀疏主成分分析方法（Sparse Principal Component Analysis）的缩写，一般简称SPCA，是当前国际上比较前沿的、对复杂大数据进行综合评价的多元统计分析方法，它是由PCA方法演变而来的一类大数据特征提取算法。面对复杂来源的数据，为了突出对评价标的解读，SPCA可以通过鉴别来源数据，确定核心指标和构建特征评价体系，完成统计学中的过滤噪声、降低维度和特征结构精炼提取等多种复杂任务。

2．一级学科评估的目标和任务

教育部学位与研究生教育发展中心自2003年起在全国范围内开展一级学科整体水平评估工作（简称“一级学科评估”），每三至四年一轮，目的是推动学位授予单位博士、硕士学位授权点的建设和发展，促进提高研究生培养质量，增强我国研究生教育的国际竞争力。一级学科评估是通过判断一级学科内各指标的发展程度，来量度一级学科水平的高低。它是一种选优评估，因此在指标的选取上注重三个方面：①效益类指标，用来衡量学科点的顶尖程度，如，具有一定影响的学科带头人、科研获奖、科研成果转化等；②资源类指标，用来反映学科点的整体水平，如生师比、教学资源和实验设施情况、人均发表论文数等；③声誉类指标，反映学科发展的社会影响和学术地位，如优秀学生、学术贡献等。

3．SPCA对一级学科评估的适用性分析

（1）可提取学科评估的关键指标。评估指标是构成学科评估体系的核心。在实际中，可用于学科评估的指标很多，这一方面易引起分析人产生判断错觉，另一方面一些权重过小的指标会干扰评价本体，使结果失真。因此，对大量的学科评价指标进行合理筛选，提取关键指标十分必要，即用尽量少的指标作为评价体系的主要指标，合理剔除次要指标。SPCA针对这一复杂问题，解决一级学科评估指标性质差异大、数据质量优劣不等、数据分布不均和数据跃层的问题，逐层降解和提取学科效益类指标、资源类指标、声誉类指标中的关键因素。

（2）可优化学科评估指标体系结构。有了评估指标还不够，指标体系结构的搭建更为重要。一级学科评价指标体系构建，要充分考虑各指标间的关联性，这种关联性一方面反映出各指标间的内在关系，另一方面表达在不同学科发展时期，评价体系对外部环境的反映程度。SPCA方法不但能够引入关键指标，而且可以构建指标的相关结构，降低学科评估指标体系的复杂度，剔除伪相关或统计冗余指标，从而优化和稳定评价指标体系。

三、SPCA用于一级学科评估的实证测试

1．一级学科评估基本模型构建

利用SPCA构建一级学科评估模型，可考虑借用弹力网（Elastic Net）思路，直接将主成分转化为Elastic Net的回归问题，这样使稀疏主成分的产生过程就部分转化为线性模型的变量选择问题。因此，利用SPCA可构建一级学科评估模型如下：

具体而言：令数据X是nXp维矩阵（标准化），n是样本量，p是变量数。X的SVD分解为Z=UD=XV是主成分，V的每一列是主成分的载荷向量。是根据主成分的方差贡献率确定的参数。

SPCA是如（1）式所示的优化问题：

2．测试数据和方法描述

选取国内40所高校同一时期相同博士一级学科指标数据①数据采集自教育部相关部门。，利用SPCA一级学科评估基本模型测试40所高校的同一博士一级学科的得分和排名情况，由得分和排名解释高校一级学科的建设水平和发展状况。

将反映一级学科建设状况的复杂大数据进行分类。以下测试分为A、B、C三类，A类为“师资队伍与资源”，B类为“科学研究”，C类为“人才培养”。将复杂数据按性质逐一识别，归并入相关类别下进行编号形成组群，如A1，A2，A3，…，同一组群下有若干数据描述同一指标，如“ESI高被引论文数”“国外论文他引次数”都用来描述发表论文情况的，都被编入B1组。利用构建的SPCA模型进行稀疏主成分提取，然后用模型计算相关学科得分。将测评结果与教育部学位与研究生教育发展中心2013年公布的一级学科评估结果进行比对，以分析构建模型的准确性。

3．SPCA稀疏主成分测算与检验

(1)使用基于Elastic Net的SPCA模型，计算稀疏主成分，即一级学科评估体系中的关键指标，结果见表1。

（2）利用构建的一级学科评估模型和筛选的关键指标计算学科得分。将测试结果与教育部学位与研究生教育发展中心2013年公布的一级学科评估结果进行比对，计算Pearson相关系数、Kendall秩相关系数，相关系数绝对值越大，说明评价方法的表现越好。检测表明，用以上模型计算40所高校相同一级学科的得分排序结果与已公布结果的相关性极高（见表2）。

4．主要结论

（1）从评估结果看，用SPCA构建的一级学科评估基本模型测试国内40所高校的相同博士一级学科的结果与教育部学位与研究生教育发展中心2013年公布的评估结果高度吻合，由此可以说明利用SPCA开展一级学科评估其结果具有可信度并具有较高的准确度。

（2）从评估过程看，在复杂学科数据环境下，用SPCA构建的一级学科评估模型与传统分析方法相比，能够有效较少评价体系内的众多二级评价指标，确定关键指标并简化筛选过程，对未来提高学科评估的工作效率有较好帮助。同时，SPCA对指标的筛选过程也可以过滤多余的数据信息，避免冗余数据对学科评估结果的干扰。

（3）从评价体系的架构看，与传统学科评估方法相比，用SPCA方法可以在筛选数据过程中有效提取关键指标的相关结构，识别关键指标间的内部和外部联系，使学科评估主成分的权重测量更为客观，从而促进学科评估体系架构本身的科学性和稳定性。

表1 一级学科评估的关键指标

表2 SPCA一级学科评估结果与教育部已公布相同学科排名情况的相关系数

（4）从后续利用的角度看，传统一级学科评估排名结束后，对高校学科建设的指导和评价需要开发新的评价分析方法，重新整理评估过程中产生的大量数据信息。而利用SPCA构建的上述一级学科评估模型，既可以从外部角度分析同类指标与全国其他高校的量差，也可以从高校内部角度分析学科横向和纵向发展的各类指标量比，为高校学科建设提供深层次的数据依据。另外，利用SPCA构建的一级学科评估模型，可以直接用以计算一定行政区划内的同类学科主成分得分，区分同类学科在不同地域的发展特点和程度，为国家层面对高等学校学科布局的宏观调控提供重要依据。

四、若干思考

1．大数据时代下，一级学科评估有了更多发展机遇，同时也面临更多挑战，探索研究新的评估形式和方法是一级学科评估工作持续开展的保障

一级学科评估是教育部学位与研究生教育发展中心定期开展的学科发展分析和诊断工作，是一项复杂且重要的任务，一级学科评估过程和结果相较社会上其他机构的评估，应更为全面、准确、真实、客观。随着网络技术的发展，能够表达学科建设水平的数据信息越来越广泛，一级学科评估的技术和方法只有与时俱进，不断探索，才能有效满足开展此项工作的根本目的和要求。

2．在复杂数据环境下，一级学科评估方法要不断创新，要重视体现学科评估的目标、成效和特色，有效提高一级学科评估的工作效率

在复杂学科数据条件下学科评估要特别重视两个方面，一是数据分析，二是体系分析。数据分析的目的是使复杂的学科数据清晰化、系统化，提高评估的稳健性和识别力；体系分析的目的是研究和发现与学科评估目标相关的关键因素与模式，确定建模方法和技术，通过完成过滤噪声、降低维度和特征结构精炼提取等多种复杂数据处理任务，提高学科评估工作的效率和目标达成度。

3．在复杂数据条件下，一级学科评估应根据各阶段评估目的、数据条件的变化，重视综合运用多种分析手段和分析方法，比较不同分析方法在数据形成方式、信息质量、结果稳定性和体系完整性上的异同

SPCA方法在筛选指标和构建评价指标体系方面对一级学科评估排名工作具有很多促进作用，也能够将过程数据进一步为高校学科建设提供服务。需要重视的是，利用SPCA方法构建一级学科评估模型，也需要根据情况综合运用其他统计分析方法，例如层次分析法、专家经验法等，这样便于提高评估指标体系结构的稳定性和准确度。

[1] 林梦泉，姜辉，任超.评估发展与改革探究[J] .中国高等教育,2010(21)：43-44.

[2] 苏为华.我国多指标综合评价技术与应用研究的回顾与认识[J] .统计研究,2012(8)：98-107.

[3] 郭亚军.综合评价理论、方法及拓展[M] .北京科学出版社，2012.

[4] 王惠文.用主成分分析法建立系统评估指数的限制条件浅析[J] .系统工程理论与实践,1996,16(9)：24-29.

[5] 陈衍泰,陈国宏,李美娟.综合评价方法分类及研究进展[J] .管理工程学报,2004,7(2)：69-79.

[6] CADIMA,JOLLOFFE I T.Rotation of principal components： choice of normalization constraints[J] .Journal of Applied Statistics,1995,22(1)：29-35.

[7] JOLLOFFE I T,TRENDAFILOV N T,UDDIN M.A modified principal component technique based on the LASSO[J] .Journal of Computational and Graphical Statistics, 2003,12(3)：531-547.

[8] ZOU H,HASTIE T,TIBSHIRANI R.Sparse principal component analysis[J] .Journal of Computational and Graphical Statistics,2006,15(2)：265-286.

（责任编辑 周玉清）

10.16750/j.adge.2016.12.007

李霞，中国人民大学学位办公室主任，研究员，北京 100872；王星，中国人民大学统计学院副教授，北京 100872；任超，教育部学位与研究生教育发展中心评估处处长助理，北京 100083。

中国学位与研究生教育学会重点研究课题（编号：A2-2013Y05-005）