大数据视阈下学位点自我评估体系建设研究

李长波 张新厂

大数据是通过高速捕捉、发现和分析，从大容量数据中获取价值的一种新的技术架构[1]。 它超越了传统的相对粗糙的统计数据，强调更精细化捕捉各个层面的变化数据和由数据展现的复杂相关与因果关系，具有体量庞大、关系复杂、价值显著等主要特征。大数据不仅仅是一种技术手段，更引起了人们思想观念的巨大改变。

随着互联网技术的发展，大数据在各行各业得到广泛应用。 “数据驱动学校，分析变革教育”，大数据概念已引起教育领域的广泛重视，其教育应用价值主要体现在全面性、及时性和可利用性等方面。利用教育数据挖掘技术和分析技术，构建教育领域相关模型，探索教育变量之间的相关关系，为管理决策提供有效支持将成为未来教育的发展趋势。

一、传统学位点自我评估工作评析

学位点是培养研究生的基地和开展科学研究进行学科建设的实体，是教学和科研的结合点。学位点建设质量不仅关系我国研究生教育和学位质量，也影响着我国科研实力水平。 学位点自我评估是学位授予单位根据国家相关规定，通过收集各种信息，对学位点是否达到最基本的质量要求和是否具备基本的条件做出判断而进行的一种自我检查和评估。 学位授权单位通过建立和完善自我评估体系，检验学位点建设情况，发现问题，改进工作，明确今后发展方向，对保证研究生培养质量、促进学科建设与发展、推动教学质量和科研水平的提高都具有积极作用。

传统的教育评估一般遵循归纳至演绎的思维模式，评估之前根据评估内容的重要程度预先设定评估标准，然后通过实际评估验证假设得出结论。而大数据倾向于由演绎至归纳，认为真正重要的因素来自于数据挖掘而不是想当然的经验。 许多对学位点发展真正起作用的影响因素未必是人们经验中认为重要的因素；主观认定的某些重要因素，也未必真有如此重要。大数据时代的来临，使学位点自我评估能够在更深层次中获得和使用全面而完整的数据，从而改变原有思维路径。因此，从大数据视角考量学位点自我评估现状，以大数据思维构建学位点自我评估体系，对评估指标的选取、数据的来源以及信息的分析利用等问题进行分析，不仅可以使管理者对学位点建设情况有更准确及时的了解和把握，并由此形成对学位点发展更科学合理的规划和决策，而且可以帮助管理者更全面客观地认识自身优势和劣势，从而做出努力和改进。 以大数据视角分析以往学位点自我评估工作，发现存在以下可改进的方面：

1.数据应用意识有待增强

由于传统评估固有的信息反馈比较缓慢、综合分析比较困难等局限，仅仅依靠主观经验的“拍脑袋”式评估决策依然存在，基于数据分析的自我评估理念尚待树立。 因为各单位内部自我评估数据系统建设缺乏统一规划，无法形成统一技术平台，造成不同数据存储系统中的数据编码和格式不统一，不同系统间的数据共享困难方式。另外，传统评估数据往往是根据研究设计获取抽样数据，通过样本情况推断整体情况，所以很难从传统数据中提炼出超出研究设计的实际信息，很难应用数据挖掘等方法提炼出超越预设的规律和知识。

2.信息采集和分析能力有待提高

信息采集和分析是自我评估的核心环节，其基础是对海量数据的拥有和分析，涉及数据存储技术、数据处理和分析技术，这包括计算机硬件的数据处理能力、超级计算机算法技术等。我国目前大数据相关的技术资源薄弱，很多单位缺乏大数据应用的基础设施，无法为挖掘学位点自我评估数据提供基础数据。

3.数据挖掘的分析者和管理者严重匮乏

据麦肯锡报告估算，美国本土各个行业总共缺少14～19 万名高端数据分析专家，并缺少150 万名大数据分析员和管理者[2]。 教育领域的数据挖掘起步较晚，中国的教育数据挖掘更是刚刚开始，因此人才缺乏是一个重要的瓶颈因素。 学位授权单位中能够专职从事评估数据挖掘的人员十分有限，为此急需培养大批评估数据收集和分析的专业人员。

二、基于大数据的学位点自我评估体系运行策略

大数据时代的学位点自我评估体系应由指挥系统、信息收集系统、信息分析诊断系统和信息反馈系统组成。整个自评体系的运行过程大致如下：指挥系统是学位点自我评估体系的核心，全面负责自评工作的组织协调；信息收集系统负责全面高效地收集评估需要的数据，然后把数据交给分析诊断系统作相关统计和价值判断，最后由信息反馈系统根据学位点发展实态把有价值的信息反馈给指挥系统和相关部门（见图1）。

图1 基于大数据的学位点自我评估工作流程图

1.基于大数据的指挥系统：发挥“更高效”的管理

建立专门的自我评估领导机构，主要由高校或科研院所负责人、 研究生管理部门负责人和相关专业人员组成。 主要任务是制定自我评估政策和措施，把握自我评估方向，确定自我评估的目标及标准，协调单位内部与自我评估相关部门的关系，总结借鉴自我评估的先进经验，建立科学、规范、高效的自我评估运行机制等。 具体工作内容包括：

（1）制定基于大数据应用的学位点自我评估远景规划，并出台相应实施细则，以指导各学位点推进自我评估体系建设。要明确目的和思路，自我评估的目的在于促进学位点人才培养质量和科研水平的不断提高，要转变以往“由问题找数据”的固化思维模式，形成平时积累和分析数据，从大数据中发现问题的思路。要避免以科研为主导的倾向，学位点自我评估要力求使评估导向从过去的“重科研”转变为以人才培养为核心，评估内容呈现以写实为主，突出人才培养的质量、特色和效益，淡化量化规模指标，克服以往重量轻质、见物不见人的不良导向。要做到认同与超越的统一，学位点的远景发展规划既要继承已有建设成果，认同发展现状，又要在科学分析和民主决策基础上制定出高于现状的发展目标，这一目标既不能太高，让人产生虚妄之感，也不能太低，否则就失去了自我评估的价值。

（2）建立和谐高效的评估机制。在开展自我评估前，详细介绍自我评估的目的和意义，解释各项指标的要求和评分依据，要求各学位点认真准备评估材料。在具体实施过程中，可以按照“从大处着眼，从小处着手”，边总结边推进的思路进行，例如，一个学校可以先从本校一个学位点的数据挖掘和分析做起，然后尝试整合校内其他学位点的数据，以此开展校内大数据的应用，最终实现与更高层面学位点大数据应用的对接。 还要重点统筹数据库兼容和共享问题，统一数据规范制定、技术方案推荐以及组织协调。 数据永远是大数据应用的核心，数据兼容性问题是在推进大数据应用过程中要重点关注的问题。建设过程中，要根据顶层设计的原则对自我评估体系中的数据格式和数据结构制定统一规范，各学科点在进行系统规划和建设中，系统的数据结构和数据格式要符合统一规范要求，以使各级系统数据可以实现无障碍迁移和共享。

（3）管理者要以大数据思维方式使用数据并实现其价值，成为“智慧的数据使用者”。 指挥系统要能够预先准确定位学位点发展过程中需要解决的问题，提前确定需要采集的数据类型以及有效的数据呈现方式，这样将使大数据在学位点自我评估中的应用开发事半功倍；要能够帮助解释收集的数据，能够判别和标记模式，以及指导模型构建；还要能充分利用评估数据指导学位点建设，从数据中准确发现问题、总结经验和研判发展趋势。

2.基于大数据的信息收集系统：获得“更多”数据

学位点自我评估建立在科学系统地收集相关数据基础之上，数据的科学性、系统性、可靠性决定自我评估的有效性。 因此，进行学位授权点自我评估，需要有一套科学地收集评估信息的办法，应设置一个完善的信息收集系统。大数据区别于传统数据，使学位点自我评估过程化成为可能，更加强调数据和信息收集的过程性。 应用大数据思想收集“更多”数据，是指通过对学位点进行全程化过程性评估，收集汇总平时的点滴素材和数据，获得比传统评估数量更多的数据。 建立基于大数据的信息收集系统需要重点确定评估指标体系和评估方式。

（1）评估指标体系。科学合理的评估指标体系是保证评估客观准确的核心要件之一，也是学位点自我评估体系的核心内容。因此，基于大数据建立的数据收集系统，需要在评估目的指导下建立一个科学的、合理的、可行的指标体系，既要反映国务院学位委员会对研究生教育工作的要求，又要考虑学校的办学特色和优势。

评估内容及标准的确定需要以提高质量为中心，以加强建设为目标，充分发挥“以评促建，以评促改”的导向作用。传统评估往往依据现实工作中需要重视和加强的工作而确定，但工作的重要性程度主要靠主观确定，这可以在一定程度上简化评估流程，减少数据收集和分析工作，但也有可能遗漏一些重要信息。 基于大数据的学位点自我评估指标体系应坚持创新性、独特性、特色性的价值取向，主要确定自我评估内容及标准的整体参考性框架，而不给出各项内容的刚性评估标准。而且，大数据使得许多过去不可获取、计量、存储和分析的信息都有了数据化的可能，因此，自评指标体系应更加尊重多样性、广泛性和真实性，涵盖物质层面、制度层面、思想层面、绩效层面的各种指标。另外，自评指标体系的确立要密切联系评估目的，以鉴定和激励为评估目的需要选取总结性评估指标；以支持决策为评估目的，除了总结性指标外，还需要选取预测性指标和方法。

有学者认为，院校研究需要采集和分析的数据包括主体数据和环境数据[3]。 据此，学位点自我评估需要采集和分析的数据可以分为学位点建设的主体数据和环境数据。 主体数据可分为历史数据和现状数据，具体包括学术队伍（学术带头人素质、群体素质）、科学研究（研究方向）、教学与人才培养质量、工作条件和管理工作、自我发展能力等方面；环境数据包括相关学科情况、内外联系（学术交流情况）等。评估内容的选取，不能仅由学校层面确定，而应该由校、院等各层面人员共同提出，然后汇总数据、集体会商、得出结论并反馈给相关部门。 接下来，可以为自我评估指标体系建立两层次分析的数学模型，把指标体系分为两个层次，即评价指标和评价项目，对每一个评价项目设计若干评价要素，如可以将学位论文评价指标的评价项目划分为选题与综述，论文成果的创新性与效益，论文体现的理论基础、专门知识及科学研究能力等。最后，各个指标及评价项目权重的确定可结合本单位发展情况，选取专家评判等成熟方法确定。

（2）评估方式。学位点信息大多具有潜在隐藏的特征，加之获取成本较大等因素制约，往往难以全面、准确地把握。传统的教育评估在采集数据中是进行部分抽样，以便达到用最少数据获得最多信息的目的。 大数据时代的技术可以实现所有特定目标数据的收集和处理，即实现“样本”与“总体”的等同。与局限在小范围的数据相比，将大数据应用于学位点自我评估不仅意味着更大的数据量，更有助于揭示以前无法发现的细节——通过数据储备和分析技术扩大评价范围，有能力关注每一个评价对象在每时每刻的活动中产生的微观表现，使包括众多评价对象的综合评价模式成为可能。

在实践过程中还要注意：①从介入时机角度，自我评估可以分为常态化评估和定期评估。 常态化评估是对学位点进行不间断的持续数据收集、分析和诊断，定期评估是在一定时间内对学位点进行的全面或专项评估。基于大数据视角，学位点自我评估更倾向于采用常态化评估。②评估范围方面，可以根据实际需要确定选择分层评估、专项评估或者两者结合的方式。还可以采取多样化的评估方式，将基本状态评价、客观数据评价、社会声誉调查、专家实地评估、学位论文评价以及研究生管理工作的评价结合起来，同时采取学校评估和二级学院自评相结合方式进行评估。③数据收集应多渠道，不应仅局限于学校层面的管理人员，而应包括学位点的所有相关人员。 数据收集的方法可以选用文献搜集、问卷调查、座谈讨论以及建立校级学位点数据库系统等。 需特别强调的是，为信息统计的准确和及时，需要特别重视构筑有助于数据收集平台运行的良好生态，从学位点建设整体角度强化数据仓储建设，同时数据收集系统要充分考虑外部宏观环境变化和内部的创新与变革，高度重视数据系统持续调整和自我更新的可能性。

3.基于大数据的分析诊断系统：处理“更复杂”的数据

数据只是一些离散的元素，本身并没有什么意义，只有通过联结整合才能将其变为有用的信息，通过对信息的分析诊断，最后才能转换为知识并产生行动和价值。基于大数据的分析诊断系统，就是将数据变为信息，然后将信息归纳为相应的知识，并由知识分析出具体的行动建议，让最初的数据产生价值，以支持院校的科学决策和有效管理。 由于小数据时代数据量少，针对每一个评估点的数据收集和分析的准确性较高。相比而言，大数据往往凌乱和参差不齐。但是，相比以高额代价来保证测量和收集少量数据的精确性，在大数据时代，我们将接受这种杂乱，因为我们通常需要的只是一个大方向， 而不是努力了解一种现象的细枝末节。 我们并不是要完全放弃精确性，我们只是放弃对精确性的热衷。我们失去微观层面上的精确度，为的是获取在宏观层面上的洞察力[4]。

教育评估数据具有多源异构、交互性、实效性、社会性、突发性和高噪声等特点，不但非结构化数据多，而且数据的实时性强，大量数据都是随机动态产生的。 所以一般而言，社会科学的大数据分析，特别是根据Web 数据做经济形势、安全形势、社会群体事件的预测，比科学实验的数据分析更困难[5]。 分析这些新记录的事件，需要新的技术来处理非结构化的文本和图像数据、来自多个来源的数据、大量的数据。 大数据视角下的学位点自我评估数据的分析处理应该注意以下几个方面：

（1）应该由传统执着探求因果关系转变为关注事物的相关关系，利用大数据发现凭借经验难以想象的相关关系，通过这些相关关系提供的新视角，更加科学有效地应用自我评估数据。一直以来，人们习惯于寻找事件发生的原因，但对原因的执着探索经常走入误区。大数据时代，可以仅寻找事物之间的相关性，而不必绞尽脑汁思索其来龙去脉。例如评估学位点建设中的研究生培养质量，把工作重点放在研究哪些现实因素与提高研究生培养质量更相关，比花费精力思考形成目前现状的原因更有价值。 因为事物总是发展变化的，之前影响培养质量的环境未必会在将来出现，但与研究生培养质量相关的因素却时刻存在着。

（2）在这个数据大规模生产的时代，数据的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，绝大部分冰山都隐藏在海面之下。自评数据分析诊断过程中，要特别注意收集数据的真实性，要对其信度和效度进行检测。 但自评数据的处理分析不能仅局限于精确性，而应把重点放在如何接受和利用纷繁复杂的数据，把不可计量、存储、分析和共享的研究对象处理成多样化和非结构化的数据，从而形成对学位点发展整体性、全貌性的认识。这就要求评估工作人员以专业敏感为驱动，强化问题意识，从不同的数据中找到相关性，根据数据发现问题，激发和利用隐藏于数据内部未被发掘的价值，发现学位点发展中的新问题。

（3）要高度重视对质性数据的分析。自我评估需要将定量数据、质性数据以及相关决策情境整合起来进行分析。质性数据即定性数据，质性数据可以与定量数据互相佐证，或者解释定量数据难以解释的问题。如在学术队伍评估过程中，分析诊断人员不仅需要主要学术带头人和学科梯队的职称、学历、年龄、导师总数及具有博士学位的导师所占比例等定量数据，还需要其学术水平、教学水平与教师风范等质性数据，而且需要把这些数据置于组织过程、组织结构、决策者价值之中去理解。 这样可以打破单一地提供数据、分析数据而与决策相脱离的局面，为降低决策过程中的不确定性提供信息，提升决策支持的有效性。

（4）充分发挥大数据的预测功能。通过对大数据的挖掘，可以实现数据的归类与分析，预测“出现某种行为的人还有可能出现另一种行为”。预测是大数据的核心价值，指的是将数学算法运用到海量的数据上，从而达到对事物发生的可能性进行预估的目的。预测系统之所以受到重视，关键在于它们是建立在海量数据基础之上的，接收和处理的数据量越庞大，系统纠错和自我改善的功能则越发达。失去微观层面上的精确度，为的是获取宏观层面上的洞察力。虽然大数据并不是解决所有问题的神奇方案， 信息越大数据噪音也会更大[6]。 但大数据可以超越个体与局部的相对静态视野，形成更容易发现问题所在、可能弱点和盲区的动态宏观视野。

4.基于大数据的信息反馈系统：提供“更及时”的数据

自我评估分析诊断结果完成以后，要将结果反馈给评估对象。 学位点自我评估反馈的信息对学校管理层、科研人员、一线教师和学生都具有重要价值。 管理人员拥有丰富的数据，可以及时发现问题、解决问题，还可以通过同型比较和基标分析，找到所处位置和今后发展方向，从而更好地进行调控和决策。 科研人员和一线教师可以通过不同阶段的数据分析结果，寻找自身工作存在的问题，学生可以通过评估结果的横向比较，发现自身优缺点，明确努力方向，激发积极性。

基于大数据的信息反馈系统的主要职能是及时高效地把准确信息反馈给需要的人。 传统的教育评估都具有一定的周期性，由于大多数工作依靠人工完成，相比采用计算机进行的大数据评估，在工作效率和精确度等方面大打折扣，需要在经历一段时间的评估过程再经过复杂分析才能得出结果，评估结果的反馈也就相应更加延迟，而大数据具有容易比较、交流、转化的信息流动特质。 “更及时”主要体现在两个方面：①速度方面，基于大数据的信息反馈系统可以实现动态反馈，采用大数据思维构建的学位点自我评估体系，是对学位点发展过程的全程实时监控，可以通过设定相应的预警机制随时发现并反馈问题。②效用方面，数据的反馈不能只有速度还要关注有效性，因此，自评报告的主体内容构成应包括写实性、分析性、诊断性和规划性等多个部分，尤其应该突出问题诊断和改进措施。另外，反馈的数据还需要根据不同学科特点，有区别地处理定性与定量、成果指标与过程指标、质量与效益、监督与社会评价等关系。还要重视对反馈的“再反馈”，评估仅仅是手段，诊断并解决问题才是目的。自我评估的最终目的在于提高学位点建设水平，评估结果反馈之后还要继续追踪对存在问题的定期整改情况，以促进自我约束、自我发展机制的形成。

尽管大数据给未来学位点建设和发展提供了很多可能性，但毕竟刚进入大数据时代，其很多特性和价值还有待发掘。 学位点自我评估体系建设也还处在摸索阶段，学位点评估理念需要更新，评估方法和手段需要继续改进和完善。另外，基于大数据的很多功能的实现对硬件、软件和人员素质要求都很高，需要有足够的经费保障来满足各方面资源需求，这些都是不得不关注的问题。

[1] GANTZ J，REINSEL D. Extracting value from chaos[EB/OL].http：//www.emc.com/collateral/analyst -reports/idc -extracting-valuefrom-chaos-ar.pdf.

[2] MANYIKA J，CHUI M，BROWN B，et al. Bigdata： the next frontier for innovation，competition，and productivity[EB/OL].http：//www.mckinsey.com/insights/business_technology/big_data_the_next_frontier_for_innovation.

[3] 张俊超.院校研究如何通过数据分析为大学管理决策服务[J].高等教育研究，2013（8）：68.

[4] 田晓玲.大数据时代带来更理性、更可靠的决策[N].文汇报，2013-03-11（00A）.

[5] 李国杰，程学旗.大数据研究：未来科技及经济社会发展的重大战略领域[J].中国科学院院刊，2012（6）：652.

[6] NATE S.The signal and the noise[M]. New York： The Penguin Press，2012.