学科竞赛评估的实践与创新

郭伟

一、中国高校智能机器人创意大赛

引发参赛热潮

《世界教育信息》：尊敬的陆教授，您好！您近期攻关了“高校竞赛评估与管理体系研究”项目，在研究项目的同时还推出了智能机器人创意大赛，请您介绍一下竞赛相关情况。

陆国栋：我现在所任职的浙江大学机器人研究院位于浙江余姚，由浙江大学和余姚市共建，建设的基本路径是产学研深度融通、政产学研金五位一体。2017年12月，我们正式推出首届“中国高校智能机器人创意大赛”。截至报名结束，组委会秘书处收到来自172所院校共756支参赛队伍的报名，其中本科院校（不含军警与港澳台地区高校）共有160所、715支队伍；7所高职院校、22支队伍。此外，参赛队伍中还包括18支来自4所军校警校的队伍，1支来自香港中文大学的队伍。绝大部分九校联盟高校（8/9）参赛，其中北京大学1支，清华大学3支，南京大学7支，中国科学技术大学8支，浙江大学、上海交通大学、西安交通大学、哈尔滨工业大学各有10支队伍参赛。大部分985高校参赛（28/39），共计有185支参赛队伍。接近一半211高校参赛（53/116），共计有300支参赛队伍。决赛将于2018年5月在浙江余姚举行，是规模宏大的“第五届中国机器人峰会”的组成部分。

二、“双一流”建设背景下，

高校竞赛治理处于十字路口

《世界教育信息》：“高校竞赛评估与管理体系研究”项目开展的初衷和意义何在？

陆国栋：2015年11月5日，国务院发布《统筹推进世界一流大学和一流学科建设总体方案》；2017年9月21日，教育部、财政部、国家发展改革委正式公布“双一流”建设高校及学科名单，可以看出“双一流”建设是高等教育强国战略和人力资源强国战略的必然选择和重要举措。而纵观国内外一流大学，无不将本科人才培养和教育教学质量放在学校发展的重要战略地位。教育部高等教育司司长吴岩在去年召开的第十届“中国大学教学论坛”上引用哈佛大学本科生院院长哈瑞·刘易斯《失去灵魂的卓越》一书的观点，指出“没有一流本科的‘一流大学是失去灵魂的卓越”“没有一流本科，建设一流大学就是自娱自乐”。一流本科教育是高等教育强国建设的“压舱石”，是提高和保证高等教育质量的立本强基工程，同时也是“双一流”建设的核心任务和重要基础。

一流本科建设的核心要义是培养一流人才。创新思维、创新能力、团队合作精神、解决实际问题和实践动手能力等是一流人才必不可少的构成要素，大学生竞赛是培养以上这些要素的最有效途径。古希腊学者普罗塔戈（Plutarch）曾言：“学生的头脑不是用来填充知识的容器，而是一支需要被点燃的火把”，我们认为学科竞赛就是点燃火把的“火种”，是激活学生学习的有效手段。

近年来，学科竞赛蓬勃发展，特别是2000年之后，全国性大学生学科竞赛数量急剧上升，各高校积极主动组织和参加各级各类学科竞赛，全国每年有数以百万计的大学生在这个舞台上展示他们的智慧和活力。依据浙江省统计，截至2014年的20年内，浙江省举办省级以上竞赛近200届次；28万多个队伍100万余人次参加；培训学生达150万余人次；承担教育部资助学科竞赛项目17项中的4项。但在竞赛表面繁荣的背后，问题的苗头日渐呈现，如部分竞赛的表演化趋势渐长，商业意味渐浓，教育功能渐微；部分竞赛片面追求量大面广，内涵乏力；个别竞赛管理不规范等。由于缺乏统一的全国性协调组织，各个竞赛组织单位各管各的竞赛数据，数据“孤岛”的藩篱使得全国高校竞赛质量数据分散、凌乱、复杂，高校、社会和政府对于到底什么样的竞赛是高质量的竞赛缺乏确切的判断依据。高校学科竞赛数据的割裂、竞赛质量观念的模糊等问题使得竞赛治理面临重重迷雾，高校竞赛治理正处在十字路口。

为了进一步规范管理、推动和发挥学科竞赛类活动在教育教学、人才培养等方面的重要作用，规范、引导和协调竞赛机制，中国高等教育学会于2017年2月启动“高校竞赛评估与管理体系研究”项目，对我国高校学科竞赛开展、组织和实施情况进行调研、分析，构建评估体系。

我们用不同的关键词在Web of Science数据库进行了搜索，发现国外关于高校竞赛的研究多集中于某一项竞赛，如ACM国际大学生程序设计竞赛（ACM-ICPC）等，全国性的竞赛评估活动我们尚属首例。

三、竞赛评估的评估原则、评估模型、

平台架构和排行榜发布

《世界教育信息》：这项研究经历了怎样的过程，有哪些人参与了项目的研发？

陆国栋：“高校竞赛评估与管理体系研究”项目从2017年2月22日正式启动，7月加快了进程，已密集地组织了20多次项目组讨论会和3次专家研讨、论证会，讨论、确定高校竞赛评估的评估原则、评估模型、平台架构和排行榜发布要求等。到目前为止，整个研发过程经历了以下几个阶段。

2017年2月-8月为第一阶段。项目组讨论确定项目研究框架、步骤和基本分工；8月分别在广东江门、江苏南京召开了两次专家研讨会，通报项目的基本情况，包括模型设计、数据采集、平台研发等的构想和设计，通过研讨，项目组虚心吸纳专家意见，完善评估框架和安排。

2017年8月-12月是第二阶段。在三个月内召开了7次项目组工作会议，完成了持续不断完善数据，征询来自教育管理部门、竞赛管理部门的专家对于评估模型的意见和建议，完善评估模型，着手研发竞赛管理平台等工作。11月召开了第三次专家研讨会，各位专家为完善模型提供了支持。

2017年12月14日，首次向社会发布全国普通高校学科竞賽评估结果。共发布了12个榜单，包括分本科和高职组发布2012-2016年高校学科竞赛评估结果（前300名），2014年、2015年和2016年当年的评估结果（前100名）；2012-2016年以及2014、2015和2016年的省份排名情况（分别发布前15名和前10名）。在第一次发布之后，评估结果引发全社会关注。人民网、中国日报、新华网、中国教育报等媒体都对高校学科竞赛评估进行了宣传和报道；中国高教学会、青塔等公众号进行了报道，点击量合计超过10万次；各高校对自身的评估结果在学校主页进行了相关报道。有部分高校对高校学科竞赛评估做出了积极回应，如上海交通大学召开了新闻发布会，借此东风宣传学校的创新人才培养情况；部分高校更是将我们组织的高校学科竞赛评估活动纳入学校竞赛管理体系，引导学校开展和参与高质量的竞赛活动。

2018年1月至今是第三阶段。首次组织这样的全国性评估，是一个从无到有的过程，数据采集量大且涉及面广，工作量巨大；模型设计和平台架构也需要征询多方意见。第一次发布会的时候，2017年竞赛数据还不全，仅发布了2012-2016年的评估结果。在此基础上，项目组又投入到针对2017年高校竞赛的评估活动中。2018年2月2日，我們在北京发布2013-2017年的五年榜单和2017年单年榜单。同时发布的还有浙江省和吉林省的省级评估结果、竞赛白皮书和2012-2017年高校教师竞赛状态数据。后续，项目组会尽快完善平台，尽早向社会提供竞赛数据服务。

在评估活动的参与人员情况方面，2017年9月20日，中国高等教育学会发布了《关于成立<高校竞赛评估与管理体系研究>和<高校教学创新大赛>专家工作组的通知》，正式成立高校学科竞赛评估专家工作组。专家工作组由高等教育学会副会长、秘书长康凯任领导小组组长，中国高等教育学会副秘书长王小梅和浙江大学党委副书记朱世强教授任专家工作组组长，我和中国高等教育学会事业发展部主任吴英策任副组长，组员由浙江大学、杭州电子科技大学、中国计量大学、浙江大学城市学院、西南交通大学、杭州简学科技有限公司相关领域研究专家组成。下设了“高校竞赛评价体系研究与发布”“高校竞赛评估模型构建与研究”“学科竞赛数据收集分析与优化”“学科竞赛排行榜平台架构与研发”4个子项目。

《世界教育信息》：评估开展的原则、理念和思路是什么？

陆国栋：当前我国学科竞赛现状纷繁复杂，有不同的主办单位、存续时间、学科分布和类型等，对众多复杂的学科竞赛进行评估难度较大。特别是学科竞赛举办主体越来越多元，市场机制在学科竞赛中的作用越来越大，教育行政主管部门对于学科竞赛的治理必须尊重市场规律和竞赛运行规律。大家都知道，信息不对称性是造成市场混乱的主要原因之一，由于市场各主体缺乏对有关信息的了解，各主体之间的沟通不畅、政府治理费时费力且成效甚微。学科竞赛治理也是如此。高校由于缺乏对竞赛实际质量的充分了解而产生选择困惑；竞赛主办方也由于缺乏来自高校的反馈机制，而无法通过竞赛的改革来切实提升竞赛在创新人才培养中的作用。基于以上考虑，我们认为提高学科竞赛在全社会中的信息透明度，应该是解决学科竞赛组织失范和高校选择困惑的有效途径。因此，我们提出以向社会公布高校学科竞赛评估结果的方式，引导学校选择高质量竞赛，提高竞赛活动在创新人才培养中的成效，以期通过这种机制来优化竞赛格局。

通过竞赛评估，我们期望达到两个方面的目的。第一是优化竞赛。在对当前全国性学科竞赛的组织及开展现状进行全面摸排的基础上，根据一定的原则筛选纳入评估的竞赛项目，并赋予相应的权重，以此倒逼竞赛规范赛事、提高质量。第二是引导学校。为了更好地鼓励高校参加和组织竞赛活动，在评估中引入“组织贡献”指标，将竞赛项目的秘书处单位（高校）、每年竞赛的承办高校、竞赛活动的优秀组织单位和优秀指导教师等项目都纳入评估指标，以此引导各个高校提高自身对竞赛活动的组织贡献；同时，考虑将竞赛延伸的教学成果奖、教育教学改革论文等显性研究成果纳入评估指标，引导高校在现有基础上进一步探索竞赛活动在人才培养中的作用，深化创新人才培养改革。

高校学科竞赛项目类型多样，特征多变。对高校学科竞赛成效进行评估必须遵循一定的原则，才能保证评估的科学性、公平性和有效性。通过充分的讨论和酝酿，我们制定了以下评估原则，在评估过程中时刻对照原则，确保评估工作的公平性和有效性。

第一，公平、公正、公开原则。公平、公正是学科竞赛评估的灵魂和基础，公开是保证公平公正的手段。评估过程中做到数据公开、模型公开、计算方法公开，以保证评估的公平、公正。在《中国高教研究》2018年第二期，我们通过论文的形式公开了高校学科竞赛评估的思路、方法、模型和数据分析结果。在即将出版的《全国高校竞赛评估白皮书（2012-2017）》中将公布全部评估结果。

第二，引导性原则。学科竞赛评价的目的不仅仅是分出优劣等级，更重要的是引导高校学科竞赛工作的良性开展，提高学科竞赛的育人成效。因此在评估模型设计中，我们充分考虑了对竞赛组织方提高竞赛组织质量和竞赛参与方提高参赛质量的引导：评估中按照一定原则筛选全国性高校学科竞赛进入评估并对于不同的竞赛项目设置不同的权重，实现对竞赛项目提高质量的引导；评估中纳入高校参与竞赛组织的相关贡献，引导高校积极参与竞赛，提高人才培养质量。

第三，可操作性原则。必须确保选择的指标简单、实用、可重复验证。评价操作尽量简单方便，应保证数据易于获取，计算方法简单可行，且不能失真。在保证评价结果的客观性和全面性的前提下评价指标要与时俱进。

第四，分类原则。我国高校类型多样，不同类型高校有不同的使命和特征，需要按照不同类型高校分别排行，以照顾高校的不同类型特征，使平行性比较成为可能，同时也是保证公平公正的必要途径。

第五，成果导向原则。评价指标必须导向各类竞赛成果，如竞赛获奖结果、竞赛组织贡献、教学成果、公开发表论文等，一般不考虑软性的主观指标。

《世界教育信息》：评估对象的数据来源有哪些？指标体系是如何构建的？

陆国栋：评估对象的数据主要来源于竞赛官网，遇到部分竞赛官网上数据不完善的情况，项目组会联系竞赛组织的秘书处或当年承办单位，要求对方提供相关数据。目前，我们已经搜集了1989-2017年50多项全国性高校竞赛的相关数据，共有40多万条，数据点达到几百万个，形成了一个比较完善的全国高校竞赛数据库，为后续评估和高校竞赛治理奠定了较为扎实的数据基础。

后续的评估中，我们将进一步规范数据来源，增加秘书处单位对竞赛数据的核查力度，确保纳入评估的竞赛数据的准确性。特别是除了竞赛结果数据以外，我们还会采集竞赛的参赛数据和组织实施、管理相关数据，为更好地实施竞赛治理提供数据支撑。

在竞赛指标体系设计方面，我们主要根据高校学科竞赛评估目标和思路来设计和构建评估模型，分别命名为“获奖贡献”“组织贡献”和“研究贡献”。“获奖贡献”主要是指高校参加学科竞赛的获奖结果，是学科竞赛评估考虑的主体之一，将高校在各类学科竞赛中的获奖情况赋予一定的权重。需要说明的是，参赛奖不考虑纳入模型。“组织贡献”主要是指学校在参与和组织竞赛中发挥的作用。一般而言，竞赛的秘书处单位承担着学科竞赛的整体运行，对学科竞赛的重要性和贡献有目共睹，应该纳入评估模型；此外，在竞赛秘书处固定的情况下，学科竞赛每年在不同的学校举办，承办学校对每一届竞赛的成功举行付出了巨大努力，也应考虑纳入评估模型；竞赛优秀组织单位和优秀指导教师体现高校参与竞赛方面的贡献，也需要纳入评估模型。“研究贡献”主要指以竞赛为依托或基础开展的创新人才培养教育教学改革研究。学科竞赛的根本目的在于创新人才培养，要鼓励学校以学科竞赛为抓手，深化创新人才培养模式改革研究，通过研究提升人才培养质量。

《世界教育信息》：高校学科竞赛评估平台的功能有哪些？

陆国栋：根据评估目的，我们构建了一个高校学科竞赛评估平台，为竞赛组织方、治理方和高校提供相應的数据服务。目前，平台可以实现两个方面的功能：一是呈现排行榜，包括省份排行榜（分别以竞赛地图和数据表形式呈现）和高校排行榜（包括学校获奖次数和获奖总分）；二是查询服务，平台可以提供单个高校每一项竞赛的具体数据，也可以提供任意两所高校任意竞赛项目任意年份的对比数据。

再一次强调，评估的目的不是分等定级，而是持续改进：倒逼竞赛项目的持续改进和创新人才培养质量的持续改进。因此，向社会公布榜单只是学科竞赛评估的第一步，关键在于为高校提供支撑服务，引导高校强化竞赛指导力度，提高竞赛参与积极性，提升创新人才培养质量。

四、多举措保障竞赛评估结果公正、准确

《世界教育信息》：任何一项科学的评估都需要保证评估结果的准确。在保障评估公正、准确方面，都有哪些措施？

陆国栋：一项评估活动的生命力主要取决于评估的准确性和公正性，高校学科竞赛评估也是一样。我们从以下几个方面入手确保评估的公平公正。

第一，高等教育学会高度重视评估活动的质量保障和监督。2018年1月11日，在杭州正式成立了“高校竞赛评估排行榜”专家委员会，委员会对项目组开展的工作进行监督和指导。由中国工程院谭建荣院士担任专家委员主任，浙江大学党委副书记朱世强教授和中国高等教育学会副秘书长王小梅担任副主任，专家委员会由高校竞赛评估工作组织单位的代表、各领域竞赛工作相关专家和高校教育管理专家等组成，共21人；设立主任1名，副主任2名，成员17人，秘书长2人（其中一人由成员兼任）。在17名成员中，有15名成员未参与具体评估工作，而是完全站在第三方角度对评估工作进行监督和指导。

为了使高校竞赛评估工作更加规范化、制度化、科学化，建立公开、公平、透明的评估项目遴选机制，在专家委员会第一次会议上还通过了《高校竞赛评估排行榜专家委员会工作暂行条例（试行）》和《高校竞赛排行榜评估项目遴选办法（试行）》两个文件。《高校竞赛评估排行榜专家委员会工作暂行条例（试行）》对专家委员会构成及秘书处机构、专家委员会工作职责、组成和变更等进行了规定；建立了纳入评估竞赛项目的入选退出机制，每年秘书处需要向专家委员会汇报年度工作，专家委员会对高校竞赛评估工作进行监督和指导，以保证评估工作的公平公正。《高校竞赛排行榜评估项目遴选办法（试行）》详细规定了纳入评估的全国竞赛的遴选和退出机制。

有关暂行条例和遴选办法也纳入即将出版的《全国高校竞赛评估白皮书（2012-2017）》，接受各方意见反馈。

第二，设立了交叉校验的工作机制。项目组内开展的每一项工作，都有多名成员对结果进行交叉校验，以保障数据采集、入库、处理和模型运行的准确性。如数据采集中，首先通过多方信息来源核对数据的准确性，形成数据的第一次校验；数据入库后，为避免入库操作中的可能偏差，还需要对入库后的数据与原始数据进行第二次校验；模型运行后，利用抽查的方式，将排行结果与原始数据进行第三次校验，以保证数据的准确性。每一项竞赛的权重字典和获奖字典都经过至少两轮以上的数据复核，每一位复核人员需要对自己的工作签字确认，并将原始资料归档保存。

第三，建立持续更新的高校更名数据库，避免信息遗漏。近年来，我国高校更名情况比较复杂，为了保证每一条数据都能够匹配到学校，我们设立了不断持续更新的学校数据库，在评估过程中将每一条数据与学校数据库进行不断比对，不匹配数据都要找到原因，避免信息遗漏。

编辑 王昕 校对 许方舟