高校大数据平台构建及应用

文/刘香玉 徐红彦 侯英哲 齐嘉亮 颜玲

1 引言

近年来，大数据被世界各国视为塑造国家竞争力的战略制高点之一。2015年国家发布《促进大数据发展行动纲要》，将大数据正式上升为国家战略，从国家意志层面将大数据作为推动社会转型的新动力和提升社会治理能力的新途径。高校作为新观念和新人才聚集的社会重要构成单元，也纷纷抓住机遇，探索利用大数据促进学校发展的现实路径。而在实施过程中，大数据平台的构建和示范性应用是两个至关重要的方面，分别关系到大数据项目的落地实现和最终的价值体现，是未来高校大数据战略的必经之路。

2 平台构建

大数据至今尚无统一的严格定义，被广泛接受的是Laney 提出的3V特点（Volume，Velocity，Variety），即大量、高速、多样性，决定了大数据平台与传统数据平台有明显区别。大数据平台应该能够满足海量、多模态（结构、半结构、非结构化）数据高效甚至实时的采集、存储、分析计算、呈现共享需求，平台框架和关键技术如下。

2.1 平台框架

高校大数据处理的过程通常包含数据采集、存储、清洗规范、分析计算、结果展现等步骤，因此大数据平台架构可大致分为三层：底部数据源层、中部大数据处理平台层、顶部用户端层，如图1所示。数据源层负责多模态数据的广泛采集，包括结构化的业务数据，半结构化或非结构化的机器数据、学校外部互联网数据，ETL、日志处理集群、爬虫引擎工具采集数据后完成初步的数据清洗预处理工作。中部大数据处理平台层负责数据的存储、交换、建模和分析计算，是整个架构的核心部分，为上次的数据呈现和应用提供支撑。顶部用户端提供数据的具体应用以及可视化输出。

2.2 关键技术

2.2.1 数据采集、预处理技术

数据获取和清洗预处理需要考虑到多种多样的数据来源，例如RFID射频、传感器、社交网络、移动互联网数据等。除传统关系型数据库MySQL、Oracle的数据采集外，统日志采集方面，主要利用开源的Flume、Scribe等系统；网络数据采集主要研究网络爬虫、网站提供的API以及DPI等网络流量采集。由于大数据的“低值性”，数据在采集后还应该进行过滤去噪、集成变换、规约等预处理。

2.2.2 数据存储、分析处理、可视化技术

存储方面主要涉及Hadoop、Hive等分布式存储技术，具体包括分布式文件系统、分布式数据仓库、分布式缓存等；并行计算技术，包含批处理、流处理、内存计算、图计算技术等；数据分析挖掘技术，包括数据建模、分类、聚类、回归分析、关联规则挖掘、语义分析、算法推荐技术等；数据可视化呈现与利用技术，提供友好的分析图表呈现模式、灵活便捷的数据接口供其他应用调用。

3 高校大数据的应用

3.1 科研领域

3.1.1 学科“双一流”竞争力评估和发展定位

提供精准、明晰的学校学科竞争指标对比，分析优势劣势，更加科学、理性的凝练学科发展方向定位。分析学科热点领域，启发学校学科制定未来发展方向。模拟学科评估，进行本校自评定位，精准对比和分析学科各项指标的差距，制定未来发展规划。

3.1.2 师资队伍和学科梯队数据分析

从学科发展的角度分析师资队伍和学科梯队结构，有目的的优化师资队伍整体水平。提供人才数量、专业技术职务、学科分布、学历学缘背景、年龄构成等多角度的综合分析和院校间对比，为高端人才引进、完善考核晋升机制等措施明确方向。

3.1.3 教师个人科研评价和辅助定位

为教师个人提供科研自画像和研究优势、劣势定位分析报告。根据学科热点，协助教师形成未来科研发展方向定位。根据教师研究兴趣分析，智能推荐各级别层次的文献资料，提高教师科研效率等。

3.2 教学领域

3.2.1 学校办学趋势分析

聚焦学校办学方向和实际办学效果的关系，提供学校总体和各学科专业的生源招收、培养方案、教学质量、学生成绩的数据挖掘分析情况，对比同类专业的优势劣势，提供办学趋势、课程设置、学习资源等方面的分析建议等。

3.2.2 学习行为数据分析和学业预警

根据学生学业成绩、课堂考勤、实践活动、获奖情况、学习时间分布等方面的数据分析，构建学生画像，提供与优秀学生之间学习行为数据对比，描绘学生学业发展趋势和诊断，在挂科、排名突降之前给予学生和相关教师预先提醒，提供针对性引导、学习经验分享和相关资源推荐等。

3.2.3 教师教学能力数据分析

根据学生成绩和评价提供多角度教学效果分析，如科目整体教学效果同校、同专业、国内对比，科目中知识点和技能弱势不足分析，便于教师改进教学。提供教学经验、教学资源个性化推荐。

3.3 管理领域

3.3.1 学生管理：大数据辅助就业、资助评估、行为预警、健康预警

大数据在学生管理方面有较大用武之地。大数据辅助就业方面，通过网络爬虫、网站接口等技术广泛搜集各企事业单位公布的就业招聘信息，并根据专业、兴趣等实现精准推荐，分析应聘情况和学生实力成功率，大量节约学生就业精力。困难生经济资助、行为预警方面，可以根据校园卡用餐用水消费、图书借阅、门禁、Wi-Fi等数据，判断学生真实经济情况，或者是否有失联情况。此外还可根据学校体检、用餐、健身记录和体育课成绩为学生提供健康预警和提醒。

3.3.2 基建财务资产管理

通过分析学校多年基建、财务、资产数据，得出学校发展投入、预算和支出趋势分析，便于提高财务绩效，加强房产、设备、家具等资产的合理配置，加强水、电等能源的监控，制定节能减排措施。

4 结语

大数据平台的构建和大数据示范应用仅是大数据赋能高校信息化的两个关键环节，以大数据为基础的现代大学生态治理是一项复杂的系统工程，远不止技术实现这么简单，还涉及到学校发展战略思维的转变、学校政策规划、多元主体之间的相互作用、配套体制机制、队伍建设等方面的模式和策略。技术实现层面也还有其他一些重要问题需要关注，包括但不限于个人隐私问题、数据标准问题、数据质量质量问题，以及如何通过校企合作模式克服学校不足、形成成果共享和优势互补的长期共赢策略。但总体核心思想应该是围绕学校发展的核心关键需求，走好与科研、教学和服务管理深度融合之路。