基于spark的招生数据平台的设计与实现

章家宝 彭梅 粱东海 李胜林

摘要：近年来随着互联网行业的快速发展，大数据技术已被应用到各行各业，在高校招生这一领域也不例外。通过分析复杂的投档分数，录取分数，同类学校之间的竞争力对比数据，可以提高学校的教学质量，社会影响力，以及社会竞争力。根据笔者团队的研究，发现社会上仅有一款基于web的“高校招生决策平台”，没有采用大数据技术对于高校招生数据进行智能分析。目前许多的高校都还停留在人工分析阶段。人工分析是最原始的分析，第一人工精力有限，容易分析漏项。第二人工分析还受个人因素影响。因此，做一个基于大数据的招生平台的想法应运而生。旨在帮助高校招生部门简化学习信息分析过程，让烦琐的招生工作变得得心应手。

关键词：高校招生;大数据技术;智能分析

中图分类号：TP311        文献标识码：A

文章编号：1009-3044（2020）31-0102-03

1项目背景与简介

1.1 项目背景

目前许多的高校在招生数据管理方面还处于人工处理阶段，招生数据管理者需要管理一个学校历年来的庞大的招生数据。本项目主要是对于招生数据进行管理分析。运用前沿的Hadoop生态大数据技术以及spark大数据技术对于招生的数据进行智能分析。有效减少招生工作部门的工作量，让学校的招生数据更加规范化、自动化。

1.2 目的和意义

本项目立足于全国高校招生部门，主要针对高校的招生部门，采用高可用的轻量级架构为招生工作中多而杂的数据提供以一个平台化、界面化的操作管理系统。大大简化了高校招生部门工作人员的工作量，让高校招生部门工作人员可以简便快捷地在复杂的招生信息数据中提取到有价值的数据信息。在保证数据的精确分析以及平台的高可用的同时，我们还设置了数据加密，以及过滤敏感数据，让数据更加安全。同时，本项目还包含了一个招生网盘，有效地防止数据丢失。另外本系统还包含一套完整的权限控制平台，可以有效抵御未知入侵，进行灵活分配角色以及人员，保证了数据信息和用户安全。除此之外，本项目还配套开发公众号的微网页，让系统人员通过手机移动端进行数据信息采集和查看数据分析图。

1.3 拟解决的问题

1）各学校数据来源相同，数据库的表结构也没有特别大的差异，但是由于新生老生的信息的数据量大，导致人工数据处理不方便，需要耗费大量的时间。

2）传统的招生平台功能单一，杂乱。致使很多新生对功能的查找和使用费时费力，用户体验效果差，会增加用户使用心理负担，对所报读的学校印象减分，并且没有加入如spark的新兴大数据的高可用框架，在执行海量数据处理时严重影响系统的性能。

3）传统的招生数据管理后台信息可视化单一、部分刚需的对比缺乏，不利于招生工作的老师对页面进行充分解读，造成数据资源无法得到合理的利用和开发。

4）在大数据时代，数据的安全性俨然成为一个热门的话题，传统的平台对于数据的保护不足，容易造成数据的泄露，严重威胁到了学生的隐私。

2项目可行性分析

2.1 可行性

1）技术方面：技术上笔者团队对于Java的spring，springdata，springboot，springmvc框架相对熟悉，并且前端知识（layui，JavaScript，vue，node.js，html和css3）也有一年的开发经验。对于大数据框架hadoop， spark也有一定的基础。

2）市场需求：市场需求量大，据笔者团队的归纳统计，广东省内大部分高校还是在采用传统的数据处理系统，从实用性以及创新性本项目较传统的系统有较大优势，因而市场空间较大。

2.2 功能模块需求分析

系统的功能模块图如图1所示。

本系统主要分为三大模块：数据分析、控制台、微信微网页。数据分析又划分为：招生数据、数据录入、录取数据管理、计划数管理、数据报表统计、院校间数据对比、问卷调查生成。控制台进一步划分为：系统设置、代办事件、微网页后台、日志管理。微信微网页模块主要划分为：会议报名、招生章程、资助政策、报餐、招生信息登记、预报到、专升本、保留学籍。

2.3 系统创新

1）在技术上，本平台采用了与传统的web开发不一样的大数据开发，保证了处理海量数据的时效性。采用热门的开源数据可视化框架，为系统的使用者提供更加直观的数据处理结果。以及以图表对照的方式保证了传统功能与创新性并存。

2）平台按照功能分为前台和后台，前台利用静态和动态页面相结合的方式展示各系及各专业招生情况、对全景校园进行展现，为新生导航和交通指引情况，方便新生顺利报到，后台利用html加layui框架配合Java轻量级框架搭载高可用的分布式集群。

3）后台面向招生老师及系统管理员，管理员通过后台及时更新和维护前台的信息，保证前台信息的实时性、有效性。

4）平台更是融合报名系统、智慧校园查询功能、升学考证、办事指南、问卷调查、专升本錄取名册、成绩打印、在读证明毕业证遗失补办为一体，全方位生源服务。

5）优化客服中心功能，用户可以通过地址、邮箱、传真、电话号码联系的同时，还可以填写个人信息，后台客服联系或线上面对面交流。

6）系统搭载了一个方便高校招生数据存放的数据网盘，高校可以将数据存放到该系统中，并且设置高校自己的密码，即使是系统开发人员也无法获取到数据，文件将以md5加密以及base64加密。使数据更加安全。

3系统分析与设计

3.1 系统分析

本系统主要采用MVC模式进行开发，技术采用的是spring5、spring boot、springdata。前端框架主要采用的是layui以及jquery和html5、css3等主流的前端技术。大数据采用的是spark，采用大数据技术主要是对于数据的并发处理进行优化，并且有效提高数据的吞吐量以及执行效率。系统的开发架构图如图2所示。

3.2 数据库设计

本系统在数据库设计上主要分为以下阶段，首先需要先了解学校老师在招生数据上面需要什么信息，然后根据信息进行数据库设计，然后在对于收集到的信息进行抽象，画出概念模型，也就是我们经常说的（E-R图），根据我们画出来的E-R图我们可以在spring boot Data jpa上面建立我们的实体类，并且需要加上@Entity注解建立逻辑数据库。再运行程序的时候spring data jpa会自动为我们创建出数据库表。并且加上相对应的表结构。此外，本系统还需要额外的数据库函数，最后建立出数据库模型。然后对于系统进行功能测试，线上运行，线上维护等。

3.3 系统详细设计

3.3.1招生工作信息归纳流程描述

1）用户登录该合作高校的微信公众号微信网页，在下方导航栏中找到首页，然后在微网页中查找自己需要向招生部门提交的信息，如（需要保留学籍者，在保留学籍处填写表单，需要报餐人员在报餐处填写表单）。

2）填写完成之后，数据会进入mysql数据库进行持久化处理。

3）统管理员如果需要采集微信微网页中的信息，那么可以通过登录后台，然后进行微网页验证。如果验证有权限，就可以登录微网页中进行数据采集处理。

4）系统管理员处理对应的数据信息之后，会通过电话或者短信告知对应的解决方案。

3.3.2招生数据处理流程

招生数据处理流程如图3。

流程图描述：

1）系统管理员登录系统，进行权限认证，如果该系统管理员拥有多个权限，那么必须选择一个权限以登录该系统。

2）系统管理员可以将招生数据导入到该系统中，然后系统会通过算法识别是什么类型的文件，如果是xls或者是xlsx，那么就改用poi的方式读写数据，如果是采用dbf的数据，那么就采用团队自己研发的dbf框架。如果是压缩包的话，那么就先解压缩，然后再进行分析。

3）然后分析完成的文件会放在hdfs文件系统中，存入之后，再用mapreduce算法进行分析，分析完成之后的中间数据存入于hbase中，分析之后的結果放在mysql关系型数据库中。

4）系统管理员可以在系统中的数据分析处，查出近几年的数据对比以及可视化图和表。

4系统测试

系统测试主要分为断点测试和上线测试。断电测试主要是在编写程序的时候，用于测试程序出现的问题的根本原因，上线测试主要是发现一些上线协作之间进程与线程问题，以及用户体验问题。通过断电测试以及上线测试，可以让用户的体验更佳。大大添加了系统的可行性。以招生数据分析为例子：首先我们需要先把以dbf结尾、以zip结尾、以xls结尾或者以xlsx结尾的文件加载到系统指定的地方，然后系统读取数据，然后如果数据校验正确的话，将对于分析从来的数据进行持久化，之后上线测试。形成一份相应的测试报告。直到问题全部解决、系统达到指定预想状态为止。部分系统图如图4所示。

5结论

本项目对于普通高校对于全国统一高考报名的高校招生数据系统的设计与实现，运用了spring boot、spring jpa以及spring5的知识来进行数据库以及Java web系统的编写、运用jquery以及layui来对于系统前端进行编写，并且运用了大数据技术来对于系统数据分析的优化。前沿的技术可以帮助高校招生部门更好、更方便地管理高校招生数据。当时因为时间和技术的约束，我们还有许多的地方没有好好完善。因此。笔者会更加努力地完善此系统。

参考文献：

[1] 张泽，李良，李晓峰.大数据时代下高校决策支持系统筹划与探索[J].邢台职业技术学院学报，2014，31（6）：42-46.

[2] 许燕青.民办高校招生数据分析与预测[D].泉州：华侨大学，2019.

[3] 王炳堃.基于OLAP民办高校招生数据智能分析系统的设计[J].信息技术与信息化，2019（8）：108-110.

[4] 职晓晓.数据挖掘在高校招生中的应用研究[D].天津：天津工业大学，2018.

[5] 蔡中兴.大数据时代下高职新型招生管理系统的研发[J].广东技术师范学院学报，2016，37（8）：112-115，129.

[6] 刘进，陈建.中国高校自主招生地方保护主义的大数据分析[J].上海教育科研，2016（5）：5-10.

【通联编辑：代影】