基于大数据技术的高校学生信息管理系统设计

唐婷，聂丽霞

（陇东学院 数学与信息工程学院，甘肃 庆阳 745000)

0 引言

随着高校“三全育人”综合改革的推进，学生管理工作呈现出新的特点，承担学生管理工作的部门和个人逐渐增多，工作内容逐层细化，时空管理面扩大，工作途径多元化。精准、全面、实时掌握学生信息是做好学生管理工作的前提，而大数据技术是掌握学生信息的一把利剑。目前，已有学生大数据采集、学生定位、学生画像等方面的相关研究。设计数据源层、数据存储层、数据处理层、应用层共四层开发基于大数据处理技术的学生管理系统，实现学生管理信息共享，完成学生学业、行为、心理健康等方面的监测，提高学生管理效率，提升学生管理工作水平。

1 关键技术分析

1.1 大数据技术

大数据是指在预期时间内用传统数据处理工具无法完成数据获取和处理的数据集。与传统数据集相比，数据生产速度快、数据体量大、数据结构复杂、数据价值密度低是大数据的基本特征。但较传统数据集而言，大数据的根本优势并不是庞大的数据集，而是通过反复加工之后获得的有效信息，从而提升数据的使用价值和经济价值。

大数据处理过程包括数据采集、存储、管理、分析和可视化。单台计算机难以满足大数据处理海量、高速、并行的要求，常用分布式数据处理技术来解决这一难题。Hadoop生态系统是目前基于大数据技术进行系统开发的主要工具，包含了MapReduce、HDFS、HBase、Hive、Sqoop等子项目，可满足大数据处理需求[1]。

1.2 物联网技术

物联网是指通过无线射频技术、传感器技术、嵌入式技术、网络技术等实现设备或人员互联互通，是“物物相连”的网络。物联网中的每一个设备或人员拥有唯一的射频识别码，该码具有识别、定位、跟踪、通信等功能，是大数据采集的重要手段，也是大数据处理技术发展的基础。目前，高校已普遍使用了校园卡以方便学生考勤、图书借阅、校内消费等，校园卡便是应用了物联网技术，卡中预置了电子标签，提前写入学生姓名、学号、所属班级等基本信息，是学生在校园卡管理系统中的身份标识。射频识别手机卡将校园卡与手机卡相结合，两卡合一，方便携带，学生在手机端绑定校园卡账号，即可充值、消费、查询信息，提高了校园卡的安全性能和利用率，加速了智能化数字校园的形成[2-3]，是基于大数据的学生管理系统的主要数据收集来源。

2 高校学生信息化管理现状

2.1 高校学生信息化管理的不足之处

学生管理工作是一盘统筹兼顾的棋，教务管理、财务管理、就业管理、后勤管理、安全管理、心理健康管理等需要各部门分工合作、密切配合，正确、实时、全面的学生数据是进行学生管理的重要资源。然而，现实中受上级部门管理、学校发展规划、财政支持等原因，学校内各部门信息化管理建设程度不同，或未实现信息化管理，仍处于纸质化办公阶段，或使用不同的信息管理系统，数据难以共享，并且现有信息管理系统只提供基础的增删改查功能，没有对数据进行分析，造成现有数据浪费。学校没有完善、统一的学生信息管理系统造成学生和老师数据重复报送、事务办理流程复杂、各部门之间数据认可度不高的局面，增大了数据规模，加剧了数据生产速度，各部门数据结构、数据标准、存储方式、安全级别不一致使得数据利用率低下，难以适应学生管理工作实时性、科学性的需求。

2.2 高校使用大数据进行学生管理的有利条件

高校大力发展智慧校园，已普遍实现校园网络全覆盖，高速的校园网络通信设备及现有的各类信息管理系统，为实现基于大数据进行学生管理工作提供了基本的软、硬件条件。学校通过开设信息技术类课程对大学生进行信息素养教育，通过“互联网+”、信息技能大赛等途径提高大学生信息实践能力，较社会其他群体而言，大学生信息素养水平较高，接受新鲜事物的能力强，学生管理工作者在管理中积累了丰富的工作经验，但常常受现有条件的制约，为学生提供便利和做好服务依然困难重重，所以建立全校统一的数据库，打破部门之间的数据壁垒，通过大数据技术及时掌握学生思想、学习、生活等方面的现状，实现校园安全、学生心理健康、卫生健康动态管理，是高校学生管理工作者的迫切愿望。

3 基于大数据的高校学生管理信息系统分析

3.1 系统目标分析

基于大数据技术的高校学生信息管理系统为建立全校统一的学生信息管理数据库提供良好的软、硬件接入能力，识别和对接多类终端产品，满足用户访问系统的设备个性化需求；通过大数据技术对学生数据进行采集、存储、清洗和挖掘，为全校学生建立信息化档案；通过数据分析技术和可视化技术对校园安全状态、校园流行病趋势、学生就业分布、学生心理健康现状等提供图形化显示。用户通过授权账号登录系统，不同身份拥有不同操作权限，可在相关页面上传、下载、查询、修改信息，便于学生管理工作者全面掌握学生动态信息，同时也为学生获取校内信息创造便利条件，提高学生管理精细化、及时性、针对性水平。

3.2 系统功能需求分析

基于大数据的高校学生管理系统分为学生基本信息管理、教务信息管理、学工信息管理及后勤信息管理4大功能模块，数据真实性、实时性、有效性分别由学生所在学院、教务处、学生处、后勤处负责。学生、部门（院系）管理员、学校管理员是该系统的三类用户，学生学籍信息由教务信息管理部门导入系统，学生首次登录系统后，完成密码修改并完善个人信息，便可访问系统的其他功能模块。部门（院系）管理员账号由学校管理员分配，登录后对本部门（院系）负责的信息进行上传、下载、修改、删除、发布、锁定、加密等，对其他部门（院系）的信息可查看、下载。学校管理员登录系统后可查看系统的所有数据，根据业务需要开放、添加、删除、锁定部门（院系）的功能模块。系统功能模块图如图1所示。

图1 系统功能模块图

1) 学生基本信息管理。学生学籍信息由教务管理部门从后台导入，包含学生姓名、学号、性别、出生年月日、身份证号码、所在学院、所学专业、所在班级、入校时间等。学生登录系统后可查看以上信息，并完善个人联系方式、宿舍、家庭住址、兴趣爱好、家庭经济状况等。通过射频识别校园卡采集学生定位数据，可显示学生出入校园、宿舍、图书馆等时间信息。

2) 教务信息管理。教务处是教务信息管理的责任部门，发布课程信息、竞赛通告、参赛进展等，学生在此模块可查询本专业课程体系设置、本学期全校开设的所有课程，查询、打印本人学习成绩单、课表，接收各类竞赛通知，查询已参赛结果。学院管理员可导入本学院学生成绩，对成绩不合格学生发出学业预警报告。

3) 学工信息管理。学生工作处负责学工信息管理，发布各级三好学生、优秀学生干部、奖学金、助学金评定政策，定时开通各类评先奖优申请通道，发布就业信息、服兵役信息等。学生可对以上信息进行查询、在线申请奖补助、完成已就业登记、服兵役登记。院系在此模块中可对本学院学生分配宿舍、导入班主任信息，对学生申请的各类补助信息查看、汇总、审核并导出结果。

4) 后勤信息管理。后勤保障处发放学生校园卡，对校园卡在线绑定、挂失、充值等业务进行管理，发布院系宿舍信息，发布校园健康信息，安排全校心理健康普查活动，发放心理健康调查问卷，设置心理健康在线辅导。在大数据分析的基础上对校园流行病发布预警。学生绑定校园卡后，在校医院就医或购药、校内超市购物、购买水电可使用校园卡结算，在客户端进行心理健康在线咨询和线下预约，图书借阅、出入校园等信息也将实时上传至校园卡管理系统，并被进一步采集到学生信息管理系统中。院系在此模块可查看、修改本学院学生相关信息。

4 基于大数据的高校学生管理系统设计

基于大数据的高校学生管理系统采用B/S（即Browser/Server，浏览器/服务器模式）开发模式，即浏览器请求，服务器响应。访问终端只需要通过Web浏览器即可登录系统进行身份验证，Web服务器受理访问请求后，数据库服务器存储数据信息并提供访问结果，Web 服务器再将访问结果反馈给用户，从而实现数据交互[4-5]。为满足大规模、多源异构数据处理的实时性，并能进行模型分析，本系统开发主要使用Hadoop 开源组件，程序编写使用Java 语言，采用分层设计，分为数据源层、数据存储层、数据处理层和应用层，上层可以向下访问，下层为上层提供服务。系统功能架构图如图2所示。

图2 系统架构图

4.1 数据源层

系统数据源层的主要任务是为系统采集数据。与学生相关的数据主要来自三个方面：其一，学生访问互联网数据。高校校园局域网架构和无线网覆盖为数据采集提供了便捷并且安全的途径，学生访问互联网需要登录校园网授权界面，输入学号和密码进行验证。网络访问日志可使用Hadoop的Flum组件进行采集。此类数据格式多样、数据量大、生成时间自由；其二，校园一卡通数据。一卡通记载了学生的图书借阅、餐厅用餐、门禁管理、充值等多项数据，通过校园卡管理系统即可获取；其三，相关部门从各类管理系统中导出或日常管理工作中产生的数据，涉及学生学籍、成绩、资助、奖罚信息，此类数据可通过系统接口导入到学生管理信息数据库中。系统数据源呈现出结构化、半结构化和非结构化数据共存的特点。Flum是数据源层中最重要的大数据信息采集工具，它可以收集分布在多台服务器上的日志数据、社交媒体数据等多种数据源，并将它们移动到HDFS存储。

4.2 数据存储层

数据存储层主要用于存储学生信息源数据、预处理数据、系统用户数据和用户交互结果数据。结构化数据可在MySQL数据库中保存，半结构化和非结构化数据使用非关系型数据库HBsase 保存，HBsase 数据表分两级建设数据属性，即列族和列限定符，其中列限定符可后续动态添加，方便系统管理员根据实际需求设置新的表结构。HDFS 支持高吞吐量访问，可将数据存储在多台校园服务器上，易于扩展并且可有效避免数据集中在单一服务器上发生的宕机问题。Sqoop 可方便地实现MySQL 数据库与Hadoop 之间的交换，Flume 完成数据源的多途径采集，所以，通过Sqoop组件和Flume组件将数据批量导入到HDFS中，为数据处理做好准备，并且将数据备份到其他目录中。由于学生信息包含个人隐私，所以在本层还会对原始数据进行脱敏、清洗，再将各类格式的数据通过转换、加工、融合等预处理，建立统一的数据处理单元，提取数据特征，为系统提供可靠的数据处理集。

4.3 数据处理层

数据处理层不但要为用户访问系统传输数据，还要结合数据计算模型对学生学业成绩、活动轨迹、校园消费、图书借阅等数据进行分析。采用聚类算法、关联规则挖掘算法对学生进行特征分类，基于历史数据和学生个人特征，对学生进行心理健康监测、学业预警、职业规划等。本层利用Hadoop 各组件自带的对外API 接口将HBase 和Hive 连接和联合，以SQL 或类SQL 的Hive_SQL 语言可直接对两个数据库表的结合访问，包括数据读写、查询、统计、分析，方便批量管理HDFS中的相关数据，提升数据处理效率和准确性。

4.4 应用层

应用层是用户访问系统的接口，也是系统向用户提供数据的窗口，通过调用下层数据向本层提供访问结果。Hadoop 的文件访问接口通常是JavaAPI 形式，与Java 具有良好的交互能力，使用Java 语言编写GUI界面。在此系统中，除了常见的系统访问界面外，将查询结果以图形的形式展示给用户，安装JavaScript开源组件Echart，实现数据可视化功能[6-7]，包括直线图、曲线图、柱状图等，满足用户交互式图形分析需求。通过可视化报表，学生管理工作者可了解学生学习困难、行为倾向、兴趣爱好等，以便及时采取干预措施和制定培养策略，学生能查看自身学业、健康、图书借阅、自习、行为习惯等在周围人中所处的水平，为学生认识自我、争先创优提供一定价值的参考。

5 结论

大数据技术在学生数据采集、数据存储、数据处理中可发挥重要作用，数据可视化能够为管理员提供更加简明的数据分析结果，使学生信息管理更加科学、直观。将大数据技术应用于学生管理信息系统的开发，对各部门现有学生信息进行迁移和整合，对学生实时产生的数据进行采集，建立全校统一的数据库，实现学生信息同步化、多维度地查询与应用，提高数据利用率，在较短时间内将海量数据转变为宝贵的信息，为学生提供可靠及时的信息获取渠道，有效提升学生管理工作效率，并创新学生管理工作方式。