校园大数据实训室建设和实践

■ 甘肃 段晓东

编者按：为满足教学需求，笔者搭建了大数据实训平台、开发了大数据实训课程、资源库以及题库等，帮助教师和学生顺利开展线上教学活动。本文笔者从设计、运行与管理等方面具体介绍了这一建设方案，供读者参考。

基于云计算架构建设实践创新型大数据实训室，为高校提供完整的数据科学实验平台，重点建设专业教学资源以及实训、教学科研环境，满足课程实验、课程设计、实习实训、科研训练等多方面需求，帮助学生学习课程内容，提高动手能力，激发学习兴趣。

建设内容

1.搭建大数据实训平台

涵盖实训教学、考试、管理，帮助学生快速掌握应用大数据技术的技能。

2.开发大数据实训课程

结合大数据实训教学知识体系，开发大数据实训课程，充实教学实训平台的课程内容。

3.开发实训资源库

结合大数据知识，设计开发教学案例、数据和算法。

4.开发试题库

结合实训课程内容，开发课程试题库，用以学生的课内外练习及考核。

项目效益分析

大数据实训室建设，能快速引入大数据技术、成熟的解决方案以及管理和教学内容。另外，实训室的建设将使学生掌握主流技术，分享大数据应用项目实践经验。

业务流程、业务功能和业务量分析

大数据实训平台承载了课程教学、试题库练习、案例分析等教学内容。采用传统的课堂学习结合在线案例实训的混合教学模式，可以使学生在传统课堂进行理论课的学习，在平台上进行案例实训学习、在线练习和在线考试；老师在平台上发布各类课程、试题库和案例库。

平台采用分布式存储和计算引擎，每位实训学生最低需要4核CPU，8 GB内存进行实训，同时预留30 %的CPU和内存资源维持正常运转。总共需要4×50＋60=260核CPU，520 GB内存资源。

实训平台面向三类用户：学生、教师、系统管理员。学生在在线实训平台完成大数据业务场景的数据采集、预处理、分析挖掘和数据可视化等大数据仿真实训操作，全面掌握大数据的理论和技能。

教师通过平台发布大数据实训课程、案例和试题等教学资源，并对学习过程进行管理，包括排课、考勤、考试等教学管理，做到因材施教，方便与学生形成一对一的互动和沟通，实时掌握学生的学习状况。

管理员全程参与监控运维平台，具体包括用户权限的管理，对服务器、网络、数据库等支撑平台进行统一管理和控制；全面监控平台的运行情况，包括系统内集群使用情况，人数上限和当前使用量情况；支持调整集群配额，如改变集群节点个数、内存、CPU配额等。

平台总体设计

1.硬件部分

硬件部分专门提供面向大数据集群的硬件要求，服务器6台，内存要求≥128 GB，千兆交换机2台，多电脑切换器一个，理线器6个，光纤跳线10个，PDU电源4个，品牌42U机柜一个。如果资金宽裕一点，可以直接采用刀片式服务器，内存扩充到16×16 GB，刀箱采用12U，可安装在标准机柜中，支持半宽和全宽服务器混插，每个机箱可配置2个8路节点。交换模块在不影响刀片部署密度的前提下支持网络直通扩展方案，同时支持不低于4个网络交换机。本次配置2个网络交换模块，每个交换模块配置8×1 GE＋8×10 GE。配置16×10 GE SFP+多模模块。

光纤交换机直接采用24端口8 GB光纤交换机，存储可采用SAN存储，粗略估算：1个学生最多5个VM，一台虚拟机100 GB大小，50个学生上机最多2500 GB，300个学生备份按照100 GB×300计算，总共需要33TB，同时需要考虑Raid冗余，因此最少需要50 TB存储。

存储系统的设计需满足横向扩展能力和容错能力，其中横向扩展能力指根据需求增加不同的计算和存储容量，依靠多服务器、存储协同运算，借负载平衡及容错等功能在确保可靠度的前提下提高运算以及存储能力，适应未来教学任务的不断增加。容错能力指保证整个大数据分析系统的稳定性鲁棒性，在技术架构设计上需要考虑服务器节点发生宕机、故障时整个集群系统仍能保证提供分析服务以及数据的不丢失能力。

2.软件部分

大数据分析平台，包括分布式批处理，实时计算引擎、机器学习算法、分布式文件和数据存储等方面的技术能力支撑，用以支持实训课程中数据预处理、特征提取、模型构建和优化分析等操作。

3.教学案例包

教学案例包用于为学生提供多场景的大数据分析案例，帮助学生从真实案例中了解大数据的应用，各种算法的使用，各种数据处理的使用。

4.网络系统设计

依托现有网络设备，万兆交换机2台，提供万兆以太网接口支持基于端口的划分VLAN；支持组播标准LGMPV1/V2/V3;支持ARP攻击防御，ACL等安全功能。

5.备份系统设计

数据平台应采用分布式文件系统，多机器容错。另外配置离线备份系统，保证数据不丢失。

项目建设与运行管理

为协调系统建设中出现的问题，笔者单位成立了领导小组，落实相关人员的职责，执行领导小组的决策，协调具体工作的实施，并对系统建设情况进行定期检查和监督。在项目质保期内，由学院项目负责团队和项目承建单位共同承担项目的运行维护工作。在质保期后，由学院项目负责团队承担运行维护工作，同时由项目承建单位提供相应的技术支持。