基于应用型高校的大数据实验室建设研究

蔡宇

摘要：随着互联网、移动互联网、云计算、企业级软件的快速发展，企业数据量已呈几何倍数增长，大数据技术应运而生，高校大数据实验室的建设势在必行。该文首先对高校大数据实验室建设的必要性进行了分析，然后列举了目前高校实验室中存在的问题，在此基础上，阐述了大数据实验室建设的理念，并提出大数据实验室的建设方案。

关键词：大数据；云计算；大数据实验室；理念；方案

中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2018）17-0001-02

1 必要性

移动互联网、电子商务以及社交媒体的快速发展使得企业需要面临的数据量成指数增长。在中国以Hadoop、Spark、storm、数据库一体机以及内存计算技术为代表的大数据相关技术，从互联网企业，到电信、金融、政府这样的传统行业都在大规模应用，特别互联网公司利用大数据进行大数据云存储、大数据分析和深度学习，应用场景也在逐渐拓展，从结构化数据的分析，发展到半结构化、非结构化数据的分析。

目前，许多高校申请了云计算与大数据专业，未来相关专业的学生需要分别从原理、技术与应用等不同的角度掌握大数据分析的理论与分析方法，除了课堂学习，还需要通过实验来加深理解和提高实际应用操作能力。而大数据相关实验所需要的算法、计算环境以及数据等，都无法在现有的实验室中完成。因此，建设大数据实验室是十分必要的。

2 目前高校实验室中存在的问题

目前高校现有的实验室中普遍存在以下问题：

2.1 基础实验设备匮乏

大数据实验硬件配置要求高，学校无法为每个学院提供大数据集群实验环境。

2.2 基础实验环境薄弱

大数据分布式软件系统部署、配置、维护难度大，实验环境不容易保持；大数据分布式软件系统安装、配置难度大，实验环境容易被破坏；实验数据、实验教案、实验手册不足，实验开展束手束脚；大数据实验室比较欠缺。

2.3 实验教学标准缺失

大數据组件更新速度快，实验难度大，实验步骤繁琐，实验教学缺乏统一的标准规范。

2.4 项目实训案例稀缺

缺少大数据项目实训，难以培养实用型人才所需的专业项目能力。

2.5 课程体系待完善，大数据教学科研入门难

各大学校的大数据专业处于起步阶段，人才培养课程体系缺乏系统性；大数据教学科研资源匮乏，可配置和指导实验环境的专业师资不足。

3 大数据实验室建设理念

针对上述问题，结合大数据的特点，提出大数据实验室建设的理念如下：

3.1 理论与实践相结合

理论与实践相结合是知识经济背景下历史发展的必然要求。在知识经济社会，高校是理论产生和传播的主体，积累并传承专业方向理论知识，指导学习者的实践活动与生产技能训练。多国国际知名高校案例经验表明，对于我国起步较晚的大数据学科方向建设发展，该专业应在理论与实践相结合的基础上侧重于实践，才能厚积薄发、赶超国际水准。

3.2 适应社会人才需求

高端大数据人才培养是大数据实验室建设的重要目标。当前各地院校在人才培养过程中必须以社会岗位的实际需求作为根本出发点，深入了解电信、零售、电力、银行、证券、期货、基金等众多行业机构对大数据学科高端人才的需求。根据权威调查，2015年以前，大数据将在全球范围增加440万就业机会。

3.3 坚持创新

创新必须是与时俱进，国内信息技术的发展为大数据的创新提供了沃土，但这些远远不够。大数据教学实验室建设首先树立创新机制、激励制度；其次是尊重鼓励创新人才；再者是为了大数据创新提供必要的物质条件。各类院校都可以选择一条适合自己创新理念和模式，有利于促进院校跨越式发展与品牌影响力提升。

3.4 专业深度与广度

专业的深度与广度并重是加强大数据实验室建设与创新的基本条件，也是大数据产业发展的必然目标导向。不断纵向深入大数据的研究和创新大数据新的专业方向交叉点是推动新理论、新技术、新产品的必要条件。深度建设有利于大数据解决更为深层次性的大数据问题及工具方法创新；广度可以使大数据与更多专业相结合，发展更多前沿方向与分支研究领域，同时也有利于解决各行各业出现的大数据的问题。

3.5 产学研一体化

坚持产学研一体化建设是科教兴国战略中必然的制度安排。在科教兴国战略体系中，教育、科研、生产相结合是一项重要的战略措施，国家出台了一系列政策法规支持高等学校推行教育、科研、生产相结合。当前国内，一方面产学研合作没有形成很好的发展模式，另一方面部分院校对大数据方向定位及建设理念不恰当，从而造成国内大数据的研究成果能够解决国内大数据行业问题的不多，院校亦不能从这个模式中为其获得长久的发展经济动力。

3.6 院校特色定位

在借鉴国际经验和标准基础上，各类院校在建设大数据实验室的过程中，应该按照各自的总体发展目标为核心，依据自身区域、师资力量、专业方向优势定位，采取不同模式的专业方向建设来确定自身的发展特色定位。我国经济发展各区各省都呈现不均衡状态，各行各业改革发展深度不一致，为院校大数据学科方向建设的特色定位提供了发展空间。

4 大数据实验室建设方案

大数据实验室整体方案可以划分为六个层级，如下图所示：

4.1 大数据平台层

该平台应选择基于业界最先进的硬件平台，应是一个包括了数据存储、数据整合、数据分析与处理以及应用API服务的综合产品。在满足批处理的基本功能上，既支持企业级的数据整合与处理，又整合了多种开源的ETL以及数据处理和分析工具；既包括了内存式数据分析（Spark）引擎，又支持Ad Hoc查询；既提供了实时检索引擎，又支持深度分析和挖掘工具。

4.2 平台管理

可对平台中的集群（服务/主机）、分布式作业、分布式调度、Hive表以及Hive数据、Hbase表、Hbase数据、Hive数据等进行可视化监控和访问。

4.3 可扩展的课程体系

一方面，大数据课程体系根据不同学历和职业方向设置不同的课程学习路线，针对每门课程提供教学实验指导手册、在线视频、资源包、实验示例代码等，让学生学以致用。通过在线学习、原理验证、实训应用、综合分析及自主设计等多层次的实验操作，为大数据教学提供一个完整的一体化的实验教学体系。

另一方面，在大数据实验教学平台中结合实际需求，能够构建全新的实验教学课程的教学计划和能力测评，从而满足可持续的拓展与完善在大数据实验教学平台上开展各种实验教学课程需求，建立更多不同的实验教学课程应用。

4.4 大数据行业项目案例

提供行业典型项目案例及行业数据，项目涉及互联网、运营商、金融、电子商务、政府等10多个领域，每个项目案例都配备项目指导手册、讲解视频、行业数据及项目代码。

每个教学项目案例包数据量应达到GB-TB以上，均为真实数据，每个案例有详细的分析步骤。通过完整的端到端到业务流程演示与上机操作训练，让学生真正了解大数据行业背景以及企业实施技术需求。通过极具针对性的训练，動手操作，使学生在最短时间内得到应用技术技能的提升，理进一步满足职业岗位对工作技能的需求。

4.5 教学系统

教学系统应合理对大数据平台资源集中调度和管理，构建各门课程所需的软件系统，支持较全面的大数据高级特性，经过专业的性能优化和软硬件集成测试，保证高性能与稳定可靠运行。

4.6 科研系统

通过大数据分析平台、数据挖掘平台，可以充分匹配教师科研需求，提升教师的科研创新能力，有效提升科研成效。

5 结束语

本文对大数据实验室建设的理念从六个方面进行了阐释，符合目前高校建设大数据实验室的需求，具有一定的参考价值。在大数据实验室的建设方案上，本文将大数据实验室划分为了六个层次，每个层次作用鲜明，适用范围广，具有一定的实用价值。

参看文献：

[1] 吴明念. 基于应用型高校的大数据实验室探究[J]. 电脑知识与技术， 2015，11（16）.

[2] 王鹏. 云计算与大数据技术[M]. 北京： 人民邮电出版社， 2014.