关于在线教育企业数据中心系统架构的研究
2020-09-12罗攀马渊
罗 攀 马 渊
(1.重庆电子工程职业学院 重庆 401331;2.渝中区公安分局网络安全保卫支队 重庆 400044)
信息技术的发展推动了社会的进步,以教育行业为例,互联网的发展给教育的改革提供了强大动力,引领了教育的线上化。在线教育不同于传统的线下教育,它是指以互联网为媒介,完成教学和学习的行为。在线教学模式具有很多优势,比如,身处不同地点的不同人群可以同时参加学习,师生的交流更加多样化,教学形式更全面,教学管理可以实现自动化等[1]。
一、研究背景及目的
2020《中国在线教育行业市场前瞻分析报告》显示,2020年在线教育的市场规模超过2000亿元,用户规模超过2.3亿人。如此庞大的市场规模和用户量,使在线教育行业产生了海量的数据。众所周知,数据是非常重要的战略资源。通过数据,我们可以总结过去、预测未来,也可以发现当前的不足从而进行调整。在线教育行业的数据种类繁多,比较重要的有:学员的学习数据、学员市场的情况、行业本身的发展等。通过大数据和人工智能等新技术,对这些数据进行处理,可以达到更加精准地匹配目标客户,提高企业的服务质量,扩大行业利润等目的。因此,建立一个安全、科学的数据中心,为在线教育企业提供决策和服务是很有必要的[2][3]。
二、需求分析
在线教育企业的运营模式一般是这样的:企业先制订主营业务,然后通过广告吸引目标客户,当客户通过浏览广告或其他途径了解之后有报名意愿时,及时和企业签订合同并支付完成交易订单。订单形成之后企业为学员提供服务,给学员制订计划并完成授课,服务期限结束整个服务流程随之结束。如果学员在服务期间不满意或有其他特殊情况可通过投诉解除合同。通过对在线教育企业的运营过程分析,我们把数据大致分为广告数据、订单数据、授课数据和服务数据四大类。首先,企业在一些大众广告平台投放广告,如今日头条、百度等,当目标客户浏览到广告欲进一步了解时,企业咨询人员在线提供咨询服务。学员认为符合自己的期望有意购买时,销售人员引导学员签订合同,这一过程完成后就会产生广告数据和订单数据。学员签订合同后接受企业的服务,企业讲师对学员进行授课或进行其他教学活动,该过程产生大量的学习数据。同时,企业通过建立论坛、群聊等,供学员反馈问题和投诉,同时加强用户的粘性,这也是非常重要的数据。根据前面的分析,得出在线教育企业的数据组成和数据流向,如图1所示。
图1 在线教育企业的数据组成及流向图
三、数据中心总体架构及层次结构分析
根据上述对在线教育企业数据的需求分析,结合广告数据、订单数据、授课数据、服务数据这四类数据的特点和数据流向,我们设计了数据中心。该数据中心主要是为企业的在线教育系统服务,给在线教育系统的后台提供接口调用,保证数据的实时性、准确性和安全性。鉴于此,我们设计了数据中心,其整体架构如图2所示。
图2 在线教育企业的数据中心架构
从数据中心的架构图可以看出,其主要结构分为5层,最底层是数据库层,包括MySQL、日志信息和文件信息等,其主要目的是存储一些原始数据和日志信息。第二层是数据同步层,在线教育每时每刻都有大量数据产生,广告数据、订单数据都在实时刷新,这就需要进行数据同步,我们通过阿里开源的数据抽取工具canal对原始数据表进行抽取,通过kafka工具进行实时推送,保证数据的实时性。第三层是数据存储层,该层起到承上启下的作用,对下层数据处理之后给上层接口提供数据来源,其主要采用的是redis存储系统,周期性写入底层数据,从而实现主从同步。对一些离线查询需求或跨表处理,我们采用Hbase数据库来存储。第四层是数据处理与查询层,由于下层已经对原始数据进行了抽取、存储,该层可以直接应用,该层使用Spark或ElasticSearch等工具完成数据处理和查询功能。第五层是数据接口层,通过下层复杂处理后的数据可以给外部系统提供接口,这些接口为在线教育企业系统的后端和一些报表提供调用。这五层的流程完成之后,从最开始的原始数据到最终形成数据接口给其他的系统开发人员使用,数据中心在功能方面的整个工作就完成了。
四、结束语
结合前文叙述的需求分析和结构设计,对于在线教育企业来说,拥有一个结构层次分明、数据处理高效的数据中心是至关重要的。通过数据中心,企业的研发人员可以利用各种各样的数据指标研发出不同类型的报表,通过这些报表,企业就可以对当前的运营状况做到精细化掌握,并能及时发现当前企业在经营方面面临的问题,并及时做出科学的决策部署。另一方面,企业的产品经理可以利用这些数据开发出不同的产品,而推广和销售人员也可以使用这些数据为企业开拓更为广阔的市场,进而为企业带来更多收益。
本文设计的关于在线教育企业的数据中心架构,使用了当前互联网行业一些最先进的技术手段,我们先对在线教育企业的数据的组成和结构进行了详细分析和总结,再对相关技术手段进行调查研究,最后使用结构化的原则对数据中心进行分层设计。整体结构科学,技术手段先进,可以给在线教育企业的数据中心建设提供一些借鉴。