基于云平台的数据处理系统开发

方奇超,刘华金

基于云平台的数据处理系统开发

方奇超,刘华金

浙江越秀外国语学院, 浙江 绍兴 312000

数据处理系统主要是加工和整理各种数据信息，计算出相关的分析指标，在各行业中应用广泛。本系统处理的是高校招生数据，以Citrix技术和云平台为依托，弥补了传统C/S结构的不足。整个数据处理流程包括数据预处理、数据转换、生成新生数据、数据加工、数据统计等，全面实现招生数据的处理工作。在用户友好度方面，本系统提供了自定义规则功能，包括分班规则自定义、学号流水号的顺序自定义等，使用户的操作更加方便。

数据处理系统; 云平台; 数据转换; 数据统计

数据处理系统（Data processing system）是指通过计算机处理数据信息而构建的系统[1]。该系统的功能主要是加工和整理数据信息，并经过计算得出相关分析指标，使信息形式更容易被人们所接受，最后在数据库中储存已经处理的信息。数据库是系统的核心节点，计算与储存工作都在数据库中完成，常用的数据库有Mysql、Oracle等。云平台（Cloud platforms）则是一种开放型的共享平台，允许已经写好的程序在“云”里运行，或是提供相应的云服务，或两者皆是[2]。基于云平台的数据处理系统，能够有效提高系统运行效率，降低投入的成本。Sotiriadis等将“软件即服务”、“附着服务”等云平台核心理念引入到数据处理系统开发中，有效提高了数据处理系统的服务效率[3]。Shafiq SI等借助云平台Hadoop的分布式文件系统和分布式并行计算框架，构建海量数字图像数据处理系统，实现海量数字图像信息数据的挖掘和处理[4]。本文以基于云平台的招生数据处理系统为例，对高校招录取数据的转换与统计进行介绍，并实现该系统。

1 系统设计

1.1 系统实现技术

高校招生数据处理系统的主要功能是转换录取数据并进行相关的统计，软件系统采用C/S结构，系统开发语言为pb10.0。传统C/S结构在部署程序方面有着较高的成本，用户使用系统要安装客户端软件，当系统更新后，还需要重新安装客户端[5]。因此，此次设计使用新型客户端服务器技术Citrix，并将服务器部署在云平台上面，形成一种基于云服务器的网络计算模式。Citrix本身有客户端与服务器端，但客户端软件安装于服务器中，因此用户无需下载和安装客户端，而是通过网页登录即可访问系统，由此达到了统一部署和版本控制的目标[6]。Citrix服务器可以根据用户填写的登录信息，有效识别用户身份并控制权限，大幅降低服务器与客户端的流量，并提高了系统访问效率及安全性。

1.2 系统功能模型和数据模型

基于云平台的招生数据处理系统需要实现录取数据的接收与转换，同时生成新生数据，然后统计分析新生数据。由于招生业务阶段性比较强，整个操作过程环环相扣，按照这一特性设计系统功能，使系统功能部署与招生业务顺序相一致，用户操作更加方便。系统功能模型如图1所示。本系统的核心是处理录取数据，考虑到招生业务存在多阶段，每一阶段的数据内容和构成有所不同，因此系统需要按照不同阶段，归纳分析相关的业务数据。系统数据模型如图2所示。

图 1 系统功能模型图

图 2 系统数据模型图

2 系统实现

2.1 数据预处理

招生数据处理系统首先需要对高考录取平台的录取数据进行接收，这一步骤为数据预处理。系统从高考录取平台下载dbf文件，并根据格式与数据的对应关系储存到系统中，为后续数据处理奠定基础。数据预处理的操作步骤如下：首先系统对招生录取数据进行读取，其中主存储数据为t_tdd.dbf，选择该文件之后，系统会自动在文件列表中显示其余的dbf文件。其次系统对数据进行合成，根据上一步骤所获得的数据情况，将所有数据按照dbf文件标准实施汇总操作，形成一个大数据表，然后生成新生通知书号。

2.2 数据转换

由于录取数据的编码规则与校内系统有所不同，因此需要按照双方对应关系进行一定的数据转换，才能使录取数据在校内系统正常使用。转换操作主要分成两个阶段：第一阶段形成专业对应关系，包括学院名称和专业号、专业名称相对应；第二阶段进行专业转换操作，可以根据专业名称进行转换，或者根据专业号进行转换，本系统按照专业号进行转换，由于录取数据的专业名称定义可能与校内定义有所不同，因此还要根据专业号更新相应的专业名。

2.3 生成新生数据

按照录取数据的后续用途不同以及迎新数据要求，本系统的新生数据包含如下：（1）新生的基本信息；（2）新生的录取成绩；（3）监护人信息；（4）新生的户口信息；（5）新生的社会关系信息。系统接收到这些信息之后，在一个大数据表中进行汇总，然后根据数据主题的不同实施拆分操作，将各种数据信息编入到相应数据表中，以便后续的数据处理及导出。新生数据库生成之后，可校验各种数据，确保数据接收与转换不会发生错误。

2.4 数据加工

当新生数据库生成之后，相关数据的关键字段依然是录取通知书号，而校内系统主要以学号作为身份识别手段，因此还需要进行数据加工。学号生成序列通常是以班级作为依据的，因此首先要进行分班。新生的分班通常要遵循一定规则，例如成绩好的学生要平均分配到各班，同一专业下的男女生分配也要均匀。为使用户操作方便，本系统使用自定义分班规则，即用户可以按照实际需求对分班规则进行自定义。但分班时可能会出现特殊情况，例如某个专业里只有两位女生，则需要将她们分在一个班内，使女生之间有所照应，这种情况下用户动态设置就难以实现，只能体现在程序代码之中。同时本系统具备数据校验功能，可以实时校验分配情况，确保分班结果的正确性。分学号则是以分班为基础，为每一位新生分配独一无二的学号。本系统的学号信息共有10位数字，其中前4位数字是招生的年份，中间2位数字是招生的类型，最后4位数字是流水号。在本系统中，流水号生成的顺序也可以自定义，从而使用户可以按照实际情况对流水号生成方式进行及时调整。

2.5 数据统计

统计招生信息是学校招生工作的一个重点。当编制新一年的招生计划时，需要按照上一年招生结果实施调整，因此在招生数据处理系统中，数据统计模块必不可少。本系统的统计功能可以覆盖所有的招生数据，包括招生计划执行情况统计、新生基本情况统计、按专业分类人数综合统计、各录取类别新生人数统计、各专业高考投档分、平均分统计、报到率、生源地、民族等。此外，本系统还能统计多年份数据，只要对当前年份或历史年份进行设置，即可实现相应的统计报表，这样使用户归档操作更加方便，同时还能为报考指南等相关宣传手册提供数据。

3 讨论

近年来，基于云平台的数据处理系统越来越受到学界关注，并引起学界广泛讨论。张丽勇针对当前内河航运中船舶吃水存在的诸多问题，提出一种基于云平台及超声波技术的船舶吃水实时检测系统，可以实时监测和处理异常数据，并对船舶吃水数据进行分割，从而获得准确的船舶吃水数据[7]。范磊等提出以云数据、云计算为核心的农业大数据分析云平台设计方案，其中云数据采用分布式数据处理方式，以更好地处理多源异构数据，云计算由提供模糊控制等算法的基础运算层和提供生产销售等分析模型的分析模型库组成[8]。李洁珊等提出了一种基于Open Stack的输电线路数据云平台架构，共分数据采集层、数据中心层、应用层、接入层四个层次，充分利用Open Stack技术灵活性、松耦合、开源性的优势，提供实施简单、可大规模扩展的云计算管理平台，实现了云主机、云硬盘、对象存储及关系型数据库等服务[9]。从总体情况看，基于云平台的数据处理系统相关研究虽然取得了一定进展，但还需要进一步创新研究方向，才能使数据处理系统在各领域得到更好的应用。

4 结论

在云计算和大数据技术的快速发展下，传统的数据处理系统有更多的开拓和创新途径。本系统基于云服务器实现网络计算，采用先进的Citrix技术，有效弥补了传统C/S结构的不足。整个招生数据处理流程包括数据预处理、数据转换、生成新生数据、数据加工、数据统计等，都能在Citrix技术的支持下有效实现。在用户友好度方面，本系统提供了自定义规则功能，包括分班规则自定义、学号流水号的顺序自定义等，使用户的操作更加方便。

[1] Combrinck M.Using representative synthetic data to analyze effects of filters when processing full waveform airborne TEM data[J].ASEG Extended Abstracts, 2018,47(1):1-15

[2] Anureet A, Bikrampal K, Kaur B. An Effective Technique to Decline Energy Expenditure in Cloud Platforms[J]. International Journal of Modern Education and Computer Science (IJMECS), 2018,10(2):54-62

[3] Sotiriadis S, Nik B, Euripides GM,Virtual machine cluster mobility in inter-cloud platforms[J].Future generations computer systems, 2017,74(6):179-189

[4] Shafiq SI, Szczerbicki E, Sanin C.Manufacturing data analysis in internet of things/internet of data (IoT/IoD) scenario[J].Syed imran shafiq edward szczerbicki cesar sanin, 2018,49(3):1-16

[5] 陈泽堃,李强,逯峻雨.一种弱C/S架构的计算迁移模型的设计与实现[J].计算机应用研究,2018(5):1421-1425

[6] Rachna G. Citrix powers mobility driven work spaces[J]. Voice & data: the business of communications, 2015,22(6):28-39

[7] 张丽勇.基于云平台的船舶吃水实时检测系统数据处理技术[J].舰船科学技术,2016(24):91-93

[8] 范磊,李凤利,郑国清,等.农业企业集团大数据分析云平台设计及应用[J].河南农业科学,2018(5):155-160

[9] 李洁珊,赵志勤.基于Open Stack的输电线路数据云平台架构设计[J].机电工程,2018(1):79-82

Development of Data Processing System Based on Cloud Platform

FANG Qi-chao, LIU Hua-jin

312000,

Data processing system mainly processes and collates various data information, calculates relevant analysis indicators, and is widely used in various industries. This system deals with the enrollment data of colleges and universities. It relies on Citrix technology and cloud platform to make up for the shortcomings of traditional C/S structure. The whole data processing process includes data preprocessing, data conversion, generation of new data, data processing, data statistics and so on, which comprehensively realizes the processing of enrollment data. In terms of user friendliness, the system provides the function of customization rules, including the customization of shift rules and the sequence customization of school number, which makes the operation of users more convenient.

Data processing system; cloud platform; data conversion; data statistics

C931.9

A

1000-2324(2019)03-0438-03

10.3969/j.issn.1000-2324.2019.03.017

2018-04-12

2018-06-02

2016年浙江省教育厅大学生思想政治教育专项课题(Y201635073);绍兴市哲学社会科学研究“十三五”规划2019年度重点课题(135477)

方奇超(1977-),男,硕士,助理研究员,主要研究方向为思政教育与就业创业指导. E-mail:357614559@qq.com