基于大数据技术的高职“商务数据分析与管理”课程方案建设

刘晓刚

摘   要：文章通过引入市场主流的软件工具，建设了基于大数据技术的高职“商务数据分析与管理”课程方案。方案分成3个项目和16个子任务，采用企业真实案例并仿真实训环境，理论知识精学够用，实践应用丰富实用。新课程方案提高了学生的学习兴趣和积极性，培养了学生在商务环境下的数据分析与应用能力，提升了教学效果和就业竞争力。

关键词：高职;大数据;数据分析;课程;建设

随着大数据时代的来临，数据分析与管理技能越来越受到企业的青睐，高职院校纷纷开设此方面的课程。浙江经贸职业技术学院的计算机应用技术专业（移动互联网方向）也建设了专业拓展课程“商务数据分析与管理”，课程主要任务是培养学生具备商务环境下的数据分析与应用能力，通过该课程的学习，学生能掌握商务数据分析的基本方法与流程，为今后可能从事相关类型的工作奠定了基础。前导课程为“程序设计基础”“面向对象编程技术”，后续课程为顶岗实习、毕业设计等。

1    课程建设目标

数据分析有别于以前的SPSS，SQL Server，Excel等软件，现在流行的主流技术是Python语言和第三方功能库，除了MySQL等小型关系型数据库外，后台还普遍使用非关系型的Mongdb，Redis数据库。第三方功能库常用到爬虫三大库Requests，BeautifulSoup，lxml，还会使用到re，scrapy，numpy，pandas，scipy，statsmodels，matplotlib等开源库。教学内容应摒弃陈旧技术，紧紧围绕主流技术来设计。

通过本门课程的学习及相关任务的实施，学生能够掌握数据分析的理论知识，以及主流商业数据获取和分析的技术和方法;能根据不同网站采取不同分析方法;能使用Python语言设计网络爬虫，通过Xpath选择器、正则表达式、Scrapy框架等方式从互联网上获取数据;能承担商业数据分析大数据量的图表制作任务。同时，能够根据商业数据采用正确的数据分析方法，利用Python的第三方分析包如Matplotlib，Seaborn或其他常用数据分析工具软件，使用图表方式给出明显的分析结论，并能撰写基本的数据分析报告。对学生今后从事信息处理、软件工程、项目管理等其他工作的职业能力培养和职业素养起到支撑作用。

知识目标：掌握数据分析的基本概念、常用数据分析的基本方法、Python语言的语法基础、网络爬虫的概念、正则表达式以及图表数据分析的相关知识。

能力目标：掌握网站分析的各种方法、Python开发工具的安装与使用方法、Python语言设计网络爬虫的方法、使用Python网络爬虫从互联网上获取数据的方法、使用Python处理、分析互联网数据的方法以及使用Python生成数据图表的方法。

素质目标：具有分析、解决问题的能力，良好的沟通、团队合作能力，良好的自学能力和可持续发展能力;爱岗敬业、遵守职业道德规范、诚实、守信。特别是在互联网数据的采集获取方面，必须要有良好的职业道德以及遵守国家相关法律法规。

2    课程设计思路

课程前部分为打好基础要学习Python内容，但只讲基本语法知识，不涉及复杂算法。因为复杂算法在前导编程课中已经讲解，而Python数据分析方面的内容也不需要复杂算法。

课程方案包括：数据分析的用途与定义、技术原理以及专业术语，Python语言语法基础，利用Python设计网络爬虫的方法，利用Python网络爬虫抓取互联网上商业数据的方法以及利用Python进行商业数据日常分析及处理的各方面内容。在介绍Python语言时，要重视其在企业日常管理中的典型应用，兼顾爬虫使用方法技巧和应用思路启发，注重点面结合、动手实践。教学内容应紧密结合实际，精选源自企业信息管理过程中的典型案例，能反映现实中企业需要解决的问题，具有代表性、针对性和实用价值。

在考核上，对学生学习效果实施过程化、能力导向的综合评价。上机考核与卷面考核相结合，对于爬虫和数据处理分析等操作性强的内容，采用上机考核，重点考核技术应用能力和操作能力;对于Python语法知识，采用卷面理论考核，重点考核基本理论知识、程序编写能力和分析能力。最终成绩是按比例综合上机和理论两部分成绩和平时成绩。

3    教学内容设计

3.1  课程内容建设

在教学内容设计上，按照“商务数据分析与管理”的知识体系，组织成3个项目：

项目1，Python安装与语法基础。教学内容是Python安装方法，编写Python3简单程序并调试运行，Python各种复杂数据类型的使用，Python的流程控制、自定义函数、常用函数，Python模块（Module）和包（Package），Python面向对象技术，迭代器、生成器、装饰器的设计与使用等。普通Python课程讲到面向对象就结束了，但本课程要展现Python在大数据处理分析方面的优势，所以增加了迭代器、生成器和装饰器的介绍，以及其在大数据中的应用。

项目2，Python网络爬虫。其是学好Python语法基础前提下的第一个实践应用，比较有趣味性，教学重点不是爬虫的编写，而是爬虫的资源定位方法，要求学生掌握CSS选择器、Xpath和正则表达式3种主流定位方式。教学内容是爬虫设计的基本流程、爬虫的功能与用途、爬虫三大库的用法，利用爬虫抓取互联网上真实网站的单个出租房价格和抓取多个信息，多页面爬虫设计;Lxml库与Xpath语法，通過Xpath获得网页数据的爬虫设计方法;爬取网页数据并保存到CSV文件，爬取Pexel图片并保存;正则表达式及利用正则表达式编写爬虫的方法;Scrapy框架编写爬虫、CrawlSpider自动爬虫等。爬虫的实训内容来自企业，抓取数据也针对互联网真实网站进行，还可以抓取一些学生访问度高的网站数据，进一步贴近应用实际。

项目3，Python数据分析与管理。作为Python语言的第二个实践应用，其教学内容是常用的Python数据处理分析方法，包括数据导入和导出方法、数据清洗方法、数据抽取方法、数据文件的保存、基本数据分析方法以及Python图表分析。数据处理方法比较枯燥，要紧密结合实际应用来设计，首先，处理学生自己用爬虫抓取的数据，增加前后内容的关联性;其次，处理一个足球世界杯的真实数据，激发学生的兴趣。Python图表分析本身比较生动、形象，学生必须掌握的是利用常用的可视化工具包matplotlib绘制多种图表。

3.2  授课计划设计

授课计划具体安排将3个项目设计成16个任务，共60学时。每个项目下包含多个任务，每个任务都是先讲授必要的理论知识，然后完成实训。紧贴市场主流应用开发实训，采用真实项目，一共设计了15个实训，都安排在不同的任务中。第1个项目大约需28学时，任务1是引入课程并介绍Python及安装方法，任务2是讲授Python3语法基础，包括Python编码格式与数据类型以及Python字符串格式化，然后实训Python安装与语法基础。任务3讲解Python的复杂数据类型，这是本项目的重点和难度，即列表List、元组Tuple、集合Set、字典Dictionary以及相关函数，安排的实训为Python复杂数据类型。任务4讲授Python流程控制，因为本门课程的重点不是算法，只是介绍语法，所以这部分内容不需要像其他编程课那样占用太多时间，只需简单介绍if语句、While循环和for语句，安排对应的实训Python流程控制。任务5专门讲授Python的函数，这部分是教学重点，因为Python的函数功能强大，且用途很广，主要内容包括自定义函数、参数传递、匿名函数、全局变量和局部变量及其作用域和生存周期、动态参数、函数式编程以及常用函数介绍，实训内容较多，需要用4节课来完成。任务6为Python模块（Module）和包（Package），内容包括模块、多级层次的包结构、import导入的多种形式和模块内置属性，安排对应的实训。任务7是Python类与对象，先是面向对象技术简介，然后讲授类定义、类的属性和方法、继承、类的私有方法、类的专有方法，安排对应的实训。任务8即迭代器、生成器和装饰器，包括其在大数据中的应用，课后安排的实训也能明显地展示出Python在处理大数据方面的效率提升。

有了项目1的Python编程基础，项目2就开始讲授Python的实践应用，相对于前面的内容更具有实用性和趣味性。项目2计划22学时，介绍用Python编写网络爬虫，其任务1是爬虫原理及简单应用，内容包括爬虫定义、爬虫编写的基本流程、爬虫三大库、创建爬虫的完整过程等，安排的实训是利用爬虫抓取出租房价格，非常直观且有趣。任务2是任务1的延续并加深，利用爬虫获取多个信息，主要讲授多页面爬虫设计思路和设计流程，安排利用爬虫抓取多个房屋出租信息的实训。任务3讲授Lxml库与Xpath语法。Xpath是另一种常用的定位方法，内容包括Lxml库功能、XPath语法，通过Xpath获得糗事百科用户id的实训，安排实训用Xpath爬取爬取豆瓣网图书TOP250并写入CSV。任务4是编写爬虫爬取另一类的资源，即爬取Pexel图片并保存，安排对应的实训。任务5是本项目的重点和难点，即正则表达式的定位方法与爬虫。先要详细学习正则表达式，包括字符匹配、普通字符和元字符、正则表达式的相关方法如match（），findall（）和search（）等、贪婪与非贪婪匹配、P命名组，然后编写用正则表达式定位的爬虫，突出正则表达式的强大功能和普遍适用性。

通过项目2从互联网上获取大数据后，项目3利用Python对大数据进行处理分析，计划10学时。首任务是Python数据处理，先介绍Python数据处理常用库Pandas，以及Pandas中的数据结构Series和DataFrame，然后讲解Python数据处理方法和基本数据分析的方法，包括基本统计、分组分析、分布分析和交叉分析，安排一个前后内容相联系的实训用Python处理爬虫抓取的数据。任务2进行Python图表分析，先学习图表分析常用的库即matplotlib，分别讲授用其实现饼图、散点图、折线图和柱形图的方法，打下基础，再介绍用matplotlib画复杂图，如分布直方图、分布饼图等，最后安排对应的Python图表分析实训。

3.3  建议教学方法及学习资源

教学过程的设计是以工作任务为主线，以真实的项目任务来驱动学生学习，培养学生分析问题和解决问题的能力。教学过程突出精讲多练，以学生的操作為主、教师引导为辅，适当讲解操作过程中遇到的理论知识，并用课内外练习来巩固、提升课堂教学效果。在教学手段的应用上，充分利用现代教育技术，操作环境仿真企业真实生产环境，安装与企业一致的主流软件和工具，如PyCharm，Anaconda，MySQL等。除了教材和课件外，互联网上也有大量的数据分析与管理的资源，广泛利用网络教学资源，提供市场常用的网站、论坛地址和QQ群号、微信群号等，如数据分析网（http：//www.afenxi.com/）、中国统计网（http：//www.itongji.cn）、人大经济论坛-计量经济学与统计区（http：//www.pinggu.org/bbs/index.php？gid=148）等，帮助学生在第二课堂进行学习。

4    结语

基于大数据主流技术的“商务数据分析与管理”课程方案建设，引入了新的大数据处理分析软件工具，采用企业真实案例，将教学内容整理成多个项目，每个项目又分成多个任务，辅以项目导向、任务驱动式教学方法、以及仿真工作的实训环境，有效保障了教学效果。经过两年的教学实践，该门课程由于内容新颖、趣味性好、理论精学够用、实践丰富实用，受到了学生们的好评，学生学习热情较高、考核成绩良好，作为一门专业拓展课程达到了较为理想的效果。后续工作将继续丰富课程的内容，提升数据分析部分的难度，增加更加实用的案例，软件工具也紧跟市场主流进一步更新。在毕业设计中也争取动员部分学生选择Python方面的题目，促进学生进一步学精学透，并学以致用。

Abstract：By introducing the mainstream software tools into the market， this paper constructs the course scheme of “Business Data Analysis and Management” in higher vocational education based on big data technology. The scheme is divided into 3 projects and 16 subtasks， the real case of the enterprise is used and the training environment is simulated， the fine knowledge of theoretical knowledge is enough， and the practical application is rich and practical. The new curriculum scheme improves students interest and enthusiasm in learning， trains students ability of data analysis and application in business environment， and improves teaching effect and employment competitiveness.

Key words：higher vocational; big data; data analysis; courses; construction