双一流商科高校商务智能分析实验室建设探索

徐伟 孙向阳

(上海大学悉尼工商学院 上海 201899)

2015 年10 月24 日国务院印发《统筹推进世界一流大学和一流学科建设总体方案》， 明确 “双一流”建设坚持以一流为目标，以学科为基础，以绩效为杠杆，以改革为动力，推动一批高水平大学和学科进入世界一流行列，加快高等教育治理体系和治理能力现代化，提高高等学校人才培养、科学研究、社会服务和文化传承创新水平[1]。 在大数据产业和资源共享背景下，如何运用商务智能分析挖掘海量数据背后的商业价值是提高决策效率和准确度的关键。 商科高校注重应用型人才的培养和产生高水平的科研成果，需要一流的实验室平台建设提供保障和支撑[2]。 在“双一流”背景下，商科高校建设商务智能分析实验室，让学生在模拟真实场景中运用商务智能分析技术进行自主实践和科研创新，培养学生的实践能力和创新能力，使实验室成为一流商科创新实践基地。

一、商务智能分析实验室建设的必要性分析

（一）教学和科研的需求

教学方面，商务智能分析实验建设要满足商科高校一流学科与专业课程体系的特色需求，商科数据分析类课程包括商务智能分析、 高级数据分析、数据仓库与数据挖掘等专业课程。 学校既要帮助学生掌握课程理论内容，更要加强课程实践环节的培养，提供更好的实践环境、强大的软硬件支持、数据存储和采集能力，大力推动课外兴趣小组和创新创业实践活动，形成师生实践型学习共同体[3]。 科研方面，实验室对高校的科研工作应该提供相应的支撑服务，提供学生开展科研工作的实践平台。 学生在实验师的指导下，不断提高实践动手能力和数据分析能力，参加国内外学科竞赛，积极申报大学生创新创业项目，发表相关领域学术论文。

（二）产学研培养的需求

商务智能分析实验室建设要满足产学研联合培养的需求，以培养高质量人才为根本宗旨，与创新人才培养和技术实战培训体系紧密结合，使学生精通数据存储、数据仓库平台搭建、数据挖掘等技术，成为创新实践型人才，获得用人单位的青睐，为企业创造更多的价值[4]。 师生共同实践新技术，为企业提供科技服务的过程中，能够帮助学生提高理论与实践的契合度，同时能让学生在项目实践过程中及时了解企业真实用人要求，为个人职业规划奠定坚实的基础[5]。

（三）高校发展的需求

商务智能分析实验室的建设有助于服务于高校和学院。 高校借助于智能分析平台挖掘行政部门和学院教学科研数据背后的价值，实现高校科学发展，做出科学决策具有重要意义。 实验室商务分析平台建设有助于吸引海内外人才的加盟，提高师资的科研水平和教学质量。

二、商务智能分析实验室建设目标

商务智能分析实验室建设应具备前瞻性、科学性、实践性，以培养创新人才为根本宗旨，为学生提供优质的学习环境和数据分析平台，打造以商务智能分析为核心的实验基地。 为更好的服务于教学，科研及企业，实验室建设目标为如下几点：

第一，以学生为根本出发点，满足商科专业实验教学体系的要求，并且符合商科人才培养方案；

第二，商务智能分析实验室建设坚持产学研相结合的应用型人才培养模式，兼顾理论教学与实践教学的整体性、协调性和关联性；

第三，加大实验室基础硬件和环境建设，为学生商务分析课程奠定基础。 建设包含数据抽取和清洗、数据可视化、基于机器学习算法的数据挖掘、人工智能和深度学习等课程的教学平台，完善教学科研实验资源；

第四，商务智能分析实验室在坚持人才培养的同时，更应该融入智慧交通、电子商务、物流运输、城市大数据等行业， 基于行业数据驱动的商务分析，为企业提供智能化商务决策，为社会培养满足企业需要的应用型商科人才。

三、商务智能分析实验室建设架构

开展商务智能分析实验室建设，有助于实践类课程与大数据分析处理技术相互融合、有助于实践类课程既有广度又有深度，实现实验教学质量和水平的快速提升。 本文提出从数据源中心、ETL 处理平台、ETL 管理服务、数据仓库、BI 应用五个层次模式来建设商务智能分析实验室，希望能为商科高校商务智能分析实验室提供合适的、可借鉴的架构方案。 实验室建设架构如图1 所示。

图1 实验室建设架构

商务智能分析实验室以培养高等教育实践型人才为根本宗旨， 以数据抽取和清洗为技术手段，数据分析为核心处理相关数据，实现实验数据的实时性、可视化、准确性,挖掘数据的价值，逐步为商科高校提供一个智能化、实用型的实验环境。 针对实验室建设体系架构，具体分析如下：

第一，数据源中心。 数据源中心负责实验室数据的存储和管理，数据来源于不同的业务系统（会计、电子商务、智能交通等系统）。 数据源的差异性，体现在数据系统的差异性。 伴随着不同应用场景的需求， 涵盖不同种类的数据库， 主要涉及Oracle、MySQL 等 关 系 型 数 据 库 ，Excel、CSV 等 文 件 ，Hadoop、Hive 等大数据平台。

第二，ETL 处理平台。 本文提出实验室应当建立可复用、功能强大的统一ETL 处理平台，负责从数据源中心获取数据， 经过抽取 （Extract）、 转换（Transform）、加载（Load）实现构建数据仓库的目标。ETL 最重要的环节称为数据转换， 包括对缺失、重复、错误的数据处理，修改数据格式，统一数据类型等操作。 ETL 是构建数据仓库和商务智能分析的核心，决定商业智能分析的成败。 面对价格不菲的商业ETL 工具，在实验室建设初期，选择免费开源的ETL 工具显得尤为重要。 Kettle 是一款开源ETL 工具，纯JAVA 编写、应用广泛、表现突出，提供图形化设计界面用于ETL 解决方案的设计，对外提供接口便于二次开发。

第三，ETL 管理服务。 ETL 管理服务主要包括ETL 作业调度、ETL 监控和日志、ETL 异常处理三个功能模块。 ETL 作业调度主要负责实现定时任务的自动执行和基于KettleAPI 调用手动执行。 通过采用Quartz 作业调度框架实现定时执行ETL 和前端传递参数、后端访问Kettle API 完成手动执行ETL。ETL 监控和日志主要负责ETL 过程中作业状态监控和日志分析。 ETL 执行过程中发生了异常错误，系统会记录错误的日志，并以邮件、前端页面提示、微信、短信等形式实现报警。 ETL 异常处理指的是在日常ETL 运维过程中，因软件缺陷、操作系统、网络等因素造成运行异常， 能够排除相关因素后，智能记录上次执行ETL 断点， 从断点处继续执行。ETL 管理服务模块架构如图2 所示。

图2 ETL 管理服务模块架构

第四，数据仓库。 数据仓库是为了构建分析型处理环境而出现的一种数据存储和组织技术。 常用的数据仓库建模方法是维度建模。通过ETL 处理平台和业务逻辑设计思路，构建一个事实表和多组维度表。 维度表负责定义观察数据的角度。 事实表保存了大量业务度量数据和维度代理键。 维度建模采用星型模型， 主要优势在于比较直观和查询速度快。

第五，BI 应用。 BI 应用主要负责将数据仓库的数据借助于可视化分析技术呈现出来。 本文提出运用自助探索式BI 工具,为商务智能分析实验室建设提供技术支持。 商科学生通过数据准备与处理、数据分析、数据可视化等一系列操作进行BI 分析，能够更加直观简便地获取信息、 探索知识 (如图3 所示)。 在数据处理过程中，BI 工具内置常规数据挖掘算法、内置Python 和R 语言编写器，学生可以通过编程自助处理数据（如图4 所示）。 学生对数据进行探索性分析时，BI 工具会自动根据数据特性将数据识别为指标和维度，对于指标和维度提供了丰富的分析功能，如对维度通过设置钻取层级，对数据进行重新分组，对指标支持求和、求中位数、累计值、排名、同期环期等计算，方便用户对基础数据在做进一步的分析和计算（如图5 所示）。 学生在进行商科课程实验过程中，对不同主题的数据生成可视化图表，并独立制作面向分析主题的仪表板，极大地锻炼了自主探索数据和展示数据的能力（如图6 所示）。

图3 BI 应用流程

图4 自助数据处理

图5 自助探索分析

图6 可视化仪表板

结 语

商科高校商务智能分析实验室的建设，不仅满足了教学科研的需求，提高了学生的创新实践能力和培养了学生的科研创新精神，而且通过产学研基地建设和校企合作， 培养了 “商务智能分析+新商科”的社会型和创新型商科人才。 拥有具有前瞻性和科学性的商务智能分析实验室，对提高人才培养水平，提升师资力量，扩大双一流商科高校影响力具有重要的战略意义。