汽车企业大数据应用平台的总体设计探讨

黄 莉

（武汉商学院 信息工程学院，湖北 武汉 430056）

汽车企业大数据应用平台的总体设计探讨

黄 莉

（武汉商学院 信息工程学院，湖北 武汉 430056）

大数据平台的应用正在深刻影响着汽车领域生产方式的变革、服务模式的转换以及消费者生活方式的改变。汽车企业只有通过对大数据的分析和挖掘，才能为公司运营决策提供数字化支持。文章主要从技术层面探讨建设汽车企业大数据应用平台的总体设计问题。

大数据；汽车企业；面向服务的架构

大数据和云计算带来新的业务模式变革，使人们进入了大规模生产、分享和利用数据的时代。大数据是一个比较抽象的概念，从文字上来解释，大数据指的是规模十分庞大的数据。麦肯锡全球研究院将大数据定义为“无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合”。业界用4个“V”概括大数据的基本特征，即Volume（大量）、Variety（多样）、Velocity（高速）和Value（价值）。大数据的分析和应用，无疑会为各行各业创造新机遇和无限的可能性[1]。

在过去的10年里，数据总量增长了750倍，并还在持续加速增长中。大数据的收集、分析与应用，正在深刻地影响着互联网大潮下的汽车工业领域。无论是在汽车的生产过程，还是在面向客户的服务环节中，大数据平台的应用正在深刻影响着汽车领域生产方式的变革、服务模式转换，以及消费者生活方式的改变[2]。

本文以某汽车公司为例，主要从技术层面来探讨该汽车企业在建设大数据应用平台时的总体设计。该汽车公司计划在2017年对公司各经营数据进行分析和挖掘，实现该企业决策层、管理层、业务层分别享受信息化成果。为支持公司的经营管理需求及汽车IT规划，收集企业资源管理、生产管理、营销管理等领域实施（或正在实施）企业资源计划（Enterprise Resource Planning，ERP）、制造执行系统（Manufacturing Execution Systems，MES）、数据库管理系统（Database Management System，DMS）等系统分析数据，计划实施企业大数据应用平台，为公司运营决策提供数字化支持。

1 遵循经济与技术相结合的原则

汽车大数据应用平台建设要遵循统一性、系统性、规范性和安全性的原则，按照“统筹规划、统一标准”的要求进行搭建，在当前总体架构的基础上，应用先进的大数据技术平台；采用成熟技术和公共组件开展底层数据存储建设；采用分析模型等相关技术实现数据信息多方位、多视角、灵活多样的展示及应用；基于行业标准提炼和完善企业的技术标准；按照行业数字安全认证体系及相关安全规范进行项目建设，确保数据安全[3]。

1.1 继承性与复用性

为保护已有投资，体现统一性和连贯性，充分利用现有的基础架构和软硬件设备，进行总体设计和实施，并根据新需求进行新技术应用、完善和拓展，满足汽车信息化建设“统一标准、统一平台”的需要。增强信息资源整合、数据共享的灵活性，为汽车信息化应用的建设提供基础支撑。

1.2 开放性与先进性

基于开放式标准与技术，利于移植，满足所有应用系统建设的共用化需求，同时采用先进成熟的设备和技术，确保系统的技术先进性，保证投资的有效性和延续性。

1.3 灵活性与可扩展性

系统应易于扩展、升级和移植，并具备支持业务处理的灵活的参数化配置、技术架构可以适应业务功能的重组。

1.4 安全性与可靠性

提供良好的数据安全可靠性策略，充分利用汽车认证授权（Certificate Authority，CA）安全认证平台、网络安全体系等，采用多种安全可靠的技术手段，保证系统及数据的安全与可靠。

2 分层设计规划数据存储

数据资源管理系统能够永久存储聚合后的汽车优质资源以及互联网优质资源，并能够长期存储全部的数据，并对外提供访问服务接口，实现数据资源的共享。数据资源管理系统底层数据统一存储规划能够满足上层应用对底层数据的存储及使用需求，具体规划如下。

系统根据数据汇总层（B/S）（Data Warehouse，DW）模型，按照各个应用层次对数据的需求，对数据存储进行了划分，共分为5个层级，每个层次满足不同的应用，分别是数据准备层（Operational Data Store，ODS）、数据明细层（Data Warehouse Detail，DWD）、DW、数据集市层（DataMart，DM）、数据应用层（ST）。

ODS/DWD层使用分布式文件系统hdfs、kafka等存储原始数据，以及明细数据；DW层使用hive存储应用数据、汇总数据；DM层将业务主题应用数据、汇总数据存储在关系型数据库统或者hive中；ST层将使用Hbase、es等保存分析结果数据以及汇总加工后的数据（标签、累积数据等）；另外MDW层则使用关系型数据库mysql或者非关系型数据库Mongodb存储元数据以及基础数据；关系型数据库和Mongodb互为备份，包括内容数据和分类元数据。在其中一个数据库出现问题后，另一个数据库可以单独对外提供主要功能服务，提高数据库的可用性。

3 采用基于架构的方法进行总体设计

汽车大数据应用平台是涉及数据中心、业务系统等数据集成、管理、应用和服务的系统，要保证系统能够顺利实施并发挥预期的效用，必须借助科学的方法。本文将借鉴基于架构的规划方法进行总体设计，即从企业的业务架构入手，明确各业务条线的战略需求和数据集，统一规划系统的数据架构、应用架构和技术架构，制订系统运行维护的治理架构，使系统数据层面达到标准、规范、分布清晰、模型完整；应用层面对业务、管理和决策的支撑作用明显；技术层面先进、高效、准确、安全；运维管理层面有能力管、容易管、管得住、管得好[4]。

汽车大数据应用平台架构设计过程中，遵循“业务驱动”的设计方法，通过业务架构分析，推演出应用架构设计和数据架构设计，再结合应用架构和数据架构的要求进行技术架构设计，从而形成汽车大数据应用平台的完整架构体系，保证系统对业务的有效支撑。汽车大数据应用平台的总体架构包括业务架构、应用架构、数据架构、技术架构（见图1）。

图1 汽车大数据应用平台的总体架构

业务架构从业务角度对汽车大数据应用平台进行细化、抽象、归纳、总结，形成整体业务能力视图，为应用架构和数据架构提供关键输入；应用架构基于业务架构，从系统应用功能的角度定义应用功能、应用划分和应用分布，形成汽车大数据应用平台应用架构蓝图；数据架构基于业务架构和应用架构，从系统数据支撑的角度对数据模型、数据分类、数据存储、数据流转等方面进行规划设计；技术架构基于应用架构和数据架构，从系统技术实现的角度定义各类系统组件、集成关系、部署方式和系统安全防护体系。

4 采用基于SOA的思想进行技术设计

面向服务的架构（Service-Oriented Architecture，SOA）是当今信息系统开发的重要方法。是当前开发灵活、可配置、可复用的信息系统的技术路线。汽车大数据应用平台要面向多种业务系统，动态采集数据，要适时调整应用展现等，有必要采用SOA系统架构进行设计。SOA架构系统具有高内聚、低耦合的特点，有利于系统的调整、重组。

SOA的中心思想是模块化与封装这两大原则，模块化将复杂的大任务分解成相对简单的小步骤，封装则将其内部的复杂性屏蔽代之以用清晰的接口。在这两项原则指导下，开发人员只需关注应用中与其相关的部分而无须知道其他部分的细节，只要各个组件都遵守接口“契约”，这些组件的开发、测试和修改都相对独立，无须太多的协调，使得基于SOA的应用易于开发和维护。

很多的企业应用由于缺乏统一的、长远的规划，通常情况下很少共享数据，几乎从不共享程序逻辑。但很多的服务具有通用性，而非某一应用独有，一个通用服务架构能帮助企业在上述的原则下共享部分数据和程序逻辑。

最后对企业发展战略、管控模式、组织架构、业务模式和运营流程进行深刻的理解，据此对本系统进行顶层设计和整体规划，并且充分尊重信息化的建设规律，对实施阶段和系统模块进行重点把握，分阶段、分步骤有序建设。同时在项目总体建设目标的指导下，在项目建设过程中建立阶段性目标，确认阶段建设成果，降低项目总体建设风险，便于企业快速认识建设成果，并且为后期建设提供良好基础。在实施过程中把握重点问题、关键问题，运用正确的方法，寻找恰当的突破点，集中力量进行突破。

[1]胡熙.汽车企业与大数据融合趋势分析（上）[J].商用汽车，2015（12）：104-107.

[2]胡熙.汽车企业与大数据融合趋势分析（下）[J].商用汽车，2016（1）：100-103.

[3]张懿，刘焰.大数据时代下的智能网联汽车发展研究[J].江苏科技信息，2016（24）：7-9.

[4]夏妍娜.大数据在德国汽车制造商宝马集团中的应用[J].智慧工厂，2017（2）：81-84.

Discussion on overall design of big data application platform in auto corporations

Huang Li
(Information Engineering Department, Wuhan Business University, Wuhan 430056, China)

Application of big data platform is profoundly affects the production mode reform of automobile industry, conversion of service mode and change of consumer lifestyle. Only through the analysis and mining of big data, auto companies can provide digital support for the company’s operational decision-making. This article mainly discusses the overall design of big enterprise application platform for automobile enterprises from the technical level.

big data; auto corporations; service-oriented architecture

黄莉（1984— ），女，湖北武汉人，讲师，硕士；研究方向：矩阵分析及其应用。