SAP数据归档在工程机械企业中的应用——记广西柳工机械股份有限公司SAP数据归档项目

杨波

(广西柳工机械股份有限公司信息技术部，广西柳州 545007)

SAP数据归档在工程机械企业中的应用
——记广西柳工机械股份有限公司SAP数据归档项目

杨波

(广西柳工机械股份有限公司信息技术部，广西柳州 545007)

简要阐述了中国工程机械企业普遍使用的ERP系统所面临的数据量增长过快问题，介绍了SAP数据归档的适用条件和价值所在，以广西柳工机械股份有限公司的SAP数据归档项目为例进行分析与阐述，从应用和基础架构的层面，说明了实施数据归档项目的原因和必要性，并为项目实施提供思路。

SAP;ADK;数据归档;归档对象;驻留期

工程机械行业普遍使用大型ERP软件系统，如SAP、ORACLE等。这些软件系统功能强大，各模块集成度很高，极大地提升了对公司各项业务的支持能力。但是，随着IT技术的发展，伴随着功能扩展和集成度提高同时，也给业务系统带来了巨大的数据增长量。

以广西柳工机械股份有限公司(以下简称柳工)的ERP系统实施进程为例，1996年部署的TCM－EMS系统(MRPⅡ系统)最大数据量只有5GB，2000年部署的IFS系统(ERP系统)最大数据量接近100GB，2006年上线的SAP系统(ECC6版本)仅初始安装数据量就接近300GB，系统上线后ERP数据量增长迅速，一个月的数据增长超过原系统几年的数据增长，系统数据的增速是越来越快。“随着业务的增长以及对数据存储、保存和可用性存在法规上的要求，面对着不断增长的数据，这些数据的备份成为各公司和组织的当务之急。”［1］并且，数据量的剧增造成系统的负荷加重，性能需求加大，必须采购更高级的服务器(更多的CPU和内存)来满足性能需求，同时需要不断对存储进行扩容以满足容量需求。而生产系统数据量增加，配套的质量保证系统(用于测试)数据量需要增加，相应的主存储需要扩容，备份存储也需要扩容，同时备份设备也需要扩容，环环相扣，给系统的IT基础架构带来了巨大的压力。

然而，数据也是有生命周期的。“随着时间的推移，数据的重要性和关键性都会改变。大部分产生的数据都只在短时间内有重要性，时间一长就不那么重要了，这一点决定了数据存储解决方案的使用。”［1］由于法规性及审计要求，特定的业务数据有保留期，并且在审计时能够读取或在必要的时候可以再次使用，这使得SAP系统的数据将会有相当长的保留期限，对某些财务数据来说，保存期可能达到15年以上。面对这种压力，仅仅依靠简单硬件的升级来提升性能和扩容容量，既不经济也难以持续满足未来需求，数据归档的需求应运而生。

1 数据归档原理分析

“根据不同的数据类型和应用，数据归档可以分为3类:数据库归档、记录归档和内容归档。”［2］出于性能考虑，大型ERP系统的数据主要存放于后台数据库中，以便随时能访问所需数据。当数据库数据量较小时，其大小对性能影响不明显;但当数据库数据量增加很多，数据表的大小达到几百万甚至上千万条数据，数据库容量也达到几百GB或几千GB时，量变已经引起质变，需要多方优化并且控制整个数据库的数据规模，才能保证数据库的性能水平不降低。因此，对于制造业的ERP系统来说，其数据归档的主要内容是对ERP数据库的归档。

简单的说，数据归档就是将不再需要频繁访问并且以后也不会再发生变化的数据，从数据库中转移到归档文件中去，然后将这部分数据从在线数据中删除，以降低在线数据的数据库容量，提升数据库的性能，进而整体提升业务系统的性能。

数据库是结构化的数据集合，“数据归档的核心是标识数据库中非活动数据，然后将活动数据从中央数据库中分离出来存储，至更廉价的存储设备。”［2］通常将应用系统的归档文件存储在外部归档介质或系统上，并且被归档出去的数据还可以通过多种方式进行访问，部分数据可以重载到系统中。现以SAP系统的数据归档来进行说明，数据归档原理如图1所示。

图1 SAP数据归档原理图

由图1可知，要进行数据归档，首先需要标识出满足数据归档条件的数据。但是如何让系统知道哪些数据能够被归档呢?对SAP系统来说，只有满足以下两方面条件的数据才允许被归档:第一，业务已经完结且凭证记录完整;第二，数据的驻留期小于归档时间与数据创建时间之差。这需要了解SAP数据归档中的一个重要概念——驻留期。驻留期是指数据从创建到允许进行归档的时间。通过对驻留期的定义，可以在成千上万的数据中将可以归档的部分区分出来，使数据归档具有可行性。驻留期与保留期的区别如图2所示。

2 现行国内工程机械行业SAP系统使用分析

图2 驻留期示意图

大部分企业在SAP上线时，都会上FI/CO/ MM/SD模块，PP模块通常只在制造业才会使用，由于工程机械企业的离散制造的特点，决定了其PP模块使用会更为复杂，因此工程机械企业在使用SAP数据归档解决方案时，需要依据其自身的特点进行调整。国内一些主要工程机械企业均使用了SAP ERP系统，包括柳工、徐工集团、三一重工、中联中科、厦工等在内。这些企业的业务模块和基础架构都有如下特点:

a．这些企业都使用了SAP的五大基本模块: FI(财务会计)/CO(管理会计)/MM(物料管理)/ PP(生产计划)/SD(销售和分销)。部分企业还使用了QM(质量管理)/PM(工厂管理)/HR(人力资源)模块。但由于离散制造业的特点，FI/CO/MM/ PP 4个模块通常是数据的主要来源，是影响系统数据量的主要方面，其他模块占数据总量的比例较小。数据归档的主要对象也将围绕这4个模块展开。

b．IT基础架构上，这些企业的SAP系统都采用UNIX小型机+FC－SAN存储架构。标准的IT基础架构，使得数据归档方案可以相互借鉴和参照。

柳工和三一重工SAP系统上线时间较早，距今已经超过5年。通常，使用时间超过5年，应用系统各方面都会进入一个较为成熟稳定的阶段，总体的业务方案及技术架构的调整不会过于剧烈和频繁，具备了进行数据归档的基本条件。并且经过5年的使用，SAP系统的数据量也达到了一个较为庞大的规模，对IT基础架构各性能、容量、备份等方面的要求也越来越高，实施数据归档的必要性也越来越迫切。目前柳工和三一重工均已实施了数据归档项目，其他的企业也将陆续面临数据归档的问题。这两个企业的数据归档项目的成功经验也可以为后续企业提供有益的参考和项目思路。

3 柳工SAP数据归档方案介绍

柳工SAP R/3系统自2007年上线以来，核心系统SAP R/3数据量由上线时的300GB增长到2010年末的超过4 200GB，项目前SAP数据库增长量超过4GB/天，系统数据量剧增造成系统响应速度变慢，系统运行效率降低，MRP运算时间由原来的十几分钟上升到几个小时，系统备份时间由原来的几个小时增长到30多个小时。于是，柳工在2011年开始启动SAP数据归档项目。

柳工的数据归档采用ADK(Archive Development Kit)结合File System的方式进行，SAP数据归档架构如图3所示。ADK是SAP标准模块之一，SAP系统通过ADK接口提供结构化数据(TransactionalData)的归档功能，把数据从SAP数据库系统中移出并归档到外部的文件系统。为提高效率，归档文件存放在UNIX小型机的文件系统中，以备后续的数据归档和归档数据查询，并在归档后对系统数据库进行优化重组，以释放数据库空间。

图3 SAP数据归档架构图

需要明确的是，数据归档项目不仅仅是IT部门的事情，它需要业务部门和IT部门高度合作，并在此基础上共同计划和实施的一个项目。实施过程在技术上分几个阶段进行。第一阶段:分析和设计。定义归档对象、策略和流程。需要通过全面的数据分析，业务部门需要与IT部门高度合作，最终定义好归档对象和归档策略。需要注意的是，数据归档通常按年限进行，需要与各业务单位确认好归档的年份，通常在线数据会保留最近的2～3年。柳工在开展项目时，通过与业务单位沟通，确定了保留两年的在线数据。归档分析过程中，首要的是对SAP数据库中TABLE of TOP100(数据量排名前100的表)进行分析。TABLE100数据库表容量图见表1。通过对大表的数据分析，最终将相关的数据表容量归集到归档对象中，并按照年份形成历年各个归档对象的数据分布，项目预期的归档目标可以在此基础上产生。归档对象容量分析见表2。从表2中可以看到，PP_ORDER生产订单的数据量非常大(＞800GB)，这就是工程机械行业相对其他行业特别之处——大量的生产订单，所以该对象的归档是重点需要考虑的问题。

表1 TABLE100数据库表容量图

表2 归档对象容量分析表

第二阶段:归档测试。完成归档配置、归档开发以及归档测试。通过第一阶段的分析，对本项目的归档情况已经有了初步的预期。可以依据确定的归档年限，进行相应的系统配置，本项目归档2007年、2008年、2009年这3年的数据。由于只有完结了业务流程的数据才能被归档，所以通过与业务部门的充分沟通，可以促成业务部门对部分长期未清业务进行清理，一定程度上提高业务的规范性。一个基本的归档过程(或归档循环)通常有3个步骤。数据归档过程如图4所示。业务对象的归档有相应的先后顺序，总体上通常是按照模块CO/FI/MM/PP/SD的顺序来进行。由于数据归档后，大部分的数据不能通过原来的事物代码进行访问，因此需要通过特定归档事物码SARI访问。对于很多自开发的报表，必须要通过对信息结构进行配置及进行相应的归档开发，才能保证数据归档后，能够按照正确的逻辑进行读取、汇总和计算。对于个别需要经常性读取在线数据和归档数据的标准事物代码，需要进行归档增强开发。本阶段主要难点在于清理归档区间内的未结业务和进行归档开发。

图4 数据归档过程

第三阶段:归档实施。调整归档策略，归档配置并完成生产系统的正式归档。由于测试环境和生产环境的差异，测试时通过的配置参数在生产系统实施时，有很大几率因性能或其他问题而需要进行调整，才能不影响生产系统正常业务的运行。同时，归档的开发工作在此阶段也持续进行，业务部门需要经常对信息结构进行优化，并且需要对最终用户进行充分培训，以保证获取业务数据的准确性。

第四阶段:上线和支持。重组数据库，归档确认和后续技术支持。完成数据归档后，对数据库进行重组以释放数据库空间并提升性能，处理归档开发中可能遗漏的BUG。同时，由于归档数据不会发生修改，因此对归档数据的备份不需要频繁进行，可以以较低的备份频率进行备份，以缩减备份窗口，降低对备份设备存储资源的占用。

柳工通过6个月的项目实施，成功完成了对24个归档对象实施归档，保证归档数据安全可查。通过数据归档释放生产系统数据库空间，降低生产系统数据库容量，缩短系统响应时间，提高系统性能，总体来看数据库空间减少1.24TB，约占归档前总数据量的32%，达到数据库容量减少30%的预期目标。

通过对SAP系统的数据归档，可以给企业带来如下的收益:

a．SAP系统的响应时间有明显的改善，报表整体查询效率提高，有效地提高员工的工作效率;

b．通过提高系统的运行效率，连带提高与SAP集成的系统接口运行效率，减少客户因系统响应问题产生的投诉，提高了服务质量;

c．缩短了系统的备份时间和恢复时间，从而整体上提高了系统的安全性;

d．通过将过期的数据从数据库剥离出去，可以降低总体拥有成本(TCO)，如对主机系统、存储系统、备份系统的投入;

e．由于数据量增速下降，连带降低了对数据库及存储进行优化、扩容的维护工作量，降低SAP系统的维护成本和风险;

f．建立了数据管理机制，保证柳工SAP系统数据库容量增长保持相对稳定目标的实现。

4 结束语

在工程机械行业中开展数据归档项目，其实施过程中需要充分考虑行业自身的特点，才能达到可预期的结果。数据归档技术在ERP系统上的应用通常表现为对数据库的归档，对解决企业ERP系统数据量剧增问题有着极为明显的优势。作为一个软件为主导而又能影响硬件的方案，它摒弃了传统的硬件为主的对应方案，从根本上减弱ERP系统大数据对硬件的依赖，成为软硬结合、治标治本的解决方案。随着软硬件技术的不断发展，对应的各种解决方案也将呈现出新的软硬件结合的趋势，只有多方技术设备结合使用，才能获取最优TCO解决方案。

［1］(美)萨曼达，(美)希瓦史塔瓦.信息存储与管理:数字信息的存储、管理和保护［M］.罗英伟，汪小林，尹冬生，等译.1版.北京:人民邮电出版社，2010:6，251.

［2］沈立强.高校信息系统数据归档研究［J］.中山大学学报:自然科学版，2009，48(S1):215－219.

The Application of SAP Data Archiving in Engineer Machinery Enterprises

YANG Bo

(Guangxi Liugong Machinery Co.，Ltd.，Guangxi Liuzhou，545007，China)

It briefly describes that the data of ERP grows faster and faster in Chinese engineering machinery enterprises.Taking the SAP data archiving project in Liugong as an example，it puts forward the applicable conditions and the value about database archiving.From the application and infrastructure，it explains the causes and necessity of implementation of data archiving project，and provides ideas for projects.

SAP;ADK;Data Archiving;Archiving Object;Residence Time

TP315

A

2095－509X(2013)09－0068－05

10.3969/j.issn.2095－509X.2013.09.017

2013－06－14

杨波(1974—)，男，广西柳州人，广西柳工机械股份有限公司主任工程师，主要从事IT大型应用系统集成、运维管理、系统架构分析方面的工作。