ERP系统DXP迁移改造方法研究及应用

宋晓波，方 梅，梁 静

（安徽继远软件有限公司，安徽 合肥 230088）

套装软件（ERP）系统实现了项目的预算管理、采购管理，为了实现各系统间的信息共享，需要在多个系统中通过接口实现数据共享和业务融合，譬如：项目执行过程中的数据信息，为了推进计划管理与套装软件的数据共享与业务融合，每月ERP系统将项目执行情况数据推送至规划计划系统，现金流量分类、会计科目、利润中心|公司代码、资产分类等主数据以系统B为准，需要推送至ERP系统。

在数据共享融合中，ERP作为一个中间环节，作为数据的源端或者数据的接收端，譬如：ERP向规划平台推送月度项目执行情况数据，系统B推送主数据信息至ERP系统，均存在数据推送不成功或数据丢失等现象，主要是DXP交换通道引起，现需要将DXP交换方式更改为统一数据交换平台（Unified-data Exchange Platform，UEP）。

1 技术原理

操作数据存储（Operational Data Stored，ODS）是数据仓库体系结构的可选部分。ODS存储的数据基本上与源系统保持一致用于存储缓冲数据；ODS统一信息试图区将数据经过转换整合为企业提供唯一事实的共享数据并为数据的横向共享提供场所，数据在线存储的周期一般较短，称为“当前的、不断变化”的数据。ODS对于数据交换来说，主要是提供场所的作用。

DXP为数据交换平台，是为了构建两级数据中心间的交换通道，使数据中心可以级联，要求两级数据中心中的业务系统的数据库结构是同构的。

UEP旨在解决复杂环境下、异构系统间企业数据孤岛问题。主要提供了数据交换、数据处理、数据安全、数据质量、图形化/可视化开发等功能。其中数据交换功能提供了即时数据总线、批量数据总线功能，可完成消息型数据的准实时双向通信，可对数据库表、XML文件、文件夹等类型数据进行基于文件的批量数据交换，在数据交换过程中可以配置策略对数据进行处理加工。

UEP使用安全可管理的“插座式”数据交换和数据管理架构，具有很强的扩展性、可靠性和安全性；提供可视化/图形化开发界面开发异构系统之间的数据交换并建立交换规范，保证数据质量；提供面向数据整合的传输通道实现复杂网络环境下的数据传递和加工，保证数据传输的一致性和可靠性；提供安全可管理的服务总线，可通过URL、API、定时调度等多种方式共享调用数据服务。

UEP主要由引擎（节点）、规则库、管理服务器、管理工具、开发接口组成。

一套UEP系统具有一个管理服务器，对多个引擎进行管理，用户通过管理工具连接到管理服务器进行图形化/可视化开发管理，管理服务器将用户配置的服务、流程等转换成规则保存在规则库中，并按照分工将规则下发到对应的引擎。引擎分布式部署在不同机器上，他们按照规则相互协作对数据进行加工、传输等处理，引擎间可以彼此调用对方的服务与资源。第三方系统通过平台提供的API、URL、定时调度等方式调用总线上的数据交换服务或流程完成数据交换任务。

2 系统现状

ERP系统和规划计划项目执行接口原技术路线为，ERP将数据推送至本地ODS，本地ODS调用DXP将数据推送至总部ODS。

（1）DXP的集成架构模式，实现规划计划系统与ERP之间的数据交互需求。采用数据中心推送/抽取技术，在总部通过数据中心ODS实现规划计划与ERP间横向的数据交互，在本地由ERP直接与数据中心ODS交互实现计划执行信息数据在ODS的读写。（2）采用DXP增量传输方式，实现总部数据中心ODS与本地数据中心ODS的数据纵向交互需求。（3）ERP将项目的实施进展情况推入本地数据中心，通过两级数据中心纵向交互到总部数据中心。（4）规划计划通过总部数据中心，获取ERP项目实际进展情况信息。（5）为保障DXP数据传输通道通畅，由本地数据中心数据分批次传送至总部数据中心。

为了实现数据共享，ERP系统中的数据交换平台DXP缺乏大数据量稳定传输能力，缺乏文件传输服务，缺乏服务质量管理等问题。同时因平台建设时间久，集成架构和技术陈旧，运维支撑力度不够，无法支撑公司目前现有的数据交换业务需求。统一数据交换平台UEP相比于DXP有着较多的不同点，开发和运维更加简单，DXP对大数据传输支持不好，必须要对数据进行分批计算传输，传输中还经常因为DXP服务器资源问题导致传输失败，极不稳定。UEP则可以支持大数据量传输，无需对数据进行分批传输，数据传输安全稳定。

即时数据总线DXP上传输两级之间的实时/非实时数据，但定位不准、能力欠缺，如：通过WebService通道传输小于5M的结构化数据，与ESB功能重复；另外，DXP采用消息队列传输大于5M的结构化数据，对于大数据量不适合。

UEP不仅具有DXP的相关功能，同时包括以下特点。

（1）开展消息总线能力增强与升级工作，保障数据交换服务质量。总结前期建设经验及不足，进一步对消息总线的能力进行增强，从传输能力增强、问题回溯手段完善、监控管理能力增强等方面开展。已应用的保持不变，在有提升需求或项目建设时采用完善后的消息总线。

（2）建立技术标准规范，三总线统一管控，形成统一的数据交换平台明确三总线技术路线，构建统一的管控平台。统一需求接入及过程管控，形成统一的数据交换平台。

（3）统一融合，批量数据总线和消息总线实现集中调度。批量与消息总线合一部署，形成统一的数据传输组件。根据业务的需求，数据交换任务可以在批量与消息总线之间统一灵活调度。

批量数据总线目前管理层做到统一配置管理、统一监控、异常处理机制，基于成熟中间件产品开发批量交换的配置、监控异常处理、审计等功能。

批量数据传输层基于成熟中间件完成总线传输、安全、高性能、可靠性等要求。

3 优化方法和成效

ERP将数据推送至规划计划系统的优化方法如下。

（1）ERP系统将传输数据推入本地数据中心ODS，通过统一数据交换平台将本地数据中心ODS数据纵向交换到总部数据中心ODS。

（2）统一数据交换平台将本地数据中心ODS数据纵向交换到总部数据中心ODS之后，发送消息通知规划计划。

（3）规划计划系统接收到统一数据交换发送的信息之后，到数据中心ODS获取数据，并判断当前月份数据条数是否与数据中心一致，如果无误，规划计划通过两级企业服务总线反馈接收结果success；否则，反馈false，并删除数据中心数据。并通过发送邮件的方式将结果反馈给ERP。

（4）若推送失败，由本地ERP系统项目组核实原因并重新推送。

在程序取数方面，因涉及大量的数据，通过逻辑关联多张表取数时，先将数据取到内表中进行筛选运算，减少数据库层的表读取次数，大量的数据存放到内表中进行处理，精简大数据量内表的循环次数，在一个循环中尽量计算更多数据。

ERP作为接收方，接收其他系统（B系统）的数据，优化方法如下。

（1）B系统将数据推送至总部数据中心ODS，通过统一数据平台将总部数据中心的数据推入本地数据中心。

（2）统一数据交换平台发送消息至ERP系统。

（3）ERP系统接收到统一数据交换平台发送的信息后，到数据中心ODS获取数据，并通过邮件的方式将结果反馈给B系统。

（4）若推送失败，由B系统项目组核实原因并重新推送。

同时，针对涉及大数据量的表进行内表（如BSEG、MSEG等）数据处理时，尽可能地使用二分法进行处理，也可使用hashed table进行处理。

4 结语

实现ERP与各业务系统通过统一数据交换平台进行数据交换，其效益主要体现在以下方面。

（1）使用的统一数据交换平台相比于之前规划计划与ERP接口使用的DXP和ESB，在满足已有功能点的同时，提高了系统间大数据稳定传输的能力。仅ERP和规划计划系统的项目执行情况数据，每个月的数据量为50万条，接口运行稳定，传输数据较快，每个月由本地ODS推送至总部ODS需要用时10分钟左右。

（2）ERP与其他业务系统基于统一的数据交换平台进行横纵向数据交换，进行统一的接入、加工、传输、管理、监控和运维，确保数据交换的过程和业务系统本身完全隔离，降低信息系统间的耦合度，大幅提升信息系统的健壮性、安全性、可靠性和可用性，社会和经济效益巨大。

（3）与此同时，使用统一数据交换平台较原先的DXP可以降低业务系统自身开发的工作量，减少人员和产品研发的投入。