通用B2C电商平台交易数据抓取中间件的研究与设计
2015-01-29郭亚平马新春
郭亚平,马新春,昔 克
（新疆电子研究所有限公司 新疆 乌鲁木齐 830049）
B2C电子商务模式即企业通过互联网为消费者提供一个新型的购物环境——网上商店，消费者通过网络在网上购物及支付的商务模式。目前大型的B2C电子商务平台很多(如淘宝、京东、一号店、亚马逊等)，往往一个企业会在多个B2C平台开设门店，这样就会导致一个企业的电商交易数据分散在多个B2C平台，对销售数据的统一管理以及统计分析工作造成了困难。中间件是一种独立的系统软件、服务程序或分布式应用软件，借助这种软件在不同的技术之间共享资源。 本文探讨如何采用中间件技术实现一种统一的电商交易数据抓取插件，进而实现对分布于不同B2C电商平台交易数据的统一管理。
1 B2C电子商务的背景与现状
电 子 商 务 是 指 在 互 联 网 （Internet）、 企 业 内 部 网（Intranet）和增值网（Value Added Network，VAN）上以电子交易方式进行交易活动和相关服务的活动，是传统商业活动各环节的电子化、网络化[1]。近十年电子商务正在以几何级数的速度迅速发展。电子商务(e-commerce)作为一种新兴的商务活动模式，凭借自身依托Internet网络交易所带来的迅捷、方便等优点，正在超越传统的商务活动模式，给人们的生活带来越来越多的商机。
电子商务B2C模式中的B是Business，即商业供应方（泛指企业），2（two）则是 to 的谐音，C 是 Consumer，即消费者。B2C电子商务是按电子商务交易主体划分的一种电子商务模式，即表示企业对消费者的电子商务。
B2C电子商务模式包括两种类型，一种是大型企业自建B2B电子商务网站来开展电子商务，企业通过电子商务来降低成本、提高销售量，如海尔、联想等公司。另一种是第三方电子商务平台。我国大部分中小企业由于自身条件的限制，只能通过第三方电子商务平台开展电子商务业务。主要的第三方电子商务平台包括淘宝商城、天猫、京东、一号店等。
2 中间件概述
中间件（Middleware）是基础软件的一大类，属于可复用软件的范畴[2]。中间件在操作系统、网络和数据库之上，应用软件的下层，总的作用是为上层的应用软件提供运行与开发的环境，帮助用户灵活、高效地开发和集成复杂的应用软件。中间件的主要特点如下：
1)易于集成。 中间件能够无缝的嵌入目标应用开发环境中，应用程序能够稳定方便的调用中间件提供的应用逻辑和数据。
2)易于移植。中间件与平台无关，即平台的改变对应用程序来说几乎没有影响，无需修改代码。
3)易于升级维护。中间件通过外部接口和应用程序交互，因此中间件的升级维护对应用程序基本没有影响。
4)高可靠性。中间件主要针对部分功能逻辑进行封装重用，通用性很强，成熟的中间件可以有效的保障系统的逻辑正确和运行稳健。
5)易于使用。中间件封装了复杂的业务逻辑，系统通过简单的接口调用就能重复使用这些业务逻辑。
3 通用B2C平台电子商务交易数据抓取中间件的意义
目前我国大部分从事B2C电子商务的企业主要是依托于第三方B2C平台进行自身商品的网上营销活动，而其中的大部分企业为了实现更好的网上营销效果，在很多B2C电子商务平台上均开设了门店，其中知名度较高，规模较大的平台包括淘宝、天猫、京东、一号店等，在不同平台开设门店为企业增加效益的同时，也带来的不少问题。举例：我省一干果加工销售龙头企业已成功依托于B2C电子商务平台进行线上销售多年，由于自身架设的电子商务销售网站知名度不很高，该龙头企业主要依托于淘宝、天猫、京东、一号店等平台进行线上销售工作，这些分散于各个电商平台的销售数据为企业的日常销售管理工作带来了一些问题。第一、如何集中管理这些分散数据，进行企业日常的各类分析统计工作。第二、如何自动导入这些线上销售数据到财务软件等企业现有ERP系统，实现企业整个销售数据的统一，同时避免人为重复录入等工作造成的成本提升等问题。
文中就是针对目前的这种状况，提出以一种通用中间件的方式统一解决企业在各第三方B2C平台销售数据的抓取问题。企业或第三方系统开发人员能够通过本中间件轻松的实现大多数B2C平台的数据抓取功能，在解决B2C销售企业困难的同时提高企业工作效率。
4 通用B2C平台电子商务交易数据抓取中间件的研究开发
4.1 中间件设计
数据抓取中间件介于B2C电子商务平台与企业ERP信息管理系统之间，以屏蔽不同B2C电子商务平台数据接口差异为目的，支持大部分主流B2C电子商务交易数据的即时抓取功能，实现B2C电商平台交易数据到企业内部ERP信息管理系统间的无缝融合。结构示意图如图1所示。
图1 中间件结构示意图Fig.1 Middleware structure diagram
4.2 功能需求
1)能够适应目前主流的几个B2C平台，如京东、一号店、淘宝、天猫。针对于这些平台企业用户无需再次编写数据抓取接口，通过本中间件提供的方法调用即可方便的实现交易数据抓取功能。
2)制定中间件接口标准，通过接口标准屏蔽不同B2C交易平台间数据接口的差异，在有新的B2C平台数据接口需求时，只需要根据差异针对目标平台进行简单接口编程，即可实现本中间件的扩展，提高本中间件的兼容性。
3)实现对企业不同B2C平台下的多帐号管理，自动根据所管理的帐号进行抓单并自动关联单据至该帐号。
4)企业维护人员能够自行定义本中间件抓取的数据到企业数据库表/字段的自动映射关系。 通过本中间件实现B2C平台到企业ERP系统数据库的数据自动入库功能，无需再次编码。
5)提供事件处理引擎，将自动抓取数据进行过滤、分组、关联和聚合生成用户需要的业务数据，减少或避免用户在处理底层数据上所花费的工作，直接面对业务逻辑数据。
4.3 中间件开发工具及流程
常用的编程语言主要有：c++、C#、Java、vb 等；而 Linux 系统下一般用C语言来进行开发[3]。本中间件主要基于C#语言开发，采用Visual Studio 2010开发环境 。考虑到本中间件的兼容性和强壮性，本地化存储方案采用XML文件存储。系统开发流程如图2所示。
图2 系统开发流程图Fig.2 System flow chart
4.4 中间件所具备的功能模块
中间件需要实现的主要功能模块主要有6个，包括电商平台账户管理模块、逻辑接口模块、单店铺抓单接口实现模块、数据结构映射模块、数据自动导入模块、抓单守护线程模块。各模块功能介绍如下:
1)电商平台账户管理模块：管理分布于各B2C电商平台的账户认证信息。
2)逻辑接口模块：该模块对各B2C电商平台的抓单动作进行抽象，形成接口标准定义。
3)单店铺抓单接口实现模块：针对接口标准对不同电商平台所做的抓单功能实现。
4)数据结构映射模块：用户自定义的电商交易数据自动导入企业ERP系统时的数据逻辑结构定义。
5)数据自动导入模块：实现电商交易数据自动导入企业ERP系统功能。
TF/IDF方法只考虑了词在上下文中的统计特性，具有一定的局限性。一个特征项出现的频率越多，该特征项越能代表主题，包含该特征项的文档越少，该特征项越能代表主题，这是正确的，但也是片面的。从词性上讲，名词比动词或者其他词性更能代表主题，从词汇属性上讲，关键词、方言词比普通常用词汇更能代表主题。本文利用的是项目自定义的农业专业分词算法，该算法的分词结果包括该词的词性和词汇属性(常用词、方言词、专业关键词)，将词汇按照其词性及词属性进行加权，增加了该算法的可操作性和准确度。
6)抓单守护线程模块：定时抓取电商交易数据，处理网络异常、单据异常、数据异常等非正常事件，保证中间件的健壮性。
5 软件开发
5.1 基于XML的多平台数据交换协议
可扩展的标记语言XML是1998年2月由W3C组织制定的一种通用语言规范，具有开放性、平台无关性、自描述性、灵活的可扩展性、高度结构化和层次化的数据组织形式等特点[4]。XML语言采用标记来表示信息的内容,使用者可根据需要自由定义这些标记,生成结构化的信息,使其非常适用于不同应用间的数据交换。因此,基于XML的异构数据交换技术已成为电子商务应用的关键技术[5]。基于XML的数据交换标准在B2C电子商务平台与企业之间充当一个桥梁,使得使用不同通信方式的B2C电子商务平台和企业之间可以方便地进行信息交流[6]。
本中间件主要通过XML数据交换标准实现各B2C平台不同格式标准数据到本中间件数据标准的转换定义。通过最大冗余数据格式定义将从各B2C平台抓取的数据统一变化为标准定义。再根据具体使用企业的自身ERP系统的差异，将标准数据转换为企业ERP所需的数据，从而完成B2C平台数据到企业ERP数据的转换。下面为淘宝平台交易数据到中间件交易数据标准格式转换的XML定义示例。
--第三方平台字段名称
--字段类型
--字段长度
--值
--标准版本号
通过标准定义来屏蔽不同B2C平台接口间的差异，同时保证本中间件的可扩展性，对于其他B2C平台只需要针对于本标准进行简单的接口编程即可实现对本中间件的功能扩展，提高本中间件的平台兼容性和健壮性。
5.2 基础类设计
整个中间应用逻辑实现依赖于四个重要的基类设计，如图3所示。
图3 基类设计图Fig.3 Basic class design chart
1)Istore类:该类为抽象类(abstract class),封装了店铺认证信息，店铺登录，获取店铺基本信息等通用处理过程。由此基类衍生出所有B2C平台店铺子类，如淘宝店，京东店等。
2)StoreManager类：该类为店铺管理类，负责管理本中间件所有登记在册的店铺信息。
3)StoreFactory类：该类为工厂类，负责根据请求的店铺类型生成不同的店铺实例。
4)CaptureRobot类：该类为主守护线程类，负责按所有登记在册的店铺信息定时依次抓取各类单据信息，并负责处理抓单过程中的各类异常信息。确保本中间件的稳定运行。
5.3 实现结果
基于本抓单中间件开发出的自动抓单机器人的系统运行界面如图4所示。
图4 系统界面图Fig.4 System UIchart
6 结论
在电子商务蓬勃发展的今天，越来越多的企业采取Internet线上营销的方式，通过第三方B2C电子商务平台营销自己的产品。在给企业带来便利，实现效益最大化的同时，也为企业带来了数据分散，难以集中管理统计等困难。使用本中间及相关技术可以有效解决这些问题。企业只要通过简单的调用本中间件的外部接口或进行二次开发就能方便的实现B2C电商平台数据与本企业ERP平台数据的无缝集成，实现企业信息资源方便高效快捷的互通互享，提升企业的经济效益。本文所设计的中间件已在新疆某干果电子商务销售企业得到了成功应用，进一步的提高了企业自身的信息化优势，取得了良好的经济效益。
[1]方美琪．电子商务概论[M].北京：清华大学出版社，1999．
[2]仲岩,芦阳,李霞.电子商务实物[M].北京：北京大学出版社,2009.
[3]叶颖,李陶深.浅谈电子商务中间件架构[J].广西大学学报：自然科学版，2005(30):58-61.YE Ying,LI Tao-shen.E-commerce middleware architecture[J]Guangxi University：Natural Science,2005(30):58-61.
[4]王宇飞，许进．OpenBase MINI数据同步的设计与实现[J]．计算机科学，2000，27(10)：214-217．WANG Yu-fei,XU Jin.OpenBase MINI design and implementation of data synchronization [J].Computer Science 2000，27(10)：214-217．
[5]李文菲.基于中间件技术的数据交换平台的设计与实现[D].北京:中国科学院，2006.
[6]尹梦嘉.基于中间件的电子商务基础系统研究[J].福建电脑,2005(6):37-38.YIN Meng-jia.Research about middleware-based e-commerce infrastructure systems[J].Fujian Computer,2005(6):37-38.
