基于大数据的油品交易营销与服务体系创新关键技术研究与应用

朱海洋 江涛 汪如朗 杨军杰 王寅宇 李政泽

摘要

本文针对油品全产业链建设过程中的现货贸易交易营销与服务体系创新进行了深入研究，提出了基于标准化BMP流程配置管理框架技术、Velocity模板引擎技术、大数据（Big Data）技术和Redis缓存技术的关键技术解决方案，并详细介绍了关键技术具体实现过程。经实践应用检验，采用新一代信息技术开展油品化工等大宗商品现货交易的营销与服务体系创新研究与应用，推进油品贸易交易数据中心建设，分析和挖掘会员企业的经营数据，将数据转化为可供创新决策目标支持的有效知识或信息，实现关键数据信息的自动生成和移动端推送，提升交易中心的核心竞争能力，具有重要的应用价值。

【关键词】大数据 Big Data 油品全产业链服务创新 营销创新 现货交易

1 引言

中国（浙江）自由贸易试验区（以下简称浙江自贸区）自2017年4月挂牌成立以来，一直致力于以制度创新为核心，推动油品全产业链投资便利化和贸易自由化，提升以油品为核心的大宗商品全球配置能力。

世界500强浙江省属国企物产中大集团旗下浙江石油化工交易中心有限公司（以下简称浙油中心）是省政府批准设立的全省唯——家專业从事石油化工类大宗商品现货交易的高技术服务平台。成立三年来，始终争当浙江自贸区建设系列国家战略实施推进排头兵，通过采用大数据等新一代信息技术，开展油品化工等大宗商品现货交易的营销与服务体系创新研究与应用，推进油品贸易交易数据中心建设，推动油品企业贸易交易集聚，为打造浙江自贸区油品价格指数奠定基础，取得了良好的成效。

2 关键技术研究与应用

2.1 应用功能简介

大数据（Big Data）技术是继云计算、移动互联网、物联网后出现的新一次信息技术浪潮，在各类管理创新中得到了广泛的应用。浙油中心坚持立足现货贸易、服务实体经济，深入挖掘市场各类需求，准确把握油品贸易交易市场的痛点与难点，依托工商、税务、安监、商务、统计等政府职能主管部门及银行金融机构，调研梳理油品企业注册、监管、数据等流程及需求，推进基于大数据的油品化工等大宗商品现货交易的营销与服务体系创新，研发具有市场营销创新、企业注册创新、会员服务创新、分析决策创新等主要功能模块的“会员客户全生命周期智慧管理系统”，打造油品贸易交易数据中心，构建能为政府主管部门加强油品行业监管、践行“最多跑一次”改革数字化、打造油品价格指数奠定基础的管理信息系统。系统应用功能设计如图1所示。

通过系统的产品报价功能，以报价和成交两项数据作为参考，将中石油、中石化等主营企业的当日价格作为补充，并通过采用大数据技术来提升创新方法、思维体系与管理模式，建立大数据模型，可形成该产品的当日价格。同时，通过深入分析和挖掘会员企业的经营数据、信息，及时掌握会员企业的整体运营状况，实现关键数据信息的自动生成和移动端推送，将数据转化为可供创新决策目标支持的有效知识或信息，帮助企业实现精准营销与提高服务管理水平，最大程度地降低创新过程中的不确定性，提升企业参与细分市场竞争的核心能力。

2.2 关键技术特点与方案设计

在关键技术特点方面，采用了标准化BMP流程配置管理框架技术，用户UI界面方面采用Velocity模板引擎技术，在此基础上大量使用Ajax技术来提高用户的体验度;在大数据技术环境下，通过采用数据挖掘方法和数据可视化技术，对海量数据进行采集、处理和分析，形成可提供技术创新目标决策支持的有效信息或数据;通过分布式处理和集群，利用Redis二级缓存技术，系统优先查询缓存数据，大大提高了服务器处理海量数据的能力，为系统提供大数据服务的技术支撑。

2.2.1 标准化BMP流程配置管理框架技术

系统以SpringMvc多层架构为基础，设计开发了标准化的BMP流程配置管理模块，可实现业务流程配置化开发管理，配置范围涵盖业务流程所需使用到的数据库表、页面表单、流程节点、节点权限等。通过可视化的界面，将必要参数进行采集和管理，后台程序通过一定规则的解析，生成对应SQL，Velocity模板、权限记录等。配置业务数据表时可通过解析数据表生成页面布局需要的字段控件;配置布局控件时既支持拖拽操作，同时也支持手动编写;配置流程时可通过拖拽流程节点控件、条件控件完成，并对其进行权限设置，每个节点都支持根据不同权限选择不同布局。部分核心转化代码如下：

localSteplnfol.setWorkflowid（paramWorkflow.getId（））;

local Steplnfo1.setName（（（MxCell）localObject2）.getValuc（））;

if（（Ioca1JSONObject ！= null）&&（！localJSONObject.isEmptyo））

{localObject3=localJSONObject.getJSONObject（（（MxCell）localObject2）.getId（））;

if（（localObject3卜null）&&（！（（JSONObject）localObject3）.isNullObject（））&&（！（（JSONObject）localObject3）.isEmptyU））

{local StepInfol.setActionText（（（JSONObject）localObject3）.getString（"actionText"））;

localSteplnfol.setCounterSign（Integer.value0f（StrUtils.object2int（（（JS ONObject）localObject3）.get（"counterSign"），0）））;

localSteplnfol.setLayoutView（StrUtils.nu112string（（（JSONObject）localObject3）.get（"layoutView"）））：localSteplnfol.setLayoutEdit（StrUtils.nu112string（（（JSONObject）localObject3）.get（"IayoutEdit"）））;

localSteplnfol.setLayoutPrint（StrUtils.nu112string（（（JSONObject）localObject3）.get（"IayoutPrint"）））;

{local StepInfol.setPreConnect（（（JSONObject）IocalObject3）.getString（"preConnect"））;

{local StepInfol.setPostConnect（（（JSONObject）localObject3）.getString（"postConnect"））;

IocalStepInfol.setStepType（Integer.value0f（StrUtils.object2int（（（JSONObject）localObject3）.get（"stepType"），0）））;}}

this.wf saveOrUpdate（localStepInfol）;

2.2.2 Velocity模板引擎技術

Velocity是一个基于Java的模板引擎，通过使用功能丰富的模板语言，引用后台Java代码中定义的对象，实现Java代码与网页分离。由于SpringMVC不限定模板框架，所以Velocity与系统完美兼容。SpringMvc的前端控制器（DispatcherServlet）收到页面提交的请求，交给处理器映射器（HandlerMapping），可以根据请求路径找到相应的处理器适配器 （HandlerAdapter），处理器适配器处理完业务后再返回ModelAndView对象，最后由视图解析器（ViewResolver）解析返回的对象，将对象数据渲染到页面上。通过配置spring-servlet.xml的VelocityViewResolvervia标签集成velocity。部分配置代码如下：

UTF-8

UTF-8

<！--VelocityViewResolver视图配置-->

<property name-suffix"value=".vm">

2.2.3 大数据（Big Data）技术

大数据技术是从各种类型的数据中快速获得有价值信息的新一代信息技术，能够将隐藏于海量数据中的信息挖掘出来，为企业的经营管理提供决策依据，从而提升企业的核心竞争能力。大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用。其中，数据挖掘是大数据应用的重要技术手段。通过数据挖掘，可以从系统沉淀、积累的大量数据中挖掘、分析出未知的、隐含的、对决策有潜在应用价值的模式、关系和趋势。同时，通过利用这些挖掘出来的知识、关系和规则，构建用于数据分析、提供预测性决策支持的数据模型。一般来说，先要确定挖掘目标，然后再进行数据预处理，最后是通过分类法、回归分析、特征分析等进行数据挖掘。系统的日常运行过程中记录、沉淀了用户大量的行为数据，这些数据可能存在一些质量问题，比如说，数据中可能包含了不正确的值，必须在数据清理后才能为模型所用。技术上，Oracle Data Mining组件可以高效的从海量数据中提取信息，供应用程序开发员快速提取、分析数据。ODM数据挖掘组件对分类、预测、回归、聚类等方法提供了数据支持。部分核心实现代码如下：

public void clipData（OraClippingTypeclippingType，String xformResult）throwsJDMException

{String schema=（m_dmeConn.getConnectionSpec（）.getName（））.toUpperCase（）;

OraClippingTransform oct=m_xformFactory.createClippingTransform（）;

oct.setTransformInputData（schema+"."+"MINING_DATA_BUILD_V"）;

oct.setTransformOutputData（schema+"."+，xformResult）;

String[] excludedList=new String[]{"CUST_ID"，"CUST_GENDER"};

oct.setExcludeColumnList（excludedList）;

oct.setClippingType（clippingType）;

oct.setTailFraction（0.03）;

ArrayList xformList=newArrayListn;

xfonnList.add（oct）;

OraTransformationSequencexformSeq=m_xformFactory.createTransfonnationSequence（

schema+"."+"MININGDATA_BUILD_V"，

xformList，schema+"."+xformResult）;

String xfonnSeqName="clp_"+clippingType.name（）+"_xfSeq";

m_dmeConn.saveObject（xfonnSeqName，xformSeq，true）;

OraTransfonnationTask xfonnTask=m_xformTaskFactory.create（xfonnSeqName，false）;

executeTask（xformTask，"xfromClip_jdm"）;

displayClippingResults（schema，xfonnResult，"AGE"，clippingType）;}

2.2.4 Redis緩存技术

采用分布式集群的技术，可以实现多节点完成一个任务，并且每个节点都具备扩展性，保证了系统的高效、稳定、易维护。同时，采用高性能的Redis缓存技术，为系统服务提供大数据的技术支撑。Redis是一种高性能的Key-Value存储系统，其遵守BSD协议、支持网络、可基于内存，也可以持久化。为了保证效率，数据都缓存在内存中，Redis会周期性的把更新的数据写入磁盘中或把修改操作写入文件，并且在此基础上实现了Master-slave同步。Redis常与数据库结合使用，当用户访问系统时优先到Redis中查询，如有结果就迅速返回。若Redis中查无结果，再到数据库中查询，在返回的同时也在Redis中存放一份，以便下次查询。调用Redis的部分配置文件代码如下：

刀获取数据源

private Jedis getJedisResource（Stringkey）{

Jedis myjedis=null;

try {lock.lock（）;

JedisPoolsinglePool=getpool（）;

myjedis=singlePool.getResource（）;

myjedis=getRedisDB（key，myjedis）;}

catch（Exception e）{

logger.error（"获取jedis resource异常"）：}

finally{lock.unlock（）;）

return myjedis;}

//从redis获得数据

public String getValue（String key）{

String value=null;Jedismyjedis=null;

try{myjedis=getJedisResource（key）;

value=myjedis.get（key）;}

catch（Exceptione）{retumBrokenResource（myjedis）;

logger.error（"操作redis getValue异常"）;

return"0";）

finally{//返还连接池

returnResource（pool，myjedis）;}

return value;}

3 取得成效和未来展望

3.1 经济效益和社会效益显著

系统自2017年上线运行以来，截止目前已集聚油品化工贸易交易类会员企业950余家，2018年1-10月会员企业累计实现贸易交易额1001.54亿元，同比增长187.15%;实现贸易交易量1740.75万吨，同比增长138.34%;为地方政府税收贡献1.53亿元，同比增长169.34%，经济效益和社会效益显著。被中国石油流通协会评价为油品化工交易核心平台，处于国内石油化工交易行业领先地位。

3.2 有望在全国其他自贸试验区复制推广

经第三方国际知名权威评估机构评价认为，该创新成果围绕市场主体实际需求，集合了流程手续简化、监管模式创新、大数据应用等多重举措，打造资源统筹优化配置的综合服务平台，是推进油品全产业链打造的有力举措，适合在全国其它自贸试验区进行推广，被列入浙江自贸区向国家商务部报送推荐的第二批创新成果之一。

3.3 探索与政府主管部门管理系统进行数二艇集成

探索推动工商、税务、安监、商务、统计等政府主管部门向“会员客户全生命周期智慧管理系统”开放部分数据接口，探索与金税三期系统进行数据的高度集成，打破“信息孤岛”，实现各项数据、信息互联互通，以及业务流与信息流的实时同步，进一步提升数据信息的实时性、准确性、权威性。

3.4 为打造油品价格指数莫定大数据基础

通过建立大数据中心，可以形成浙江自贸区任意时段所有油品化工类贸易企业贸易交易品种的最高价、最低价、加权平均价以及价格趋势曲线图，探索形成若干油品品种贸易交易价格指数为主的市场价格标杆，逐步建成全国性、全球性的石油化工产品定价中心，为打造浙江自贸区“油品价格指数”奠定大数据基础，为企业经营和决策提供支持。

3.5 构建与新一代信息技术结合应用的智能化交易生态系统

省政府已批示同意以浙油中心为基础打造浙江自贸试验区国际油品交易中心。未来，计划采用大数据、云计算、人工智能、物联网、区块链、量子信息、虚拟现实等新一代信息技术推进科技创新，搭建供应链金融、智能仓储物流等数字化集成服务体系，推进浙江自贸区油品全产业链大数据中心建设，构建与新一代信息技术结合应用的数字化、智能化交易生态系统。

4 结束语

采用大数据等关键技术，推动油品化工等大宗商品现货交易的营销与服务体系创新研究与应用，推进会员客户全生命周期智慧管理系统建设，打造国际化油品贸易交易企业服务平台，对于落实浙江自贸区系列国家战略、保障国家能源安全，争取我国在国际油品市场的话语权、定价权，推进人民币国际化，具有重大战略意义

参考文献

[1]国务院关于印发中国（浙江）自由贸易试验区总体方案的通知[R].国务院文件国发[2017]16号，2017-3-15.

[2]朱海洋.基+Spring MVC的石油化工现货交易结算仓储一体化系统构建[J].电脑编程技巧与维护，2017（12）：6-11.

[3]曹志雷，教颖辉，冯力.基于大数据的智能化城市管理技术的研究与应用[J].中国安防，2018（03）：55-57.

[4]朱东华，张嶷，汪雪锋.大数据环境下技术创新管理方法研究[J].科学学与科学技术管理，2013，34（04）：172-180.

[5]李鹏鹏，郑扬飞，刘玉龙.Redis在即时通讯系统中的应用[J].软件，2017，38（01）：115-119.

[6]中国（浙江）自由贸易试验区一周年制度创新成果第三方评估报告[R].毕马威企业咨询（中国）有限公司，2018-4.

[7]浙江省人民政府金融工作办公室关于上报浙江自贸区国际油品交易中心建设实施方案（送审稿）的请示[R].浙金融办[2018]59号，2018-8-20.