遗传BP神经网络在大宗商品市场风险预警中的应用①

陈晴光, 陈宇哲

1(浙江万里学院 物流与电子商务学院, 宁波 315100)

2(敏实集团研发中心, 宁波 315800)

遗传BP神经网络在大宗商品市场风险预警中的应用①

陈晴光1, 陈宇哲2

1(浙江万里学院 物流与电子商务学院, 宁波 315100)

2(敏实集团研发中心, 宁波 315800)

研究利用遗传BP神经网络预警大宗商品电子交易市场风险的应用方法, 将定量分析的思维方式引入大宗商品市场风险评价管理中. 为此目的, 建构了一个基于遗传BP神经网络的预警模型(GA-BPNNM), 在市场调研的基础上建立了大宗商品电子交易市场风险评价指标体系, 并通过实验确定了预警模型的最佳训练函数和隐层的最佳节点数. GA-BPNNM借助BP神经网络强大的自学习能力和非线性映射能力, 克服传统手段在分析大宗商品电子交易市场风险时因其定义的模糊性和诱发因素的多样性所带来的困难; 同时通过遗传算法与BP网络两者相互融合优化, 解决BP神经网络易落入局部最优、收敛速度慢以及遗传算法易早熟等问题. 仿真测试实验表明, GA-BPNNM预测结果优于标准BP神经网络预测方法, 用于大宗商品电子交易市场风险损失程度预警是有效可行的.

大宗商品; 电子交易市场; 风险; 遗传BP神经网络; 预警模型

大宗商品电子交易市场是一种利用网络平台对能源商品、基础原材料等大宗商品进行批量交易的特殊B2B电子商务市场, 其风险状况既不同于从事普通现货交易的第三方B2B电子市场, 也不同于期货市场, 而是介于现货商品交易市场与期货市场之间. 传统的以定性为主的市场风险管理方法, 已越来越不能适应新形势下大宗商品电子交易市场风险管理的需要, 而基于神经网络等数据挖掘技术建立有效的风险预警机制在防控大宗商品电子交易市场风险方面却显示出其独特的优越性.

国外将市场风险管理与预警结合起来研究的主要代表是James.P.Forkan的营销风险预警研究和Robert Allio的市场安全预警研究, 并建立了各自的指标体系.从国外的相关研究成果看, 神经网络方法主要用于金融市场风险、信用风险等的预测管理中, 如进行破产预测[1]、利率预测[2]、信用评价[3,4]等. 国外的研究从实践应用的角度, 说明了神经网络预测模型是可以用于市场风险预警的. 国内相关研究近年来主要集中在对神经网络算法的优化以及神经网络预测模型在一些领域的应用探讨方面. 例如, 基于BP神经网络对农产品市场风险[5]、商业银行操作风险[6]、工程项目知识管理风险预警等[7]; 基于遗传算法与BP神经网络的混沌时间序列预测[8]、短期风速预测[9]、煤体瓦斯渗透率预测[10]、产品造型设计评价[11]、主轴热误差建模[12]和矿山煤层注水效果预测[13]等, 涉及的领域十分广泛, 但尚未见在大宗商品电子交易市场风险预警领域有影响的应用成果. 国内外的相关研究在一定程度上表明, 应用神经网络模型预警大宗商品电子交易市场风险具有理论和实践基础.

对于遗传BP神经网络模型在不同领域的预测或预警应用, 目前要解决的关键问题: 一是如何针对不同领域的样本数据确定合适的权值与阈值, 二是如何确定神经网络模型的最佳训练函数和隐层的最佳节点数,以保证预测或预警结果的有效性. 为此, 本文尝试进行遗传BP神经网络拓展应用于大宗商品电子交易市场风险预警的方法研究, 找出神经网络模型针对大宗商品电子交易市场风险特征的合适的权阈值以及的最佳训练函数和隐层最佳节点数.

1 大宗商品电子交易市场风险预警原理

大宗商品电子交易市场风险包括交易商面临的风险和交易中心面临的风险两大类, 由于种种原因, 能采集到的风险事件样本数据十分有限; 而BP神经网络具有很强的学习功能, 可用于支持少量数据进行训练, 比较适合在风险样本数据稀疏情况下的预测分析. 因此,本文借助BP神经网络建立预警模型实现对大宗商品电子交易市场风险的预警.

基本思想: 首先收集有关大宗商品电子交易市场风险数据, 经过数据清洗、筛选等预处理后, 建立大宗商品电子交易市场风险信息数据仓库; 同时创建BP神经网络, 采用遗传算法对其进行优化, 确定BP神经网络的最优权阈值, 并建立大宗商品电子交易市场风险预警指标体系; 然后提取数据仓库中的大宗商品电子交易市场风险数据, 运用所构建的遗传BP神经网络模型进行分析; 参照之前确定的风险预警指标, 对分析结果可视化处理后, 输出大宗商品电子交易市场风险等级的预警信号. 大宗商品电子交易市场风险预警的基本流程如图1所示.

图1 大宗商品电子交易市场风险预警基本流程

关于建立大宗商品电子交易市场风险信息数据仓库的关键技术, 如异构数据的集成转换等技术实现, 采用XML作为中间数据模型屏蔽电子交易平台访问信息的异构性, 并与Web上原有的XML文档集成, 再经清洗过滤后转换为关系数据, 然后用遗传BP神经网络等数据挖掘方法对其进行深层次的分析处理. 电子交易网站平台数据的动态采集、异构数据的集成转换等技术的具体实现方法, 笔者在文献[14]、[15]等论文中已有较详细的表述, 本文不再讨论.

2 遗传BP神经网络预警模型的构建

本文选用Matlab7.5软件自带的神经网络工具箱,借助BP神经网络和遗传算法(Genetic Algorithm,GA)创建大宗商品电子交易市场风险的遗传BP神经网络预警模型(GA-BPNNM). 首先创建BP神经网络, 然后采用遗传算法优化, 使二者优势互补. GA-BPNNM的实现涉及到BP网络和遗传算法中的各类参数设计, 主要包括BP网络训练学习参数、市场风险指标权值及预警阈值、输出报警信号等.

2.1 创建BP神经网络模型

BP神经网络模型的建模步骤: (1) 收集大宗商品电子交易市场风险损失样本数据, 按比例把样本分为训练样本数据和预测样本数据两部分. (2) 调用newff函数创建BP神经网络, 并选择合适的神经元数目.

创建BP神经网络的关键代码:

net=newff(minmax(xx), [PR, SI], {tansig, purelin},BT, BL);

net为生成的BP网络对象; PR为输入层神经元节点数; SI为隐含层节点数, 隐层的最佳节点数需通过仿真实验测试后选定; tansig与purelin分别为隐层及输出层的传递函数; BT为BP网络的训练函数; BL为权值和阈值的BP学习算法.

为增强预警模型的适应性和可操作性, 本文创建BP神经网络模型时, 在传统BP算法的基础上增设了一个任务控制与转换模块. 用户可以通过该模块, 根据市场风险预警任务选择不同的输入层节点数和合适的数据源. 例如, 当预警交易商面临的风险时, 输入层节点数PR取值20, 对应本文表1“大宗商品电子交易市场风险指标体系”中交易商面临的20个二级风险指标; 当预警交易中心面临的风险时, PR取值10, 对应表1中交易中心面临的10个二级风险指标.

表1 大宗商品电子交易市场风险指标体系

2.2 建立大宗商品电子交易市场风险指标体系

在调研识别出大宗商品电子交易市场风险类型及其影响因素的基础上, 分别针对大宗商品交易商面临的6个一级风险指标下的23个二级指标和交易中心面临的4个一级风险指标下的12个二级指标, 通过综合判定分析样本数据得到各二级指标的权重因子, 剔除5个权重极小的二极指标, 最后确定了大宗商品电子交易市场各类风险的指标及其权重(如表1所示).

大宗商品电子交易市场风险预警指标体系包含了定性指标与定量指标, 可以全面反映大宗商品电子交易市场运作状况. 关于表1中各二级指标具体评价标准的设计以及权重确定的详细过程在另文讨论, 本文不作累述.

2.3 遗传算法对BP网络的优化训练

遗传算法是一种模拟自然界生物进化过程中遗传复制、交叉和变异等现象的全局优化随机搜索算法,能对种群个体逐代择优, 最终获得适应环境的最优个体(问题的最优解). BP神经网络模型的初始权值和阈值通常是随机选取的, 而初始权阈值的优劣将直接影响到最终预警模型的性能. 本文采用遗传算法优化BP神经网络的初始权阈值(其基本原理参见图1), 先创建一个BP神经网络模型, 再将遗传算法与BP算法融合,寻找并择优确定BP神经网络的初始权值和阈值, 代替一般BP网络随机生成的初始权阈值; 然后对神经网络采用改进后的BP算法反复进行自学习、训练, 并不断调整BP网络的权阈值参数, 直至最终收敛, 找出满足预期的最优解或者近似最优解.

2.4 预警信号的可视化输出

大宗商品电子交易市场风险预警模型(GA -BPNNM)采用综合预警信号输出方式, 隐层和输出层神经元传输函数都选用Sigmoid函数. 输出结果在(0, 1)之间, 警情等级依目标值的输出分为五级:无警(输出结果＞0.1)、微警(0.1-0.08)、轻警(0.08-0.06)、中警(0.06-0.03)和重警(<0.03).

GA-BPNNM可在一定周期内对大宗商品电子交易市场整体风险进行实时监控并输出综合评价结果,同时将其与风险等级匹配, 发出相应的警报信号.

实际应用中通常要求直观地显示大宗商品电子交易市场风险的实时变化趋势, 实现动态数据图表. 为此,GA-BPNNM借鉴文献[14]的方法将Java Applet嵌入到电子交易平台的网页中实现与用户动态交互的功能,并根据预警模型输出的警情结果, 通过绘制综合风险趋势信号图, 更清晰直观地展示大宗商品电子交易市场风险的变化及走势. GA-BPNNM提供的警情结果可视化图表包括柱图、饼图、曲线图三类, 其实现技术的关键代码示例请参阅文献[14]中“3.2 数据挖掘结果可视化图表的实现”部分相关内容.

3 GA-BPNNM仿真实验

在整个模型的实现过程中对于关键参数采用了自适应策略, 分别对BP网络模型和优化后形成的GABPNNM选择不同的训练算法进行测试实验, 并分析测试结果, 初步检验预警模型的有效性.

3.1 实验数据准备

3.1.1 原始实验数据描述

本次实验所用原始数据是描述大宗商品交易商在电子交易市场所面临的6大类风险(即表1中的一级风险指标)的损失程度数据. 鉴于大宗商品电子交易市场风险数据媒体很少公开, 所收集到的数据量较少且有缺项, 达不到训练样本数据要求, 于是填补了一些模拟数据以便实验顺利进行. 表2展示的是实验中用到的部分数据, 模拟数据用下划线标示.

表2 交易商面临的市场风险损失程度分布矩阵(单位: 千万元)

3.1.2 数据归一化处理

由于原始样本数据是不规则的, 测试前需先对其进行归一化处理. 数据归一化的函数接口如下:

3.2 BP神经网络的训练和仿真

3.2.1 BP神经网络的训练参数设置

net.trainParam.show=10; %定义训练步长

net.trainParam.lr=1; %学习率

net.trainParam.epochs=200; %定义最大训练次数

net.trainParam.goal=0.00001; %训练目标

3.2.2 BP神经网络不同算法的收敛速度比较

GA-BPNNM的核心是基于BP算法的三层式BP神经网络模型, 由于BP神经网络的收敛曲线与训练参数的设置有很大关系, 采用不同的训练函数对网络的收敛速度等性能也有影响, 因此, 实验选择Traingd、traingdm、traingdx、trainlm训练算法进行了对比测试.为便于分析比较, 实验中都设定训练次数为200、隐含层节点数为10. 图2给出了基于traingdx和trainlm训练算法的训练曲线, 其中横坐标表示训练步长, 纵坐标表示工作性能.

图2 BP神经网络不同训练算法的训练曲线

用traingd训练算法时工作性能为0, 网络训练过程在120的时候停止训练了, 根本就未能对大宗商品电子交易市场风险进行预警; traingdm训练算法的预测结果为1.5782, 绝对误差为1.2782, 相对误差为4.2607, 经过200次训练后, 网络的训练过程曲线收敛得依然非常缓慢, 预测结果和误差都太大; 图2(a)所示traingdx训练算法的预测结果为0.2980, 绝对误差为-0.0020, 相对误差为-0.0068, 经过200次训练后, 网络的训练过程收敛得还是非常缓慢, 但是与traingdm收敛曲线相比已有一定程度的改善; 图2(b)所示trainlm训练算法的预测结果为0.3231, 绝对误差为0.0231, 相对误差为0.0769, 经过5次训练后, 网络的目标预测就达到了要求. 此时的预测结果为0.3231, 而且该网络的收敛速度非常快.

上述BP神经网络测试实验表明: (1) BP算法模型的训练速度是可以改进的. 经过三次的算法改进, 基于trainlm(Levenberg-Marquardt)训练算法比单纯梯度下降算法的训练速度大大提高了. (2) 不同的训练算法其收敛速度不同. trainlm算法收敛速度最大, 网络性能也最好, 因此GA-BPNNM采用trainlm函数对选定的样本进一步开展预警实.

3.3 GA-BPNNM预警市场风险的性能分析

为了便于对比预警效果, GA-BPNNM进行测试时采用与单纯BP网络模型测试相同的样本数据.

3.3.1 迭代次数的比较

分别选取迭代次数为30次和50次, 误差函数值的情况如图3与图4所示.

图3 迭代次数为30次的情况

图4 迭代次数为50次的情况(最佳)

从图3中可以看出, 当迭代次数为30次的时候, 函数值在0.025左右就没有什么变化了, 但是实验要求的是误差函数值接近0, 这样进行迭代之后数据才会更加准确. 从图4可以看到, 在迭代次数为50的时候, 误差函数值接近0, 说明迭代次数为50次时已经达到了最佳.

3.3.2 GA-BPNNM隐含层不同节点数的测试

本文采用尝试法确定GA-BPNNM隐含层神经元数目, 即在改变神经网络模型隐含层节点数的情况下,反复运行GA-BPNNM的最优训练算法trailm, 对比预测结果(如表3所示). 表中“预测结果”表示大宗商品电子交易市场风险可能造成的损失金额(单位为千万元);“绝对误差”和“相对误差”分别反映预测结果的准确性和稳定性. 大宗商品电子交易市场风险预测误差进行比较时只能取正值, 为负值则说明预测值小于真实值,达不到预测效果.

表3 GA-BPNNM隐含层不同节点数的测试结果

表3显示GA-BPNNM预测的绝对误差和相对误差都比较小, 而且都比单纯BP算法预测的误差相应有所减少, 说明采用遗传BP算法的预测模型精度更高、稳定性更好; 特别是当隐含层节点数为10的时候, 绝对误差和相对误差都最小, 预测结果0.3104也最接近期望值, 说明隐含层节点数为10时预测结果最精确也最稳定. 因此, GA-BPNNM隐含层节点数的最佳值宜确定为10.

3.3.3 用遗传BP算法改进trailnm的收敛速度比较

为了便于与标准BP神经网络的预警结果进行比较, 在这里还是采用训练次数为200、隐含层节点数都为10进行测试, 并观察结果. 遗传BP神经网络算法下trailm训练曲线如图5所示, 其中横坐标表示训练步长,纵坐标表示工作性能.

图5 遗传BP算法下trailm训练曲线

预测结果为0.3104; 绝对误差为0.01041; 相对误差为0.0348.

标准BP神经网络算法下, trainlm训练曲线要5次才能达到训练目的(参见图2(b)); 改进之后只需要3次就能达到训练目的, 而且在预测结果、绝对误差、相对误差上都有着明显的进步, 比标准BP神经网络算法预测结果差值减少了0.0127.

以上实验测试数据显示, 用遗传BP神经网络算法大大改进了神经网络模型的训练性能.

需要说明的是, 上述预测结果用于大宗商品电子交易市场风险预警, 还需要经过分析评价后才能予以采用; 若误差较大, 就应该进行修正或重新预测, 以确定最佳预警值.

5 结束语

本文创新性地将神经网络预警方法引入到大宗商品市场风险管理领域中, 运用Matlab7.5的神经网络工具箱构建大宗商品电子交易市场风险的遗传BP神经网络预警模型, 并依据收集的相关风险数据, 对一定时期内大宗商品电子交易市场同类风险发生时所造成的损失程度进行预警. 仿真实验表明: 对于选定的大宗商品电子交易市场风险样本数据, 本文所构建的BP神经网络预警模型GA-BPNNM在选择trailnm训练算法、隐含层节点数为10的情况下, 用于对大宗商品电子交易市场风险进行预警是有效的. 也就是说, GA-BPNNM用于大宗商品电子交易市场风险预警时, 宜选择trailnm训练算法、隐含层节点数为10的情况, 此时效果最佳.

本文提出的大宗商品电子交易市场风险评价指标体系, 定量评价指标占86.67%, 率先改变了以往大宗商品市场风险评估模型大多为定性评价的状况, 对于提高大宗商品市场风险的防控管理水平具有重要的参考价值.

1Kim MJ, Han I. The discovery of experts’ decision rules from qualitative bankruptcy data using genetic algorithms.Expert Systems with Applications, 2003, 25(4): 637–646.[doi: 10.1016/S0957-4174(03)00102-7]

2Kim SH, Noh HJ. Predictability of interest rates using data mining tools: A comparative analysis of Korea and the US.Expert Systems with Applications, 1997, 13(2): 85–95. [doi:10.1016/S0957-4174(97)00010-9]

3Baesens B, Mues C, de Backer M, et al. Building intelligent credit scoring systems using decision tables. Camp O, Filipe JBL, Hammoudi S, et al. Enterprise Information Systems V.Dordrecht, Netherlands. 2003. 131–137.

4Hsieh NC. Hybrid mining approach in the design of creditscoring models. Expert Systems with Applications, 2005,28(4): 655–665. [doi: 10.1016/j.eswa.2004.12.022]

5王川, 王克. 基于BP神经网络的我国农产品市场风险预警研究——以大豆为例的实证分析. 农业经济问题, 2008,(增刊): 152–156.

6Chen QG, Wen YP. A BP-neural network predictor model for operational risk losses of commercial bank. 3rd International Symposium on Information Processing.Qingdao, China. 2010. 291–295.

7蒋天颖, 丰景春. 基于BP神经网络的工程项目知识管理风险预警研究. 情报杂志, 2009, 28(12): 48–51. [doi: 10.3969/j.issn.1002-1965.2009.12.011]

8李松, 罗勇, 张铭锐. 遗传算法优化BP神经网络的混沌时间序列预测. 计算机工程与应用, 2011, 47(29): 52–55. [doi:10.3778/j.issn.1002-8331.2011.29.015]

9王德明, 王莉, 张广明. 基于遗传BP神经网络的短期风速预测模型. 浙江大学学报(工学版), 2012, 46(5): 837–841,904.

10尹光志, 李铭辉, 李文璞, 等. 基于改进BP神经网络的煤体瓦斯渗透率预测模型. 煤炭学报, 2013, 38(7): 1179–1184.

11林琳, 张志华, 张睿欣. 基于遗传算法优化神经网络的产品造型设计评价. 计算机工程与设计, 2015, 36(3): 789–792,813.

12马驰, 杨军, 梅雪松, 等. 基于遗传算法及BP网络的主轴热误差建模. 计算机集成制造系统, 2015, 21(10): 2627–2636.

13刘锦伟, 谢雄刚, 方井. 基于遗传算法-BP神经网络的煤层注水效果分析. 工矿自动化, 2016, 42(1): 48–51.

14陈晴光. 电子商务数据挖掘可视化系统模型研究及应用. 计算机工程与应用, 2007, 43(5): 242–245, 248.

15陈晴光. 基于Web访问信息挖掘的商业智能发现研究. 计算机工程与设计, 2008, 29(6): 1413–1416.

Application of GA-BP Neural Network in the Risk Early-Warning of Bulk Commodity Electronic Trading Marketplace

CHEN Qing-Guang1, CHEN Yu-Zhe2

1(School of Logistics and E-commerce, Zhejiang Wanli University, Ningbo 315100, China)
2(AMINTH Group Ltd., Ningbo 315800, China)

The application of genetic BP neural networks used in early warning of the risk of bulk commodity electronic trading marketplace is studied. According to the risk characteristics of bulk commodity electronic trading marketplace, an early warning model (GA-BPNNM) based on genetic algorithm and BP neural networks is being built by the Matlab toolbox functions. The risk assessment index system is established based on the marketing research and the optimal training functions and number of nodes of the hidden layers are determined by the experiment. With the combinatorial optimization of genetic algorithm and BP neural networks, the difficulty of traditional risk analysis because of the ambiguity of definition and variety of causes could be overcome and the problems of premature phenomenon of genetic algorithm falling into local minima and slow convergence speed of BP neural network could be solved. The results of simulation test show that the GA-BPNNM prediction is better than BP neural networks and is feasible and effective in the early risk warning of bulk commodity electronic trading marketplace.

bulk commodity; electronic trading marketplace; risk; GA-BP neural network; early warning model

陈晴光,陈宇哲.遗传BP神经网络在大宗商品市场风险预警中的应用.计算机系统应用,2017,26(7):36–42. http://www.c-s-a.org.cn/1003-3254/5847.html

宁波市自然科学基金(2012A610069); 浙江省哲学社会科学重点研究基地临港现代服务业与创意文化研究中心项目(12JDLG03YB)

2016-10-13; 收到修改稿时间: 2016-11-29