基于贝叶斯LS-SVM的海洋生物酶发酵过程软测量建模

黄永红，宋心雷

(江苏大学电气信息工程学院，机械工业设施农业测控技术与装备重点实验室，江苏镇江　212013)

0　引言

海洋蛋白酶是海洋生物发酵所得的一种新型酶制剂，它菌种稳定，产酶能力强，广泛用于洗涤、纺织、制革、环保、食品、生物工程等领域。海洋蛋白酶以其独有的耐压、耐碱、耐盐、耐冷等特性，成为近年来研究的热点[1]。但是海洋蛋白酶发酵过程是一个复杂的非线性过程，对于其中的一些关键生物参数(如基质浓度、菌体浓度等)目前还很难实时在线测量，采用软测量技术是解决上述问题的有效途径[2]。

软测量建模是软测量技术的核心问题。目前常用的软测量建模方法主要包括：机理建模、回归分析、模式识别、人工神经网络、模糊数学、支持向量机等。

支持向量机(Support vector machine，SVM)是近几年来应用于建模的一种新方法。它是建立在统计学习理论和结构风险最小原理基础上的一种机器学习方法[3-5]。最小二乘支持向量机(Least squares support vector machine，LS-SVM)是SVM的一种改进，它将SVM解二次规划问题转化为求解线性方程组问题，提高了求解问题的速度和收敛精度，解决了小样本、非线性、高维数等问题[6]。但是，在LS-SVM建模中，正规化参数和核参数是必须优化的参数，它们的取值将直接影响着模型的训练和泛化性能。常用的参数优化方法有交叉验证法、遗传算法等。其中交叉验证法和遗传算法计算量大且可能陷入局部最优[7-8]。因此，文中提出一种贝叶斯LS-SVM软测量建模方法，即利用贝叶斯准则(即贝叶斯证据框架准则)对LS-SVM建模中的参数进行优化选取。贝叶斯分析的出发点是假设集合上的先验分布，它描述了学习器对于数据特定假设的似然性的先验信念。它的基本思想是最大化参数分布的后验，而最佳参数值或模型是在参数分布后验最大化的情况下得到的。仿真结果表明：基于贝叶斯LS-SVM的软测量建模比基于LS-SVM的软测量建模精度高，泛化能力强。

1　最小二乘支持向量机

对于样本集(xi，yi)，xi为输入值，yi为输出值，样本为n维向量，首先用一非线性映射φ(·)把样本从原空间RN映射到特征空间。在这个高维特征空间中构造最优决策函数：

f(x)=ωTφ(xi)+b

(1)

式中：φ(xi)为代价函数；ω为模型的权值；b为分类超平面阈值。

这样非线性函数转化为高维特征空间中的线性估计函数。利用结构风险最小化原则，寻找ω、b就是最小化式(2)。

(2)

s．t．yi=ωTφ(xi)+b+ei，i=1，2，…n

(3)

式中：γ为正规化参数；e为松弛变量；J为风险。

通过引入拉格朗日乘子，将式(2)的求解转化为如下的对偶优化问题：

(4)

式中ai(i=1，2，…n)为拉格朗日乘子。

(5)

(6)

ωφ(xi)+b+ei-yi=0

(7)

定义核函数：

K(xi，xj)=φ(xi)·φ(xj)

(8)

K(xi，xj)是满足Mercer条件的对称函数。经过计算消去e和ω，最后得到的优化模型为

(9)

选择不同的核函数，可构造不同的支持向量机，文中采用径向基高斯核函数即：

K(x，xi)=exp(-(x-xi)2/(2σ2))

(10)

式中σ为核参数。

由此可知，在LS-SVM建模中，正规化参数γ和核参数σ是重要的参数，它们的优化选取将对软测量模型的预测结果起着重要的作用。

2　贝叶斯准则下的参数优化

Macky将贝叶斯推断理论分为3个证据框架准则。利用这3个准则依次对LS-SVM算法中的权值ω、正规化参数γ以及核参数σ进行推断优化。

2．1权值ω的优化

首先用贝叶斯准则1对权值ω进行贝叶斯推断，利用最大化参数ω的后验，就可以得出参数ω的最佳值。为了便于处理，将优化问题的目标函数除以γ，令λ=1/γ为模型的超参数。

由贝叶斯公式可得参数ω的后验：

(11)

式中：p(ω|λ)为权值的先验概率；p(D|λ)为一个归一化常数；p(D|ω，λ)为似然函数；p(ω|D，λ)为后验概率。

取高斯分布为权值的先验概率，得：

(12)

(13)

由式(11)～式(13)可得权值的后验概率为

(14)

可以看出最小二乘支持向量机的权值可以用贝叶斯理论来优化，从而可以得出ω的最优值ωmp.

2．2正规化参数的优化

将贝叶斯准则2用于最小二乘支持向量机正规化参数的推断和优化。

(15)

(16)

对式(15)两边取对数得：

(17)

Const为常数，令λ的偏导数为0。

A=▽2(λEω+ED)=λI+B

(18)

(19)

由式(18)、式(19)可得：

式中δ为参数的有效数。

用pn表示B的特征值，则A的特征值：

(20)

(21)

l(l≤n)表示矩阵K非0特征值的个数，从而可以得到λ的最优值λmp.进而可以得到正规化参数γ的最优值。

2．3核参数的优化

用贝叶斯准则3优化高斯核参数。设一模型为H，通过最大化后验概率来进行模型比较，最后选择最优核参数，假设所有模型的先验概率p(H)为平坦分布，则p(D|H)通过对参数λ的积分可得：

p(H|D)∝p(D|H)p(H)∝p(D/H)∝

(22)

(23)

(24)

2．4基于贝叶斯准则的LS-SVM建模过程

利用上述优化好的参数来建立基于贝叶斯准则的LS-SVM的软测量模型，建模过程具体步骤如下：

(1)确定模型的输入输出变量；

(2)对样本数据进行预处理；

(3)初始化正规化参数γ和核参数σ；

(4)用贝叶斯证据框架准则优化模型的正规化参数γ和核参数σ；

(5)利用优化后参数对最小二乘支持向量机进行训练，建立基于贝叶斯准则的LS-SVM模型；

(6)用测试样本集对模型仿真验证。

3　仿真与分析

以海洋蛋白酶发酵过程为例，其发酵过程中菌体浓度、基质浓度以及酶活等参数的实时测量对了解发酵进程、优化控制后续发酵环境参量起着至关重要的作用。但是这些参数目前还不能实时在线测量，大多采用离线化验分析的方法，为此建立了基于贝叶斯准则的LS-SVM软测量模型。在建模过程中，以菌体浓度X、基质浓度S、相对酶活P(为了更好的显示酶活的变化幅度，此处用相对酶活表示)作为软测量模型的主导变量。通过对海洋蛋白酶发酵过程进行机理分析，利用相关系数法确定软测量模型的辅助变量为溶解氧浓度DO、pH值、CO2浓度、基质进给速率u.

为了验证模型的有效性，在海洋蛋白酶发酵过程中总共采集了15个发酵批次的数据，将这些数据分成两部分。一部分作为网络的训练样本(前10个批次，共含500个样本)，另一部分作为测试样本(后5个批次，含250个样本)。用这些数据分别对LS-SVM模型和基于贝叶斯准则的LS-SVM模型进行了仿真验证。仿真结果如图1、图2、图3所示。

图1　基质浓度预估变化曲线

图2　菌体浓度预估变化曲线

图3　相对酶活预估变化曲线

为了更加直观地说明基于贝叶斯准则LS-SVM的软测量建模具有优越的预测性能，以菌体浓度为例，采用最大误差(MAXE)和均方根误差(RMSE)这2个预测性能指标来反映这2种建模方式的预测效果，结果如表1所示。

(25)

(26)

表1　两种建模方法的误差比较

从图1、图2、图3 和表1中可以看出，基于贝叶斯准则的LS-SVM比LS-SVM预测结果更加逼近于离线化验值。以基质浓度为例，LS-SVM的基质浓度的最大误差为2.488，而Bayesian-LSSVM的最大误差为1.530，两者的均方根误差分别为0.965和0.554，由此可以得出Bayesian-LSSVM的预测效果更好，逼近精度更高。

4　结论

为解决海洋微生物发酵过程中关键生物参数难以实时在线测量的问题，提出了一种基于贝叶斯准则的LS-SVM软测量建模方法。首先确定基质浓度、菌体浓度、相对酶活作为海洋蛋白酶发酵过程软测量模型的主导变量，采用相关系数法确定了软测量模型的辅助变量。利用贝叶斯准则优化LS-SVM模型的正规化参数和核参数，用训练样本集对优化后的LS-SVM进行了学习训练，建立了基于海洋蛋白酶发酵过程的软测量模型，并利用测试样本对模型进行了仿真验证。结果表明，该软测量模型具有较高的测量精度和泛化效果。

参考文献：

[1]刘朝谊，郭凯，许峰，等．低温海洋微生物产碱性蛋白酶菌株的筛选．淮海工学院学报，2006，15(2)：59-62．

[2]阎威武，朱宏栋，邵惠鹤．基于最小二乘支持向量机的软测量建模．系统仿真学报，2003，15(10)：1494-1496．

[3]顾燕萍，赵文杰，吴占松．最小二乘支持向量机的算法研究．清华大学学报(自然科学版)，2010，50 (7)：1063-1066；1071．

[4]李鹏．基于贝叶斯理论的神经网络算法研究．光机电信息，2011，28(1)：28-32．

[5]孙晓东，陈龙，杨泽斌，等．贝叶斯证据框架下LS-SVM 的BPMSM磁链建模．浙江大学学报，2012，46(5)：873-877．

[6]CRITIANINI N，TAYLOR J S ．An Introduction to Support Vector Machine and Other Kernel-based Learning Methods．Cambridge University Press，2000：47-107．

[7]陈帅，朱建宁，潘俊．最小二乘支持向量机的参数优化及其应用．华东理工大学学报，2008，34(2)：278-282．

[8]王振树，李林川，牛丽．基于贝叶斯证据框架的支持向量机负荷建模．电工技术学报，2009，24(8)：127-134．