度量股票市场情绪指数的新方法——基于状态空间模型

蒋文江，李彩雯，刘鹏懿

（1.海南师范大学 数学与统计学院，海南 海口 571158；2.云南师范大学 数学学院，云南 昆明 650500）

度量股票市场情绪指数的新方法
——基于状态空间模型

蒋文江1，李彩雯1，刘鹏懿2

（1.海南师范大学 数学与统计学院，海南 海口 571158；2.云南师范大学 数学学院，云南 昆明 650500）

众所周知，市场参与者的整体情绪对市场走势有极大的影响，如何度量这一情绪的变化过程，进而研究其对证券市场的影响，有重要的意义.然而，迄今为止，尚无一个系统有效的方法直接度量股票市场的情绪指数.文章基于下面的基本事实：所谓的市场情绪指数虽然不可以直接观测度量，然而受其影响控制的股票指数却可以观测，而这正是状态空间模型研究的问题，因此文章选择在状态空间模型的框架下研究股票市场情绪指数的度量问题.核心思想是，将市场情绪指数作为状态变量，股票指数作为观测变量，建立状态空间方程组.在对模型中未知参数进行确定时，选用嵌入的EM算法，结合经典的Kalman滤波进行迭代，在迭代完成的同时，也给出了市场情绪指数的度量.

Kalman滤波；状态空间；EM算法；股票市场情绪指数

近年来，随着行为金融学的不断发展，市场情绪这一概念得到了广泛的关注，众多专家学者先后提出了各种各样的市场情绪评测方法，并展开深入的研究.但目前多数学者多采用情绪代理指标去揣测市场情绪的变动，情绪代理指标通常分为直接指标和间接指标两类.直接指标，通过直接调查投资者，得到其对市场的看法，形成相关指数；间接指标，通过统计市场交易数据，得到折射市场情绪的各种统计量.这两类指标各有利弊，第一类虽然主观直接，但存在样本代表性不强、问卷失真的问题；第二类指标虽然客观综合，但也存在相对滞后、掺杂数据带来噪音的问题.纵观各类研究方法，并没有一种有效且客观的方法直接测得市场参与者

的情绪.因为这种市场情绪直接地影响着投资者的未来投资意向，所以本文研究的目标是在得到这种市场情绪后，去预测可观测变量的未来走势，从而做出合理的投资策略.采用合理的数据实时有效地得到这种潜在的市场情绪，意义十分重大.那么如何对这一抽象概念有个直观合理的评价呢？本文假定市场情绪就是一种隐藏在股票数据里的不可观测的随机变量，它是一个综合的信息量，包含数据背后的一切信息.状态空间模型就是提供一种可行的方法对数据潜在的信息量进行提取、过滤，并获得所需要的信息.这种思想的核心是一些不可观测的变量可以从一些可以观测的变量信息中提取出来，从而能够对不可观测的信息进行分析研究.本文将主要采用Kalman滤波算法和EM算法，对我国股市近几年来的相关动态数据进行分析，建立状态空间模型，在EM算法估计参数的同时在E-step应用Kalman滤波算法得到实时的市场情绪指数.

本文的评价方法有效地避免了上述指标法中的缺陷，采用Kalman算法是因为这种方法是一种噪声滤波方法，可以有效过滤掉数据噪声.采用股票数据是因为股市数据是最直观易得且可信度最强的有效数据，可以实时获取，从而可以对市场情绪进行实时监控和评测.此外应用Kalman算法不仅可以评测出当前的市场情绪状态，也可对未来的趋势进行估计，实现动态地评测市场情绪.应用EM算法还能够有效地估计出状态空间模型的参数.所以只要得到观测数据，通过本文中提供的算法便可以得到相应的市场情绪模型参数和市场情绪变量的分布.

1 状态空间模型建立

建立如下方程：

模型解释：方程（1）是更新方程，方程（2）是观测方程，x，y为两个随机变量，其中y是可观测的变量，且无缺失值，x是不可观测的变量（即隐藏变量），A、B、C是状态空间方程的系数，且待估计.ωt，vt是相互独立的高斯白噪声，且方差分别为Q、R.即除y可观测外，方程的其他信息未知.所以本文的目标是得到隐藏变量x的同时，估计方程的参数φ={A,B,C,Q,R,wt,vt}.

2 概念介绍

2.1 市场情绪介绍

市场情绪是整个市场所有市场参与人士观点的综合展现.这种所有市场参与者共同表现出来的感觉，即我们所说的市场情绪，决定了当前市场的总体方向.市场情绪指数是反映市场上乐观或悲观程度的指标，是投资者心理的反应，也是投资者对市场表现的反应.市场情绪指数能够反应出市场的总体趋势，给投资者提供判断的依据.

2.2 Kalman滤波算法和EM算法简介

Kalman滤波算法是最优化自回归数据处理算法，主要采用信号与噪声的线性状态空间模型，并运用递推的方法来解决线性优化滤波问题，即利用前一时刻的估计值和现时刻的观测值来更新对状态变量的估计，求出现时刻的估计值.Kalman滤波要比直接从全部的过去数据里进行每步滤波要高效，它适合于实时处理和计算机运算.

EM算法是一种迭代算法，用于含有隐变量的概率参数模型的最大似然估计或极大后验概率估计，其目标是找出有隐性变量的概率模型的最大可能性解，它分为两个过程：E-step和M-step，E-step通过最初假设上一步得出的模型参数得到后验概率（期望），M-step重新算出模型的参数，重复这个过程直到目标函数值收敛.EM算法在机器学习、高斯混合模型、隐性马尔科夫链（HMM）以及计算机视觉的数据聚类等研究方面得到广泛应用.

3 本文算法介绍

3.1 算法开始前的初步计算

设状态方程和观测方程中的噪声为高斯白噪声，则有如下状态变量和观测变量的条件概率密度：

由马尔科夫性，可将x，y的联合概率密度表示为：

展开并对其取log得到如下式子：

由于上式中的似然函数含有隐性变量，无法直接进行极大化.所以根据EM算法，首先需要对完全数据的联合概率密度函数取条件期望，得到下式：

这里由于式子较长，所以舍去每个条件期望的条件表示，但实际每个期望表示应理解为关于参数和观测变量y的条件期望.我们的目标是极大化上式，然后对每个待估计参数求偏导，从而求得参数，并不断重复此过程进行参数更新，直至似然函数收敛.

这里每个参数都可以得到如下的显示解，所以逐一进行计算如下：

根据上述式子重新表示下的参数期望表示形式，去掉期望.则每次更新后的各个参数表示如下：

现在得到了各个参数的表示形式，除了变量x未知外，其他量均已知，所以下一步就是应用Kalman滤波估计不可观测的变量x.

4 整体算法思路解释

Kalman算法开始：

分析1：根据Kalman滤波算法，状态空间方程的系统参数需要已知，才能开始整体算法.但是在设定的模型中，系统参数是需要估计的，所以首先需要给定参数的初值，这里采用蒙托卡罗投点法产生初值.

步骤1：给定系统参数初值

分析2：在给定系统参数初值后，Kalman滤波就可以开始运算了.将给定的参数初值代入方程后，通过滤波算法，可以得到初始的不可观测变量x，即“情绪指数”，但这步得到的只是初始状态下的不可观测变量.最终需要得到参数最优时的不可观测变量，那么如何得到最优的参数，这需要后面的EM算法求解.此外，这里Kalman算法采用了两步，包括Kalman滤波和Kalman-Rauch平滑.

步骤2：初值给定后，开始Kalman算法（包括向前滤波和向后平滑两个过程）.通过此步可以估计出不可观测变量x.

EM算法开始：

分析1：目标是求得最优的参数估计.所以根据EM算法，首先考虑求出完全数据的对数似然函数，即如上文所求；但由于所得对数似然函数中含有不可观测变量，无法直接进行求偏导估计参数，所以需要对其取条件期望，然后极大化其条件期望.

步骤1：求出x，y的联合概率密度函数，并对其取对数似然函数，然后取条件期望.目标是极大化这个条件似然函数.

分析2：这里采用的是显示求解法，因为本文所涉及的概率密度函数均为正态分布，如上式可见，是比较容易得到显示解的.所以将对数似然函数具体表示出来后，分别对每一步取条件期望，因为条件期望具有可加性；得到具体条件似然函数表达式后，分别对每次待估计参数求偏导，得到各个参数的条件期望表示形式.

步骤2：分别对条件似然函数中每个待估计参数求偏导，得到各个参数的条件期望表示形式.

分析3：得到这些参数表达式后，可以看到这些条件期望都是含等式的条件期望形式.下面就考虑将各个参数的条件期望用Kalman滤波后得到的表示形式替换掉.

步骤3：去掉条件期望将参数由已经求得的含{xt}和可观测{yt}的式子表示，即每个参数中均含有观测变量和不可观测变量的信息.

分析4：表示出各个参数后，最终目标还是估计出这些参数.要想得到最优参数估计，需要不断的更新参数，使得条件似然函数取得最大值.通过交替的使用Kalman算法和EM算法，不断地将这些参数和不可观测变量{xt}代入这个循环中，不断地更新不可观测变量{xt}和所有待估计参数，最终得到使条件似然函数收敛的最优值，此时的参数估计值和不可观测变量就是所需要的.

步骤4：不断循环算法，取得使条件似然函数收敛时的参数估计值和不可观测变量.

具体算法流程详见流程图，见图1.

5 实证检验和结果

5.1 前期准备

数据选取：选取来自上证指数2015年1月到2016年1月间的全部开盘价244个数据点作为初始数据.

数据预处理：考虑到股市开盘价的具体数值有很大的波动性，所以在应用数据之前，先进行标准化处理.

图1 整体算法流程图Fig.1 Overall algorithm flow chart

软件包的选取：选用R软件中的MARSS包来完成相应的算法应用和模型选取，MARSS包是较新的R软件包，用来分析多变量时间序列，且MARSS包选用的也是状态空间模型，方便了本文的应用.

5.2 模型选择

本文主要使用MARSS软件包的模型进行实证分析，但模拟测试的结果并不理想，我们的判断是参数维度高带来的优化失效.依据这种判断，我们将分部分优化的思想融入模型之中.即，先用软件提供的方法粗略估计出所有参数，将所得参数分成S1和S2两组，然后固定S1这组参数，套用较低维度之下的模型对S2组参数进行第二次估计，将所得的S2组参数固定，再套用较低维度之下的模型对第一次粗估得到的S1组参数进行第二次估计.从第二次估计得到的参数出发，循环往复上述过程，直至达到比较理想的结果.为了比较起见，

根据MARSS软件包的模型，本文对模型进行三种不同形式的定义：

不定义模型：选用MARSS包的自身定义功能，并未对任何参数形式进行定义.

自定义模型：根据本文的模型将各个参数按照固定形式进行定义.

Kemfit及参数定义模型：采用MARSS中自带的Kemfit模型.即上述引入分部分优化思想之后定义的模型：固定部分参数，估计剩余参数；然后将估计得到的参数值代入模型，再次定义一个模型，估计出之前固定的参数值，....

直接应用MARSS和引入我们分部分优化思想之后的模拟测试结果见表1，表2.通过R软件编辑的程序计算得到状态空间模型参数估计，通过水平误差看出估计参数结果的好坏.根据表1可以看出，选择第三种方式定义模型是最合理的，即引入分部分优化思想之后的方法优于直接使用MARSS软件的方法.

表1 MARSS软件包三种模型输入方式拟合效果对比Tab.1MARSS package three models input fitting contrast effect

表2 状态空间模型参数估计值Tab.2State space model parameter estimates

表2为上证指数状态空间模型参数估计表.从表2中可以看出状态空间模型参数R、B、Q、C、A的估计结果较好，水平误差都低于百分之五；但是x0，V0的估计误差在百分之二十五左右，这是可以理解的，因为初值本身就不够稳定，而且目标主要是估计R等参数.

6 股票市场情绪指数评测

在上述算法中代入观测数据，测得股票市场情绪指数（见图2）.

接下来的目标是研究所得市场情绪指数的性质.首先考虑它的分布是否正态分布.画QQ图，见图3.很显然，所得到的市场情绪指数并不服从正态分布.这就意味着，以后应该寻找能够更好拟合市场情绪指数的非正态分布，并在新的分布下建立状态空间模型.

图2 股票市场情绪指数折线图Fig.2 Stock Market Sentiment Index line chart

图3 股票市场情绪指数分布QQ图Fig.3Stock Market Sentiment Index Distribution QQ FIG

下面想知道所得到的股市市场情绪指数与观测数据上证指数是否来自同一个分布.两组数据的QQ图，见图4.可以看出，股票市场情绪指数与观测数据上证指数来自同一个分布.这就意味着，可以通过研究股市

上证指数的变化规律来评价股票市场情绪指数.其实这也是很容易理解的，股票市场的情绪指数在很大程度上是由股市的上证指数决定的.

图4 股票市场情绪指数与观测上证指数相关QQ图Fig.4Stock market sentiment index and Shanghai Composite Index observation related QQ FIG

7 结论与展望

本文提出了一个基于状态空间模型的度量股票市场情绪的方法.由于模型仅需要股市公开发布的交易数据，因此在应用上有极大的便利性，同时数据的质量也有保障.今后的工作将从两方面展开：

1.正如图3所揭示的市场情绪指数并不服从正态分布，并且与上证指数的分布十分接近，因此可以对上证指数究竟服从什么样的分布展开实证研究，并依据得到的结果提出相应的状态空间模型.

2.多元化考虑：市场参与者的情绪会对沪市和深市中的所有板块指数的走势产生重要影响，但是受市场情绪驱动的不仅仅有市场指数，加入其它同受情绪指数影响的资产价格过程，建立多维的状态空间模型，有望得到情绪指数更加精准的度量，这将是今后研究的主要方向.

[1]Zhong L S.Robust maximum-likelihood parameter estimation of stochastic state space systems based on EM algorithm[J].Progress in Natural Science，2007，17（9）：1095-1103.

[2]Chen R D，Gan C，Hu B，et al.An empirical analysis of house price bubble:A case study of beijing housing market[J].Research in Applied Economics，2013，5（1）：77-97.

[3]Goodman A C，Thibodeau T G.Where are the speculative bubbles in US housing market?[J].Journal of Housing Economics，2007，12（17）：117-137.

[4]Holmes E E，Fagan W F.Validating population viability analysis for corrupted data sets[J].Ecology，2002，83：2379-2386.

[5]Zhang X X，Wu C F.The bubbles of China stock market based on return decomposition and cumulative return[J].Journal of Donghua University（English Edition），2006，23（4）：111-115.

[6]郭红领.中国房地产信心指数研究[D].哈尔滨：哈尔滨工业大学，2007.

[7]张舒涵.基于状态空间模型对我国房地产泡沫的研究[J].区域金融研究，2015，507（2）：78-81.

[8]杨刚，王洪卫.金融支持对上海房地产市场发展的影响研究——基于状态空问模型的实证检验[J].现代管理科学，2012（3）：3-11.

[9]周文剑.基于状态空间模型的浙江房地产价格泡沫的实证检验[J].现代经济信息，2013（7）：270-270.

[10]庞培俊，李江.基于行为金融学的资产价格波动分析[J].中国集体经济，2008（21）：99-100.

[11]王朝宗.资产价格波动原因探讨——基于行为金融学理论的分析[J].总裁，2009（10）：74-75.

[12]蒋文江，陈少文.A股期指前15分钟交易信息的统计挖掘研究[J].海南师范大学学报（自然科学版），2014，27（4）:377-381.

[13]牛玉坤，胡晓华.基于非参数核估计方法的中国股市收益率分布研究[J].海南师范大学学报（自然科学版），2013，26（4）：363-367.

[14]孙文凯，胡晓华，蒋文江.多个关联确定性时间序列微分方程建模方法研究[J].海南师范大学学报（自然科学版），2015，28（1）：9-14.

责任编辑：吴兴华

A New Method for Measuring the Stock Market Sentiment Index——Based on State Space Model

JIANG Wenjiang1，LI Caiwen1，LIU Pengyi2
（1.School of Mathematics and Statistics，Hainan Normal University，Haikou 571158，China；2.School of Mathematics，Yunnan Normal University，Kunming 650500，China）

It is well known that sentiment index of stock market has great influence on market trends.However,there isn’t a systematic and effective method to directly measure the stock market’s sentiment index.As we know,sentiment index cannot be observed directly,but the stock index,whose trends are heavily influenced by the sentiment movement of the investors,are readily available in the stock market.Therefore,to employ the popular state space model by setting the sentiment index as the state variable and stock index as the observed variable is a natural choice to measure the unobserved sentiment index.In this paper,we first establish a state space model in the way above,then use EM algorithm together with Kalman filter to start an iterative process to estimate the unknown parameters in the model and evaluate the sentiment index.Thus we can estimate the unknown parameter in the model and obtain the stock market sentiment index at the same time.

Kalman filter algorithm；state space；EM algorithm；stock market sentiment index

F 224.7

A

1674-4942（2016）03-0242-07

2016-05-27

国家自然科学基金项目（11361022）