马尔可夫随机过程研究

吴翊平

【摘要】随着概率论理论的不断完善，马尔可夫模型在概率论中是一个非常基础且十分重要的理论，并且在实际生活中也有广泛的应用。本文分别阐述了马尔可夫性质和齐次性，并介绍了一个特殊的马尔可夫过程——布朗运动。最后，整理了马尔可夫模型的实际应用案例，总结了马尔可夫模型在现实应用中的一般步骤。

【关键词】随机过程  马尔可夫性  齐次性

【中图分类号】O21 【文献标识码】A 【文章编号】2095-3089（2018）42-0131-02

1.引言

随着理论研究的不断深入，人们对生活中各种事件的刻画越来越具有科学性。类似抛硬币的随机事件也能用数学的概念进行系统的总结与分析。在概率学中，由于随机事件的结果是不确定的，所以使用随机变量来表示各种可能出现的结果。可将随机变量记为X，按照随机变量的取值类型不同可分为离散型随机变量和连续型随机变量。离散型随机变量的取值是有限个的，如某随机事件是否成功，成功记为1，失败记为0。连续型随机变量可取一个连续区间内的无限个值，如学生的身高、体重等是范围为（0，+∞）的随机变量。

对随机变量加入时间维度，认为事件的发生是有时序性的，于是随机过程的概念便出现了。随机过程是依赖于参数的一族随机变量的全体，参数一般是指时间，进而可将随机过程记为{Xt|t∈T}。一族随机过程，往往是相互影响和依赖的。比如，未来时刻的情况（随机变量的取值）会受到历史发生的情况的影响，所以加入时间维度，对随机过程进行研究是非常有必要的。

2.马尔可夫性

上文提到随机过程中的各随机变量的取值并不是独立的，而是相互影响的。但是，俄国数学家马尔可夫经多次观察研究发现，在很多实际的问题中，随着时间跨度的增大，随机变量之间的相互影响逐渐减小。在这个发现的基础上，将问题进一步简化，提出马尔可夫性质[1]：现在时刻的随机变量的状态和过去某一时刻的随机变量状态有关，但和过去的所有随机变量的状态无关。可以简单理解为，随机过程的遗忘性为马尔可夫性质。

若随机过程的时间参数集T是离散的，并且随机变量的取值也是离散的，并且满足马尔可夫性质的随机过程为马尔可夫链[2]。用数学语言可表达为，随机过程{X1，X2，…Xn，…}，由于第n次的随机状态只受前一次状态的影响，则

p{Xn|X1，…，Xn-1}=p{Xn|Xn-1}             （1）

由式（1）有，n时刻状态只与n-1时刻有关，且能被前一次状态推算出来，这就是马尔可夫性质的定义。马尔可夫性质极大地简化了随机过程中各随机变量之间的相互关系，对随机过程做了合理的简化。

3.转移概率矩阵及性质

以马尔可夫链为例，介绍转移概率矩阵及其性质。若随机过程{Xt|t∈T}时间离散、随机变量也是离散的，则T={1，2，…，n，…}，随机变量Xt的取值范围，即状态空间记为A={a1，…，am}，其中m为随机变量所有可能性的个数。

假如该随机过程满足马尔可夫性，則Xt的状态分布只与Xt-1有关，它可以由t-1时的状态转移到状态空间里的任意状态。在转移的过程中，各个状态的转移概率是不同的。记随机变量Xt-1转移到Xt的一步转移概率矩阵为Pt-1，则

Pijt-1=P{Xt=aj|Xt-1=ai}             （2）

表示从t-1时刻的状态i转移到t时刻的状态j的概率，其中ai，aj∈A。那么转移概率矩阵为Pt-1可以理解为一个m×m的表格，如下表所示。

转移概率矩阵具有“正定性”和“有限性”两个主要性质。正定性是指状态之间的转移概率是非负的，即矩阵中每一个转移概率都是正数。

pij≥0，i=1，…，m;j=1，…，m             （3）

有限性是指从当前状态转移到所有可能状态的概率和为1，即矩阵中每一行的转移概率之和等于1。

■■■pij=1，i=1，2， …，m                 （4）

在马尔可夫性上，进一步假设随机变量Xt-1转移到Xt-1的一步转移概率矩阵为Pt-1不受时间的影响，是平稳的，即

Pt-1≡P，t=1，2，…，n，…           （5）

转移概率与时间t无关的性质即为马尔可夫的齐次性。经过k次状态转移的概率记为k步转移概率，若该马尔可夫随机过程满足齐次性，则

Pkt-1 =Pt-1×Pt×…×Pt+k-1=Pk         （6）

齐次性将马尔可夫过程进一步简化。对任意的齐次马尔可夫过程，只要确定了随机变量的状态空间A，一步转移概率矩阵P，以及初始状态，就确定了整个随机过程。

4. 一种特殊的马尔可夫过程——布朗运动

布朗运动就是一个最简单的随机过程。布朗运动表示的是微小粒子的无规则运动，微小粒子在不同时间下的位置是一簇随机变量。它最主要的两个特点便是“无规则”和“永不停歇”[3]。因为微小粒子在每一瞬间受到的撞击力度大小、方向都不同，所以它的运动是无规则的。又因为液体分子的运动不会停止，所以粒子受到的撞击也不会停止。从布朗运动的特点可发现，花粉在时间t时的位置，只与前一时间t-1时的位置有关，和t-1时刻之前的位置无关。

5.应用

马尔可夫模型作为概率论上的一个重要定义，是后来许多研究的重要基础。比如苏联数学家柯尔莫哥洛夫将微分方程用于马尔可夫过程的研究，而后日本数学家伊藤清在马尔可夫理论上建立了随机微分方程理论并改进为伊藤公式，解释了布朗运动等偶然性的自然现象。马尔可夫模型作为理论与实践的桥梁，在社会上也有很多重要应用[4]。

首先，在股票研究上，股票价格就是一个随机变量，它有上涨、持平、下跌三种状态。根据历史的转移概率数据推算可知，该事件第n天状态只与n-1天状态有关，所以满足马尔可夫性，由此如果再要推算下一个时刻状态，可先确定当前状态再建立转移矩阵进行估算，反复几次，可得近期股票价格变动的趋势。

在人力资源流动的推测上，将员工人数看成随机变量，状态空间为入职、升职、降职、离职，若由推算得到该事件满足马尔可夫性，那么可由转移概率的大小预判出人力资源流动和分配是否合理，进而做出改进。还有，应用在交通上时，可以先用GPS采集开车路线，统计数据，然后利用马尔可夫模型研究和预判车辆轨迹，这样可以了解当前交通状况，合理安排交通路线。在环境治理方面，可以利用之前污染状态的概率进行分析，再根据第n年的空气污染状态构造矩阵，预测第n+1年的空气污染情况，有助于提前预防污染，有效治理环境。

总之，在使用马尔可夫模型解决实际问题时，一般会有如下的步骤。首先，需要对实际问题进行抽象化，确定研究对象，即：随机变量，定义其状态空间。其次，判定该随机变量构成的随机过程是否满足马尔可夫性，这是非常重要的前提假设。若满足该假设，则该随机过程可视为马尔可夫随机过程。要解决该模型的预测，需要先收集大量的历史数据，根据历史数据估计出转移概率矩阵，通过现在的状态，确定初始状态，那么就可以对未来的情况进行合理的推测，并指导现在的决策。

以一段时间的天气为例，Xt表示t时间的天气状态，Xt的状态空间为{晴天，多云，刮风，下雪}。假设一段时间的天气情况满足马尔可夫性質，即明天的天气状态只与今天的天气状态有关。那么假设今天是晴天，明天的天气状态就可能是晴天、多云、刮风、下雨，然而对于这4种转移情况，它们各自的转移概率是不同的。以此类推，我们可以通过转移概率矩阵，对之后的天气状况做一个大致估计。

参考文献：

[1]吕思宇.带马尔科夫链的随机最优控制问题及其在金融中的应用[D].山东大学，2017.

[2]黄麒元，王致杰，王东伟等.马尔科夫理论及其在预测中的应用综述[J].技术与市场，2015（9）：12-13.

[3]杨静，唐泉.维纳和布朗运动[J].数学的实践与认识， 2008（10）：162-169.

[4]何成刚.马尔科夫模型预测方法的研究及其应用[D].安徽大学，2011.