基于演化博弈研究Moran过程对合作的影响

周建新 刘明华 沈小伟* 吴金秀

1(华北理工大学电气工程学院 河北 唐山 063210) 2(华北理工大学以升创新教育基地 河北 唐山 063210)

0 引 言

生命起源于合作，2005年Science杂志就已将“合作行为如何演化”这一问题列入25个21世纪最突出的科学问题之中[1]。如何达成和维持合作行为，则是当前经济学、生态学、社会学及信息科学研究的重要问题。

然而，现实生活中的合作往往并不容易达成。当个人利益与集体利益冲突时，人们出于自私会选择对自己有利的策略，而这种策略往往是对集体有害的，从而导致个人和集体的利益均受损，最终导致合作行为很难达成[2]。

2006年，Nowak等[3]总结了生物之间“合作”得以达成的五种机制：亲缘选择[2]、直接互惠[4-5]、间接互惠[5-6]、空间互惠[7]、群体选择。空间互惠作为促进合作的一种重要机制，引起了诸多学者的广泛关注。相关学者对空间互惠的研究不断深入，提出了很多促进合作的机制，如模仿、惩罚、信誉和奖励等机制。Helbing等[8-9]研究了噪声环境中成功驱动型的迁移机制对合作演化的影响，结果表明合作水平随着噪声强度的增大而降低，但是适度的噪声值可以加速个体向合作行为的转变，合作水平有一定程度的提高。廖列法等[10]研究了移动个体中噪声对合作行为的影响，结果表明噪声和移动性同时存在时，适中的噪声值能够促进合作行为的涌现。Zhang等[11]研究了空间公共物品博弈中宽容的惩罚对合作演化的影响，结果表明宽容的惩罚通过加强空间互惠促进了合作。Guo等[12]研究了信誉与网络连接权重的协同演化，连接权重随着信誉的增强而增强，结果表明信誉与连接权重的协同演化能够促进合作，并且连接权重越强，合作水平越高。

除上述机制外，不同的策略更新规则对个体行为的影响也各不相同。Vainstein等[13]研究了基于学习最优规则的移动个体合作行为的演化，结果表明移动性具有双重作用：合作者可以通过移动逃避背叛者，向合作者团簇移动而提高合作水平；合作者种群可以被移动的背叛者入侵，导致合作的瓦解。Zhang等[14]提出了一种新的策略更新规则，即个体根据周围环境选择规则，研究表明这种新的规则在智能个体利用不同邻居的信息时能够促进合作，合作水平明显提高。Danku等[15]研究了雪堆博弈和猎鹿博弈中创新与学习最优两种更新规则的竞争，结果表明更新规则的竞争与传播取决于收益参数，即博弈模型的差异。

上述很多文献研究了策略更新规则对合作行为的影响[16]，包括学习最优规则、创新规则、Fermi函数[17]等，但是关于Moran过程的研究还比较少。因此本文针对Moran过程进行深入研究，建立合作行为演化模型并进行仿真，分析并讨论空间囚徒博弈中Moran过程对合作行为的影响。

1 模型描述

1.1 博弈范式

本文采取囚徒博弈作为研究模型，其博弈过程中个体两两进行交互，个体在合作和背叛两者中独立选择其一。如果双方都选择合作，则都获得报酬R；如果双方都选择背叛，则都获得惩罚P；如果一个个体选择背叛，另一个个体选择合作，则合作者获得收益S，而背叛者获得收益T。图1为囚徒博弈收益矩阵，其中参数满足：T>R>P>S且R>(T+S)/2。Nowak等[18]提出了一种简化的囚徒博弈模型，即R=1、S=P=0、T=1.4，其分析方便，因此本文与其保持一致。

图1 囚徒博弈收益矩阵

1.2 策略更新规则

1.2.1学习最优规则

当个体采取学习最优规则时，比较自己和所有邻居的收益大小，选择产生最高收益的邻居，学习其博弈策略作为自己下一次的博弈策略[13]。如果不同邻居的收益相等，则随机选择一个邻居作为学习目标。

1.2.2Moran过程

Moran过程是一种根据适应度进行个体选择的方法，描述了有限种群的演化[19-20]。Moran过程根据个体生和灭的先后顺序分为生灭过程和灭生过程。生灭过程即先选择个体进行繁殖，而后选择个体灭亡；灭生过程则与上述顺序相反[21]。采用生灭过程进行策略更新时，个体i被选择出来繁殖后代的概率Pi正比于其适应度；而采用灭生过程进行策略更新时，个体i被选择出来灭亡的概率Pi反比于其适应度。Pi计算公式如下：

(1)

式中：wi为个体i的收益；n为种群个体数目。

生灭过程中，以正比于个体适应度的概率选择个体进行繁殖，子代放在其附近，而后随机选择个体灭亡；灭生过程中，以反比于个体适应度的概率选择个体灭亡，而后随机选择个体进行繁殖，子代放在其附近[20]。

1.3 演化过程

(1) 初始化：在50×50的二维网格中随机放置个体，密度为0.7，个体随机选择合作或背叛。

(2) 博弈：个体同其所有的von Neumann邻居进行囚徒博弈并计算收益。

(3) 策略更新：根据策略更新规则进行策略更新。

(4) 移动：个体在其von Neumann邻居中随机选择一个空位，以一定的移动概率移动到该空位上，若邻居中没有空位置，则不移动。

(5) 重复步骤(2)-步骤(4)，直至系统达到停止条件为止。

2 仿真结果及分析

本文利用Repast仿真软件[22]对演化博弈过程进行建模并仿真，每组数据运行100次，每次运行10 000步。

2.1 学习最优规则对个体行为演化的影响

图2为学习最优规则演化结果截图，从左至右移动概率依次为0、0.01、0.1、0.2和0.5，圆形代表合作者，方形代表背叛者。图3为学习最优规则下合作水平随移动概率的变化。

图2 学习最优规则演化结果截图2仿真结果及分析

图3 学习最优规则下合作水平随移动概率的变化

当移动概率为0即个体静止时，合作水平约为32.5%。由于个体静止，合作者只能和周围的邻居形成较小的团簇，合作水平较低。当移动概率为0.01时，个体合作水平达到100%。合作者能够通过移动来逃避背叛者，与其他合作者形成较大团簇来避免背叛者的入侵，直至背叛者全部消失。当移动概率大于0.01时，合作水平随着移动概率的增大而降低。随着移动概率的增大，背叛者对合作者种群的入侵作用增强，合作者团簇不断被入侵瓦解，合作水平不断降低。因此，学习最优规则下较低的移动概率促进了合作行为的发生。

2.2 Moran过程对个体行为演化的影响

2.2.1无噪声

图4为Moran过程下合作水平随移动概率的变化，采用箱形图表示。图5为Moran过程演化结果截图，其中：上图为生灭过程演化结果，下图为灭生过程演化结果；从左至右移动概率依次为0、0.01、0.1、0.2和0.5；圆形代表合作者，方形代表背叛者。

(a) 生灭过程

(b) 灭生过程图4 合作水平随移动概率的变化

图5 无噪声Moran过程演化结果截图

个体采用Moran过程进行策略更新时，被选中的个体繁殖的子代以父代为中心由内向外寻找空位置，因此合作者和背叛者是混合的。从演化截图上看，无论是生灭过程还是灭生过程，背叛者的数目都随着移动概率的增大而增多。但是灭生过程下合作者更多，合作水平更高。

从箱形图上看，不论是生灭过程还是灭生过程，随着移动概率的增大，合作率平均值都在不断降低。移动性使收益较高个体的子代不断移动，可能会移动到对自己不利的位置上，因此随着移动概率的增大，移动性对合作的形成及维持极为不利。

与学习最优规则相比，在移动概率为0即个体静止时，灭生过程的合作水平高于学习最优规则。但是，移动概率0.01条件下Moran过程的合作水平低于学习最优规则。随着移动概率的增大，即移动概率为0.1、0.2、0.5时，Moran过程的合作率均高于学习最优规则。因此，在移动概率较大的情况下，Moran过程表现出明显的优越性，更能促进合作行为的发生，提高合作水平。

2.2.2有噪声

图6为噪声强度k=0.01时Moran过程演化结果截图，其中：上图为生灭过程演化截图，下图为灭生过程演化截图；从左至右移动概率依次为0、0.01、0.1、0.2和0.5；圆形代表合作者，方形代表背叛者。图7为噪声强度k=0.01时Moran过程下合作水平随移动概率的变化。

图6 噪声强度k=0.01时Moran过程演化结果截图

(a) 生灭过程

(b) 灭生过程图7 噪声强度k=0.01时合作水平随移动概率的变化

从演化截图上看，背叛者数目随着移动概率的增大而增多，合作水平随着移动概率的增大而明显降低。从箱形图上看，无论是生灭过程还是灭生过程，合作水平均随着移动概率的增加而降低。

表1为不同更新规则和不同移动概率下的平均合作水平。与无噪声Moran过程仿真结果相比，虽然演化截图不一样，但合作率相差不大，最大相差1.7%，说明噪声对合作水平的影响很小。因此，基于Moran过程的个体行为演化模型对噪声不敏感，抗干扰能力较强。

表1 平均合作水平 %

3 结 语

基于Moran过程的个体行为演化为合作行为的促进提供了新的思路。本文利用Repast博弈仿真环境构建了基于Moran过程的合作行为演化模型，并进行仿真分析，然后结合噪声因素分析了该模型对噪声的敏感程度。仿真结果表明，与学习最优规则相比，在移动概率较大时，个体采用Moran过程进行策略更新时合作水平明显提高，Moran过程表现出明显的优越性。同时，Moran过程对噪声不敏感，抗干扰能力较强。

随着演化博弈论的发展，未来研究可以将本文模型推广到其他复杂网络上，比如随机网络、小世界网络、无标度网络和自相似网络等，相信其对个体行为的演化会有不同的影响。