复杂系统管理中的仿真方法研究:挑战与机遇

洪 流

(复旦大学 管理学院;大数据学院,上海 200433)

“复杂系统管理”是当下管理学领域的一个重要研究课题。所谓“复杂系统管理”,其本质上是由“复杂系统”和“管理科学”两者交叉融合而成。

首先,是“复杂系统”。早在20世纪80年代末期,钱学森先生便总结、凝练出了“开放的复杂巨系统”这一概念。随着工业技术的发展和社会生产力的提高,如今的很多系统呈现出了复杂性和不确定性两个显著的特征。复杂性是复杂系统的固有属性,在互联网、物联网和大数据等技术的推动下,系统的复杂性还可以进一步具像化为大规模、网络化和动态性等。随着各个行业领域从粗放式走向精细化,从简单操作走向复杂协同,管理中所面临的很多系统已经迭代演化为大规模、多层次、关联紧密的复杂系统。系统内部和外部的关联关系往往呈现出了网络化的结构,如金融网络,供应链网络等。更进一步,网络和网络节点状态是实时变动的,各个网络节点相互作用,牵一发而动全身。这要求管理者需要具备实时动态决策的能力,提高系统运行的质量和效率,规避网络带来的系统性风险。然而,复杂系统的高度不确定性进一步提高了决策的难度:一方面,系统状态变化和外部冲击的频率、方向和强度具有随机性;另一方面,复杂系统的实际运作机理往往难以彻底理解,部分子系统无法观察,具有很强的模糊性。所以,复杂系统管理绝非易事。

一般而言,“管理”主要涵盖了理解、预测和优化3个部分。管理者往往先剖析系统总体趋势并理解各因素之间的相互作用关系,然后借助预测模型形成更准确的判断,再针对预测数据进行系统的优化,做出相应的决策。这实质上也对应了管理科学研究问题的基本范式:首先是建模,其次是预测,最后是优化。对此,管理者一般采取定性、定量或两者结合的方法构建模型,从而推进系统的预测和优化。定性方法通过研究系统的运行规律来判断系统的特征属性,定量方法则依赖于数据和实证分析,而两者的结合能够促使管理者从更为全面的视角去认识、把握复杂系统。

1 复杂系统的模型与算力

如前所述,复杂系统的预测和优化是基于一个合理的模型开展的。作为管理科学研究范式的第一步,建模显然是复杂系统管理的基石。然而,由于可获取信息的不完备性,加上建模过程中所面临的各种限制,建模人实际上无法构建和现实完全相符的模型。尽管如此,正如统计学家Box所说“All models are wrong,but some are useful”,利用不完备的信息所建立的模型仍然可以为管理提供有价值的洞见。因此,所谓“建模”,从根本上而言就是:针对所研究的问题,利用一切已知信息,加以抽象和总结,形成对对象的一种表示。通常而言,建模所利用的信息主要来源于系统的数据和建模人对系统物理流程的理解。其中,后者要求建模人有深厚的功力去把握、剖析并提炼出复杂系统的本质规律,将系统物理信息转化为模型中的要素。除了信息的利用和表达之外,模型的构建还应当权衡速度与精度的关系。更高的精度通常意味着更长的计算时间和更高昂的计算成本。值得注意的是,一旦计算能力可以提高,模型便能够在更短的时间内达到相同的精度,即模型运行的速度和精度本质上都受限于计算能力。计算能力主要由两种能力构成:一是人脑的分析能力,二是计算机算力。人脑分析能力决定了模型的框架和复杂程度,计算机算力则影响了模型的运行速度和模型结果的精度。随着计算机算力的快速提升,利用计算机算力的仿真建模方法变得越来越重要,成为了复杂系统管理的利器。

管理领域的传统数学建模方法可以大致分为微观建模和宏观建模两个层面。微观建模主要使用数学规划的建模方法,刻画系统局部的运行状况,例如生产调度模型等;宏观建模则主要使用概念模型(stylized model),关注系统整体的发展规律,例如牛鞭效应模型等。但对于复杂系统而言,单纯的微观或者宏观建模不足以刻画系统的复杂性和不确定性。近年来蓬勃发展的数据模型,如机器学习模型等,主要是通过采集、清洗、训练系统中的海量数据来抽象出具有系统数据特征的模型。虽然大数据技术赋予了数据模型更强的灵活性和精确度,但是数据模型依然存在着可解释性不足的问题,且仅适用于数据充足的应用场景。相反地,理论模型的可解释性强,能够反映系统底层的运行机理,因而有较强的泛化能力。从第谷的天文数据到开普勒的行星运动三大定律,再到牛顿的万有引力定律,正是从数据抽象至数据模型再泛化至理论模型这一运行机理的表现。

综上所述,现阶段复杂系统的管理者所需要的模型是一种介于微观和宏观建模之间,且将数据和理论有机结合的模型。仿真建模无疑是复杂系统管理的最佳建模工具之一。仿真模型一般建立在理论模型或概念模型的基础上,包含系统运行的更多细节,辅助以数据驱动方法刻画系统的随机性,利用计算机算力推动系统演变,从而预测和优化系统运行效果。因此,仿真建模正是管理者所期望的一种中观建模方法,从微观出发,研究宏观问题。其不仅打破了微观和宏观建模之间的壁垒,也打通了定性和定量之间的通道,还构建了数据和理论之间的桥梁。对系统内在逻辑的理论分析赋予了仿真模型更强的可解释性和适应性,对数据的训练学习则赋予了仿真模型更大的灵活性和精确性。

2 系统仿真建模研究的挑战

仿真方法是采用微观定量方法研究系统宏观行为以支持系统管理决策的理想途径之一。为实现有效、及时的决策支持效果,仿真方法在建模、预测和优化3个环节都需要保证足够的速度和精度,在有限的资源下需要在速度和精度两者之间取得良好的平衡。然而,当管理决策的对象是复杂系统时,传统的仿真方法往往捉襟见肘、顾此失彼。一方面,复杂系统所具有的高度复杂性使得快速仿真建模、预测、优化都变得异常困难;另一方面,复杂系统蕴含的高度不确定性给仿真建模、预测、优化各环节的精度保证带来了巨大的挑战。

2.1 仿真效率与速度

首先,传统仿真建模工具难以支持复杂系统的高效建模和快速仿真。仿真方法的核心是在计算机系统中构建现实系统的镜像程序,并运行这一程序。目前流行的支持管理决策的仿真建模工具软件包括Any Logic、Arena和SIMIO 等,它们集成了离散事件仿真(discrete-event simulation)、基于智能体仿真(agent-based simulation)等多种功能,在物流、生产制造、运输、仓储、港口等系统管理中得到了广泛应用。这些工具开发了良好的用户界面,提供了丰富的按行业或用途划分的功能组件,在使用过程中用户无需撰写代码,采用搭积木的方式拖动相应功能组件即可一步步地根据系统运行逻辑构建仿真系统。运行仿真时,这些工具生成面向对象仿真程序,利用2D 或3D 动画可视化仿真动态过程,并记录相关的过程数据和仿真输出。当系统规模较小时,这些软件能够极大降低用户仿真建模的难度。然而,对于复杂系统,其内部组件众多,关联逻辑复杂,采用手动方式、搭积木式地构建相应的仿真模型非常耗时。例如,大型制造企业生产系统库存网络管理的仿真可能涉及数万乃至数十万种物料,且它们之间存在复杂的生产和装配关系,采用手动方式构建相应的仿真模型几乎是不可能完成的任务。更重要的是,通过这类软件构件的仿真模型运行速度慢,难以有效支持复杂系统的实时决策。一方面,传统仿真建模中的大量运算是串行的,当仿真对象多、逻辑复杂时,仿真效率就会出现瓶颈;另一方面,复杂网络系统节点和链接数量巨大,内存消耗高,也对计算机性能有非常高的要求,这导致仿真建模开发往往成本高昂。对于复杂系统管理,目前急需支持大规模并行计算和存储的自动化仿真建模工具,以支撑更加便捷、高效、低耗的复杂系统仿真建模。

其次,基于仿真的预测方法在应用于复杂系统时将变得异常缓慢。基于仿真方法进行预测的基本方式是仿真元建模(simulation metamodeling)。仿真元建模包含学习和预测两个阶段。在学习阶段,针对单个性能目标(如排队系统平均等待时间),其需要在多个不同参数组合下运行仿真模型获得目标值估计,构建仿真数据集,然后通过统计学习方法拟合出该性能目标关于参数组合的预测模型;在预测阶段,将特定参数输入预测模型即可以获得相应的预测值。这一方法在面对复杂系统时,往往需要巨大的计算资源而难以实现。一方面,复杂系统所具有的大量参数形成了高维度的参数空间,为获得足以代表整个空间的仿真数据,需要对充分多的点(参数组合)进行仿真采样,所需采样点的数量将随着空间维度的增长而呈指数级增长,从而导致所需计算资源的指数级增长;另一方面,当仿真数据集过大时,预测模型的拟合训练也将面临速度上的问题。在这种条件下,需要考虑通过如随机克里金法(Stochastic Kriging)、实验设计等手段自适应地选择采样参数点,以降低总的采样点数量。但这些方法也无法克服高维度带来的问题。除此之外,针对于复杂系统管理,决策者关心的性能目标可能会有多个。一个直接的方法是分别针对每个性能目标构建仿真预测模型。但这一方法不仅存在速度上的问题,还忽视了多个性能目标之间复杂的相关关系。因此,如何在大规模仿真数据集上实现快速高效的高维曲面学习也成为复杂系统管理的仿真方法中一个重要的理论问题。

最后,在基于仿真方法进行大规模复杂系统管理决策的场景中,传统的仿真优化方法可能过于耗时而不再适用。最近的研究成果表明,在求解大规模的仿真优化问题与小规模的仿真优化问题之间存在着基础性的差异。一般而言,仿真优化问题具有黑箱、随机、非凸的特征,求解仿真优化问题需要不断地运行仿真模型,收集不同参数设定下的随机样本。虽然传统的仿真优化算法如适应性随机搜索、贝叶斯优化、最优计算预算分配等算法在小规模、低维度的问题上均被验证是十分有效的,但它们通常只有渐进收敛性,没有样本复杂度和收敛速度。而复杂系统仿真模型中的参数维度和问题规模往往十分巨大,使用传统的仿真优化算法求解可能需要收集庞大的仿真样本,无法在有限的求解时间内得出合理的解。因此,面向复杂系统管理的最优决策,在理论上有必要研究收敛速率最优、样本复杂度最低的仿真优化算法;在计算上有必要设计适用于并行计算框架的高效算法。

2.2 仿真精度

首先,传统的仿真建模方法难以支持构建针对于复杂系统的高精度仿真模型。为保证仿真精度,输入建模(input modeling)和模型设计(model design)至关重要。输入建模刻画仿真模型中的随机性因素,生成相应的随机变量驱动后续仿真过程。传统的输入建模一般基于独立性假设、考虑简单的参数化分布,并利用真实数据估计分布参数。例如,在服务排队系统中假设顾客到达间隔时间和服务时间服从独立的指数分布。这种方式在小规模的简单系统仿真中能够取得不错的效果,但在面对复杂系统时可能因为过于简单而失效。复杂系统中的随机性可能存在复杂的时空相关结构。虽然已有研究尝试采用连接函数(Copula)刻画输入模型中随机变量之间的相关关系,但连接函数方法也依赖于固定的结构性假设,难以充分刻画复杂系统蕴含的随机性。在模型设计方面,当系统变得复杂时,部分关键机理和结构可能难以刻画,带来模糊性。例如,在移动通信系统中,用户终端的信号强度不仅由与通讯基站间的距离以及与基站天线的角度决定,还受到周边环境(如天气、是否存在障碍物等)的影响;在对通信系统进行仿真建模时,后者就难以刻画到仿真模型中。为了应对模糊性给仿真模型带来的偏差,有必要进一步将专家经验和数据模型融入到仿真建模过程中,这也是仿真建模中亟待解决的一个重要问题。

其次,复杂系统管理也给基于仿真的预测带来了精度上的挑战。一方面,由于复杂系统仿真模型输入变量中蕴含的高度随机性,其仿真输出也带有高度的随机性。如何学习多维仿真输出的联合概率分布是一个重要的理论问题。另一方面,正如前文所述,面对复杂系统,输入建模和模型设计不可避免地在精度上做出一定的妥协,从而使得仿真模型与现实系统存在一定的偏差,即引入输入不确定性(input uncertainty)和模型不确定性(model uncertainty),给仿真预测带来额外的不确定性。不确定性量化和不确定性缩减是指导输入建模和模型设计、保证复杂系统仿真精度的关键。近年来,关于输入不确定性量化的研究已经成为仿真研究的热点之一,但关于模型不确定性的研究较少。除此之外,如何衡量复杂系统仿真模型的有效性(validity)也是一个重要的理论和实践问题。关于现实复杂系统的真实数据往往是非常有限的,基于其进行仿真模型参数的校准(calibration)可能会出现过拟合,使得仿真模型预测在实践中与现实系统真实表现偏离较大,预测精度难以保证。

最后,对于复杂系统仿真,由于仿真模型运行时间较长,传统的黑箱随机仿真优化算法难以保证求解精度,需要考虑结合仿真模型结构知识的灰箱优化算法。值得注意的是,仿真优化问题的特殊在于,与一般的完全黑箱优化问题不同,决策者虽然不能写出目标函数的显式形式,但其拥有关于仿真模型结构的全部信息。因此,有必要考虑将仿真模型的结构信息融入到仿真优化算法设计中实现灰箱优化,以大幅度降低优化求解所需要的仿真样本数量,提高有限时间内仿真优化算法的求解精度。另外,由于仿真模型存在输入不确定性和模型不确定性,有必要考虑鲁棒仿真优化(robust simulation optimization),保证即使仿真建模与现实系统存在一定偏差,仿真优化的解在现实系统中仍保持较高的性能。然而,对于仿真优化这一随机、非凸的问题,鲁棒优化算法的性能同样可能受到问题维度和规模的限制。目前已有的鲁棒仿真优化算法在大规模、高维度的复杂系统管理应用中的效果如何尚不清楚,亟需开发适用于大规模复杂系统管理的鲁棒仿真优化算法。

综上所述,复杂系统的高度复杂性和不确定性给传统的仿真方法带来了巨大的挑战,受限于计算能力和理论发展,现有的仿真方法在建模、预测和优化3个方面都难以达到复杂系统管理决策所需的速度和精度。所以,复杂系统管理的仿真方法目前在理论和算法上都存在巨大的缺口。

3 复杂系统研究发展新机遇

在面临诸多挑战的同时,对于当代的学者而言,复杂系统管理中的仿真方法研究领域也存在众多发展机遇。

首先,按照“摩尔定律”,集成电路上可容纳的晶体管数目约每隔两年增加1 倍。过去50 余年,在“摩尔定律”的加持下,计算芯片的性能不断提升。同时,并行计算技术也在不断发展,以GPU 为代表的高性能计算单元的应用越来越广泛,这些进步共同助推了计算机算力的大幅提升。如果能够在相关研究中充分利用大规模并行算力,传统的复杂系统仿真建模、预测和优化都将得到显著加速。

其次,伴随着移动互联网、物联网等新一代信息技术的飞速演进,万物互联的时代已逐步到来,全球数据量呈现爆发式增长态势,数据已成为当今时代的关键生产要素。在对这些海量数据进行采集、建模、处理和分析之后,通过数据驱动方法,将其融入仿真模型,降低模型不确定性,可以有效提高模型精度。许多过去受限于数据不足的复杂系统管理问题将可能得到解决。

此外,近年来,人工智能技术不断发展,涌现出的新技术已经在很多领域得到了应用,实现了突破。人工智能技术与复杂系统管理中的仿真方法在底层逻辑上有很强的相似性。人工智能技术也面临着大数据、大算力带来的机遇和挑战。人工智能领域的成熟方法和成功经验也可以给复杂系统仿真研究带来很多新的思路。

下面,根据笔者研究团队之前的研究经验以及文献中的一些实践具体谈谈大算力、大数据和人工智能技术在复杂系统仿真建模、预测和优化等方面带来的研究机遇。

在仿真建模方面:①我们发现许多动态系统的仿真和循环神经网络(Recurrent Neural Network,RNN)有着类似的时序结构,相应的仿真优化问题与RNN 训练在目标函数和优化算法等方面也有很多相似性。RNN 的规模可以非常大,存在可以利用GPU 等并行算力的高效算法。因此,用于RNN 的许多方法和工具对于大规模动态系统的仿真优化都很有借鉴意义。②输入建模(input modeling)是仿真方法研究的重要组成部分,输入模型代表了随机仿真的不确定性。目前人工智能领域文献中的对抗生成网络(generative adversarial networks)、变分自编码器(variational autoencoder)、分位数回归神经网络(quantile regression neutral networks)等生成模型可能在仿真输入建模方面有很好的应用前景。③传统研究中一般使用偏微分方程来模拟许多物理系统,近年来,文献中出现了一些将物理模型与机器学习结合的相关研究(physics-induced learning),这种理论模型与数据模型的结合对于高维问题的解决很有助益。④在建模方面又一个研究热点是数据驱动的仿真,这种仿真方法使得用户可以在了解较少领域知识的情况下对多个场景进行快速的探索。

在预测方面,我们提出了“离线仿真-在线应用”(offline simulation online application,OSOA)的框架。该框架以机器学习方法作为桥梁,建立预测模型,有效结合了离线仿真与在线应用,可以应用于许多实时决策问题的求解。此外,我们还在生成元模型(generative metamodeling)方面进行了探索,它本质上是建立“仿真器的仿真器”(simulator of simulator),这对于一些很耗时的仿真而言非常有用。通过生成元模型,实现快速仿真,可以加速后续的预测和优化任务。

在优化方面:①目前计算机CPU 的核数不断增加,GPU 等高性能计算单元的核数可达上万个,多台计算机组成的计算集群也得到广泛应用,能够获得的计算资源越来越丰富。设计高效的并行仿真优化算法,从而更好地利用大规模算力来实现快速优化,这对于研究者而言是个重大机遇。②在人工智能领域,强化学习得到了广泛的应用,著名的AlphaGo就是基于强化学习训练而成的。如何将强化学习应用于复杂系统管理的仿真优化问题中来,是个值得关注的理论研究方向。③另一个值得关注的方向是多保真度优化(multi-fidelity optimization)。这种方法可以有效地利用具有不同精度和成本的多个测量/目标函数来提供最大信息量,这对于一些目标函数评估成本很高的应用(例如超参数调谐)而言很重要。④对于高维优化问题而言,降维是一个重要的研究问题。目前已有一些基于随机嵌入(random embedding)的方法,但相关方法的使用对于目标函数存在一些限制,值得深入探索。⑤在仿真优化问题求解的过程中,往往需要多次运行仿真模型来估计目标函数。如何利用方差减小技术,以更少的计算量得到相同的方差,这对于大规模复杂系统管理的相关仿真优化问题是个值得关注的研究方向。

除了建模、预测和优化这3个传统的仿真应用场景之外,最近非常热门的“数字孪生”(digital twin)系统同样是仿真方法的重要应用场景。数字孪生领域的蓬勃发展也将为复杂系统仿真领域带来重要机遇。与数字孪生相关的概念有两个,一个是数字模型(digital model),它本质是一个仿真模型;另一个是数字轨迹(digital trace),主要是针对可视化需求。一个数字孪生系统可以看作是数字模型和数字轨迹的结合,而这种结合需要很多的理论研究进行支撑,例如系统中采集到的实时数据和仿真数据如何融合、如何利用各种数据和仿真模型进行实时的决策以及如何实现实时校准(calibration)等。这些理论问题值得进一步探索和研究。

仿真建模和基于仿真的预测与优化是管理实践和管理研究中的重要方法。面对越来越复杂的管理系统,仿真方法也面临着很多挑战,而大算力、大数据和人工智能技术的发展,也给仿真方法带来了很多机遇。通过利用大算力,融合大数据,借鉴人工智能技术,仿真方法必将成为复杂系统管理的一大利器,解决很多其他方法无法解决的重要问题。

本文从传统的运筹学和管理科学视角看待仿真方法,主要聚焦于复杂系统的建模、预测和优化,难免管中窥豹,无法面面俱到。例如,涌现性是复杂系统的一个重要特征,微观个体通过竞争与合作等交互方式,在宏观层面上涌现出与微观行为非常不同的特征。基于智能体仿真(agent-based simulation)则是研究涌现性的一个重要工具。再例如,一般均衡也是复杂系统管理研究的一个重要方向,在宏观政策制订领域极为重要。仿真方法同样也是研究此类问题的重要工具,包括可计算一般均衡模型(computable general equilibrium model)和动态随机一般均衡模型(dynamic stochastic general equilibrium model)等。随着系统变得越来越复杂,这些仿真方法也同样面临着很多的挑战与机遇。

最后,笔者想强调,尽管仿真本身是个工程性很强的工具,仿真方法的基础研究则具有很强的理论性和科学性。例如,离散事件仿真(discreteevent simulation)和摄动分析 (perturbation analysis)的历史发展历程就很好地说明了基础理论对仿真方法的指导意义。因此,仿真方法领域的研究不能只是聚焦在工程应用问题上,也需要回归基础理论研究的“象牙塔”,通过理论上的突破助力工程上的飞跃。