多状态有奖马尔可夫工业控制网络可信测度研究

周森鑫，韩江洪，李 超，吴德成

（1.合肥工业大学计算机与信息学院 合肥 230009；2.安徽财经大学管理科学与工程学院 蚌埠 233030）

1 引言

工业控制系统（industrial control systems,ICS）是实现工业生产自动化的关键，是衡量一个国家工业水平的重要指标。它是大型的、复杂的系统，除了实现控制功能外，它往往还具有信息处理、管理、决策等功能。当前网络化系统已成为国内外自动控制领域中的研究热点。可以预计，未来的几十年中，网络化控制必将深刻地影响和推动着控制理论及其应用的发展。从理论上说，控制系统将要进入集网络化、软件控制、现代传感器技术为一体的复杂控制系统阶段，工业控制网络的可信技术研究即网络控制系统的安全性、可控性、可生存性等相关理论研究也正在开展，为我国先进控制系统的开发与应用提供科学支撑。从应用上说，可信工业控制网络系统的出现，必将大大推动国家经济、社会、国防等领域的信息化应用，促进国家“以信息化带动工业化”的发展[1]。

据权威工业安全事件信息库（repository of security incident,RISI）统计数据表明，截至目前，全球已发生200余起针对工业控制系统的安全事件。典型案例有2007年加拿大的一个水利控制系统SCADA（supervisory control and data acquisition,SCADA）遭到人为安装恶意软件，破坏了用于取水调度的控制计算机；2008年攻击者入侵波兰某城市的地铁系统导致4节车厢脱轨；2010年Stuxnet病毒入侵伊朗布什尔核电站核反应堆的ICS，严重威胁其安全运营；2011年美国伊利诺伊州城市供水系统的数据采集与监控系统SCADA被黑客入侵，供水泵遭到破坏；2011年11月12日正在准备测试的伊朗弹道导弹收到控制指令后突然爆炸引起国际社会广泛关注，相关安全专家认为造成这次事故的原因很可能是曾攻击布什尔核电站工业控制系统的Stuxnet蠕虫病毒；2011年7月23日温州动车事故造成重大财产缺失和人员伤亡。诸如此类的安全事故表明，工业控制系统的隐患是影响国家关键基础设施稳定运行的重要因素，甚至会威胁到国家安全战略实施。我国工业和信息化部在2011年10月发布文件，要求加强国家主要工业领域基础设施控制系统与SCADA系统的安全保护工作[2]。

2 可信工业控制网络系统安全

工业控制系统是一种用于配水、污水净化、供电、油气输送、设备制造、化工等领域的高度分布网络，通常包含两个子网络：现场控制网络（process control network,PCN）和企业网络（enterprise network,EN），前者由控制器、开关转换器、驱动器和底层控制装置构成，后者由高层监督节点和计算机设备构成。PCN网络包括SCADA和分布式控制系统。PCN的一个主要组成部分是控制服务器、主终端单元 （master terminal unit,MTU）、远程终端单元（remote terminal unit,RTU）、智能供电设备 （intelligent electronic device,IED）、可编程逻辑控制器 （programmable logic controller,PLC）、操作控制台、人机界面（human-machine interface,HMI）和历史数据记录。美国国家标准与技术研究 院 （National Institute of Standards and Technology,NIST）、电子电气工程师协会 （Institute of Electrical and Electronics Engineers,IEEE）、仪表系统与自动化协会（Instrumentation Systems and Automation Society,ISA）、国际电工委员会 （International Electrotechnical Commission,IEC）、工业自动化开放网络协会 （Industrial Automation Open Networking Association,IAONA）等国际权威机构各自提出了自己的ICS安全指南，建议将PCN和EN进行隔离。防火墙是常用的隔离PCN和EN的工具，可以被配置用于阻拦不必要的服务、协议和端口，提供了较高层次的隔离。通过在防火墙前放置路由器完成简单的分组过滤任务，可以使得防火墙有能力进行更复杂的任务如状态过滤和代理服务等。在PCN和EN之间使用单个防火墙存在着严重的隐患，由于防火墙必需允许历史数据记录工具能够便捷地访问PCN，每项服务为了确保正确操作都要在防火墙上开个洞，在防火墙上配置过多特例会降低PCN-EN的分隔度，导致PCN开放并受到攻击，这个问题的解决办法是创建一个“非控制区”（demilitarized zone,DMZ）。DMZ部署框架包括3个区域：一个外围区域包括EN，一个内部区域包括PCN，还有一个DMZ包括数据记录工具。编制严格的防火墙规则保证DMZ中的记录器独立访问EN和PCN的内容，这个记录器能够为PCN提供数据，EN也能够被允许访问记录器，在此基础上防火墙屏蔽其他一切设备访问PCN。大多数由EN发起的针对记录器的攻击不会影响到控制系统，最坏的情况是这些攻击会冲击到记录器中的数据（如造成数据的丢失等）。

在PCN中部署成对的防火墙，并通过DMZ分隔的结构，这个结构简化了防火墙规则并清晰地区分了责任，使得PCN端的防火墙可以被控制部门管理，而EN端的防火墙由IT部门进行管理，这种结构倍受ICS推荐并在实践中通过对防火墙的配置得以实现。有些机制用来处理控制系统中主机的安全问题，这些机制的一个示例是已经在控制设备中实现的基于过程的安全控制（process-based security,PBS），它将访问控制从基于用户的模型转化为基于行程，基于用户模型中访问控制依赖于用户识别，在基于行程的安全模型中，被限定的行程将不能访问非法资源，PBS减少了攻击中权限的提升行为。

Hamed Okhravi、David M Nicol在参考文献[3]中提出可信过程控制网络 （trusted process control network,TPCN）的体系如图1所示，客户端通过与网络接入设备（network access device,NAD）通信来加入网络，NAD利用EAP通过IEEE 802.1x协议验证客户端设备的身份并将验证结果通过RADIUS协议发送到AAA服务器（身份认证服务器、目录服务器、审计服务器），AAA服务器返回一份属性验证和恰当的PVS地址列表。客户端通过各个PVS验证属性，如果客户端符合标准，验证的结果将通过HCAP发送到AAA服务器，如果客户端缺失某些必要属性，属性修复服务器将为客户端提供修复服务。目录服务器检测客户所属组和角色，利用所有PVS和目录服务器返回的结果，AAA服务器检测匹配客户端访问和通信的规则，并将这些规则发送至NAD。在此基础上，客户端被允许在NAD的监视下实施通信。服务器管理策略是认证范式和状态验证列表，例如基于令牌认证需要请求和利用反病毒服务器、补丁管理服务器和驱动验证服务器进行属性验证，当客户端设备加入网络时，NAD利用设备的身份与AAA服务器进行通信。AAA服务器验证该设备并提供基于设备的安全模式规则的NAD，在此基础上，NAD对所有入口和出口的流量应用策略，例如一个配置通过验证的RTU设备可能与记录器进行通信，其他所有的通信则被阻拦。Hamed Okhravi、David M Nicol的可信工业网络体系结构和安全措施明确了可信工业控制网络内涵和研究对象，基本上解决了其安全属性，但缺少可生存性和可控性研究，也没给出安全性度量模型[3，4]。

图1 可信工业控制网络系统结构

3 多状态有奖马尔可夫工业控制网络可信测度模型

3.1 多状态有奖马尔可夫理论

由两个或两个以上不同状态构成的系统，称为多态系统（multi-state system，MSS）。多态系统所有可能的状态集合划分成可接受和不可接受两个相互独立的状态子集合。当系统处于可接受状态子集时，认定此时系统为正常态；当系统进入到不可接受状态子集时，认定此时系统进入失败态。根据数据统计分析或者实验数据可以得出状态之间的转移概率，从而得出一步状态转移概率矩阵A=|Aij|。多态系统的可接受状态是以系统的输出表现以及具体的阈值标准——期望水平来进行衡量的。绝大多数时候，多态系统的表现必须达到或者超过设定的标准。一般来说，有奖马尔科夫模型可以理解为由状态空间{1，2，…，K}以及一步状态转移概率矩阵A=|Aij|，i，j={1，2，…，K}组成的连续时间马尔科夫链。假设当随机过程在任意时间单元处于状态i，应该给予整个系统适当的奖励报酬rii。同样地，如果发生了从状态i到状态j的转变，也应该给予整个系统适当的报酬rij，并且将所得的报酬rii和rij称为奖励值。当然这些奖励也可以表示负的意义，比如说需要表示的含义是进入失败状态或者遭受惩罚的时候。模型最主要的任务是在特定初始条件下，找出系统从开始时间累积到瞬时时刻t的总期望奖励值。用Vi(t)来表示系统在状态i为初始状态的条件下到时刻t累积的总期望奖励值。

3.2 可信状态空间划分

从工业控制网络的系统层次确定系统状态总数，根据需求和输出表现对系统划定可信状态和不可信状态。设置系统需求函数W(t)、输出函数G(t)，规定状态划分函数Φ(G(t),W(t))=G(t)-W(t)。当Φ(G(t),W(t))≥0时，指定状态为可信状态；当Φ(G(t),W(t))＜0时，指定状态为不信状态。如图2所示，状态1、2、4、5、6为可接受状态，状态3、7为不可接受状态，阴影表示不可接受状态。

图2 可信状态空间划分

根据不同状态之间的相互转化，构建多态系统状态空间，并确定各自之间相互转化的概率，规定λ为较好状态至较差状态的概率，μ为较差状态返回较好状态的概率。如λ23表示从状态2到状态3的概率，由图2可知状态2与状态3比较好。根据状态转换图以及各状态转移概率，得到一步转移概率矩阵A=|Aij|。同时可根据复杂程度采用层次分析法对系统进行层次分解，分别划分子系统的状态空间，例如系统中有交换机可针对它进行状态分解，这样可避免状态空间爆炸问题。

3.3 可信测度数学模型及其求解方法

多态系统瞬时可用性A(t)表示在任意t>0时刻系统处于可接受状态的可能性大小，用概率表示。多态系统的平均可用性表示当系统在时间间隔[0，t]中处于可接受态的可能性，可以有以下表示：

其中，前面提到，A(t)是瞬时可用性——在t>0的某一时刻状态系统处于可接收状态的概率：

为了计算，可在如下规则下确定奖励矩阵r的奖励值：

·所有与可接受态相关的奖励必须规定为1；

·所有不可接受态相关的奖励必须规定为0；

·无直接状态转换的状态之间的奖励值必须为0。

VK(t)表示在状态K为初始态的条件下，多态系统在时间间隔[0，t]中处于可接受状态的累积奖励值。带入奖励矩阵r，通过Howard微分方程解出累积值。解出微分方程以及得出VK(t)的值之后，多态系统的平均可信性也可以被表示成VK(t)/t，此时K为初始状态。Howard微分方程如下：

设Nf(t)表示多态系统在时间间隔[0，t]内的平均失败次数，失败可以理解成整个系统处于瘫痪状态或者机构失效，平均失败次数这个指标可以当成是在时间间隔[0，t]内多态系统完全处于不可接受状态的次数。对于Nf(t)的计算，此时奖励矩阵的值就表示负的意义，由可接受态到不可接受态的所有奖励值都必须赋值为1，所有其他奖励值必须为0。由此得到失败次数奖励矩阵，在这种情况下，平均累积奖励值VK(t)表示的含义为在时间间隔[0，t]内进入不可接受状态的平均次数。同样也可以借助Howard微分方程解出VK(t)，得出多态系统进入不可修复态（失败态）次数Nf(t)，其中Nf(t)=VK(t)，此时K为初始状态。通过可用性和平均失败次数归一化处理可得出系统的可信度分析此模型可以看出Hamed Okhravi、David M Nicol的可信工业网络体系构和安全措施明显降低了工业网络系统从可接收状态到不可接收状态的转移概率，因此有效提升了其可信度[5]。

3.4 计算实例及实验方法

以图2为例，首先计算可靠性时可以先根据状态空间写出状态转换概率矩阵A和奖励矩阵rA(t)。

其中，C1=-(λ12+λ14);C2=-(μ21+λ23+λ25);C3=-μ32

因状态1、2、4、5、6为可接受状态，所以奖励矩阵中{r11=r22=r44=r55=r66=1}，状态转移矩阵如下：

根据Howard方程写出微分方程组：

求解微分方程组即可得出不同初始状态下系统的可用性A(t)。计算进入失败状态的次数Nf(t)，其奖励矩阵rNf={r23=r57=r67=1}，其余为0。

进入失败态次数Howard微分方程组为：

求解微分方程组即可得出进入失败状态的次数Nf(t)，通过系统的可用性A(t)和进入失败状态的次数Nf(t)归一化处理可求出系统的可信值[6,7]。

4 结束语

对工业网络系统的可信属性可用性、安全性、可控性及可生存性等研究已成为学术界研究热点，也是工业领域迫切解决的问题。网络系统安全性能的感知是解决网络系统安全的前提和基础，本文以工业控制网络为研究对象提出可信工业控制网络系统架构，并基于此架构研究有奖马可夫工业控制网络可信度评估模型及其求解方法。该方法泛化后也可解决电信通信网络系统和物联网系统的类似可信度测量和评估。本文下一步将要研究的问题是网络系统可信属性界定及其相互之间关联的定量关系，找出并优化归一化函数以提高测量精度[8]。

1 沈昌祥，张焕国，冯登国.信息安全综述.中国科学E辑，2007（2）Shen C X,Zhang H G,Feng D G.Information security overview.Science in China(Series E),2007(2)

2 Stouffer K，Falco J，Scarfone K.Guide to Industrial Control Systems(ICS)Security，NIST,2011

3 Okhravi H,Nicol M D.Application of trusted network technology to industrial control networks.International Journal of Critical Infrastructure Protection,2009(2)

4 卿斯汉，周启明，杜虹.可信计算研究进展分析，电信科学，2011,27(1):11～15 Qing S H,Zhou Q M,Du H.Progress of research on trusted computing.Telecommunications Science,2011,27(1):11～15

5 Howard R.Dynamic Programming and Markov Processes.Cambridge,Massachusetts:MIT Press,1960

6 Karagiannis T,Papagiannaki K,Faloutsos M.Blinc:multilevel traffic classification in the dark.Proceedings of SIGCOMM'05,Philadelphia,Pennsylvania,USA,2005

7 Karagiannis T,Roido A,Aloutsos M,et al.Transport layer identification of P2P traffic.Proceedings of the 2004 ACM SIGCOMM Internet Measurement Conference,Taormina,Italy,2004

8 闫智，詹静.面向行为可信的大数据安全系统形式化描述，电信科学，2014,30(7):32～38 Yan Z,Zhan J.Formal description of trusted behavior oriented security system for big data.Telecommunications Science,2014,30(7):32～38