基于可信度量的网络组件性能评估方法

熊钢，兰巨龙，胡宇翔，刘释然



基于可信度量的网络组件性能评估方法

熊钢，兰巨龙，胡宇翔，刘释然

（国家数字交换系统工程技术研究中心，河南郑州 450002）

针对新型网络及其服务构建中所涉及的网络组件选择问题，以可信评估思想为指导，通过多属性决策建模，提出一种网络组件性能评估方法。首先，针对网络应用环境的灵活多变特征，设计了一种按需驱动的可信指标树动态构建策略。其次，利用模糊层次分析法减小主观权重计算的不确定性，并将主客观权重相结合以提高赋权操作的公平性。最后，在评估决策阶段，综合运用指标数据效用转换、可信属性向量构造和向量间的相对近似度计算等策略得到评估结果。通过对软件定义网络控制器的实际案例分析，验证了所提评估方法的合理性及有效性。

网络组件；可信性；联合权重；网络控制器

1 引言

近来，在新型网络体系结构研究热潮的推动下[1, 2]，各种网络软硬件设备（即“网络组件”）作为支撑网络结构与功能的基础构件也得到了极大发展。一方面，可承载新型网络结构的硬件型组件不断涌现，如服务器、交换机、智能终端等；另一方面，能提供多样化网络功能的软件型组件也层出不穷，如网络控制器、路由协议、各种App应用等。

由此也为网络决策者带来了选择网络组件的新问题。例如在信息/服务中心网络[3, 4]中提供定位服务的组件有Google地图、百度地图、高德地图等，在服务构建中则需要对其进行合理选择。同理，在软件定义网络（SDN, software-defined network）[5]等新型网络环境中也涉及到相应的网络组件选择组合[6]。网络组件选择的重要基础之一则是对组件进行科学合理的描述或评估。对此，文献[7]提出了一种智慧协同网络中的组件协同机制，其采用数据和语义2种方式对组件特征进行描述。文献[8]提出在可重构网络体系中划分网络组件服务等级，实现服务需求与组件特征的最佳匹配。文献[9]以安全等级对网络Web服务组件的可组合性进行验证，从而保证信息流的安全性。文献[10]提出基于实验测试的SDN控制器组件评估方法。上述文献以各自面对的网络环境为基础，互有侧重地对网络组件评价问题进行了探讨，但是都还未涉及具有普适性的网络组件评估模型和策略。

为此，针对网络组件的应用需求，本文借鉴传统软件可信评估研究的思想[11, 12]，提出一种兼具动态性、公平性、时效性的可信评估方法，为网络智能决策提供支撑。

2 整体评估框架

2.1 基本思想

软件可信性作为对功能性、可靠性、可维护性等软件质量度量的一种综合化延伸，其反映了软件实体多维质量特征的综合属性[13, 14]。基于可信属性模型[15]，本文建立如图1所示的网络组件可信模型，其中，网络组件可信性可表述为组件行为和结果符合用户的预期目标，实际中通过可信属性以及用户在可信属性上的需求进行表达。如图1所示，网络组件可信度量的实质是对功能属性、可用属性等多种可信属性的融合处理，其可以被建模成为一种多属性决策分析（MADA, multiple attribute decision analysis）问题进行处理[16]。

2.2 操作流程

基于MADA方法的处理流程，得到总体评估流程如图2所示，主要包括如下几部分。

1) 可信指标构建。与传统静态构建方式不同，针对网络组件类型或应用的多样性，在此利用树型逻辑结构设计一种动态的可信评估指标构造模型，简称为“可信指标树”。

2) 指标权重值计算。网络组件指标数据既有基于专家经验的主观判断差异，又有物理数据包含的客观实际差异，因此，采用主客观联合赋权的方法提高权重计算的公平性。

3) 可信评估决策设计。为了提高评估方法的时效性，设计可信属性向量的相对近似度作为最终评估决策指标。下面详细阐述各部分技术策略。

3 主要技术策略

3.1 可信指标树建立

由于组件类型的多样性、应用环境的动态演变以及用户需求的变化，要求所建立的可信评估指标系统具有满足多样可信需求的能力。为此，下面建立一种具有动态适应性的可信指标树构造模型(TIT, trustworthiness indicator tree)。

3.1.1 形式化描述

3.1.2 构造流程描述

针对具体应用场景，建立动态构建流程如下。首先，建立可信指标数据库(TID, trustworthiness indicator database)，它是一个逐步完善的能满足评估需求的可信属性及其细化指标的开放指标集。其次，通过递归方式逐层建立树节点。逐一匹配评估需求所提的可信属性与TID信息，若TID存在相应属性及其指标，则选择其为树节点，否则，向TID添加相关信息并输入其作为树节点，直至全部可信属性子树的所有底层节点为叶子节点。最终，基于TIT形式化描述，将各节点可信指标赋权并以逻辑关系表达构成可信指标树，如图3所示。图3中为评估对象的可信根指标，其由若干可信属性指标表示，而每一可信属性指标又可分解为若干中间指标()或者叶子指标()来度量，其中叶子指标是原始可信值的采集点。

3.2 指标权重计算

3.2.1 主观权重计算

主观权重计算是通过专家经验判断给出各指标间的相对重要性，主要有层次分析法(AHP, analytic hierarchy process)、专家调查法等。由于传统AHP方法未考虑专家经验评判存在的不确定性，本文利用模糊层次分析法(FAHP, fuzzy analytic hierarchy process)[12]计算主观权重以降低其影响。

FAHP方法通过三角模糊数(TFN, triangular fuzzy number)对模糊集进行描述[16]。设一个三角模糊数为，其对应的隶属度函数为

表1 判断矩阵元素含义及其对应的三角模糊数

(3)

3.2.2 客观权重计算

客观赋权是对实际物理数据进行建模，挖掘出相互间的差异信息进而确定权重的方法，常见的有熵权法、最大导数法等。从综合性能考虑，下面利用熵权法计算客观权重，具体操作如下。

Step1 构建评价指标原始数据矩阵。待评价实例集合为，评价指标集合，采集各实例指标的原始数据得到数据矩阵，其中，表示实例在指标上采集的数据值。

Step2 计算各指标的熵值。对矩阵各列进行归一化得到，计算各指标熵值为

由式(5)、式(6)可知，指标熵值越小，包含的信息量越多，相应权重也越大；反之亦然。当指标数据完全相同时，其未向评估提供有用的信息，其客观权重取值为0。

3.2.3 联合权重计算

主观权重侧重评价者的经验及意向等主观因素，而客观权重更侧重于充分挖掘数据本身蕴含的客观信息，因此将两者融合得到联合权重，则更加有利于提高赋权的公平性。为此，基于主观权重和客观权重，计算联合权重向量为

(8)

图4 各权重方法的方差统计

3.3 评估决策构建

评估决策是指以指标可信值和指标权重为基础，设计相应的决策方法计算得到评估结果。下面将从可信指标数据转换、决策矩阵建立以及评估指标计算方面考虑，构建网络组件的评估决策。

3.3.1 指标数据转换

为避免原始数据由量纲、量级等方面的差异导致的不合理现象，需要对指标数据进行转换。本文通过三角模糊数将定性数据()转换为定量数据()，然后对定量数据进行效用值转化。

定性指标数据一般是由专家评估得到的主观评价结果，本文利用表2对应关系将定性评价数据转换为三角模糊数，之后利用式(4)去模糊计算将转换为定量数据。

表2 指标定性数据及其对应的三角模糊数

(10)

3.3.2 决策矩阵构建

决策矩阵构建操作主要分如下2步。

Step1 可信属性的可信值计算。该步骤是计算可信指标树中可信属性指标集合中各元素的可信值。以图3为例，可信指标树TIT有可信属性，每一可信属性子树共有层，第1层为子树根节点，即可信属性指标。树中第层的中间属性节点的可信值是通过第层节点的可信值计算得到，设第层有个中间属性节点，某一节点在第层有个子节点，每一子节点的可信效用值，且该节点对于节点的权值为，则节点的可信值计算公式为

3.3.3 评估指标计算

评估指标是对网络组件综合性能进行评估的定量依据。针对网络组件在计算效率上的需求，在此通过最优逼近的方式计算相对近似度作为评价指标，具体如下。

表3 相似度指标与可信等级的对应关系

综述上所述，本文算法时间消耗主要包括可信向量构建时间和各实例可信评价指标计算时间，在组件实例数为，可信属性数为，各可信属性子树为层，各层节点数为的条件下，总时间复杂度约为()，后续实验表明该时间复杂度具有一定优势，能够满足应用需求。

4 评估案例分析

近来，作为SDN网络的核心组件[17]，网络控制器(network controller)得到飞速发展。业界推出了多种自主研发的开源控制器以供用户使用选择，如NOX/POX、Beacon、Maestro、Floodlight、Ryu等[18,19]。本节运用上述可信度量方法对SDN网络控制器进行案例分析。

4.1 可信指标构建

经分析，SDN网络控制器应具有的可信属性需求主要包括[18, 19]：功能属性、可靠属性、安全属性、时效属性和易使用属性，具体介绍如下。

功能属性主要包括网络编程能力、网络虚拟化能力、网络扩展能力，其指标数据主要通过用户的使用经验进行主观评价获得。可靠属性的评价主要考虑控制器的成熟稳定性和容错性，其中，稳定性主要以控制器版本更新频率进行度量，而容错性则通过软硬件冗余情况进行度量，指标数据以用户评价获得。安全属性从可抵抗攻击的访问控制能力和攻击后恢复能力进行评估，其中，访问控制性以防火墙配置度量，攻击后恢复能力则以受攻击后控制器恢复到正常的时间来度量。时效属性主要从控制器实时性和处理性能进行评估，其中，实时性以对新请求的会话时延来度量，处理性能以控制器单位时间内事务处理能力（即吞吐量）和网络中各终端间的Ping测试时间进行度量，主要通过OFLOPS测试框架中的Cbench对控制器进行测试获得相关度量指标[19]。易使用性主要从易管理性、适应性以及接口兼容性方面考虑，其中易管理性以对管理平台Openstack支持程度进行度量，适应性以对多平台(Linux/Win/Mac)的支持进行度量，接口兼容性主要考虑控制器对南向交换协议和北向服务应用的API支持程度，相关指标数据以用户评价获得。

基于此，构建控制器的可信性评估指标树如图6所示，该指标树共3层结构，包括5个可信属性指标和13个可信叶子指标。

4.2 指标数据采集

基于文献[17~19]的研究，本文对NOX、Beacon、Maestro、Floodlight、Ryu这5款具有代表性的开源控制器进行评价。依据图6中可信指标系统，采集叶子指标的原始数据如表4所示。表中数据主要来源于2位专家的综合用户评价、已有研究成果结论[17,18]和实验测试[19]。主观评价的定性数据（“S”表示）含义及三角模糊数参见表2，客观指标的定量数据（“O”表示）的测试条件是在1台物理机上运行各种控制器和Cbench测试工具，且各控制器均采用单线程模式，连接32台交换[19]，各指标单位是32(时(h))、41(毫秒(ms))、421(秒(s))、422(×103response/s)。

4.3 指标权重计算

依据评价指标数据，则可利用3.2节所述方法计算指标权重。首先依据可信属性分类依次计算图6各可信指标权重，下面以可信属性中功能属性为例进行介绍。

首先计算主观权重。据3.2.1节所述，由2位评估专家依据表1评价规则对3个功能属性的可信指标进行重要性判断得到如表5所示结果。依据式(2)对表5数据进行融合，其结果如表6所示。以表6数据为基础，利用式(3)、式(4)进行主观权重计算，结果如表7所示。

表4 控制器可信指标原始数据

表5 基于专家评估的控制器功能属性指标比较矩阵

表6 2位专家评价结果的融合比较矩阵

表7 控制器功能属性指标主观权重

其次计算客观权重。从表4中提取功能属性各指标数据取值，并依据式(4)进行去模糊化处理，并归一化得到表8数据。之后，利用式(5)和式(6)计算得到各指标的客观权重如表9所示。

表8 控制器功能属性指标归一化数据

表9 控制器功能属性指标客观权重

以此类推，计算得到SDN控制器5类可信属性的叶子指标的主观权重、客观权重以及联合权重如表10所示。以图7显示表10数据，比较可得联合权重在主观权重和客观权重之间起到了平衡作用，提高了权重计算的公平性。

4.4 评估决策构建

下面利用3.3节所述评估指标计算方法构建控制器评估决策。首先进行可信指标数据转换。对表4可信指标数据进行去模糊化处理后，利用3.3.1节中式(10)对指标数据进行效用转化，得到控制器可信指标的可信值如表11所示。

表11 控制器组件各可信指标的可信值

其次构建评估决策矩阵。结合表10中的指标权重和表11中的指标可信值，利用3.3.2节中式(11)得到各控制器可信属性的可信值，如表12所示。以表12为基础，再次调用权重计算方法，得到各可信属性主观权重、客观权重以及联合权重，如表13所示。其中主观权重计算时专家重点考虑了控制器的安全属性，因此其主观权重较大，而客观权重中时效属性的重要性更大。最后，依据式(12)将表12和表13数据结合，得到控制器组件的评估决策矩阵，如表14所示。

表12 控制器组件各可信属性的可信值

表13 控制器可信属性的权重

表14 控制器组件的可信评估决策矩阵

最后计算评估决策指标。根据3.3.3节中所述评估指标计算方法，计算各控制器实例的相对近似度，结果如表15所示。计算中是针对无具体服务需求的情况，因此理想参考向量由式(13)获得。

表15 控制器组件的评估决策指标

此外，为考虑各控制器的性能比较，选择表14中的5种可信属性（依次编号为1、2、3、4、5）中的任意4种进行组合配置，计算5种策略下不同控制器实例的可信值，结果如图8所示。

据表15中可信评估决策指标的取值大小，各评控制器的可信度量综合排名为：Floodlight(I4)、Beacon(I2)、Ryu(I5)、Maestro(I3)、NOX(I1)。图8也表明，在不同的策略配置下，I4的可信值取值较稳定，I5取值波动较大，I1、I2、I3的取值变化趋势较为相近。经分析[17~19]，Floodlight作为一款商用级控制器在功能、性能、安全等方面都具有突出的优势，相比而言，Beacon的优点在于处理性能强，Ryu基于Python语言开发其使用和扩展更方便，而NOX作为最早开发的控制器，其总体性能存在不足，因此其评估指标取值也较低。综上所述，本文通过可信度量的评估方式能够对控制器的多维信息进行融合处理，评估结果与实际相符合，能够为实际应用提供合理指导。

4.5 算法性能分析

4.5.1 算法顽健性分析

顽健性是指算法评估结果受参数变化影响的敏感程度。在本文方法中，可信指标权重是影响评价判断的重要参数，为此，下面通过交换可信属性权重来分析方法顽健性。实验中，基于表14数据，对控制器的5类可信属性，两两交换其权重值计算得到不同交换策略下各控制器的可信值如图9所示，其中，如策略“W12”表示交换功能属性和可靠属性权重。图9表明，在不同权重交换策略下，各控制器取值在一定范围内发生局部波动，但是其整体趋势未发生显著改变，例如I4的可信值范围整体高于I1、I3的可信值范围，这与实际情况相符合。由此也表明，本文算法对权重参数变化的敏感性低，表现出较好的顽健性。

4.5.2 算法对比分析

本文方法（记“M0”）与文献[11]方法（记“M1”）、文献[12]方法（记“M2”）运用于对以上SDN控制器组件进行评估，所得的评估结果如图10所示，其中，M0和M1取值越大越好，M2取值越小越好。由图10结果可知，本文方法与2种对比方法得到的评估结果基本一致。进一步，统计各算法的运行时间为：M0用时0.648 s，M1用时1.351 s，M2用时0.572 s。采用单一静态指标模型的M2方法时间复杂度最低，采用动态指标模型和证据推理的M1方法时间复杂度最高，而本文方法M0时间复杂度与M2相近。

5 结束语

针对新型网络体系结构建设中面临的网络组件服务性能评估问题，本文基于可信评估思想，将指标动态建模、主客观联合赋权和最优逼近等策略相结合，设计了较为完整的解决方案。最终通过评估案例验证了算法在适用性、顽健性、时间复杂度等方面具有一定的综合优势。下一步研究重点是将所提方法转化为管理策略，并在新型网络及其服务构建中进行部署。

[1] PAUL S, PAN J L, JAIN R. Architectures for the future networks and next generation internet: a survey[J]. Computer Communications, UK, 2011, 34(1): 2-42.

[2] 黄韬, 刘江, 霍如, 等. 未来网络体系架构研究综述[J]. 通信学报, 2014, 35(8):184-197.

HUANG T, LIU J, HUO R, et al. Survey of research on future network architectures[J]. Journal on Communications, 2014, 35(8):184-197.

[3] BENGT A, CHRISTIAN D, et al. A survey of information-centric networking[J]. IEEE Communications Magazine, 2012, 50(7): 26 -36.

[4] XIE, SUN Y, ZHANG Y, et al. Service oriented future Internet architecture[C]//INFOCOM Poster. Shanghai, China, c2011.

[5] MCKEOWN N, ANDERSON T, BALAKRISHNAN H, et al. OpenFlow: enabling innovation in campus networks[J]. ACM SIGCOMM Computer Communication Review, 2008, 38(2):69-74.

[6] SHIN S, PORRAS P, YEGNESWARAN V, et al. FRESCO: modular composable security services for software-defined networks[C]//The 20th Annual Network and Distributed System Security Symposium(NDSS). c2013.

[7] 郜帅, 王洪超, 王凯, 等. 智慧网络组件协同机制研究[J]. 电子学报, 2013, 41(7): 1261-1267.

GAO S, WANG H H, WANG K, et al. Research on cooperation mechanisms of smart network components[J]. Acta Electronica Sinica, 2013, 41(7): 1261-1267.

[8] 兰巨龙, 程东年, 胡宇翔. 可重构信息通信基础网络体系研究[J]. 通信学报, 2014, 35(1): 64-76.

LAN J L, CHENG D N, HU Y X. Research on reconfigurable information communication basal network architecture[J]. Journal on Communications, 2014, 35(1): 64-76.

[9] 习宁, 马建峰, 孙聪, 等. 基于模型检测的服务链信息流安全可组合验证方法[J]. 通信学报, 2014, 35(11): 23-31.

XI N, MA J F, SUN C, et al. Composable information flow verification for service chain based on model checking[J]. Journal on Communications, 2014, 35(11): 23-31.

[10] SYED A S, JANNET F, MAHAM F, et al. An architectural evaluation of SDN controllers[C]//IEEE ICC-Next-Generation Networking Symposium. c2013: 3504-3508.

[11] 杨善林, 丁帅, 褚伟. 一种基于效用和证据理论的可信软件评估方法[J]. 计算机研究与发展, 2009, 46(7): 1152-1159.

YANG S L, DING S, CHU W. Trustworthy software evaluation using utility based evidence theory[J]. Journal of Computer Research and Development. 2009, 46(7): 1152-1159.

[12] SHI L, YANG S L, LI K, et al. Developing an evaluation approach for software trustworthiness using combination weights and TOPSIS[J]. Journal of Software, 2012, 7(3): 532-543.

[13] 丁帅. 软件可行性评估模型及其优化方法研究[D]. 合肥: 合肥工业大学, 2011.

DING S. Research on software trustworthiness evaluation model and its optimization[D]. Hefei: Hefei University of Technology, 2011.

[14] 周剑, 张明新. 软件可信评估综述[J]. 计算机应用研究, 2012, 29(10):3609-3613.

ZHOU J, ZHANG M X. Survey on trustworthy software evaluation[J]. Application Research of Computers, 2012, 29(10):3609-3613.

[15] 郎波, 刘旭东, 王怀民, 等. 一种软件可信分级模型[J]. 计算机科学与探索, 2010, 4(3): 231-239.

LANG B, LIU X D, WANG H M, et al. A classification model for software trustworthiness[J]. Journal of Frontiers of Computer Science and Technology, 2010, 4(3): 231-239.

[16] 韩中庚. 数学建模方法及其应用[M]. 北京: 高等教育出版社, 2005.

HAN Z G. Mathematical modeling methods and application[M]. Beijing: Higher Education Press, 2005.

[17] 左青云, 陈鸣, 赵广松, 等. 基于OpenFlow的SDN技术研究[J]. 软件学报, 2013, 24(5): 1078-1097.

ZUO Q Y, CHEN M, ZHAO G S, et al. Research on openflow-based SDN technologies[J]. Journal of Software, 2013, 24(5): 1078-1097.

[18] 房秉毅, 张歌, 张云勇, 等. 开源SDN控制器发展现状研究[J]. 邮电设计技术, 2014, (7): 29-36.

FANG B Y, ZHANG G, ZHANG Y Y, et al. Research on the development of open source SDN controller[J]. Designing Techniques of Posts and Telecommunications, 2014, (7): 29-36.

[19] 江国龙, 付斌章, 陈明宇, 等. SDN控制器的调研和量化分析[J]. 计算机科学与探索, 2014, 8(6)：653-664.

JIANG G L, FU B Z, CHEN M Y, et al. Survey and quantitative analysis of SDN controllers[J]. Journal of Frontiers of Computer Science and Technology, 2014, 8(6): 653-664.

Evaluation approach for network components performance using trustworthiness measurement

XIONG Gang, LAN Ju-long, HU Yu-xiang, LIU Shi-ran

(National Digital Switching System Engineering & Technological R&D Center, Zhengzhou 450002, China)

For the network components selecting problem involved in the process of building the new network and network service, a network component evaluation method was proposed based on the trustworthiness measurement and the model of the multiple attribute decision analysis. First of all, according to the flexible characteristics of the network application environment, an on-demand driven and dynamic strategy was designed for constructing trustworthiness index tree. Secondly, the uncertainty of the subjective weight was reduced by using the fuzzy analytic hierarchy process, and the combination weight calculated from the subjective and objective weight was used to improve the fairness of weighting operation. Next, in the decision stage, the evaluation results were obtained through the integrated use of processing strategies which include the index data utility transformation, the trustworthiness attribute vector construction and the calculation of vector relative approximation degree. Finally, the rationality, applicability and validity of the presented approach are demonstrated with the evaluation of the software defined network controllers, and the results contribute to provide operators more decision information.

network component, trustworthiness, combination weight, network controller

TP393.08

A

10.11959/j.issn.1000-436x.2016059

2015-05-26；修回时间：2015-12-16

国家重点基础研究发展计划（“973”计划）基金资助项目（No.2012CB315901, No.2013CB329104）；国家自然科学基金资助项目（No.61309019, No.61372121）；国家高技术研究发展计划（“863”计划）基金资助项目（No.2013AA013505, No.2015AA016102）

The National Basic Research Program of China (973 Program) (No.2012CB315901, No.2013CB329104), The National Natural Science Foundation of China (No.61309019, No.61372121), The National High Technology Research and Development Program of China (863 Program) (No.2013AA013505, No.2015AA016102)

熊钢（1986-），男，四川绵阳人，国家数字交换系统工程技术研究中心博士生，主要研究方向为新型网络体系结构、网络信息安全。

兰巨龙（1962-），男，河北张北人，国家数字交换系统工程技术研究中心教授、博士生导师，主要研究方向为宽带网络关键理论与技术。

胡宇翔（1982-），男，河南周口人，国家数字交换系统工程技术研究中心讲师，主要研究方向为新型网络体系结构、网络信息安全。

刘释然（1990-），男，河南洛阳人，国家数字交换系统工程技术研究中心硕士生，主要研究方向为软件定义网络。