互联网性能测量技术发展研究

尹　浩　　　李　峰

1(清华信息科学与技术国家实验室(筹)　北京　100084)

2　　　(清华大学计算机科学与技术系　北京　100084)

(lifeng13@mails.tsinghua.edu.cn)



互联网性能测量技术发展研究

尹浩1李峰2

1(清华信息科学与技术国家实验室(筹)北京100084)

2(清华大学计算机科学与技术系北京100084)

(lifeng13@mails.tsinghua.edu.cn)

Research on the Development of the Internet Performance Measurement Technologies

Yin Hao1and Li Feng2

1(TsinghuaNationalLaboratoryforInformationScienceandTechnology,Beijing100084)2(DepartmentofComputerScienceandTechnology,TsinghuaUniversity,Beijing100084)

AbstractNowadays, the Internet network has grown into a super-complex system from a small network in a laboratory, and its performance has been of great concern. The network performance is an important indicator of evaluating the network service performance, which can be widely used in service selection, congestion control, routing selection, network performance optimization, future network system architecture design, and so on. Many Internet performance measurement technologies are developed for these application requirements.In this paper, we systematically summarize the development of the existing network performance measurement technologies: first of all, the network performance measurement technologies is classified into different models, and the advantages and disadvantages of performance measurement technologies are well studied from different points of view; and then, the network performance measurement technologies can be divided into three stages: the measurement based on “what you see is what you get”, the large-scale distributed measurement based on path composition, and the big data driven QoE measurement, so the development and evolution of performance measurement technologies are well understood; finally, the challenges of network performance measurement technologies are deeply analyzed, and with the rapid development of the Internet network applications, the content which is needed to be studied in the future is pointed out, as well as the direction of development.

Key wordsnetwork performance measurement; path composition; quality of service(QoS); quality of experience(QoE); machine learning

摘要互联网从一个实验网络成长为如今的超复杂系统，其服务性能一直备受关注.网络性能作为衡量网络服务的重要指标，广泛地应用于服务选择、拥塞控制、路由选择、网络性能优化、未来网络体系架构设计等方面.针对这些应用需求，学术界提出了众多的网络性能测量技术.互联网性能测量技术经过长期的发展与演变，其测量范围从小规模网络发展到覆盖全球，测量目标从点到点测量发展成大规模分布式P2P测量，测量对象从QoS转变到基于用户感受的QoE，其发展过程可分为3个阶段：传统的“所见即所得”测量、路径拟合的大规模分布式测量以及大数据驱动的QoE测量，每个阶段都具有独特的测量技术.最后，分析了互联网和网络应用的高速发展对网络性能测量技术带来的挑战，指出了未来需要研究的内容和发展方向.

关键词网络性能测量；路径拟合；QoS；QoE；机器学习

Fig. 1　Development and evolution of network performance measurement.图1　网络性能测量发展与演变

随着网络的出现并逐步发展成覆盖全球的互联网，互联网的网络性能成了用户、管理人员及开发人员等各方面关注的重点，其测量技术和工具也成了重要的研究领域.网络性能测量技术的发展一直是随着网络技术的发展而进化，并随着网络规模的爆发式增长和网络应用尤其是分布式应用的快速增加而日渐重要.

从简单的网络文件下载，到服务选择、路由选择、拥塞控制等，网络性能都是重要的决策因素.性能测量技术最早被用于网络监控与管理工具中，帮助人们了解网络的使用情况，解决网络中出现的问题，然后逐步扩展到网络协议研究与改进，P2P,CDN等分布式系统的构建与优化，应用性能的提高等方面.

网络性能测量技术分为被动测量技术和主动测量技术2大类，其主要区别在于测量者是否主动向被测目标网络发送探测报文.被动和主动网络性能测量技术各有优劣，近年来出现不少采用2种测量技术的协作模式进行综合测量的研究工作.不少研究人员已经从技术特征、性能优劣、测量代价等方面对网络性能测量进行了分析比较.本文试图从历史发展脉络的角度理清网络性能技术的发展特征，并重点分析进入到大数据时代后，大数据处理分析技术、用户体验研究等方面带给网络性能测量的改变与发展.按照测量范围、测量目标、技术特征等，网络性能测量的发展与演变可划分为3个阶段,如图1所示.

阶段1. “所见即所得”测量.网络发展初期规模较小，其上层应用主要是点对点服务，这个时期网络性能测量目标主要是点到点链路和端到端路径，一般在路径的一端或两端直接发起测量.网络性能测量早在20世纪80年代就已经开始，90年代中后期开始引起越来越多研究人员的关注，并在21世纪初进入一个高峰，很多网络性能测量技术和工具在期间被提出并实现了，不少一直延用至今.

阶段2. 路径拟合的大规模分布式测量.随着互联网的发展，尤其是大规模分布式应用的兴起，越来越多的网络应用面向全球用户提供P2P服务，网络性能的测量目标也逐渐扩张到整个互联网.人们希望了解互联网范围中任意两个或多个终端之间的网络性能，传统的测量技术无法满足这种规模的需求，因为网络无法忍受如此大的侵入测量，并行测量也会导致测量技术的失效.基于路径拟合的网络测量技术因此被提出了，可利用分段路径拟合端到端路径，由分段路径属性估计端到端路径属性，可以减少网络测量代价，提高测量准确性.

阶段3. 大数据驱动的网络QoE(quality of experience)测量.传统的QoS(quality of service)网络性能度量获取的网络状态，没有考虑用户感受，其测量的网络性能往往不能真实反映用户感受到的网络服务水平，因此，学术界提出了基于用户体验的QoE测量.但是，用户的主观感受是难以测量和量化的，传统的QoE技术很难方便有效地获得准确结果.海量近客户端测量的兴起使获取的网络性能数据变得更巨量、更广泛、更精细、更实时，大数据已经成为科学研究的基本范式，正在推动着网络和计算的融合，提供新的网络数据问题解决方式.基于大数据的QoE解决方法，可通过海量数据携带的信息，利用机器学习方式学习分析用户对网络服务的体验.

本文先给出了各国际标准化组织的性能测量度量定义；然后按照技术发展特征分3个阶段介绍互联网性能测量技术，重点讨论了每个阶段测量目标的变化和技术革新；最后，总结互联网性能测量技术存在的挑战，并指出进一步的工作方向.

1性能度量定义

国际电信联盟ITU-T、互联网工程任务组IETF、第三代合作伙伴计划3GPP等组织都成立了网络性能相关的工作组，促进网络性能研究工作发展，并颁布了一系列的标准化建议.

1.1ITU-T

ITU-T技术研究小组SG9,SG12作了大量网络性能的研究，研究范围从电信网络逐步扩展到IP网络，发布了一系列的标准和建议，如ITU-T E.800-E.899系列，建立了比较完整的网络QoS体系结构和技术指标.E.800[1]建议定义服务质量QoS为一种电信业务的特性总和，表明其满足明示和暗示业务用户需求的能力.I.350[2]建议定义的网络性能是一系列对于运营商有意义的，并可用于系统设计、配置、操作和维护的参数进行测量所得到的结果，性能测量的定义独立于用户终端性能及用户动作.Y.1540(原I.380)[3]详细定义网络性能参数，详细情况如表1所示.

ITU对电话、IPTV、网络视频等各种媒体的QoS都制定了比较详细的QoS，具体内容可以查看相关建议，如G.1000，G.1010，Y.1291，Y.1541等.

Table 1　Network Performance Metrics Definition of ITU-T and IETF

1.2IETF

IETF专门成立了IP性能度量工作组(IP per-formance metrics working group, IPPMWG),制定了几十个意见和草案，涉及网络性能管理、性能参数及测量框架.其中，RFC2330[4]定义了IP性能度量的框架和基本度量，包括连通性、延迟、丢包率等，并在相关的RFC中详细规范了每个度量.

如表1所示，基础的网络性能度量可划分成服务能力、延迟、包错误、传输能力4大类，ITU-T和IETF在这4个方面都进行了比较详细的研究，定义不少性能度量.总体上，2个组织的基本度量是一致的，只有一些小区别.ITU-T区分了延迟的平均值、最小值和中值，而IETF区分了单路延迟和回路延迟；ITU-T区分了丢包和错包、重复包和复制包，而IETF区分了单路丢包率和回路丢包率，两者都同时关注了错误发生的时间影响，但是定义了不同的度量；ITU-T把网络性能度量目标划分成端和路径2类，并关注了网络带宽的抖动，而IETF则划分成链路和路径2类，两者都区分了网络传输能力和上层传输能力的不同.从2个组织定义标准的历史发展进程来看，对因特网性能测量的理解是逐步加深细化的，而且2个组织也在互相学习.

IPPMWG还定义了单路主动测量协议OWAMP和双路主动测量协议TWAMP，解决测量中出现的非对称路径问题，其控制与测量相分离，用更小的测量报文来获取更高的安全性.

移动通信网络已经走过几代标准，GSM,GPRS,UMTS,HSPA,LTE，越来越注重用户通信质量保障.3GPP的TS23.107[5]和TS23.207[6]定义了移动网络的QoS及体系框架，为了满足各类业务QoS，还详细制定了通信规程、控制信令.移动网络的性能参数很多和有线网络相同，但网络通信媒介的不同和网络结构的差异导致了不少独有度量的产生.每一代移动通信标准对网络性能参数都有明确的规定，一些最新移动网络的QoS参数要求如表2所示:

Table 2　QoS Parameters of Mobile Network

2“所见即所得”的网络性能测量

早在互联网成立之初，网络研究人员就开始利用一些工具测量网络性能，如TTCP[7].到20世纪90年代中后期，陆续发布了不少网络性能测量工具.21世纪初，本领域的第1个高潮出现了，涌现了许多基于不同技术的针对不同目标的网络性能测量工具，同时对测量工具的准确性、测量时间、侵入性、适用性等进行了深入细致地研究.这个阶段的网络性能测量技术主要用于测量点到点链路或端到端路径的属性，可以看成是“所见即所得”测量，即需要获取哪个目标的网络性能属性，就对哪个被测目标发起测量.

被动测量技术与主动测量技术的测量节点、测量数据、测量过程等都不相同.被动网络性能测量技术，通过截取网络中的各种信息推测网络性能.如图2中虚线所示，想获取终端P1到P2的网络性能，可以在P1与P2之间的路径上某一位置截取网络数据，截取数据设备M1可以直接接入链路，或者接入点对点链路的终端路由器上，或者直接复制物理信号.同样测量P1与P2之间的带宽，主动网络性能测量技术需要控制P1向P2发送探测报文，如图2中实线所示.这个阶段的技术研究经历了很长的发展时间，并且还在一直深化，其丰富的成果也是后续2个阶段的研究基础和技术组成部分，本节将先从被动和主动测量2个方面进行介绍.

Fig. 2　System architecture of passive and active measurement.图2　被动测量和主动测量系统架构

2.1被动测量技术

被动网络性能测量技术，在根据目标选择的特定位置上，抽取或复制网络流量数据，并按照不同粒度水平记录和处理，获取网络性能数据，可以快速地检测到网络错误和网络失效，了解节点报文处理结果，计算网络传输能力及其变化情况.

被动测量可以记录测量节点最完整的信息，包括从物理层一直到应用层的协议数据.其流量记录粒度按照从粗到细大致可以分为4级：简单网络管理协议SNMP记录的统计信息、网络流记录、网络报文记录、完整网络报文记录[8].高速链路的完整记录需要消耗大量资源，需要高效的记录方法，如NetFlow，文献[9]提出了基于对象和应用流量特征统计描述周期性导出流量特征的方法，减少了传输和存储的数据量.文献[10]提出了一种基于支持向量机的流量分类算法，具有良好的准确性和稳定性.文献[11]可以在线识别和淘汰小流，提取大流，可为性能分析提供很好的数据基础.由于上层协议数据涉及隐私，物理层、链路层数据格式多变且只有本地信息，对网络性能研究主要集中在网络层和传输层.

按照测量设备，可以划分成基于软件的测量方法和基于硬件的测量方法[8].使用软件测量网络，可以直接调用某些系统接口，或者通过修改系统和设备驱动获取数据报文.软件测量工具可以部署在现有的通用平台上，实施方便、代价小、可扩展性好.使用专用硬件设备，可以从物理层开始抓取网络数据，通过分光器、网络接口(镜像路由接口)等方式，获取最完整信息.专门为测量开发的硬件设施，性能强，可用于现在的高速及超高速网络，但其开发、部署成本要远高于软件模式.

已经有不少研究人员在这方面进行了探索，如文献[12]构建了一个被动测量系统原型SPAND，通过大量用户的共享式被动测量，提供准确及时的网络特征预测，包括吞吐量、时间、响应准确性等.文献[13]提出一种研究TCP连接特征的被动测量技术，可以跟踪和推断发送者的拥塞窗口及RTT等参数.文献[14]通过被动收集的流记录，建造吞吐量索引，估计不同位置不同时间的下载速度.

被动网络性能测量不需要向网络发送探测报文，不改变已经存在的网络流量，对网络是非侵入性的.但由于互联网的层次性结构，被划分成国家或地区、ISP、自治域等不同级别区域，一个测量节点抓取的网络数据，只能反映一部分网络的信息，无法获取整个互联网或端到端的信息.因此，被动网络测量一般基于分布式多节点部署，而这又带来了任务协作与分配、数据存储、汇聚、管理等分布式处理问题.其第2个问题是被动测量的测量节点需要部署在非常广泛的区域，可能需要部署到很多国家的不同ISP的内部节点，由于商业、政策等因素的影响，这在实际当中几乎是不能实现的.最后一个是关于法律和道德的问题，由于数据涉及大量用户的隐私，如何做到既消除大众的顾虑，又能满足研究的需求，需要制定法律和指导方针，并严格执行数据管理、使用等方面的规定.

2.2主动测量技术

主动网络性能测量技术构造各种结构的探测报文序列，发送到被测目标网络中，利用被测目标的响应信息，或者探测报文序列传输经过目标网络后携带的目标网络信息来推测网络性能.主动网络性能测量技术比被动技术能更好地理解端到端的路径，其测量节点只需要部署在一个或一些终端设备中，不需要部署到互联网的核心设备，无需涉及用户隐私数据、部署方便、成本小.当测量节点扩张到足够数量，并部署到合理的位置时，主动网络性能测量技术能获取对互联网的整体理解，这对被动测量技术是十分困难的.

经过多年发展，学术界提出并实现了大量各种类型的主动测量工具，为了更清晰地了解目前主动测量技术的发展，可以按照不同方式进行分类研究.按照是否需要被测网络中设备协作发送响应信息，可以分为终端用户独立的测量方式和基于网络设备响应信息的测量方式；按照测量是否造成被测网络拥塞，可以分为拥塞测量方法和非拥塞测量方法[15]；按照测量所使用探测报文的发送序列格式，可以分为变长分组[16-17]、分组对、分组队列[18]、四重分组[19]、自加载周期性序列[20]、变速探测包序列[21]、分组追尾队列[22]等；按照测量所使用探测报文协议不同，可以分为ICMP,UDP,TCP,HTTP；按照测量所依据的信息度量不同，可以分为包间隔模型、包速度模型；还有按照时域和频域方式的划分方法等.

为了解决测量中出现的问题，文献[23]提出分析包间隔时延的光谱学方法，基于量子化的数据周期、频率、时延等信息进行受限条件下的带宽估计.文献[24]提出借鉴通信网络的频谱分析方法来分析网络路径属性，利用周期性包列产生IP网络的频域信号，通过复用的频域信号之间的交叉干扰现象检测共享存储转发设备、网络瓶颈链路属性等.文献[25]理论证明三角不等式产生于网络核心，而接入网络使用可以减轻其数目.最小时延和方法(minimum delay SUM， MDSUM)[26]和最小时延差方法(minimum delay DIFference， MDDIF)[27],可用来过滤测量中背景流量的影响.文献[28]提出了一种基于蒙特卡洛随机抽样思想的新探测理论，随机发送单个小探测报文，测量计算路径可用带宽及各链路容量和空闲率,进而获取各路由节点的流量变化和各链路背景流的分布情况.文献[29]利用硬件产生时间戳，基于预测的时钟同步算法获得了相当GPS精度的时间戳.

表3列出了被动与主动测量技术的优点与缺点.很多研究工作对各种测量工具在不同应用场景下的准确性、侵入性、测量时间、负载等参数进行过详细的对比分析,发现测量工具很难同时满足各种应用的需求[30-33].不同测量方法各有优劣，需要根据网络目标、应用场景、性能参数等选择测量技术，文献[34]同时采用被动和主动测量技术进行网络性能测量.这种方式综合被动测量和主动测量技术的优缺点，可合理部署测量节点，减少测量的代价及测量对互联网的影响，提高测量的准确性和完整性，获取最大的数据经济密度.

Table 3　Advantages and Disadvantages of Passive and Active Measurement

3基于路径拟合的大规模分布式测量

互联网扩展到全球范围，其终端高达几十亿；当分布式和P2P应用大量出现并服务于全球用户时，测量的对象也从点到点变成了P2P，互联网性能测量也进入了一个新的大规模分布式测量阶段.

传统的性能测量方法很难测量互联网范围内任意节点之间的网络性能，即使在技术上可以达到测量目标，其测量的代价、侵入性、准确性、实时性等方面的问题也造成技术无法实用.

Fig. 3　Network path composition.图3　网络路径拟合

被动网络性能测量方式，需要在全球范围内部署测量节点，其部署成本会高到无法实现，同时很多测量节点要部署到某些网络内部，基于商业、政策等方面的因素，这是无法实现的.采用主动测量方式，可能造成测量结果失效，其测量代价也是网络无法忍受的.如图3所示，终端P1要获取到终端P2的带宽，测量数据只需要在P1和P2之间的路径上进行传输，如图3中粗虚线所示.如果某个应用系统含有N个终端节点，P1要从其余N-1个节点中选择一条带宽最大的，只需发起N-1次测量.而对P2P等应用，测量任意2个节点之间的带宽，假设线路都是对称线路，同一时刻出现的测量可达N2个，其测量次数随N指数增加.互联网级的网络测量，需要部署大规模分布式测量网络，会遇到很多端到端测量时没有出现的问题.文献[35]指出，在单独使用时性能良好的测量工具在大规模分布式系统中无法工作，因为多个测量会造成严重的互相影响，导致测量结果出现很大的误差，并提出了需要考虑的因素，如尽量利用现有数据携带测量、采用整形后影响更小的平滑流量，及直接测量或者减少迭代.文献[36]量化分析了共享测量的一些影响因素，包括相互干扰影响、总负载影响、测量过程的侵入性等.文献[37]形式化地描述了分布式环境中的带宽决定问题，设计了高效的分布式算法，并给出了在2种模型中协作带宽测量算法时间复杂度的下限.文献[38]把互联网看成一个树度量空间，在此基础上建造了一个非中心化的、准确的、低代价的系统，可以预测终端用户之间的双向带宽，并提出3个新的启发式分布式算法，可以利用不准确的输入数据预测带宽.

为了克服这些困难，iplane[39-40]提出了一个系统的解决方案，利用互联网路由及拓扑信息构建的一个互联网地图集，可基于路径拟合技术估计互联网中任意2个终端用户之间的路径带宽.路径拟合技术，就是利用构建的互联网地图集中某些分段路径，合成替换2个终端用户之间的真实路径，利用合成路径的属性来估计终端用户之间的路径属性.iplane Nano[41]根据互联网的路由信息和路由策略，剔除了实际网络中路由策略不提供的路径，利用网络链路构建了一个更加精炼的互联网地图，测量速度更快，代价更小.

如图3所示的简单网络中，P为需要测量的网络终端，数量为N；V是部署的测量节点集，可以发起测量，数量为M；D是为了获取网络路径而选取的目的节点集，数量为L.则P1与P2之间的路径为

Path1(P1,P2)={P1,R1,R2,

在测量节点V发起主动测量，可以测量获取M条到P2的网络路径，P1测量获取L条到目的节点集的网络路径，当V,D选取的数量足够并位于合理的位置，这些路径会和Path(P1,P2)具有较多的重合，选取重合路径最多并且交叉节点离原路径最近的一条路径，就是拟合的路径，如：

Path2(P1,P2)={P1,R1,R2,R7,

Path(P1,R7)+Path(R7,P2).

路径拟合就是利用Path(P1,R7)和Path(R7,P2)拟合成Path2(P1,P2)，再替换Path1(P1,P2)，然后由这2段路径的带宽估计P1,P2之间的带宽.同理，任意2点之间的路径带宽都可以采用此方式.路径拟合方式测量需要N(M+L)次，当系统达到互联网规模时，M+L≪N，测量次数只需要O(N),远远小于传统方式的O(N2)，同一时刻的并行测量也大大减少，降低了对测量节点的设备能力要求，一条链路同时发生多个测量的概率也降低很多，减少了测量相互影响导致的错误结果.

基于路径拟合的网络测量模式，把互联网规模的端到端测量问题做了指数级的降低，把一个不可能完成的任务变成了一个可实现的方案，通过部署良好的测量节点，利用现有的网络测量技术，在稍微降低一点测量精度的代价下，达到了快速准确的性能测量，并将对网络侵入性控制在可以忍受的范围中.

4大数据驱动的网络QoE测量

网络服务的最终目标是供用户使用，并提供用户满意的服务质量.当技术发展到一定阶段，往往用户体验更能决定成败.文献[42]表明，面对低QoE无线网络，65%的用户会尝试改变接入网络，22%的用户会放弃接入，仅剩13%的用户会尝试再次接入此网络.

QoE包含人的主观因素，很难进行测量和量化，并获取完整的影响因素及因果关系.客户端测量的兴起，提供了大量的网络测量节点，包括电脑终端、家庭网关、移动终端，各类测量终端获取了海量的关于网络性能不同侧面的数据[43].大数据处理技术的发展，可以通过分析海量数据的相关性，形成基于大数据的网络QoE测量方法.

4.1QoE

对于研究人员或技术人员来说，基于数值的QoS参数就是网络服务能力最准确的描述，但是非专业人员或普通用户可能并不明白也不关心QoS参数的具体意义，他们真正关心的不是某个参数准确数值大小，而是他所享受的上网、视频、IP电话、游戏、文件传输等网络服务是否满足要求.

这种以用户认可程度为评价标准的业务服务质量，称为用户体验质量，区别于目前采用最广泛的服务质量QoS.国际电信联盟定义QoE为终端用户对应用或者服务的整体主观可接受程度[44].QoE从用户主观感受的角度研究服务质量，其影响因素包含服务、用户、环境3个层面.服务层面涉及OSI模型中网络层、传输层、会话层、表示层、应用层中各类参数；用户层面涉及用户的年龄、性别、教育程度、身心状态、期望等；环境层面包括自然环境、人文与社会环境、服务运行环境等[45-46].

QoE的核心问题是研究QoE与其影响因素之间的映射关系.QoE涉及很多主客观因素，主观影响因素很难进行量化测量，每个因素对最终用户体验的重要程度也难以确认，各因素之间还有复杂的相互影响，这些都给QoE的研究带来了非常大的挑战.

QoE评价方法可以划分成主观评价法、客观评价法，关键看是否让用户参与评价所使用的业务.主观评价方法，准确性较高，但是代价大、可移植性差、不具有实时性，一般只是作为其他方法的评价标准.

用户满意度随业务性能增长而增长，但增长比例是下降的，满意度越高，增长越困难，其关系类似上凸曲线.通过分析用户对网络服务满意度，可用最小的代价提供给用户最高的满意度，获取最大经济价值.

4.2网络流媒体业务QoE

从业务对网络资源的需求程度，可以将网络业务简单划分成流媒体业务、非流媒体业务.IPTV、视频点播、网络直播等网络流媒体服务在互联网中占据了越来越重要的地位，对带宽、时延、抖动等提出了更高的需求.

流媒体业务QoE研究工作开展比较早，也比较多.文献[47]使用Narus公司的语义流量分析建立QoS与QoE之间的关系，主要研究了Web应用中响应时间、有效带宽、交付时间等QoS参数的影响.但是只分析了一对一的QoE与QoS关系，没有建立整体用户QoE.文献[48]提出用户满意度索引USI方法研究Skype等VOIP业务的QoE，通过被动和主动方式相结合采集的数据，采用回归分析建立通话时间与比特率、延迟抖动、丢包率、网络延时等QoS参数的关系，可在线计算，满足实时应用.文献[49]提出一个众包框架测试平台，用成对比较法定量分析QoE，与MOS方法比较，参与度高、用户范围广、数据可以系统校验，用低代价获得了高水平的参与密度.文献[50]研究视频质量与用户参与度的关系，利用客户端设备测量短VoD、长VoD、直播等视频质量度量，发现最大的影响因素是缓冲.文献[51]建立视频质量与用户行为之间的因果关系，超出了纯粹的相关性研究.为了建立因果关系，本文采用了准实验设计研究用户放弃和重复的行为，研究了时延、缓冲时间、失败访问等参数.

QoE的研究工作开始于音视频业务，基于这些流媒体业务提出了不少基于主客观评价方法，或者基于统计学、心理学等学科的QoE评价方法.

4.3非流媒体业务QoE

现有对非流媒体业务QoE相关研究工作涉及的范围比较广，有关于具体一种业务，也有关于整个系统的全面研究，其评价方法包括主客观评价方法，但研究还不够深入，方法的准确性、适应性、完整性等方面还存在问题.

文献[52]分析在线游戏的QoE，建立了用户游戏时间与网络时延、时延抖动、丢包率之间的关联公式，可以预测用户游戏时间.文献[53]通过构建本地测试床研究云游戏的QoE，利用主观用户实验和MOS，分析对称网络环境下和非对称网络环境下时延和丢包率及丢包发生的方向与QoE的关系.文献[54]提出一个新的基于QoE的云应用分类机制，并研究服务迁移到云后在QoE分析和管理等方面出现的挑战.文献[55]基于模糊层次分析法FAHP建立了短信服务OoE的层次化评价体系结构，把OoE评价指标分成可访问性、即时性、完整性、内容质量及可持续性，再关联到不同QoS参数.此方法需要先验信息确定参数权重，无法描述同层参数之间的关系.

一个通信系统包括很多领域，技术方面、商业模式、用户行为、内容，各领域都建立了独特的QoE模型，文献[56]在综合各领域不同QoE模型的基础上，建立了通信系统整体QoE的高级模型.

文献[57]提出了一个基于浏览器的Web性能测量工具，文献[58]从客户端的角度分析不同设备、操作系统、浏览器对网页浏览的影响，都没有从客户体验的角度总体分析.非流媒体网络业务的QoE研究主要集中在在线游戏、短消息业务等方面，而对现在用户较多的一些网络业务研究较少，如网页浏览、实时通信等.

4.4QoE的大数据解决思想

随着互联网规模的高速增长，对互联网的网络测量规模也越来越大，产生了海量的测量数据.如UCSD的Telescope项目已经获取的数据压缩后仍然超过150 TB，并且还在以每个月4.5 TB的速度增长.异构的通信网络、多种多样的网络结构、网络设备、网络链路造成网络测量数据的丰富，包括各种结构化、非结构化的数据.互联网是一个长期演变的过程，测量数据具有时效性，需要测量、保存、处理长时间的数据.互联网也是动态变化、相互影响的，某个设备或某条链路的快速短暂变化，就可能对整个互联网造成影响，需要网络测量具有实时性，甚至达到毫秒级的测量精度，同时动态的变化也产生了海量数据.同时，网络测量存在的这些困难致使到现在仍然无法得到完整、准确的互联网测量结果.

统计学的QoE评价方法，可以分析多QoE指标之间的相关性及其与总QoE之间的关系，可利用因子分析等方法降维数据，简化问题.心理学方法研究外在客观物理刺激和人内在主观感受之间的关系，韦伯-费希纳定律、视觉掩盖效应等规律可以更好理解人体自身认知方法.层次分析法AHP和模糊层次分析法FAHP，把QoE分成多个QoE指标，再把每个QoE指标关联多个QoS参数，建立多层指标体系，但其需要专家知识，同层的多个指标必须是独立的.这些评价方法获得的QoE映射准确性不高.

大数据思想将NP-Hard复杂度的因果关系推导问题转变成线性复杂度的相关关系分析，对于这种无法直接确认因果关系的问题，利用数据的内在关联进行求解.文献[59]给出了用决策树、支持向量机解决视频业务QoE评价问题的方法，并获得了较高的准确率，它将时间信息、空间信息、比特率以及帧频率作为视频业务的QoE评价指标，得到了视频业务的QoE评价模型.文献[60]利用决策树学习了互联网视频系统中用户观看视频的时间比例与5个QoS参数的关系，包括加入时间、缓冲比例、切换率、缓冲的频率、平均比特率.

大数据的解决方案的基础是海量数据，通过良好定义的QoE,QoS参数，利用信息增益、相关系数、线性回归等方法分析各参数相关性，再使用机器学习算法确定QoE与QoS的函数模型，获取QoE指标.

正因为网络是一个复杂巨系统，其面临的问题的解决也是复杂的、动态的、系统的，传统的模式已经无法获得完好的解决方案.对于网络性能优化、协议设计、未来网络体系架构研究等方面，提出了不少基于大数据的解决方案，如数据驱动的下一代互联网体系架构DDN[61].利用大数据方法能帮助解决原来不能解决的问题，获取更加完整、更加准确的结果，提供更好的综合性能.

5总结

互联网性能测量技术可以广泛应用到各类场景中，如网络基础设施建设、网络运行状况监控、网络协议改进、网络技术应用、未来网络构架设计等.互联网性能测量具有很长的历史，在带宽、时延、丢包率、流量、网络错误、用户体验等方面获得很多成果，但仍存在不少问题，测量结果的完整性、准确性、实时性等无法达到人们预期目的.

本文在现有文献的基础上，理清了互联网性能测量技术发展与演变的历史脉络，分析互联网不同时期测量范围、测量目标等方面的改变引起的需求变化及技术革新，按照这些特点分成“所见即所得”的测量、基于路径拟合的大规模分布式测量、大数据驱动的网络QoE测量3个阶段，并详细介绍了各阶段技术特征，如表4所示:

Table 4　Three Development Stages of the Internet Measurement Technologies

互联网作为超复杂系统，迄今为止还没有类似通信网络中信息论一样的基础理论，其研究缺乏科学基本理论指导，指导政策的缺乏也导致了较低的社会合法性认可，还需进一步解决4个难题：1)缺乏基准数据及数据共享标准[62-63]；2)吉尔德定律指出，主干网带宽的增长速度至少是运算性能增长速度的3倍，高速网络的发展必然带来更加严重的测量软硬件能力问题；3)不同的接入网络体系架构，导致终端用户尤其是家庭用户测量困难，结果不准确；4)人的主观因素如何影响QoE、和QoE关联的多种因素如何互相影响并最终体现到QoE中，都是需要进一步研究与探索的.

参考文献

[1]ITU-T. Rec E. 800: Terms and definitions related to quality of service and network performance including dependability[EBOL]. 1994[2015-08-10]. https:www.itu.intrecT-REC-E.800en

[2]ITU-T. Rec I. 350: General aspects of quality of service and network performance in digital network, including ISDN[EBOL]. 1993[2015-08-10]. https:www.itu.intrecT-REC-I.350en

[3]ITU-T. Rec Y. 1540: Internet protocol data communication service-IP packet transfer and availability performance parameters[EBOL]. 2011[2015-08-10]. https:www.itu.intrecT-REC-Y.1540en

[4]Paxson V, Almes G, Mahdavi J, et al. RFC 2330: Framework for IP performance metrics[EBOL]. 1998[2015-08-10]. https:tools.ietf.orghtmlrfc2330

[5]Janne R. End-to-end quality of service (QoS) concept and architecture (release 12): 3GPP TS 23.107 V12.0.0[EBOL]. 2014[2015-08-10]. http:www.3gpp.orgDynaReport23107.htm

[6]Johnson O. End-to-end quality of service (QoS) concept and architecture (release 12): 3GPP TS 23.207 V12.0.0[EBOL]. 2014[2015-08-10]. http:www.3gpp.orgDynaReport23207.htm

[7]Muuss M. The TTCP Program[EBOL]. 2000[2015-08-10]. http:ftp.arl.milftppubttcp

[8]John W, Tafvelin S, Olovsson T. Passive Internet measurement: Overview and guidelines based on experiences[J]. Computer Communications, 2010, 33(5): 533-550

[9]Zhang Guangxing, Qiu Feng, Xie Gaogang, et al. An efficient representation of network flow record[J]. Journal of Computer Research and Development, 2013, 50(4): 722-730 (in Chinese)(张广兴, 邱峰, 谢高岗, 等. 一种高效的网络流记录表示方法[J]. 计算机研究与发展, 2013, 50(4): 722-730)

[10]Xu Peng, Liu Qiong, Lin Sen. Internet traffic classification using support vector machine[J]. Journal of Computer Research and Development, 2009, 46(3): 407-414 (in Chinese)(徐鹏, 刘琼, 林森. 基于支持向量机的Internet流量分类研究[J]. 计算机研究与发展, 2009, 46(3): 407-414)

[11]Wang Fengyu, Guo Shanqing, Li Liangxiong, et al. A method of extracting heavy-hitter flows efficiently[J]. Journal of Computer Research and Development, 2013, 50(4): 731-740 (in Chinese)(王风宇, 郭山清, 李亮雄, 等. 一种高效率的大流提取方法[J]. 计算机研究与发展, 2013, 50(4): 731-740)

[12]Seshan S, Stemm M, Katz R H. SPAND: Shared passive network performance discovery[C]Proc of USENIX Symp on Internet Technologies and Systems. Berkeley, CA: USENIX Association, 1997: 1-18

[13]Jaiswal S, Iannaccone G, Diot C, et al. Inferring TCP connection characteristics through passive measurements[C]Proc of the 23rd Annual Joint Conf of the IEEE Computer and Communications Societies (INFOCOM 2004). Piscataway, NJ: IEEE, 2004: 1582-1592

[14]Gerber A, Pang J, Spatscheck O, et al. Speed testing without speed tests: Estimating achievable download speed from passive measurements[C]Proc of the 10th ACM SIGCOMM Conf on Internet Measurement. New York: ACM, 2010: 424-430

[15]Huang Guowei, Wu Gongyi, Xu Jingdong. End-to-end available bandwidth measurement based on queueing analysis[J]. Journal of Computer Research and Development, 2015, 52(1): 85-91 (in Chinese)(黄国伟, 吴功宜, 徐敬东. 基于排队分析的端到端路径可用带宽的测量[J]. 计算机研究与发展, 2015, 52(1): 85-91)

[16]Bellovin S M. A best-case network performance model[EBOL]. 1992[2015-08-10]. https:www.cs.columbia.edu～smbpapersnetmeas.ps

[17]Jacobson V. Pathchar: A tool to infer characteristics of Internet paths[EBOL]. 1997[2015-08-10]. ftp:ftp.ee.lbl.govpathchar

[18]Dovrolis C, Ramanathan P, Moore D. Packet-dispersion techniques and a capacity-estimation methodology[J]. IEEEACM Trans on Networking, 2004, 12(6): 963-977

[19]Pásztor A, Veitch D. Active probing using packet quartets[C]Proc of the 2nd ACM SIGCOMM Workshop on Internet Measurement. New York: ACM, 2002: 293-305

[20]Jain M, Dovrolis C. End-to-end available bandwidth: Measurement methodology, dynamics, and relation with TCP throughput[C]Proc of ACM SIGCOMM Computer Communication Review. New York: ACM, 2002: 295-308

[21]Melander B, Bjorkman M, Gunningberg P. Regression-based available bandwidth measurements[C]Proc of Int Symp on Performance Evaluation of Computer and Telecommunications Systems. Piscataway, NJ: IEEE, 2002: 14-19

[22]Lai K, Baker M. Measuring link bandwidths using a deterministic model of packet delay[C]Proc of ACM SIGCOMM Computer Communication Review. New York: ACM, 2000: 283-294

[23]Broido A, King R, Nemeth E, et al. Radon spectroscopy of inter-packet delay[COL]Proc of High Speed Networking Workshop (HSN 2003). Piscataway, NJ: IEEE, 2003 [2015-06-10]. http:www.caida.orgpublicationspapers2003RAD-fullrad-full.pdf

[24]Kanuparthy P, Dovrolis C, Ammar M. Spectral probing, crosstalk and frequency multiplexing in Internet paths[C]Proc of the 8th ACM SIGCOMM Conf on Internet Measurement. New York: ACM, 2008: 291-304

[25]Wang Zhanfeng, Chen Ming, Xing Changyou, et al. TIV and access delay in the Internet delay space[J]. Journal of Computer Research and Development, 2013, 50(3): 509-516 (in Chinese)(王占丰, 陈鸣, 邢长友, 等. 因特网时延空间中TIV与接入时延的研究[J]. 计算机研究与发展, 2013, 50(3): 509-516)

[26]Kapoor R, Chen L J, Lao L, et al. CapProbe: A simple and accurate capacity estimation technique[C]Proc of ACM SIGCOMM Computer Communication Review. New York: ACM, 2004: 67-78

[27]Chan E W W, Luo Xiapu, Chang R K C. A minimum-delay-difference method for mitigating cross-traffic impact on capacity measurement[C]Proc of the 5th Int Conf on Emerging Networking Experiments and Technologies. New York: ACM, 2009: 205-216

[28]Liu Min, Li Zhongcheng, Guo Xiaobing, et al. An end-to-end available bandwidth estimation methodology[J]. Journal of Software, 2006, 17(1): 108-116 (in Chinese)(刘敏, 李忠诚, 过晓冰, 等. 端到端的可用带宽测量方法[J]. 软件学报, 2006, 17(1): 108-116)

[29]Xie Yingke, Wang Jiandong, Zhu Chao, et al. High precision timestamps in network measurement[J]. Journal of Computer Research and Development, 2010, 47(12): 2049-2058 (in Chinese)(谢应科, 王建东, 祝超, 等. 网络测量中高精度时间戳研究与实现[J]. 计算机研究与发展, 2010, 47(12): 2049-2058)

[30]Shriram A, Murray M, Hyun Y, et al. Comparison of public end-to-end bandwidth estimation tools on high-speed links[G]Passive and Active Network Measurement. Berlin: Springer, 2005: 306-320

[31]Shriram A, Kaur J. Empirical evaluation of techniques for measuring available bandwidth[C]Proc of the 26th IEEE Int Conf on Computer Communications (INFOCOM 2007). Piscataway, NJ: IEEE, 2007: 2162-2170

[32]Guerrero C D, Labrador M A. On the applicability of available bandwidth estimation techniques and tools[J]. Computer Communications, 2010, 33(1): 11-22

[33]Goldoni E, Schivi M. End-to-end available bandwidth estimation tools, an experimental comparison[G]Traffic Monitoring and Analysis. Berlin: Springer, 2010: 171-182

[34]Zangrilli M, Lowekamp B B. Applying principles of active available bandwidth algorithms to passive TCP traces[G]Passive and Active Network Measurement. Berlin: Springer, 2005: 333-336

[35]Croce D, Mellia M, Leonardi E. The quest for bandwidth estimation techniques for large-scale distributed systems[J]. ACM SIGMETRICS Performance Evaluation Review, 2010, 37(3): 20-25

[36]Croce D, Leonardi E, Mellia M. Large-scale available bandwidth measurements: Interference in current techniques[J]. IEEE Trans on Network and Service Management, 2011, 8(4): 361-374

[37]Douceur J R, Mickens J, Moscibroda T, et al. Collaborative measurements of upload speeds in P2P systems[C]Proc of the 29th IEEE Int Conf on Computer Communications (IEEE INFOCOM 2010). Piscataway, NJ: IEEE, 2010: 1-9

[38]Song S, Keleher P, Bhattacharjee B, et al. Decentralized, accurate, and low-cost network bandwidth prediction[C]Proc of the 30th IEEE Int Conf on Computer Communications (IEEE INFOCOM 2011). Piscataway, NJ: IEEE, 2011: 6-10

[39]Madhyastha H V. An Information Plane for Internet Applications[M]. Washington, DC: ProQuest, 2008

[40]Madhyastha H V, Isdal T, Piatek M, et al. iPlane: An information plane for distributed services[C]Proc of the 7th Symp on Operating Systems Design and Implementation. Berkeley, CA: USENIX Association, 2006: 367-380

[41]Madhyastha H V, Katz-Bassett E, Anderson T E, et al. iPlane Nano: Path prediction for Peer-to-Peer applications[C]Proc of Symp on Network System Design and Implementation (NSDI 2009). Berkeley, CA: USENIX Association, 2009: 137-152

[42]ODEDRA A. Global standards role in strategic planning for next generation networks & migration[R]. New Delhi, India: ITU, 2007

[43]Sundaresan S, De Donato W, Feamster N, et al. Broadband Internet performance: A view from the gateway[C]Proc of ACM SIGCOMM Computer Communication Review. New York: ACM, 2011: 134-145

[44]Dvorak C. Definition of quality of experience (QoE): TD 109rev2 (PLEN12)[EBOL]. [2015-08-10]. https:www.itu.intmdT05-FG.IPTV-IL-0050en

[45]Lin Chuang, Hu Jie, Kong Xiangzhen. Survey on models and evaluation of quality of experience[J]. Chinese Journal of Computers, 2012, 35(1): 1-15 (in Chinese)(林闯, 胡杰, 孔祥震. 用户体验质量(QoE)的模型与评价方法综述[J]. 计算机学报, 2012, 35(1): 1-15)

[46]Kim H J, Choi S G. A study on a QoSQoE correlation model for QoE evaluation on IPTV service[C]Proc of the 12th Int Conf on Advanced Communication Technology (ICACT 2010). Piscataway, NJ: IEEE, 2010: 1377-1382

[47]Khirman S, Henriksen P. Relationship between quality-of-service and quality-of-experience for public internet service[COL]Proc of the 3rd Workshop on Passive and Active Measurement. Berlin: Springer, 2002[2015-06-10]. http:www-v1.icir.org2002Relationship_Between_QoS_and_QoE.pdf

[48]Chen K T, Huang C Y, Huang P, et al. Quantifying Skype user satisfaction[C]Proc of ACM SIGCOMM Computer Communication Review. New York: ACM, 2006: 399-410

[49]Chen K T, Wu C C, Chang Y C, et al. A crowdsourceable QoE evaluation framework for multimedia content[C]Proc of the 17th ACM Int Conf on Multimedia. New York: ACM, 2009: 491-500

[50]Dobrian F, Awan A, Joseph D, et al. Understanding the impact of video quality on user engagement[J]. Communications of the ACM, 2013, 56(3): 91-99

[51]Krishnan S S, Sitaraman R K. Video stream quality impacts viewer behavior: Inferring causality using quasi-experimental designs[J]. IEEEACM Trans on Networking, 2013, 21(6): 2001-2014

[52]Chen K T, Huang P, Lei C L. How sensitive are online gamers to network quality?[J]. Communications of the ACM, 2006, 49(11): 34-38

[53]Jarschel M, Schlosser D, Scheuring S, et al. An evaluation of QoE in cloud gaming based on subjective tests[C]Proc of the 15th Int Conf on Innovative Mobile and Internet Services in Ubiquitous Computing (IMIS 2011). Piscataway, NJ: IEEE, 2011: 330-335

[54]Hobfeld T, Schatz R, Varela M, et al. Challenges of QoE management for cloud applications[J]. IEEE Communications Magazine, 2012, 50(4): 28-36

[55]Du Yu, Zhou Wen’an, Chen Baofu. A QoE based evaluation of service quality in wireless communication network[C]Proc of 2009 Int Conf on New Trends in Information and Service Science (NISS’09). Piscataway, NJ: IEEE, 2009: 552-557

[56]Laghari K U R, Connelly K. Toward total quality of experience: A QoE model in a communication ecosystem[J]. IEEE Communications Magazine, 2012, 50(4): 58-65

[57]Dhawan M, Samuel J, Teixeira R, et al. Fathom: A browser-based network measurement platform[C]Proc of the 2012 ACM Conf on Internet Measurement. New York: ACM, 2012: 73-86

[58]Sanders S, Kaur J. On the variation in Web page download traffic across different client types[C]Proc of the 22nd IEEE Int Conf on Network Protocols (ICNP 2014). Los Alamitos, CA: IEEE Computer Society, 2014: 495-497

[59]Menkovski V, Oredope A, Liotta A, et al. Predicting quality of experience in multimedia streaming[C]Proc of the 7th Int Conf on Advances in Mobile Computing and Multimedia. New York: ACM, 2009: 52-59

[60]Balachandran A, Sekar V, Akella A, et al. Developing a predictive model of quality of experience for Internet video[C]Proc of the 2013 ACM SIGCOMM Int Conf on the Applications, Technologies, Architectures, and Protocols for Computer Communication. New York: ACM, 2013: 339-350

[61]Yin Hao, Jiang Yong, Lin Chuang, et al. Big data: Transforming the design philosophy of future Internet[J]. IEEE Network, 2014, 28(4): 14-19

[62]Jain M, Dovrolis C. Ten fallacies and pitfalls on end-to-end available bandwidth estimation[C]Proc of the 4th ACM SIGCOMM Conf on Internet Measurement. New York: ACM, 2004: 272-277

[63]Prasad R, Dovrolis C, Murray M, et al. Bandwidth estimation: Metrics, measurement techniques, and tools[J]. IEEE Network, 2003, 17(6): 27-35

Yin Hao, born in 1974. PhD, professor, PhD supervisor. His main research interests include architecture, algorithm design and system implementation of large-scale media delivery platform, etc (h-yin@mail.tsinghua.edu.cn).

Li Feng, born in 1982. PhD candidate and engineer. His main research interests include network measurement and big data.

中图法分类号TP3931

基金项目：国家“九七三”重点基础研究发展计划基金项目(2012CB315800)；国家自然科学基金项目(61170290,61222213)

收稿日期：2015-07-15；修回日期：2015-10-16

This work was supported by the National Basic Research Program of China (973 Program) (2012CB315800) and the National Natural Science Foundation of China (61170290,61222213).