电力数据通信网端到端网络主动测量系统的设计与实现

刘俊　张广兴　曾少华

摘要：

随着湖南电力数据通信网的迅速发展，端到端的网络测量方法对于网络运维越来越显重要。传统基于SNMP和NETFLOW的被动测量手段不能获得与用户体验密切相关的重要网络参数如可用带宽、HTTP首页下载时间、POP3邮件接收响应时间等。大规模网络主动测量系统在国外有不少应用，在国内尚无较大规模应用的案例。为了提高湖南电力数据通信网整体运维水平，实现端到端的网络测量技术，文中设计并实现了电力数据通信网端到端网络主动测量系统。文中对系统的体系结构、任务调度方法、探针设计、系统的部署方法等进行了详细论述。该系统的实际测量结果表明，该系统可以提供准确和有效的测量结果，测量结果对网络优化和网络改造具有重要的参考价值。

关键词：计算机网络；数据通信网；端到端网络主动测量

中图法分类号：TP393.06文献标识码：A

Abstract：With the fast development of Hunan China Grid Data communication network，the active endtoend network measurement approach becomes more and more important to network management.Traditional SNMP or NETFLOW based passive measurement method cannot get the important network metrics such as available bandwidth，HTTP download time，POP3 mail receiving response time and so on，which are closely related to user experience.There are a lot of applications of large scale active network measurement systems in other countries，but quite rare in China.In order to improve the overall operation and maintenance quality of Hunan China Grid Data communication network and implement the endtoend active network measurement technique，this paper designs and implements an active network measurement system on the network.The system architecture，the task scheduling method，the probe design，the system deployment methods are proposed in detail.The actual measurement results show that the system can provide accurate and effective measurement results which have important reference value for network optimization and network upgrading.

Key words：computer network；China Grid data communication network；endtoend active network measurement

1研究意義

湖南电力数据通信网是覆盖全省的大型广域企业网络。网络中有在运路由器、交换机等网络设备7000余台。应国家电网公司要求，湖南省电力公司在2015—2016年完成了对数据通信网拓扑结构、路由协议、IP地址及VPN参数等方面整体升级改造工作，数据通信网核心网络的带宽得到大幅提升。但是，改造完成后，网络服务质量并没有如期望相应提高。网络管理员经常收到一些地市公司基层单位如配抢中心或电力营业厅网络缓慢的投诉。相关部门曾经做过多次技术分析，但由于网络规模大而且拓扑复杂，缺乏有效的网络测量手段，很难定位故障点。为了进一步改善电力用户网络体验，提高湖南电力数据通信网运维水平，需解决以下问题：

1需建立符合电力行业特征的网络质量指标体系：电力数据通信网承载了信息、语音、视频多种业务。每种业务重要性和QOS需求各不相同。并且数据通信网上承载的业务类型与互联网差别很大（例如电力网上没有P2P、游戏业务）。传统针对互联网的网络质量评价指标不完全符合电力网络的实际情况。因此要对电力用户的上网体验做出客观准确的评价，需先建立一套符合电力行业特征的网络质量指标体系。

2缺乏网络端到端网络监测手段：数据通信网与运营商网络一样，部署了多个基于SNMP的专业网管和基于NETFLOW的流量分析工具。这些工具都采用了被动测量的网络测量方式，可以分析网络设备的运行状况和网络出口处的流量和带宽。但是由于测量点都设置在网络核心或出口处，测量位置距离用户很远。一个营销终端访问省公司数据中心，经过网络设备达15台以上。这10多跳网络，又是由三套网管系统分级管理的。管理员被淹没在多套网管系统的海量日志中，加上网络规模大跳数多、拓扑复杂，很难分析网络瓶颈在哪。

主动网络性能测量技术构造探测报文序列，发送到被测目标网络中，然后利用被测目标的响应信息，或者探测报文传输经过目标网络后携带的信息来测量网络性能。由于主动测量探针部署位置靠近用户终端，通过主动网络性能测量技术，可以对端到端的网络路径性能进行测量，测量结果能更直接的反映用户的网络体验；如果大量部署网络探针，测量数据也有助于管理员获得网络的整体性能的理解。endprint

大规模网络主动测量系统在国外有不少应用，在国内尚无较大规模应用的案例。为了提高湖南电力数据通信网整体运维水平，实现端到端的网络测量技术，解决以上网络运维中的重要问题，文中设计并实现了电力数据通信网端到端网络主动测量系统。文中对系统的体系结构、任务调度方法、探针设计、系统的部署方法等进行了详细论述。

2国内外相关研究

从2000年至今，国际上涌现了多个大规模主动网络测量的项目，部分项目运行几年后已夭折，本文对现在还在正常运行，并仍有大量活动测量探针项目进行逐一分析和介绍：

1）Ark[1]（Archipelago measurement infrastructure）。直译为群岛测量构架，该系统由CAIDA[2]开发，其核心服务器位于圣地亚哥超级计算机中心。截止至2016年11月，在全球57个国家有165个活动测量点。该系统从2006年上线以来持续进行改进，内置了DNS解析分析、网络拓扑分析、WEB响应分析、PING时延分析、traceroute路由跟踪等多个工具[3-7]。

2）WAND [8-9]，其前身是已经运行了10多年的AMP （Active Measurement Project） [10]，由新西兰政府赞助开发。截止至2016年11月，在全球有1822個活动探测点。测量的主要内容包括测量点间的丢包、延迟、带宽和网络拓扑，探针还不断实时监控INTERNET重要的路径变化。

3）perfSONAR[11-17] （performance serviceoriented network monitoring architecture），由Internet2、GEANT等机构联合开发。截止至2016年10月有1700台服务器在网运行。项目内置了ping，traceroute，tracepath，iperf，nuttcp工具。

4）ScriptRoute[18]是一个依托PlanetLab的网络测量系统。截止至2016年10月有91台注册服务器在网运行。其中绝大多数使用的是PlanetLab服务器。

5）Bottlenet [19-21]由法国国家信息与自动化研究所（Inria）设立，专门进行端到端主动测量。其特点是使用互联网上PC和移动终端作为探针，探测端到端网络瓶颈。内含了Fathom、APISENSE等多个测量工具。

6）Polaris网络测量平台[22]：由美国第二大有线电视，宽带网络及IP电话服务供应商Comcast开发。该系统与本文的电力数据通信网端到端网络主动测量系统非常相似。该系统也采用了管理平台、数据存储检索系统、调度器、探针四层次体系构架；同样也开发了小型探针，该探针采用ARM CortexA7 双核处理器，Linux操作系统。配置一个1GbE 以太网接口作为测量接口，最大探针吞吐量可达900Mbps。现在该平台已在美国各地部署了61个测量探针进行相关测量。

7）与国外的研究情况相比较，国内在端到端网络测量方面的研究不多。很多项目都是昙花一现，进行实际网络部署和长期网络观测的几乎没有。清华大学信息网络工程研究中心设计并实现了基于联邦架构的全球网络性能测量平台GPERF[23]，该平台实现了大规模异构测量，充分利用了自有资源、伙伴资源和互联网上的开放服务等。国防科技大学开发了一套主动网络测量精度的软硬件混合模型HPAN[24]，其优势是利用可编程的硬件设备提高报文时间戳的精度。西安电子科技大学提出了分布式网络测量基础架构（Distributed Network Measurement and Analysis Infrastructure，DNMAI）[25，26]；电子科技大学开发了基于多线程的网络性能测量系统[27]，对其校园网进行实际测量。

3电力数据通信网质量指标体系

没有规矩不成方圆。进行网络测量之前，必须确立好测量度量标准。ITUT（国际电信联盟）、IETF（互联网工程任务组）等组织研究并颁布了一系列的标准化建议作为网络质量测量指标体系[28-31]。两个组织的度量基本相同。

ITUT在2007年定义了以用户认可程度为评价标准的业务服务质量体系，称为用户体验质量QoE[32]，以区别于目前采用最广泛的服务质量QoS。QoE从用户主观感受的角度研究服务质量，包含服务、用户、环境3个层面；服务层面涉及OSI模型中网络层至应用层各类参数[33]。

电力数据通信网上运行的应用与互联网差别很大，不能简单套用互联网网络质量指标体系。举个例子，数据通信网用户均为办公用户，其日常使用的应用以HTTP网页浏览和SMTP/POP3邮件收发为主。电力用户要求网页浏览的网页打开速度要快，对文件下载速度并不敏感。而互联网用户网络对p2p下载和流媒体更感兴趣。用户关心的应用类型不同，其对网络质量要求就不同，衡量网络质量的指标体系也要相应调整。通过对电力数据通信网用户行为深入分析，参考ITUT、IETF相关网络质量测量体系，本文初步确定了一套符合电力网络实际业务情况的质量指标体系，体系也按照网络层、传输层、应用层三个层次划分，主要指标如下：

4系统架构

41系统构架

电力数据通信网端到端网络主动测量系统是对分布在电力数据通信网上的终端的网络质量进行测量监控的应用系统。系统通过分布式部署在全省电力数据通信网上的探针，实时测量供电所、营业厅、办公场所等网络末端节点各种网络指标及承载业务的性能和服务质量，然后用统一的web页面展示测量结果。系统由管理平台、调度器、数据存储检索系统探针四个部分组成。

42管理平台

不同于传统的网管软件的C/S架构，管理平台采用了使用B/S架构和J2EE框架。管理平台统一接受ES、调度器、探针这些程模块程序发送的http请求与用户在浏览器发送的http请求，通过经典的控制器—服务层—DAO结构，完成业务逻辑的处理返回响应。从功能上划分，管理平台分又可以分为前端和后端两部分。endprint

管理平台前端为用户的使用提供功能支持，是消费型的系统；前端使用了html/jsp+flex两种页面技术，分别应用于静态效果和动态效果；

管理平台后端为其他模块提供服务和通信连接，是运营型系统。由五个子模块组成：管理节点、资源服务器、缓存服务器、数据库、其他中间件。其中管理节点是其他模块连接的中心，接收来自其他模块的消息，完成和其他子模块的交互，为WEB页面提供展示信息；资源服务器提供统一的文件存储能力；缓存服务器提供统一的内存信息缓存；其他子模块同样承担了特定的底层功能支持。

管理平台后端使用struts2+spring+ibatis的开源工具，struts2用于服务前台html、jsp、flex页面的http请求，将业务逻辑处理提交spring托管的应用服务对象处理，最后通过ibatis完成数据库的读写操作；事务管理、线程管理、缓存机制、数据源等都由spring配置实现，容器托管的事务机制保证了程序异常时的自动回滚；spring托管线程，可以控制整个线程的生命周期，在服务器关闭后自动释放其他线程资源；

管理平台的数据来源有数据库、文件系统和缓存内存数据三类，分别由mysql数据库、资源服务器和redis缓存服务器进行处理：Mysql通过主备的方式保证数据库的稳定性与可靠性，并自动完成主备数据库上的数据同步；资源服务器配置大容量存储设备，提供各类安装包、更新包和配置文件的存储，提供文件系统操作、文件下载的接口；redis缓存服务器同样是核心节点，也采用了主备结构。redis缓存服务器一方面作为缓存数据的存储，减少数据请求都由数据库处理的情况、缓解数据库压力、提高请求响应速度，另一方面也为集群中的节点的session同步、内存数据同步提供集中式的管理和支撑。

43调度器

调度器管理调度域内的探针节点，负责系统上传下达功能，是管理平面与执行平面的桥梁，并可支持多级部署；管理平台通过调度器控制所有探针工作。一方面将管理平台收到的页面测量任务下发到探针，同时将探针的测量状态反馈管理节点。调度器可以分布式部署在不同测量区域，每个调度器分辖多个探针。调度器和下辖探针、上联的管理平台组成树形网絡拓扑。调度器在各自的linux主机上的jettty容器中以多线程的方式运行，保证高并发、短事务。下图为调度器的模块结构，由多个线程以及队列交互来完成任务的调度下发，状态的接收，转发等业务功能。

44数据存储检索系统

数据存储检索系统对不同类型测量结果数据进行存储，收集测量结果和数据库信息，为页面的结果展示提供数据来源。提供快速、灵活的检索接口，支持外部系统检索。

数据存储检索系统包括ES、ESAgent两个模块：ES对测量结果进行分布式的存储，并支持多样化的检索服务，完成对测量结果的运算和查询。ES可以支持集群实现分布式部署架构，通过负载均衡进程调度集群内的多节点。ESAgent作为ES的代理，负责对外提供索引和检索的业务，同时完成对索引的源数据进行预处理、对检索结果进行处理后返回给用户；ESAgent支持动态扩展，可以通过添加补丁、替换Jar包形式增加新的业务处理逻辑，这种设计方法可以支持测量系统随时扩展新的测量工具。

45探针

测量探针是测量任务的执行体，部署在用户侧感知网络性能、执行测量任务、获取测量结果，同时支持新的测量工具部署与输入输出模版标准化。作为整个系统的终端，探针完成了最末端的测量任务，同时作为测量工具的载体提供支持。探针和调度器连接以接收测量任务反馈测量状态；探针和数据存储检索系统ES连接上报测量结果；探针和管理平台连接处理其他情况；探针和其他模块的连接关系是类C/S的模式。

探针的具体实现可以分为三层，从下自上依次为：

（1）探针硬件平台。探针处理器采用了Atheros AR9344。AR9344是业界顶尖的芯片厂商Atheros的新一代WLAN SoC，内核为MIPS 74Kc，主频高达533 MHz，能够满足探针的性能需求。探针配置ROM为16M，主要用于安装固件和探针应用程序；RAM为64M，用于对测量数据的存储。

（2）探针软件平台。采用OpenWrt作为探针的操作系统。OpenWrt具有方便添加应用程序的特点，使得探针具有很好的可扩展性。

（3）探针应用程序。探针应用程序主要包括测量工具管控模块和测量工具两部分。测量工具管控模块包含了探针Probe主进程、探针注册probreg、升级代理updater三个模块，用于实现探针与管理平台、数据存储检索系统、调度器的接口，并实现对测量工具的管控。测量工具指实际完成端到端网络性能测量的应用程序。已完成开发的测量工具有：路由测量工具traceroute、可用带宽测量工具iperf、TCP/UDP测量工具、HTTP测量工具、SMTP/POP3测量工具、流媒体测量工具、DNS测量工具、Telnet测量工具等。探针的体系结构如下图所示：

5测量任务执行过程及状态机

为了合理协调资源，完成主动测量任务，数据通信网端到端主动测量系统的管理平台模块进行任务执行的整体调度。下图表示一个测量任务执行过程，具体有8个步骤：

①用户通过管理平台前端下发任务；

②管理平台后端返回新任务ID；

③管理平台后端任务下发至调度器；

④调度器任务下发至探针后端；

⑤探针后端任务下发至测量工具；

⑥测量工具完成测量后结果上传至探针后端；

⑦探针后端将测量结果上传至数据存储检索系统；

⑧数据存储检索系统将测量结果索引返回管理平台后端；

图中过程（1）—（4）为管理平台前端进行数据展示的流程：endprint

（1）管理平台前端向后端请求测量结果；

（2）管理平台后端向数据存储检索系统发起檢索；

（3）据存储检索系统将检索结果上报至管理平台后端；

（4）管理平台后端将结果发给前端进行结果展示。

系统的其他相关重要流程有：

调度器注册：调度器上线时，通过登陆流程，向管理平台后端进行注册。

探针注册：探针上线时，也是向调度器注册。管理平台前端、后端之间以及后端与调度器之间，通过定时心跳，保证模块间交互的可靠连接。

6系统部署与测量结果分析

61系统部署情况

湖南省电力公司数据通信网是一个大型电力广域网络，承载于覆盖全省的电力SDH、OTN/PTN、微波三平面的传输网。网络采用了MPLS/VPN构架，共部署路由器、交换机设备7000多台。电力数据通信网端到端网络主动测量系统在湖南电力数据通信网进行了实际部署和测量，部署情况如下：

服务器部署情况如下：系统管理平台，中心数据库，数据存储检索系统部署在省公司数据中心。分布式调度器也在省公司集中部署。以上模块均集中部署在单台服务器上。服务器硬件采用一台华为RH5885 v3四路PC服务器，配置2个至强E7六核1.9G处理器，内存64G，配置4口千兆网卡，服务器操作系统为Linux 2.6.29。

探针部署情况如下：为了完成本次测量工作，项目组在14个地市公司的93个直管区、县电力公司共部署探针93台。部署位置为该地区某一电力营业厅或供电所一类的电力基层单位接入交换机以太网端口。探针部署位置尽量靠近一线网络用户。从测量管理服务器到探针，跨越了省数据中心、数据通信网骨干网、地市公司数据通信网骨干网、地市数据通信网接入网四个网络层级，网络跳数在13—16跳之间。

62测量情况

系统部署完成后，进行了一次全省数据通信网端到端网络性能测量。测量统一由省公司管理服务器发起，时间为工作日上午9—11时。每隔10分钟进行一次测量，测量十次后结果取均值。测量内容有：可用带宽、时延、丢包率。

63测量结果分析

将测量结果中所有测量点按照地市区域划分进行统计均值、方差分析，结果如表5。结论如下：

1将平均可用带宽按由小到大排列，可知：长沙、岳阳、湘潭等地区整体网络质量较好，可用带宽较大而网络时延较小。相对而言，湘西、邵阳、永州等地区距离省会较远，可用带宽较小而网络时延较大，整体网络质量稍差。

2整体数据通信网丢包率很低。仅怀化、长沙和岳阳测量点的网络有少量丢包，丢包率最高为0.0083%，这说明湖南电力数据通信网总体网络质量较好。少量丢包可能是物理层链路质量造成而不是网络拥塞造成的。需进一步逐跳排查物理链路，找到丢包原因。

3将各地市公司测量点的可用带宽、网络时延做相关性分析，得到相关系数为-0.767。说明在湖南电力数据通信网上，可用带宽与网络时延有负相关关系。可用带宽大的地区相对时延较小，反之亦然。

4计算各地市公司测量点的可用带宽标准差、时延标准差，如图14两者曲线颇为相似。计算两者相关性为0.61。这说明如果该地市不同测量点之间网络可用带宽差别较大（该地区网络带宽良莠不齐），则该地区的时延差别也较大（该地区时延也良莠不齐）。

5各地市平均可用带宽与其标准差的相关系数为0.47，可用带宽与可用带宽分布均匀性的相关性不大。这说明即使某地市的网络平均可用带宽很高，但该地市也会有网络带宽较低的点存在。各地市平均时延与其标准差的相关系数为0.23，这说明在平均时延与时延标准差相关性很小。在某地市网络平均时延较小，但该地市仍有时延较大的点存在。以上分析说明：即使在网络质量很好的地区如长沙、岳阳、湘潭等，也需对网络进行普查，查漏补缺解决少量网络质量不好的点，以提高总体网络质量。

6可用带宽与丢包率的相关系数为0.36，这说明在可用带宽与丢包率基本无关。这说明了湖南电力数据通信网整体网络为轻载。因为在重载网络下，可用带宽与丢包率往往呈现负相关关系。

7结论

传统基于SNMP和NETFLOW的被动测量手段不能获得与用户体验密切相关的重要网络参数如可用带宽、HTTP首页下载时间、POP3邮件接收响应时间等。为了提高湖南电力数据通信网整体运维水平，实现端到端的网络测量，文中设计并实现了电力数据通信网端到端网络主动测量系统。实际测量结果表明，湖南电力数据通信网整体网络质量较好，轻载运行，但是在同一地区网络质量分布并不均匀，需重点解决少量接入点的网络问题，以提高用户的整体网络体验。测量结果对网络优化和网络改造具有重要的参考价值。

参考文献

[1]CAIDA.ARK[EB/OL].http：//www.caida.org/projects/ark.2016

[2]CAIDA： The cooperative association for Internet data analysis[EB/OL].2016.http：//www.caida.org/

[3]HYUN Y.Ark Update： Present and Future[C]，Workshop on Active Internet Measurements （AIMS） March 2015

[4]HYUN Y.Ark Topology Query System[C]，Workshop on Active Internet Measurements （AIMS） February 2016

[5]VEITCH D.Timing Precision on ArkRADclock[C]，Workshop on Active Internet Measurements （AIMS） March 2015endprint

[6]BEVERLY R，Large Scale Measurement Machinery：ArkQueue and Scamper Tools[C]，Workshop on Active Internet Measurements （AIMS） March 2015

[7]BAUER S（MIT / CSAIL）.Classifying Congestion in Ark Measurements[C]，Workshop on Active Internet Measurements （AIMS） March 2015

[8]AMP.WAND[EB/OL]，http：//amp.wand.net.nz/ 2016

[9]ALCOCK S，Active Measurement Project[C]，Workshop on Active Internet Measurements （AIMS） February 2016

[10]MCGREGOR A.Active measurement program： Network knowledge leads to practical payoffs[C].SDSC/NPACI Online Biweekly Newsletter，2003，7（3）.

[11]ESNET.perfSONAR[EB/OL]，http：//www.perfsonar.net/，2016

[12]TIERNEY B.perfSONARbased Network Research[C]，Workshop on Active Internet Measurements （AIMS） March 2015

[13]SAMPAIO L，KOGA I，COSTA R，et al.“Implementing and Deploying Network Monitoring Service Oriented Architectures： Brazilian National Education and Research Network Measurement Experiments”[C]，Proceedings of the 5th Latin American Network Operations and Management Symposium （LANOMS 2007），Brazil，September 2007.

[14]BINCZEWSKI A，LAWENDA M，TROCHA S，et al.“Application of perfSONAR architecture in support of GRID monitoring”[C].In Proceedings of INGRID 2007 Instrumenting the Grid，2nd International Workshop on Distributed Cooperative Laboratories，S.Margherita Ligure Portofino，Italy，April，2007.

[15]HAMM M，SCHAUERHAMMER，K，UllMANN，K，et al.Management of MultiDomain EndtoEnd Links，In Moving from Bits to Business Value[C].Proceedings of the 2007 Integrated Management Symposium，2007，IFIP/IEEE，München，Germany，May，2007.

[16]ZURAWSKI J，BOOTE J，BOYD E，et al.Hierarchically Federated Registration and Lookup within the perfSONAR Framework，In Moving from Bits to Business Value[C].Proceedings of the 2007 Integrated Management Symposium，2007，IFIP/IEEE，München，Germany，May，2007.

[17]HANEMANN A，BOOTE J W，BOYD E L，et al.“PerfSONAR： A Service Oriented Architecture for MultiDomain Network Monitoring”[C].In“Proceedings of the Third International Conference on Service Oriented Computing”，Springer Verlag，LNCS 3826，pp.241254，ACM Sigsoft and Sigweb，Amsterdam，The Netherlands，December，2005.

[18]Scriptroute [EB/OL]，http：//www.scriptroute.org：3967/，2016

[19]INRIA.Bottlenet [EB/OL]，https：//project.inria.fr/bottlenet/，2016

[20]AFRA S，SAUCEZ D，BARAKAT C.From networklevel measurements to expected Quality of Experience： the Skype use case.Oct 2014.

[21]RIVRON V，KHAN M I，CHARNEAU S，et al.Refining usage analysis by combining crowdsensing and survey[C]，CASPer/PERCOM，2015.endprint

[22]TAYLOR D.Measuring achievable throughput using a widely distributed automated measurement platform[C]，Workshop on Active Internet Measurements （AIMS） February 2016

[23]王继龙，孙明敏，张千里.基于联邦架构的全球网络性能测量[J]，计算机学报，2010，33（9），1602-1610

[24]胥庆杰，唐路，张彦龙，等HPAN：一种优化主动网络测量精度的软硬件混合模型，《第二届中国互联网学术年会》，2013，263-268

[25]王红剑，裴昌幸，朱畅华，等一种基于DNMAI架构的网络拓扑发现方法[J]，计算机应用研究，2007，24（03），234-237

[26]王佳玮，田斌裴，昌幸，等分布式网络测量探针关键技术研究[J]，现代电子技术，2007，30（11），65-67

[27]孙卫佳，朱凯敏.基于多线程的网络性能测量系统的研究与应用[J].电子世界.2014，（20），495-496.

[28]ITUT.Rec E.800： Terms and definitions related to qualityof service and network performance including dependability[EB/OL].1994.https：//www.itu.int/rec/TRECE.800/en.

[29]ITUT.Rec I.350 ： General aspects of quality of service and network performance in digital network，including ISDN[EB/OL].1993.https：//www.itu.int/rec/TRECI.350/en.

[30]ITUT.Rec Y.1540： Internet protocol data communication serviceIP packet transfer and availability performance parameters [EB/OL]，https：//www.itu.int/rec/TRECY.1540/en.

[31]PAXSON V，AIMES G，MAHDAVI J，et al.RFC 2330 ：Framework for IP performance metrics [EB/OL].1998.https：//tools.ietf.org/html/rfc2330.

[32]ITUT： Definition of quality of experience （QoE）.International Telecommunication Union，Liaison Statement，Ref.： TD 109rev2（PLEN/12），2007

[33]林闖，胡杰，孔祥震.用户体验质量（QoE）的模型与评价方法综述[J].计算机学报，2012，35（1），1-15endprint