基于用户体验的应用性能管理系统设计

孙永亮　王宇

摘 要

本文在详细分析了河南省电力公司信息系统运维现状的基础上，设计了一种新的基于用户体验的应用性能管理系统，借助网络系统承载所有业务流量的先天优势，利用流量镜像采集技术对网络流量进行可视化和精细化监控与分析，面向业务，从最终用户体验出发，对河南电力关键业务系统网络流量和应用性能进行实时监控，通过可视化的业务性能和网络性能关键监控指标，对影响业务的相关性能问题进行主动预警，快速识别潜在的风险。

【关键词】应用性能管理 可视化 用户体验

“业务正在不断的驱动着IT运维管理朝着以应用为中心发展，与此同时，应用也变得越来越难于管理。”—Gartner

目前，国内电力行业正处于高速发展阶段，业务量与日剧增。由于各种关键业务和应用都被承载在基础架构、WEB应用、中间件和数据库上，使得业务的复杂性和维护难度大幅增加。如何对这些复杂的业务系统进行有效监控和风险防范，保障关键业务的高性能和高可用性，以及如何对现有的运维流程进行优化，不断提升管理和运维水平已经成为目前数据中心急需探索和解决的重要问题。

1 河南电力现状

河南电力经过多年的努力，IT运维管理水平有了长足的发展。但是通过对近几年河南电力突发事件应急处置过程及案例进行分析和思考，可以看出在应用性能监控管理和突发事件应急处置方面仍然存在可以提升的空间：

1.1 缺少对用户真实体验的监控

对于用户的真实体验缺少系统的监控和数据支撑。河南电力现阶段的信息化建设，投入了很大精力在IT系统的建设和对IT基础架构的维护上，但即使部署了最先进的基础架构，并不间断地监控PC、网络、服务器、数据库等组件的性能，客户还是会偶尔抱怨系统运行缓慢。

1.2 信息高度不对称、突发事件处置效率仍需要提升

由于信息系统复杂，系统间关联关系强，涉及环节众多，而监控系统相对独立，一旦出现问题，网络、系统、数据库、应用分头查找原因，各自为战，事件处置缺少明确方向，一方面需要付出较多的沟通和定位问题的时间成本，另一方面导致事件处理时间过长，影响被放大。

1.3 故障原因定位存在取证难、效率低，甚至互相推诿的问题

由于缺少全面的监控，故障事后分析诊断条件不足，缺少故障现场溯源数据，大多情况下只能对设备日志、交易日志等进行分析，很难拿出有力的证据进行取证，另外即使有故障现场数据，问题分析人员面对海量的数据问题分析定位仍需要消耗较长的时间。

2 应用性能管理系统的设计与实现

2.1 系统设计

2.1.1 系统设计原则

系统总体设计需要满足未来的发展需要，既要安全可靠，不影响现有的网络和业务，又要具有一定的先进性。在架构设计和功能模块的划分上，应充分的分析和整合项目的总体需求和预期的目标，尽量遵循高内聚、低耦合的设计原则，既要保证各个模块的独立性，也要保证模块间联系的简单性和易扩展性。

2.1.2 系统架构设计

根据河南电力信息系统业务数量众多、个别业务系统的访问关系又非常复杂的特点，本文提出一种以网络和应用性能监控分析平台为核心，利用网络镜像数据包对网络和关键业务的性能进行实时监控与分析的应用性能管理系统。通过先进的智能告警技术，将告警信息发送给网管平台进行统一的管理和展现。网络运维人员，利用监控与分析平台对出现的故障进行快速的分析和定位。如图1所示。

2.1.3系统功能设计

根据河南省电力公司的网络环境的实际情况，利用多台流量汇聚设备，对多个机房、多个监控点的流量进行采集和汇聚，对流量进行分析、过滤处理后，按照一定的原则和要求，将过滤处理后的“干净的”流量输送给业务可视化监控分析平台。如图2所示。

2.1.4 监控指标设计

根据对应用系统性格的分析需要，系统的监控指标主要分为以下4种：

（1）网络流量指标：反映业务的网络流量及网络传输效率，包括丢包、包重传率、往返时间、重传延时等；

（2）网络性能指标：反映网络传输质量，包括包吞吐量、包流量、实际吞吐量、数据包净荷等；

（3）应用性能指标：反映应用性能，包括交互数、重置率、数据传输时间、响应时间等；

（4）页面性能指标：反映HTTP访问性能和访问效率，用户体验，包括服务器重置率、连接数、连接失败率、连接时间、连接请求数等；

2.1.5告警规则设计

基于监控设备性能的考量，从监控指标中甄选出最具代表性，最能及时反映业务运行质量的指标作为告警监控指标，设置相应的告警阀值，以下为系统选取的告警指标：

（1）服务器响应时间（Server Response Time）。

（2）服务器重置率（Server Reset Rate）。

（3）连接失败率（Connections Failed Rate）。

（4）页面时间（Page Time）。

（5）HTTP500错误（%）。

2.1.6数据存储设计

为了能够提供故障现场数据以及数据报表分析功能，系统需要提供强大的数据存储能力。如图3所示，系统的数据存储区域分成2部分：

（1）原始网络数据：采用先进先出的循环滚动式缓冲存储区，存储所有镜像的网络流量，提供故障现场数据源。

（2）归档数据区：与告警有关的信息包在滚存内被打上快照标记，被复制到归档区，提供报表分析数据源。

3 系统实施效果

3.1 系统部署

根据河南电力的网络情况，系统部署采用了两台流量聚合设备和一台数据采集设备，完成对所有应用系统流量数据的采集和分析，系统部署图如图4所示。endprint

3.2 应用效果

通过基于用户体现的应用性能管理系统的实施，在河南电力搭建了统一的网络及应用性能可视化平台，使基于业务的网络及性能可视化管理在河南电力实现了真正的落地，在以下几方面取得了良好的实际成果和效果。

3.2.1 在基于业务的监控方面

实现了对业务全面的、精细的、多维度的、可视化监控。既监控了终端用户访问业务的用户体验情况，又监控了各供电局访问业务的整体性能情况；既监控了业务在前端的平均性能情况，又监控了业务在后端各个负载均衡、防火墙、服务器等关键节点的性能情况；既监控了业务的网络流量、带宽占用情况，又监控了业务的网络性能、应用性能情况；使得河南电力对全网所有关键业务“看”的更加全面和清晰；对业务网络流量和性能的统计分析更加便捷和准确；对业务故障问题的分析和定位更加快速和明确。

3.2.2 在业务梳理与主动运维方面

在平台的建设过程中，总结了一套完整的业务梳理流程，使得对业务的梳理更加快捷，业务需求更加明确，业务访问关系更加准确。同时基于用户体现的应用性能管理系统建立了对业务的预警和告警机制，形成了问题发现、问题快速分析与定位、问题处理三位一体的主动运维流程。大幅提高了对业务故障的预警能力（业务故障预警率80%以上），缩短了问题发现的时间（从问题出现到运维人员发现的时间间隔在3-5分钟左右），加快了问题分析定位的速度（对问题的分析和初步定位基本在5-8分钟左右）。

3.2.3 数据分析方面

系统以分布式存储的方式存储了海量的全网业务流量的原始数据、性能统计数据、故障溯源数据，通过将网络及应用性能可视化平台集成到大数据环境中，能够有效消除性能低下、可用性不足及可扩展性不佳所带来的风险和成本，为基于大数据的数据分析、数据挖掘、云计算等研究提供了基础条件。

4 结束语

应用性能管理不仅仅是包含从网络层面进行分析的性能管理，完善的应用性能体系还需要很长一段进间的研究和实践，但用我们可以先整合现有的应用性能监控平台，并制定详细的应用性能监控体系方案，逐步提高河南电力应用性能管理水平，提升信息科技风险管理水平。

参考文献

[1]（美）W.Richard Stevens.TCP/IP Illustarated Volume1：The Protocols[M].北京：机械工业出版社，2005.

[2]（美） David Gourley，Brian Totty.HTTP：The Definitive Guard[M].北京：人民邮电出版社，2010.

[3]A.Biswas and P.Sinha，"Efficient real-time Linux interface for PCI devices：A study on hardening a Network Intrusion Detection System，" in 5th System Administration and Network Engineering Conference. Aula Congress Centre，Delft，The Netherlands，2006.

作者简介

孙永亮（1973-），男，现为国网河南省电力公司高级工程师。主要研究方向为企业信息化、通信技术管理工作。

作者单位

国网河南省电力公司 河南省郑州市 450000endprint

3.2 应用效果

通过基于用户体现的应用性能管理系统的实施，在河南电力搭建了统一的网络及应用性能可视化平台，使基于业务的网络及性能可视化管理在河南电力实现了真正的落地，在以下几方面取得了良好的实际成果和效果。

3.2.1 在基于业务的监控方面

实现了对业务全面的、精细的、多维度的、可视化监控。既监控了终端用户访问业务的用户体验情况，又监控了各供电局访问业务的整体性能情况；既监控了业务在前端的平均性能情况，又监控了业务在后端各个负载均衡、防火墙、服务器等关键节点的性能情况；既监控了业务的网络流量、带宽占用情况，又监控了业务的网络性能、应用性能情况；使得河南电力对全网所有关键业务“看”的更加全面和清晰；对业务网络流量和性能的统计分析更加便捷和准确；对业务故障问题的分析和定位更加快速和明确。

3.2.2 在业务梳理与主动运维方面

在平台的建设过程中，总结了一套完整的业务梳理流程，使得对业务的梳理更加快捷，业务需求更加明确，业务访问关系更加准确。同时基于用户体现的应用性能管理系统建立了对业务的预警和告警机制，形成了问题发现、问题快速分析与定位、问题处理三位一体的主动运维流程。大幅提高了对业务故障的预警能力（业务故障预警率80%以上），缩短了问题发现的时间（从问题出现到运维人员发现的时间间隔在3-5分钟左右），加快了问题分析定位的速度（对问题的分析和初步定位基本在5-8分钟左右）。

3.2.3 数据分析方面

系统以分布式存储的方式存储了海量的全网业务流量的原始数据、性能统计数据、故障溯源数据，通过将网络及应用性能可视化平台集成到大数据环境中，能够有效消除性能低下、可用性不足及可扩展性不佳所带来的风险和成本，为基于大数据的数据分析、数据挖掘、云计算等研究提供了基础条件。

4 结束语

应用性能管理不仅仅是包含从网络层面进行分析的性能管理，完善的应用性能体系还需要很长一段进间的研究和实践，但用我们可以先整合现有的应用性能监控平台，并制定详细的应用性能监控体系方案，逐步提高河南电力应用性能管理水平，提升信息科技风险管理水平。

参考文献

[1]（美）W.Richard Stevens.TCP/IP Illustarated Volume1：The Protocols[M].北京：机械工业出版社，2005.

[2]（美） David Gourley，Brian Totty.HTTP：The Definitive Guard[M].北京：人民邮电出版社，2010.

[3]A.Biswas and P.Sinha，"Efficient real-time Linux interface for PCI devices：A study on hardening a Network Intrusion Detection System，" in 5th System Administration and Network Engineering Conference. Aula Congress Centre，Delft，The Netherlands，2006.

作者简介

孙永亮（1973-），男，现为国网河南省电力公司高级工程师。主要研究方向为企业信息化、通信技术管理工作。

作者单位

国网河南省电力公司 河南省郑州市 450000endprint

3.2 应用效果

通过基于用户体现的应用性能管理系统的实施，在河南电力搭建了统一的网络及应用性能可视化平台，使基于业务的网络及性能可视化管理在河南电力实现了真正的落地，在以下几方面取得了良好的实际成果和效果。

3.2.1 在基于业务的监控方面

实现了对业务全面的、精细的、多维度的、可视化监控。既监控了终端用户访问业务的用户体验情况，又监控了各供电局访问业务的整体性能情况；既监控了业务在前端的平均性能情况，又监控了业务在后端各个负载均衡、防火墙、服务器等关键节点的性能情况；既监控了业务的网络流量、带宽占用情况，又监控了业务的网络性能、应用性能情况；使得河南电力对全网所有关键业务“看”的更加全面和清晰；对业务网络流量和性能的统计分析更加便捷和准确；对业务故障问题的分析和定位更加快速和明确。

3.2.2 在业务梳理与主动运维方面

在平台的建设过程中，总结了一套完整的业务梳理流程，使得对业务的梳理更加快捷，业务需求更加明确，业务访问关系更加准确。同时基于用户体现的应用性能管理系统建立了对业务的预警和告警机制，形成了问题发现、问题快速分析与定位、问题处理三位一体的主动运维流程。大幅提高了对业务故障的预警能力（业务故障预警率80%以上），缩短了问题发现的时间（从问题出现到运维人员发现的时间间隔在3-5分钟左右），加快了问题分析定位的速度（对问题的分析和初步定位基本在5-8分钟左右）。

3.2.3 数据分析方面

系统以分布式存储的方式存储了海量的全网业务流量的原始数据、性能统计数据、故障溯源数据，通过将网络及应用性能可视化平台集成到大数据环境中，能够有效消除性能低下、可用性不足及可扩展性不佳所带来的风险和成本，为基于大数据的数据分析、数据挖掘、云计算等研究提供了基础条件。

4 结束语

应用性能管理不仅仅是包含从网络层面进行分析的性能管理，完善的应用性能体系还需要很长一段进间的研究和实践，但用我们可以先整合现有的应用性能监控平台，并制定详细的应用性能监控体系方案，逐步提高河南电力应用性能管理水平，提升信息科技风险管理水平。

参考文献

[1]（美）W.Richard Stevens.TCP/IP Illustarated Volume1：The Protocols[M].北京：机械工业出版社，2005.

[2]（美） David Gourley，Brian Totty.HTTP：The Definitive Guard[M].北京：人民邮电出版社，2010.

[3]A.Biswas and P.Sinha，"Efficient real-time Linux interface for PCI devices：A study on hardening a Network Intrusion Detection System，" in 5th System Administration and Network Engineering Conference. Aula Congress Centre，Delft，The Netherlands，2006.

作者简介

孙永亮（1973-），男，现为国网河南省电力公司高级工程师。主要研究方向为企业信息化、通信技术管理工作。

作者单位

国网河南省电力公司 河南省郑州市 450000endprint