基于网络报文的应用监控系统研究

王啸 上海浦东发展银行

关键字：网络报文 应用监控 交易追踪

引言：随着全球金融业务的快速增长，金融系统的交易和业务的复杂性也在不断增加。各应用功能组件化、服务化后，银行系统逐渐转变为面向服务的松耦合应用架构，一笔业务的完成，贯穿于多个生产系统之间，监控、管理和故障排查的难度大大增加。基于网络报文的应用监控系统能够利用网络的数据真实性特点，快速及时的分析应用数据，自动分析并定位问题根源，并统计出问题影响。

1 基于网络报文的应用监控系统新特点

1.1 目前生产上存在的一些异常，通常在网络层出现问题，在应用上查看不到有用的信息，如交易请求已到达服务器端但是因服务器端口资源占满而应用无法获取交易。而本系统能够从网络流量数据上分析出网络层、应用层的报错信息，有效协助开展异常的及时发现和分析排查。

1.2 普通的基于日志的应用监控系统如果应用日志中没有打印足够的有效信息，或者部分交易根本不打印日志，则无法实现对应用的有效监控。本系统完全从网络流量数据中获取信息，不依赖于应用日志打印信息的多少，完全真实的反应了交易质量情况。

1.3 目前主流的应用监控方式，对被监控和分析系统的应用存在着一定的改造工作。系统改造既存在各开发项目组是否配合的问题，又存在改造所需时间和工作量的问题，有时推进速度很慢，导致监控缺失。本系统取的是网络镜像流量数据，对源系统不存在任何改造工作，能够达到系统上线即监控的目的。

1.4 无论是写应用日志还是应用上发送监控数据，如果处理不当可能会对源系统的性能产生影响。本系统取的是网络镜像流量数据，直接从交易机旁路数据至本系统，对源系统的性能没有任何影响。

2 基于网络报文的应用监控系统的关键技术

2.1 唯一交易确认与交易报文串接

金融系统间的联机通讯报文所使用的传输层协议通常为TCP/IP协议，此协议的特点为确保了传输的准确性和完整性。其中TCP协议包含了传输的源端口和目的端口，而IP协议包含了传输的源IP和目的IP。在一定时间段内，指定源IP源端口目的IP目的端口这4个参数的交易是唯一的。通常情况下，一笔交易由2笔报文组成，分别为交易的请求报文和交易的响应报文。为了将指定的请求报文和响应报文串接成一笔交易，系统除了利用上述提到的交易唯一性特点外，还需要限定交易的超时时间。在特定超时时间范围内，源IP端口和目的IP端口正好相反的时间差最小的报文为一笔交易的请求与响应报文。考虑到请求报文端口的随机性，所以超时时间可以根据生产实际情况，设定为交易平均响应时间的10倍左右比较合适。

但有些应用系统比较特殊，会使用固定的端口来发送大量的请求报文，且支持异步接收响应报文，通过以上报文网络协议的特性则无法确定一笔唯一交易，此时需要利用报文体内的应用字段来协助定位交易的唯一性。这类特殊的交易一般在应用报文体内会包含顺序号和子顺序号之类的字段，且这类顺序号、子顺序号字段由应用自动生成，在一天内基本不可能重复。利用以上的应用特性，系统可以将顺序号、子顺序号等能够确定交易唯一性的字段组合成交易唯一序号，并结合交易的源目IP端口来确定唯一一笔交易。通过以上应用交易的特性，也能使一笔交易从上下游系统串接起来，形成一条交易路径，清晰的显示一笔交易在每个系统节点的耗时大小与变化。

2.2 灵活的监控配置

应用监控系统最重要的功能就是监控报警，而监控报警必须依赖于监控配置。系统每分钟将现有业务性能情况匹配一次所有规则，若符合告警规则则发出警报。本系统使用的告警规则为阈值告警。

阈值告警仅针对一个系统，总共分为数据来源、触发条件、告警周期和告警内容四部分。数据来源定义了数据所属系统和交易各维度的范围，可设置黑名单和白名单，根据每个维度的值不同在白名单和黑名单中填入不同的值。如在交易代码维度的白名单中添加指定交易代码来监控这些交易代码的交易，在交易渠道维度黑名单中添加指定渠道代码来不监控这些渠道的交易。触发条件部分分为触发条件和持续时间两块，应用管理员可以定义4个性能指标中任意个指标高于或低于阈值的组合、返回码等于指定阈值，及满足条件的持续发生时间。如持续两分钟交易成功率低于50%及交易量高于10000笔的条件。告警周期可以定义告警发生的周期，日期可按照日、月、年、周、旬、季度的维度来定义，时间可添加多个时间段。告警内容允许应用管理员添加告警的说明，使收到告警通知的人员能够清楚了解告警发生的原因，时间等告警关键信息。

3 结束语

本文通过针对基于网络报文的监控系统的新特点进行分析，明确系统的特性与优势，提出并分析解决了系统的技术特点和难点。无论在特殊业务场景，还是日常运维监控，本系统均能胜任相关需求，对复杂架构的数据中心系统运维自动化提供了丰富支撑。