用电信息采集系统营销接口优化分析
2017-11-06张亚杰张冰玉陈虬跃
张亚杰,王 玮,张冰玉,高 波,张 超,陈虬跃
(国网河北省电力公司电力科学研究院,石家庄 050021)
2017-02-07
张亚杰(1990-),女,助理工程师,主要从事采集运维相关工作。
用电信息采集系统营销接口优化分析
张亚杰,王 玮,张冰玉,高 波,张 超,陈虬跃
(国网河北省电力公司电力科学研究院,石家庄 050021)
介绍河北用电信息采集系统营销接口现状,针对营销接口存在的问题进行原因分析,从硬件、软件及管理等方面提出优化方案,并说明处理效果。
用电信息采集系统;营销接口;优化分析
智能表安装后供电单位需将智能表档案由SG186系统同步至用电信息采集系统,并经一系列主站调试环节,实现智能表的系统远程调试,从而支撑后续的智能表远程采集工作。营销业务应用系统与用电信息采集系统业务接口(简称“营销接口”)可实现以上业务流程,该流程是实现智能表全采集的关键环节。如营销接口不能高效运行,将对智能表的准确、及时接入带来较大影响。以下对河北省南部电网用电信息采集系统营销接口现状进行分析,并得出优化方案。
1 营销接口系统现状
智能表档案从营销业务系统同步至采集系统主要通过终端自动装接流程实现,该流程一般由营销系统发起,旨在将营销系统中的专公变终端及挂接智能表经档案校验后同步至采集系统,并在采集系统配置终端数据的采集任务、生成及下发电表参数至现场采集设备。终端自动装接流程的实现主要依托于营销接口程序,也就是在营销系统点击档案同步按键之后所进行工作的后台程序。简而言之,营销系统通过调用采集系统提供的营销系统接口程序,实现了终端自动装接功能[1]。
1.1 硬件现状
采用单台DELL R710(CPU2C,内存8 Gb,硬盘6*146 Gb)服务器作为营销接口调试专用服务器,从服务器配置信息上看,该服务器配置较低,性能较差。智能表集中推广期间,单位时间内大量工单并发会引发接口任务拥堵,产生以下问题。
a. 单台服务器无法提供大量并发工单的调用服务,造成调用营销接口服务任务时间过长,大量任务的排队易导致接口服务终止,影响智能表接入采集系统进度。
b. 长期大量的工单调试易造成服务器运行不顺畅,导致流程卡顿在某一环节,如卡顿在配置任务环节等,工单将无法完整执行,影响工单质量。以上故障在日工单并发量达到1万以上后发生概率较大,情况严重时该故障每日均会发生,且故障恢复用时较长。
1.2 软件现状
软件方面,接口调试业务流程见表1,在整体业务实现流程上,档案校验和参数下发环节失败率较高,分别占据失败总工单量的10%和80%左右。
表1 营销接口调试
编号节点名称功能说明0档案清除现场终端拆除,采集系统档案需要清除与归档1档案校验对于新装、拆换流程,采集需要校验中间库档案后,才会进行同步2档案同步将营销档案同步至采集库3创建测量点根据电表等信息,创建测量点表4生成参数接口根据相关档案表,生成F10参数5建立考核单元建立台区考核单元,供线损统计使用6配置任务配置终端抄表等采集任务7后续下发操作下发其他重要参数8下发参数后台任务生成F10等参数,将参数下发至终端,并移到正式F10表9更新调试状态根据F10参数下发信息,更新调试结果10参数比对召测已经下发的参数,跟数据库参数进行对比11后台任务非具体操作功能12反馈营销将调试结果通知营销
1.2.1 档案校验环节
档案校验环节主要是对中间库档案、采集系统历史档案按照业务规则进行逻辑性校验,如基础档案存在问题,调试工单即会报错终止并将报错原因反馈至营销平台。该环节不会导致大面积的调试故障,但问题工单会占用接口服务工作量,影响整体的工单质量。目前该环节的问题主要由以下几方面原因导致:采集系统历史档案问题;中间库档案问题;调试人员调试流程不当问题。
经长期统计分析,后2个原因占比可达85%以上,属于档案校验报错的主要原因。且这2个原因均起源于营销系统,如相关的档案问题可在营销系统侧提前校验发现,并阻止对营销接口的调用,可一定程度上降低对营销接口的调用频度。
1.2.2 参数下发环节
2015年日均参数下发失败率(参数下发失败工单数/总工单数)高达20%,究其原因主要由于流程执行过程中存在大量且频繁的数据库锁表现象,尤为严重的是F10参数表,即T_TMNL_PARAM_F10业务表,该表是在参数下发环节进行具体操作的一张参数表,每日的多项业务会通过接口、后台、界面等不同的渠道对该表进行操作,因此极易造成数据库锁表故障,且业务量较大时每天会发生数次,极大影响了智能表接入采集系统的效率,也增加了运维人员的运维工作量。
数据库锁表从其根本原因来讲是存在多条操作同时操作数据库的同一条记录,而数据库对单条记录的操作存在排他性。也就是当2个或2个以上的线程在执行过程中,出现争夺该行资源而造成的一种相互等待的现象,若无外界的作用解锁,他们都将无法推进下去。此时称系统处于死锁状态或系统产生了死锁,这些永远在相互等待的进程称为死锁进程。采集系统目前由于存在多个业务同时操作该表(接口,页面,后台等),这就是死锁产生的根源性问题。如何合理安排各个流程中的参数下发操作成为软件程序优化的具体方向。
2 存在的问题
综上所述,目前河北营销接口主要问题点主要集中在以下几个方面。
a. 在智能表大批量接入期间,工单并发量大且执行时间集中。
b. 营销接口服务器配置及性能不足以支撑大量工单的并发执行。
c. 营销系统侧对异常档案的拦截度有待提高,对降低营销接口的调用频度有较大意义。
d. 部分流程操作人员存在误操作等情况,提高了接口服务的无效调用量。
e. T_TMNL_PARAM_F10参数表锁表问题严重,问题频发且极易造成大范围档案同步故障。
f. 缺少固化的故障排查及处理流程。
3 性能优化措施
3.1 调整系统硬件
3.1.1 提升接口服务器性能及数量
将原配置较低的单台服务器更换为2台高性能服务器,一方面提升了服务器性能,保证了执行任务的稳定性 ;另一方面双服务器并发提供接口调试服务,提高了工单调试日并发服务量,同时为接口程序的运作提供了双保险。接口服务器配置表情况见表2。
表2 接口服务器配置情况
服务器型号配置描述曙光I840-G254路10核CPU2.2GHz,缓存20ML3,内存8*16G,硬盘4*2.5寸1W转300GSAS曙光I840-G254路10核CPU2.2GHz,缓存20ML3,内存8*16G,硬盘4*2.5寸1W转300GSAS
3.1.2 增设负载均衡服务器
目前营销接口采用双服务器运行方式,为保证工单的高效合理分配,选用了负载均衡的分配机制。因此,配合该机制增设了1台负载均衡服务器,负责2台接口服务器间工单的均衡分配。
3.1.3 架设REDIS服务器集群
基于参数下发环节的最新设计思路(参看3.2.2),增设了3台REDIS服务器,专门用于参数下发功能,为参数下发提供硬件保证。
3.2 软件方面
3.2.1 档案校验提前
针对档案校验环节报错,中间库档案问题在调用营销接口服务前即进行校验,即部分档案校验工作前置于营销系统环节,这样可使一部分工单截留在调用接口服务之前,减少接口调用频次,降低接口运行压力。
3.2.2 参数下发采用 Redis集群技术
REDIS是一个开源的、使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、KEY_VALUE数据库,支持主从同步。通过建立REDIS集群,将接口需要下发的F10参数放入REDIS集群,由客户端定时批量的插入数据库。前期的接口、页面和后台都不再直接操作基础数据库,规避了数据库行锁的现象。
在完成档案校验、数据同步以及生成测量点、生成任务、生成参数后,调试流程将进入下发参数的步骤。与之前不同的是现在将由接口直接通过前置下发变更的参数,如果成功则继续向下;如果失败,才会转后台,接口流程暂时结束。等待后台下发完参数重新调用接口继续完成后续步骤。
在收到工单后,将该终端的终端资产号放入REDIS库中的一个集合(DebugTmnlSet)当中。之后无论是重新发起该工单或是发起新工单亦或者其他终端包含这个终端,以及在页面的上点击台区全同步和手工调试。营销接口会查询该SET中是否存在该终端资产号,如果没有,就添加并继续调试;如果有,则不再向下。以防止同一终端在同一时间走多个流程引起的一些基础档案表的锁表现象。改进后的接口流程示意如图1所示。
3.3 管理方面
3.3.1 提高操作人员业务水平
定期开展采集调试业务培训,确保供电公司市县所操作人员熟练掌握档案正确性的判别、营销系统侧操作流程、采集侧流程执行情况的分析方法,提高工单调试质量,降低接口服务的无效调用。
图1 参数下发流程示意(优化后)
3.3.2 制定营销接口故障应急预案
国网河北省电力公司电力科学研究院计量中心制定了《用电信息采集系统营销接口故障应急预案》,总结常见接口故障现象,明确故障处理方法,固化故障处理流程,从而提高故障排查效率,对智能表接入工作的影响降至最低。
4 优化效果
计量中心经过近一年的营销接口常态化优化,目前营销接口运行现状如下:
a. 经统计,2016年河北省南部电网日最高工单量可达5万余条,营销接口运行正常,未再发生接口服务调用长时间排队、流程卡顿等情况。
b. 调试工单失败率由2015年的20%降至6%以内,且6%的工单失败原因基本与接口运行情况无关,主要发生在采集系统与终端交互环节,由通信异常、终端离线等原因造成。
c. 经过营销接口软硬件的集中优化后,河北省南部电网未发生过较大的调试故障,且故障发生后可在15 min内顺畅解决。
5 结束语
采集终端系统调试是智能表“全覆盖、全采集、全费控”工作中的重要一环,通过技术、管理的方式不断提升营销接口的稳定高效运行,保证智能表顺畅接入采集系统,将对采集系统的建设、管理、应用等工作起到积极地推进作用。
[1] 唐 哲,何 莎,闫照云.浅谈用电信息采集系统主站接口技术[J].江西电力技术,2015(5):58-60,63.
Optimization Analysis on Interface with Power Marketing System in Electric Information Acquisition System
Zhang Yajie,Wang Wei,Zhang Bingyu,Gao Bo,Zhang Chao,Chen Qiuyue
(State Grid Hebei Electric Power Research Institute,Shijiazhuang 050021,China)
This paper introduces the present situation of interface with power marketing system in electric information acquisition system,analyzes the reasons of the problems, proposes the optimization from the hardware, software and administration ,and illustrates the treatment effect.
electric information acquisition system;interface with power marketing system;optimization analysis
TM76
B
1001-9898(2017)05-0008-03
本文责任编辑:罗晓晓