基于农产品质量安全追溯管理平台的云网络服务研究与应用
2017-02-07王琪陆全华史先娟孙裔成
王琪+陆全华+史先娟+孙裔成
摘要:基于江苏省农产品质量安全追溯管理平台的云网络服务由智能解析网络和应用云虚拟化服务两部分构成。智能解析网络主要是用于方便内外用户就近访问,云虚拟化服务主要是将传统的前台应用与数据库服务器的1+1模式调整为虚拟化N+N模式,动态调度计算资源为各种情况下的突发访问提供额外支撑,提高平台服务的可用性、健壮性和安全性。
关键词:农产品;质量安全;追溯管理;云网络服务
引言
随着计算机技术的的发展和现代农业生产服务方式的变革,农产品的生产、运输、监管、追溯等多个领域已经跨入了信息化、物联网化管理时代,一些地区的农业生产领域已经纳入了全程可视可追溯化的信息系统管理范围。借助云网络服务技术的应用高潮,许多平台的使用管理需求变得越来越要求更智能、健壮、简单、便捷,这对传统的IT运维模式提出了新的问题,给运维人员也带来了越来越高的挑战。
长期以来,各类系统提供服务的典型模式是一套系统配置一台专用服务器与运营商网络线路。在这种模式下,随着网站、业务系统的用户访问量增加必须不断购置增加新的服务器硬件与更高的网络带宽资源,服务器与带宽资源投入的成本会随着业务的规模扩张不断攀升,同时设备数量激增伴随而来的机房空间、电力供应、人员管理、时间成本也随之膨胀。单台服务器硬件的处理性能瓶颈无法实现突破,用户海量突发访问情况下会造成系统无法处理导致瘫痪,空闲时的性能无法加以利用,空耗电力与管理成本造成巨大的资源浪费。如同高校中的教务选课系统、铁路公司的网上购票系统,每年仅在特定时间内系统异常繁忙,无法满足用户访问要求,其余时间系统闲置,以至于投入的网络带宽与服务器资源严重浪费。一方面用户体验得不到有效保障,另一方面费用投入过大造成业务系统可持续发展受到严重影响。
所以在系统部署的问题上必须要考虑到未来可预计的访问量会呈数十倍的规模增加,如何避免类似业务系统的困境出现,已经成为研究如何支撑它持续成功推广应用的重要课题。本文针对业务系统访问对象具有的变化性、分散性、不规律性等特点,提出了一种基于云网络服务平台的农业智能业务管理系统。本系统的关键技术是通过策略解析实现用户就近访问,保障访问速度;采用弹性资源计算分配算法,实时调整分配的计算能力,将繁忙时段的访问负载分担到不同硬件中,将空闲时段的计算资源收回用于其他业务系统和服务计算中。
1研究背景与建设目标
作者所在单位负责了江苏省农产品质量安全追溯平台的开发与推广应用项目,在2013年本项目完成上线调试和培训推广工作,平台转入正式运行状态。系统主要为各生产基地在农产品的种植养殖、采集收纳、加工生产、运输物流全部流程中提供数据采集记录、代码生成、各阶段数据追溯功能,农业监管部门负责检查数据录入的真实性、完整性,非生产基地之外的农产品将不被允许记录在案,消费者在购买农产品后扫描追溯码可以追溯到其全部生产环节、具体日期、生产基地、每个环节负责人等所有信息,最终变“点监管”为“链监管”,形成“无法追溯来源不得上市,上市农产品都可追溯”的市场准入制度。
在系统规划设计之初,系统仅限于盐城部分地区试点使用,试点单位不超过30个,总使用人数100余个,使用并发数在30人左右,业务访问量小、并发数低,对系统性能和响应速度方面的压力并不大,所以政府采购部署了两台机普通架式服务器(一台前端web服务、一台后端数据库)在盐城农委机房,由于预算有限没有申请专线,与盐城农委的20Mb办公网络共享带宽使用。随着业务扩展,试点地区扩大,使用基地变多,业务访问量和并发数都变大,逐步出现一些线路利用率高、服务器资源耗尽、响应速度慢、卡顿和短暂无法上传数据问题,用户抱怨连连。在追求极致、快速的互联网+时代,这些投诉对于一个实时交互的业务系统比较致命的影响。在这种背景下,系统建设方要求在不影响业务使用的同时采取必要的技术手段改善用户体验,避免高延时和宕机服务停止的情况出现。本文就是以江苏省农产品质量安全追溯平台的迁移工作为实例,进行相关工作研究和应用部署。
在接受平台优化需求后,服务团队在通过一系列调研的基础上,经过商议讨论,决定将将原有部署在盐城的传统业务服务器实行虚拟化,将服务资源迁移至单位所在的云服务平台中。根据实际应用现场,将服务器采用P-V模式虚拟化,纳入到虚拟化计算池中,突破原有物理服务器内存和CPU计算能力限制,将计算池中的资源实现动态按需分配,最大程度满足峰值需求,在低峰期时计算资源收回。通过按照运营商IP地址段进行策略域名解析,充分利用云服务中心的多运营商线路确保用户能就近访问,在某一条线路出现意外中断或堵塞时触发更新解析,将用户流量引导至空闲网络线路中。提高业务可靠性,利用虚拟化平台的监控技术确保虚拟机所在物理硬件出现故障时候迅速漂移至其余可用物理服务器中。
本项目的云网络服务优化目标就是在不投人额外经费的前提下,充分利用现有资源实现平台的整体迁移,确保农产品质量安全追溯平台在高峰期能正常运行、处理数据,按需分配节约计算性能,增强系统容灾能力、提升用户体验。
2农产品质量安全追溯平台系统现状分析
前期调研中我们前往系统部署所在地,一线观察了生产基地数据上传、采集、防伪码追溯使用、后台监管的全过程;软件系统的架构、数据库部署方式、服务器运行状态、网络的利用率情况。随后与当地协助维护的工程师进行交流沟通,与该平台的使用者质监站与生产基地了解使用中的各类问题和反馈意见。最终将主要问题症状罗列如下:
第一、用户使用问题。当前系统(www.is-apqt.com)使用效率较高,在线人数峰值达到200人。使用体验不佳,其中速度慢、无响应、软件平台宕机反馈的问题出现次数较多,另外与部分农残仪接口数据不匹配,导致部分节点数据无法上传成功。
第二、业务系统托管机房环境问题。系统由于托管在盐城市农委的机房,该处机房属于早期建设,规划空间小,预留机柜空间不足设备堆积严重,无精密空调,服务器排气量高温度持续告警。综合布线系统杂乱,没有任何的标识标记,维护起来极度不便。
第三、网络带宽问题。在数据上传交互时候平均带宽占用每人50Kb,峰值时候需要带宽30Mb。本业务平台的出口网络只有一条,由盐城电信公司的20Mb带宽维持,一般情况下足够使用。但这条线路并未给予专线专用,还需要与当地农委的办公上网共享使用,极容易造成网络堵塞,造成外部访问速度慢延时高,电信出口一旦中断,没有冗余线路提供访问,会造成全部中断。
第四、业务系统所使用的服务器硬件资源问题。平台业务系统是通过政府采购的两台HP机架式中档服务器DL320,双核CPU内存为4GB,一台作为前台,一台作为数据库。前台利用率较高,而后台相对空闲,其中后台的空闲资源并不能释放出来给予前台支持。在上午9-11点,下午3-5点使用高峰期时,前台服务器内存耗尽,响应速度缓慢。
第五、业务系统软件兼容性开发问题。由于使用的手持农残仪采购型号不一,每一款型号仪器都需要进行额外开发与平台对接后才可以上传数据,与平台对接的开发需要加快进度。
第六、业务系统安全性问题。在调研中发现,为了方便技术人员远程调试,开发时候预留了远程桌面端口,密码强度低,防火墙策略不严格。业务系统内没有安装杀毒软件,仍旧使用的32位的windows2003属于已被淘汰的操作系统,在简单扫描后发现病毒数量不少,服务器上曾经出现过木马入侵痕迹和被利用作为跳板实施网络攻击等犯罪行为。
3云服务方案设计
3.1设计原则
通过调研发现的问题,团队经过与用户商议达成共识,在现有条件无法得到显著改善的情况下,最便捷的措施就是实现业务系统整体迁移“搬家”,将系统环境整体部署到单位所在的私有云网络服务中,在不追加投资购置硬件和改善机房条件的情况下,此方法的成本最低,改善效果最佳。同时明确了云服务方案部署实施的几个原则:
一、避免长时间中断,一次性到位,使得用户在迁移过程中无感知。
二、提升用户体验,业务承载能力显著提升。
三、加固平台安全,完善备案资料,避免造成非技术因素导致的中断。
四、保证数据完整性,迁移前后数据一致。
3.2部署方案
在此原则基础上,最终形成的云网络服务部署设计方案如下:
一、基础平台准备。在迁移前提前准备好“新家”,把业务平台所需的虚拟化服务器首先搭建完成。针对现有服务器硬件资源不足的问题,将网站搬家后将搭建在云平台服务器集群中,服务器虚拟化技术可以提供弹性性能分配机制,在网站繁忙时候提供所有资源128G内存64核CPU处理能力,在网站空闲时将资源回收设置为8G内存3核CPU,如图1所示。
二、多运营商线路与域名策略解析准备。针对现有网络带宽不足的问题,将在网站搬家后得到解决,充分利用单位高带宽网络、多运营商冗余线路优势提供对外访问。所有用户将通过互联网访问云网络服务平台,不会感觉到服务差异。同时申请新公网IP地址,其中移动、联通、电信各一个,利用域名平台提供的DNS服务进行策略解析对外发布,根据用户所在网络情况来指定最佳网络IP就近接人,如图2所示。
三、业务系统安全加固准备。部署前端网页防火墙设备,采用反向代理技术进行多域名对公网IP地址,节约地址资源,如图3所示。在搬家后关闭所有对外远程端口、提升密码强度、指定严格访问IP及操作控制权限、运行64位windows2008操作系统版本。使用平台自带的趋势防病毒底层杀毒软件和服务漏洞补丁修复系统,不需要安装服务器中再安装杀毒或补丁修复软件等浪费性能资源。
四、备案信息变更准备。由于前期备案在本省其他城市运营商注册,在变更过程中涉及系统平台主体更换、域名证书重新生成等具体事项。需要在搬家前将域名注册账户进行过户,变更域名证书所有权,在云服务平台所在地电信、移动、联通公司进行备案成功后,随后在盐城市电信公司取消备案。该步骤将需要在正式迁移前完成,备案必须在工作日,且要考虑预留三天左右的时间待备案流程结束,否则会造成未备案或备案主体不正确被封闭80端口无法使用。
五、系统平台及数据迁移准备。迁移整体计划采用“软搬家”方式,将网站软件、后台数据、域名迁移到云服务网络中。首先将前台软件部署到虚拟服务器中,最重要的是对后台数据库的数据进行迁移。因为涉及到后台数据量约有200 GB,方案中是采用夜间暂停前台数据读写操作,后台一次性拷贝至新数据库中。在数据备份完成后立即开启云服务平台中的前台服务,再进行正常的业务读写操作,正式迁移到云服务平台中对外提供服务。
4结论
在农产品质量安全追溯平台迁移后,团队经过多次测试,由于带宽资源、计算资源充裕,用户浏览、数据上传国内用户基本能达到1.6-2.4Mb访问速度,延迟从原先的50-100ms改善至10-40ms,在2015年期间至今没有出现计划外的服务中断故障。并发数峰值用户最高达到400人次操作上传,在抗压性测试中,并发1000用户时候系统服务均正常运行。在大数量传输测试中,在外网不同地区分别5次上传1GB文件时间约为20分钟左右,上传稳定成功率高,稳定运行至今。由于利用了单位现有的云服务中心现有的线路与虚拟服务资源,节约硬件投资45万,节约线路带宽投资每年6万元。通过农产品质量安全追溯管理平台的云网络服务研究和应用,使得我们通过这个案例对今后业务系统的建设推广上有了更多的经验和借鉴意义。