我院信息系统高可用性建设探索与实践

张琼瑶

摘要：高可用性建设对医院信息系统的重要性不言而喻。各个业务系统对高可用性的需求各不相同，甚至同一业务系统在生命周期的不同时期需求也各不相同。该文总结分析了我院十多年来信息系统建设的不同时期高可用性建设方案及实施经验，说明只要抓住了“不停、不丢、可恢复”这个关键目标，就能随着技术和应用环境的不断发展，选择最合适的建设方案，建设好具有高可用性的医院信息系统，为其他医疗机构的建设提供借鉴参考。

关键词：医院信息系统；高可用；集群；虚拟化；云计算

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2017）13-0048-03

1概述

福建省立医院是省卫计委直属单位、非营利性三级甲等综合医院。创建于1937年，是福建省最早创办的中国人管理的公立医院。现如今院本部年门诊量达到200多万人次，住院量达到8万多人次，年急诊量达到25万人次。医院的信息化建设伴随及促进医院的发展，目前已建成HIS、PACS、EMR、CIS、集成平台、CDR、掌上医院……等系统，基本实现以电子病历为中心的医院信息化建设。本文回顾这10多年来我院在信息系统可用性建设方面的探索和实践历程，总结相关的经验体会，希望为其他医院的同行提供借鉴及帮助。

高可用性建设对医院信息系统的重要性不言而喻。各个业务系统对高可用性的需求各不相同，甚至同一业务系统在生命周期的不同时期需求也各不相同。总结这么多年高可用性建设的经验，高可用性建设就是要做到“不停、不丢、可恢复”。“可恢复”就是要确保无论发生什么情况，要做到业务系统在容忍的时限内可恢复运行，这是高可用性建设的底限和基础；“不丢”就是说要通过各种技术手段保证业务数据不丢失或者丢失程度控制在业务可承受的范围内；“不停”是指通过技术手段确保业务系统不停机（中断）或者使得业务应用操作人员察觉不到中断，业务操作不受影响。

下面将介绍我院在不同发展阶段，对高可用性建设进行不同考量和取舍所进行的探索和实践经验。

2高可用系统建设方案及实施情况

2.1单中心阶段

2000年，我院只有一个中心机房。医院信息系统是以HIS为主的收费系统，医院对信息系统的依赖程度还不高，信息化处于发展初期阶段。从“不停、不丢、可恢复”角度来分析当时的情况如下：“不停”需求：对HIS系统有不停机需求，但认识主要局限在服务器（系统或硬件）故障对业务所造成的影响上。“不丢”需求：需求不迫切，还没充分认识到其重要性。“可恢复”需求：发生在兄弟医院的案例，使得大家深刻认识到备份的重要性，建立了集中备份系统。此时医院信息系统的拓扑如图1所示。

如图1，以HIS为代表的核心业务通过共享磁盘阵列建立了双机集群系统，以预防服务器故障造成业务中断；建立了集中备份系统，通过集中策略将各个业务系统的业务数据备份到磁带库等备份设备，确保必要时能够通过备份恢复使得业务系统恢复运行。

2.2双中心阶段

2007年，我院信息系统建设已经有了长足进步，已经以HIS为核心建立起了LIS、RIS、EMR、超声、病理、胃镜、麻醉、体检、合理用药等系统。随着医院新病房大楼的启用，我院为信息中心配备了一个新机房，为双中心建设提供了必要条件。当时的情况分析如下：“不停”需求：信息化的不断深入使得医院深刻认识到了以HIS为代表的核心业务“不停”的重要性，并且逐渐认识到不仅服务器，网络、存储以及机房环境等也是“不停”的重要影响因素。“不丢”需求。随着对信息系统依赖的增强，医院已经意识到“不丢”的重要性，开始探讨如何才能做到“不丢”。“可恢复”需求：现实发生的“血的教训”使得医院认识到“可恢复”不能仅停留在备份上，日常的演练以及一个可恢复的环境是同等的重要。

经过信息中心详细的考察和论证，选择了基于“卷镜像”的园区集群的架构来构建医院的信息系统。此时医院信息系统的拓扑架构演化成如图2所示的架构。

如图2所示，医院主要核心系统基于院内的两个中心机房，在每个机房分别部署网络、服务器、存储阵列，通过存储镜像软件+集群软件实现园区集群。经过近十年的系统运行，这种园区集群架构历经考验，成功保证我院实现信息系统“不停”的目标。

2.3虚拟化阶段

从2010年开始我院通过近一年的测试和试用，2011年医院决定在生产系统中引入虚拟化。经过一年多的生产实践，医院发现通过虚拟化，将原来单机运行的业务服务器虚拟化后，虽然通过虚拟服务器的集群功能可以实现物理服务器故障时将虚拟服务器自动迁移到其他正常的服务器上继续运行，提高了业务系统的高可用性，但是虚拟服务器所依赖的存储是单点故障，一旦存储发生故障，依然会造成业务中断，且通过虚拟化后会同时影响多个业务系统的正常运行，客观上放大了故障的影响范围。2012年系统所面临的情况分析如下：

1）“不停”需求：服务器经虚拟化形成集群，原单机运行的服务器迁移到虚拟集群后，利用集群自动迁移的功能，可以提高原单机服务器的高可用性。但虚拟集群所依赖的存储仍然是单点故障点，存储故障将严重影响医院业务的正常运行。2007年医院上线的PACS系统影像文件已超过100TB，且其存储设备已经到了更换生命周期。影像存储设备的更换将面临海量文件迁移的任务，如何确保在PACS系统运行不受影响的情况下完成新旧设备的更换成为保障医院“不停”所需解决的新问题。

2）“不丢”需求：园区集群的实践证明了通过卷镜像功能，可以较好地降低存储阵列故障所造成的数据丢失的风险。医院需要在虚拟集群中采用类似技术满足虚拟服务器“不丢”需求。

3）“可恢復”需求：一方面虚拟化环境对传统的备份方案提出了新的挑战，传统的物理服务器的备份方案无法满足虚拟服务器恢复的需求，需要采用全新的虚拟化备份方案和技术。另一方面，虚拟化环境完美解决了医院对备份恢复环境的需求以及对恢复演练环境的需求。

改造完成后系统的拓扑如图3所示。

如图3所示，在二个中心机房分别部署存储虚拟化设备，存储阵列上的空间通过存储虚拟化设备镜像后再分配给虚拟服务器使用。这样确保虚拟服务器写入的数据同时存储到两个机房的存储阵列中，任一存储设备故障将不会影响虚拟服务器正常工作。虚拟服务器分级组建集群，确保高优先级集群获得更高的计算资源和更快的存储资源，满足关键业务的资源需求。

对PACS影像存储采用分布式云存储设备，满足PACS系统对存储资源的要求：1）存储空间可以简单地通过增加节点实现扩容，扩容过程无需停止PACS业务。影像文件的访问性能不会因为存储节点及空间的增加而降低；2）PACS存储无单点故障，不会因为单个节点（或部件）故障而导致影像文件无法访问；3）影像存储设备的新旧更替，只需简单地通过更换掉旧存储节点实现且无需人工数据迁移以及无需停止PACS业务；4）应采用开放协议实现对影像文件的访问，如NFS、CIFS、HTTP、bTP和HDFS。采用专门的服务器和存储构建备份系统的演练、恢复和生产应急环境。

2.4“两地三中心”阶段

2015年福建省立金山医院（南院）的正式启用，医院的信息化建设面临新的挑战，对高可用系统提出了更高需求。情况分析如下：

1）“不停”需求：医院决定南院通过2路万兆光纤与院本部连接，南院与院本部共享HIS、LIS、EMR、PACS等核心系统。要求院本部系统出现故障时，可以通过启用南院的应急系统，继续为院本部和南院提供业务服务；一旦南院与院本部出现网络中断，可以通过启用南院的应急系统，保障南院业务可以正常开展。

2）“不丢”需求：要求院本部的核心业务数据实时在南院也保留一份，两个院区数据允许的差异不超过1分钟。为了防范可能的误操作，要求南院保留的数据可以恢复到过去7天内任1分钟的状态。

3）“可恢复”需求：在南院和院本部分别独立建立备份和恢复系统。

如图4所示，在院本部和金山机房各部署一套CDP（持续数据保护）设备，由其将院本部存储陣列的数据变更日志打包、压缩、加密后传输到金山机房的CDP设备，解密、解压缩、解包后写到金山机房的应急存储设备中日志区，然后应用到数据区，使得金山数据与生产数据同步变更。一旦本部两个机房的系统均出现问题，则启用金山的应急系统，为院本部和金山同时提供业务服务.若出现金山与院本部网络中断，且短时间无法修复的情况，启用金山的应急系统单独为金山院区提供业务服务，一旦网络修复后，通过业务软件将金山的业务同步回院本部应用系统后，将金山业务重新切回院本部系统，同时恢复保护系统工作。

3云计算系统的建设思路探讨

下一步医院信息系统的建设方向是云计算，但是淘宝、京东等云平台的故障告诉我们，云计算同样也需要”不停、不丢、可恢复”，在云环境不能使用传统的思维和方法进行高可用建设性.以医院的核心系统HIS为例，分析一下在云平台理想的高可用性需求：

1）”不停”需求：下一步医院的云平台自动跨越我院现有的”两地三中心”，HIS用户无需关注其连接的HIS服务是运行于院本部或金山机房，其连接的是一个URL服务地址.在网络正常的情况，只要三个中心的任一个正常运行就能保证HIS业务正常.当两地的网络发生故障时，依赖本地资源的业务和检查等仍能正常运行，但依赖另一方的业务f如异地药房或异地检查等）者无法使用.当网络恢复后，基于云的HIS系统自动进行业务的比对和同步，无需管理人员手工进行数据同步，业务同步后系统恢复正常使用。

在云平台的HIS系统的“不停”不再是停留在可用的水平，而是要求在保证业务服务质量（如响应时间要求）水平下的可用.云平台能够自动监测业务的服务质量水平，在需要时自动申请资源进行系统横向扩展，确保业务服务质量不下降；当云平台发现服务请求减少时，自动进行系统收缩，释放富余的资源，确保系统资源可再利用。

2）”不丢”需求：通过建立跨”两地三中心”的云平台，实现HIS业务数据的自动实时分布到三个中心，并且通过云平台自动保证三个中心数据的一致性，而所有这些均对最终用户透明.今后条件成熟，若还能实现数据自动分布到公有云平台，这样就从根本上解决了数据”不丢”的问题。

3）”可恢复”需求：虽然云平台的未来描绘的非常理想，理论上不存在需要恢复的情形.但是现实是很冷酷的，云平台故障给用户造成损失的案例不绝于耳.因此，需要探讨业务应用迁移到云平台后，如何实现”可恢复”的理论和技术，确保在极端情况下医院HIS业务的正常运行具有现实意义。

为了更好利用云计算的特性，这需要我们采用全新的思维重新审视我们的业务应用，打通从调研、分析、设计、开发、测试、部署、运维的所有环节，才能充分发挥和利用云的特性为医院业务服务。

4结束语

通过10多年来建设医院信息系统高可用性的探索和实践，我们认为只要抓住了建设系统高可用性的本源，虽然环境在变，技术在变，但是目标是不变的，只要我们不断地学习和探索，一定能够随需应变，让新技术和新环境为医院服务，保证医院信息系统安全稳定运行。