在存储虚拟机迁移数据

2016-11-26

网络安全和信息化 2016年3期

数据迁移是各企业单位IT建设经常面对的工作。当今数据迁移的主要难题是进行一次成功的数据迁移时间要求越来越短。然而应用在存储方面的需求不断增加，存储的升级和更替更加频繁；同时，企业的应用趋向于全年不停顿运行、对系统的可靠性、可用性要求不断提高，维护时间窗口的不断减少等因素，使得进行一次平滑的成功数据迁移越来越具挑战。某汽车制造公司在新数据中心迁移的过程中，利用多种数据迁移技术，完成了各应用系统的迁移工作。其中，基于存储虚拟机的数据迁移技术，为首次使用。

常见数据迁移技术

对于数据的迁移，目前主要采用如下五种方法：

基于主机操作系统逻辑卷镜像技术的数据迁移

基于数据库备份和恢复技术的数据迁移

基于应用层工具的数据迁移

基于磁盘阵列远程数据复制技术的数据迁移

基于存储虚拟化技术的数据迁移

基于主机逻辑卷镜像技术的数据迁移

此种数据迁移方法，主要利用业务主机操作系统内置的逻辑卷管理系统的逻辑卷镜像（LV Mirror）技术，可以保证业务数据在原有的磁盘阵列和新的磁盘阵列上保持同步，两边数据完全一致。此种方法存在如下优点：

步骤简单，容易实现，速度快；

不需要考虑到上层数据应用系统的内部的结构；

可以在线进行，只需要较短的停机时间；

但是，利用这种方法，也存在如下的问题：

在进行初始化数据同步的时候，会对在线系统的性能造成较大的冲击；

只适合部署了逻辑卷管理系统的主机，主要是小型机。

基于数据库备份和恢复技术的数据迁移

此种数据迁移方法，主要通过数据库自带的备份和恢复功能以及逻辑日志追加的技术，实现一个数据逐步迁移的方法，最后达到把数据从原有的磁盘阵列完全迁移到新的磁盘阵列的目的。本方法比较安全，当数据迁移不成功时，不影响生产系统的正常运行，但是迁移时间较长，对技术要求较高，而且需要专门用于数据迁移的一台与生产主机环境一样的主机，硬件配置可以稍低一点。

基于应用层工具的数据迁移

此种数据迁移的方法，利用一些第三方的工具实现数据迁移，如文件系统层面实现的Veritas的VVR，虚拟化平台层面实现的VMware vMotion等。这些方法都是特定应用的针对性工具，对特定应用比较好用，但需要满足一些前提条件，如Veritas的VVR只能基于VxFS文件系统上的卷复制，对于其它的文件系统或raw device，则无法使用。

基于磁盘阵列数据复制技术的数据迁移

此种数据迁移方法，可以在同一个磁盘阵列内通过基于磁盘阵列的克隆软件或卷迁移软件实现数据复制，完成数据迁移。可以实现在两套磁盘阵列之间的数据迁移，并且此种方法不占用主机资源，对应用透明。但是源磁盘阵列和目标磁盘阵列必须是同一厂家的同一系列的产品，而且迁移过程对生产系统有一定的性能影响。

基于存储虚拟化技术的数据迁移

基于存储虚拟化技术的数据迁移，主要是解决异构存储间海量数据迁移难题。该技术继承了存储层进行数据迁移的应用透明、迁移效率高的优势，与此同时在虚拟化基础上将原来不能完成数据复制的存储设备整合在一起，形成统一存储池，这时物理上在两个磁盘的数据卷之间的迁移，在逻辑上来讲是在整合虚拟后的同一个磁盘阵列内卷迁移。由于不涉及主机的任何设置修改，实施比较简单,迁移速度非常快。此数据迁移技术方案示意图如图1所示。

图1 常见的基于存储虚拟化的数据迁移方案

图2 基于VSM存储虚机的数据迁移技术原理

但是，这类数据迁移方法的前提是需要对原有存储实施虚拟化，涉及存储路径的改变，主机对存储LUN的重新识别，因此存在业务停机窗口，无法实现不停机数据迁移。

总体上，基于主机逻辑卷镜像技术的数据迁移、基于数据库备份和恢复技术的数据迁移、基于应用层工具的数据迁移都属于基于主机服务器层的迁移技术；基于磁盘阵列数据复制技术的数据迁移、基于存储虚拟化技术的数据迁移都属于基于存储层的数据迁移技术。

基于存储的数据迁移是一次性的将数据从一个存储转移到另一个存储系统上，它包括对新存储的启用和数据可用性的保证。在一些情况下，基于存储的数据迁移是进行数据大集中的手段，非常适合大规模数据迁移需求，因此被许多数据迁移项目采用为主要迁移手段。

基于存储虚拟机的不停机数据迁移技术及迁移方案步骤

这种数据迁移技术基于创新的存储虚拟化技术——Virtual Storage Machine(VSM)虚拟存储机技术。这种技术创造性地将服务器虚机的概念引入存储，在一台物理存储内允许用户按照业务和应用的要求定义多个Virtual Storage Machine(VSM), VSM与一台存储类似，具备自己的存储ID，设备序列号和端口WWN，通过VSM的定义，能虚拟化一台物理的存储阵列，因此，服务器不会察觉到所使用的资源实际上是分布在不同的存储设备中。

借助虚拟存储的技术，数据源存储设备的ID被完整地复制到数据目标存储设备上，而服务器无法察觉存储设备物理身份的变化，这一过程对任何操作系统、虚拟机监控程序，服务器、服务器的路径管理软件，服务器集群软件以及存储网络连接等都是透明的。具体原理如图2所示。

接下来，具体阐述利用VSM虚拟存储技术进行数据迁移的具体步骤。

如图3，原存储（ID:#175 00）上的数据，比如SCSI标识为10:00的LUN上的数据迁移到目标存储（ID:#20700）的SCSI标识为22:00的LUN上。目标存储具备VSM虚拟存储功能。

第一，利用目标存储的VSM功能，在目标存储上创建一个与原存储具备相同标识17500，包括设备及FC网络标识的VSM设备；

第二，利用传统的卷虚拟化功能，将目标存储上的LUN 22：00在VSM 17500上创建一个虚拟卷，LUN ID与原卷10:00一致，但物理空间是目标存储的LUN 22：00；

图3 基于VSM存储虚机进行数据迁移步骤示意图一

图4 基于VSM存储虚机进行数据迁移步骤示意图二

第三，将目标存储和目标卷与主机建立路径，作为同一逻辑路径下的物理备路径，主机感知路径无改变，I/O无影响；

第四，建立原卷LUN10:00与目标卷的LUN22:00的数据同步关系，运用的技术是传统的卷复制与拷贝技术；

第五，待数据同步完毕，原卷LUN10:00与目标卷的LUN22:00的数据完全一致，断开主机与原存储的连接，I/O的逻辑路径依然没变，实质上是把主路径由原路径切换为之前的备路径：主机与目标存储之间的路径，因此，这种切换对业务无影响，数据迁移完毕。

北宋初，会稽云门寺僧、宋真宗赐号“海慧大师”的仲休作有诗集《天衣十峰咏》。其诗集名可证北宋人仍确知天衣峰(法华山)而不是秦望山有十峰。可以参考陈桥驿，绍兴地方文献考录〔M〕，杭州：浙江人民出版社，1983，84。

四、五步骤可见图4所示。

以下是对各数据迁移技术的对比评估。

卷镜像迁移方案

较短的停机时间；可以根据业务情况，LUN级别，可灵活控制拷贝速度；需要消耗较少的主机端资源（文件系统层次镜像），业务高峰时性能下降>10%；完全采用系统管理员熟悉的文件系统命令，难度很小且易控制。

Oracle Standy by方式备份和恢复

停机2次；速度和性能中等；需要消耗一定的主机端资源（数据库层次log）；实施难度取决于对数据库的熟悉程度（注意数据库的no log操作）。

磁盘阵列复制

停机1-2次；速度较快，但不能灵活调节；需消耗阵列的控制器能力和大量缓存资源；主机IO需增加一定的时延，若在同机房迁移则影响较小；需仔细规划，确保阵列和主机之间的数据完整性；迁移结束后测试验证可回退性差。存在安全隐患，实施案例很少。

VMware Storage Vmotion迁移方案

停机2次；速度可控；需要占用5-10%的主机系统资源；实施难度取决于数据迁移服务人员实施能力。

存储虚拟化+卷同步

停机1次，迁移完成后的I/O切换速度很快，非常灵活；不消耗任何主机资源，需消耗阵列的控制器能力和大量缓存资源；主机IO需增加微不足道的时延，总体在2ms内；需要将外部存储FC端口和目标存储逻辑连接，以便能识别和虚拟化外部存储的LUN。然后通过卷迁移将外部存储的卷在线迁移到目标存储内部。每一步需要手工操作，无法脚本自动化。

基于VSM的数据迁移

无计划停机时间，可全部在线实施；速度很快，非常灵活；不消耗任何主机资源，需消耗阵列的控制器能力和大量缓存资源；主机IO需增加微不足道的时延，总体在2ms内；需要将外部存储FC端口和目标存储逻辑连接，以便能识别和虚拟化外部存储的LUN。之后具体迁移操作可近自动化操作。原存储上的其它配置也自动迁移到新存储上，大幅减少了实施工作量。

数据迁移项目实践及效益评估

数据迁移项目实践

某汽车制造公司现有各种数据类型及特点的应用系统。如公司最核心的业务SAP系统，全年无休的商务CRM系统，非结构化数据的workspace系统，大数据量的数据仓库系统，基于VMWare虚拟化构架的应用系统。

方案选择

在各类应用系统中，SAP系统是公司最核心的应用系统，包含了企业运营最重要的数据，同时也是数据量较大的一个系统。SAP系统约有6TB的数据，在原有的存储上分配了15个LUN。类似CRM系统这种公司商务领域最重要的系统，总计约有5TB的数据，但应用的特性决定了该应用是不允许有停机时间的。如数据仓库系统这种数据量最大的分析、决策型系统有约10TB的数据。数据量决定了数据迁移的效率要求。

根据这几类系统的特殊性及业务要求，选择基于VSM技术的数据迁移方案完成了数据迁移，相比较传统的数据迁移方案来说，VSM的优点在于迁移过程中，应用系统是几乎感知不到的。同时，也减少了约16-20小时的迁移时间和近90%的迁移工作量，并且降低了因停机导致的业务中断及数据错漏的风险，降低了因迁移对业务使用造成的性能影响，确保了整个数据迁移的安全、高效。