EMC存储快照功能分析

段 勇

(天津海河传媒中心 天津 300072)

0 引言

随着信息时代的到来，科技的进步推动着广电行业的技术革新，节目制作的方式与计算机网络技术的联系越来越紧密，虚拟化、5G、4K等高新技术越来越多地被应用于电视节目制作。云架构的非编制作网是节目制作的主要工具，而从网络架构上来讲，存储是非编制作网的核心，媒体文件、包装素材和数据库信息都保留在存储上。因此，存储的读写速度和安全性就成为了重中之重。天津广播电视台的新闻云系统和综合云系统均部署了EMC公司的Isilon x410集群存储，多节点的冗余设计保证了读取的带宽和数据的安全性，SnapShot(快照)机制更是在逻辑层面提高了保险系数。下文将对Isilon x410存储的安全机制、SnapShot的数据保护机制和系统运维中的情况加以论述。

1 SnapShot快照机制保障数据安全

天津广播电视台的新闻云和综合云系统均部署了EMC公司的Isilon x410集群存储，由11个存储节点组成，设计为8+3的冗余模式。11个存储节点内部由infiniband交换机级联，保证数据和冗余校验信息在节点之间交互，每个节点都可通过万兆光纤线连接核心服务器和站点，提高了访问速度，也在硬件层面上保证了数据的安全性。SnapShot快照镜像机制则在文件系统层面对数据形成保护，避免了人为误删除操作和数据交互时的错误信息。

1.1 Isilon存储的快照机制

EMC的OneFS体系中SnapShot快照就是在集群存储的特定位置存放数据的逻辑指针，它指向集群上所有的数据目录及其子目录[1]。如果集群存储中的数据被修改，即用户对数据进行读/写/删等操作，则 快照文件所对应的物理副本也会被修改。快照文件的创建规则是OneFS系统(集群存储管理系统)自动生成或用户根据实际使用情况预先设定好，若要创建和管理快照，则必须在系统中激活SnapShotIQ(快照管理模块)授权，但部分应用在不激活SnapShotIQ的情况下也可正常运行，只不过无法启用数据恢复功能。通常在集群存储中的快照文件是系统自动创建的，且根据预设的Operation Jobs(系统作业)可自动删除，节省磁盘空间。每一个快照文件都由OneFS自动分配数字标识符。

OneFS快照具有高度可扩展性，通常只需不到1s的时间即可完成创建，且无论文件系统是什么级别、数据和目录是什么量级都不会过多消耗磁盘和网络资源。相对于传统的拷贝方式备份数据，快照文件是引用数据的指针，并不是实体文件的1∶1拷贝，更新快照时仅记录数据文件的变化量，从而保证了高效的备份效率和存储利用率。只有当数据发生改变时，如删除、修改、重命名等，快照文件的大小才会发生变化，快照将存储原始数据的只读副本。用户通过访问隐藏目录/.snapshot来读取快照文件。数据从一个物理设备迁移至另一个物理设备所需的时间取决于所迁移的数据量，同时快照文件是即时创建的，以保证数据的绝对安全。应注意快照是针对数据指针进行操作，如果由于硬件故障或文件系统故障导致数据丢失，则快照不能用于恢复数据。因此，快照机制只对文件系统层面之上的数据安全有效[2]。OneFS系统针对不同场景的数据变化使用CoW(写时复制)和RoW(写时重定向)2种策略来实现差分快照功能，并根据数据的变化方式动态选择最优解决方案。CoW应用最为普遍，主要用于少量数据变化，而RoW 则是在数据删除和大量顺序写入的过程中获得最大收益。

快照机制的优点有：①快照是在目录级别而不是卷级别创建的，因而备份的颗粒度很小；②支持Windows卷快照管理，Windows客户端可以恢复到之前的版本；③OneFS系统中不需要为快照分配空间，快照机制可以根据数据的变化量使用尽可能少的文件系统空间；④OneFS采用灵活的策略和计划任务可以轻松管理快照；⑤使用SmartPools(智能存储池)可在物理磁盘上同时存储快照和原始数据；⑥每个目录最多可以创建1024个快照，且没有存储或文件系统的限制。

天津广播电视台新闻云和综合云系统的Isilon存储都启用了SnapShot快照功能，可自动备份存储中被修改的文件的物理副本，同时在计划任务中设定快照文件的生成和删除任务，预设为每日22：00自动删除原有快照文件。当存储上的数据发生更改时又会创建一个新的快照文件，如图1和图2所示。

图1 SnapShot快照文件Fig.1 SnapShot file

图2 Operation Job计划任务Fig.2 Operation Job schedule tasks

1.2 快照的管理

1.2.1 创建快照文件

可以使用SnapShotIQ来创建快照，也可以手动创建快照文件或通过预先设定的快照计划来自动创建。用户可以运行isi snapshot schedules create命令来创建一个快照计划，同时可以运行isi snapshot snapshots create命令创建一个快照文件。这里需注意快照计划中快照文件的生成频率必须间隔24h[3]。天津广播电视台的新闻云和综合云系统均设置为根据快照计划自动创建快照文件。每晚22：00进行文件分析作业，然后删除上一个时间点的快照文件，再创建一个新的快照文件。

数据采集模块采集制造数据并存放在扩展名为.log的文件中。在进行离线分析时，首先要对文件进行分析，提取出关键参数并存放到数据库中。文件部分格式如下：

1.2.2 快照文件的管理

根据实际业务需求，一般来说参照存储的应用类型、使用频率和网络带宽等因素，用户可以对快照进行查看、删除或修改名称、别名和持续时间等属性。但由于快照文件是只读属性，不可以修改快照所包含的任何数据。

快照文件的大小指的是释放存储空间量的上限值，当同一个目录或文件生成了多个快照时，若只删除一个快照并不能释放预期的存储空间，只会删除当前快照所占的很小一部分空间。若要全部释放存储空间，必须删除此目录生成的全部快照文件。我们知道快照文件保存的是目录的改变情况，但如果用户删除目录再重新创建，就算新创建的目录和之前的目录没有变化，快照文件也将记录此次数据改变情况，并且是整个目录的改变。同时在存储空间的释放量上，删除同一个目录的多个快照比不同目录的多个快照要大。针对同一目录生成的快照文件，删除时间点较早的快照文件更能释放存储空间。删除快照文件可以通过SnapShotDelete作业(快照删除作业)来进行，即通过运行isi job jobs start snapshotdelete命令来执行。也可以手动删除特定快照，即通过运行isi snapshot snapshots delete +快照名的命令来执行。

查看快照文件可以通过运行isi snapshot snapshots list命令实现，输出内容包括快照ID、快照名称和快照路径信息。若要查看用户指定快照的详细信息，则可以通过运行isi snapshot snapshots view +快照名的命令来实现。

1.2.3 快照数据的恢复

用户可以通过快照目录来恢复数据，可以克隆和拷贝快照目录中的文件，可以通过Windows资源管理器或Unix命令来访问快照目录。我们可以在特定目录创建SnapRevert(快速恢复)域，然后运行isi snapshot snapshots view命令来查看快照信息，最后运行isi job jobs start snaprevert–快照ID命令来恢复快照。

我们可以从快照中克隆文件，首先通过任意节点的SSH(安全shell)协议连接到集群管理系统，然后通过“cd”命令进入快照所在目录和通过“ls”命令查看快照内容，最后通过“cp”命令拷贝所需文件。

1.2.4 快照文件的删除

1.3 快照计划的管理

快照计划是OneFS系统管理快照文件的有效手段，可设定快照文件的生成时间、命名规则和删除机制。对快照计划的任何更改仅对新创建的快照文件有效，不会影响现有快照。我们可以对快照计划进行修改、删除和查看操作。

1.3.1 修改快照计划

对快照计划的修改只会影响之后生成的快照文件，不会对当前快照文件产生任何影响。例如当用户修改了快照计划的别名后，则此别名会分配给新生成的快照文件使用，而不会改变之前快照文件的别名，之前的快照的别名可以手动修改。我们可以通过运行命令isi snapshot schedules modify来对快照计划进行修改，包括删除快照文件的期限等信息。

1.3.2 删除快照计划

首先明确的是删除快照计划不会影响快照文件，不会删除在此快照计划之前生成的任何快照文件。我们可以通过运行isi snapshot schedules delete命令来删除快照计划。

1.3.3 查看快照计划

用户可以通过运行isi snapshot schedules list命令来查看快照计划的属性，包括快照计划的ID和名称。也可以通过运行isi snapshot schedules view命令来查看特定快照计划的详细属性。

1.4 快照别名的管理

日常运行维护操作中用户可以通过对快照计划的配置来分配别名给最新的快照文件，当然也可以手动分配别名。

1.4.1 配置快照计划中的快照别名

如果配置快照计划的别名，则此别名只对新生成的快照文件起作用，对此时间点之前的快照文件无效，我们可以通过运行isi snapshot schedules modify命令来实现。

1.4.2 为快照分配别名

可以通过运行isi snapshot aliases create +别名的命令来实现。

1.4.3 查看快照别名

用户只能使用CLI(命令行界面)来完成，通过运行isi snapshot aliases list查看快照别名列表，然后运行isi snapshot aliases list命令来查看特定的信息。

1.5 SnapShotIQ配置

在SnapShotIQ配置中用户可以选择快照的创建方式和访问快照文件的方法。可以通过运行isi snapshot settings view命令来查看SnapShotIQ的配置，然后运行 isi snapshot settings modify命令配置SnapshotIQ设置。

2 结 语

天津广播电视台新闻云和综合云已经稳定运行了4年，Isilon存储在数据的稳定读写和安全性上均表现良好。快照机制有效保障了数据的安全性，且快照计划的自动化管理也使得存储空间得到了合理利用，由于无需过多的人工干预，从软件层面上彻底避免了数据丢失的情况发生。文章详述了Isilon存储的快照保护机制，供相关行业专业技术人员参考。