新一代信息技术趋势下数据迁移的研究分析

董海波

摘 要 本文通过对大部分系统构建平台数据迁移的调研，对数据迁移的成功和失败案例进行分析，结合新一代技术的发展规律，阐述了数据迁移的原则、方法和校验方法，为今后金融信息化管理系统构架设计提供了坚实的理论依据。

关键词 数据迁移;信息技术;数据库

当今世界信息技术飞速发展，大数据、物联网、人工智能等信息技术的融合发展日趋成熟，性能不断提升，成本不断降低。在飞速发展的趋势下数据迁移工作就显得格外重要。经过大量的数据迁移工作调研中，发现一些共性问题。首先是不坚持数据迁移原则，虽然在整个过程中去的数据迁移顺利完成，但经过一段时间的系统工作发现所迁移的数据不标准且无法修复，导致数据迁移不法正常使用和迁移工作失败。其次是数据迁移的方式方法选择不正确，迁移工程完成后数据迁移校验过程不完善，最终导致数据迁移失败。

1数据迁移原则

数据迁移应遵循一致性、完整性、标准化原则。

数据迁移应遵循一致性原则。对重构或新建的系统保障系统之间业务功能数据衔接应完全一致。在新部署模式下导入系统的数据与原始数据保障一致性;替换模式下新老系统同步运行需要保障系统数据集成完整一致。新加入的子系统之间的数据保障一致性。业务数据与统计数据一致性保障，在迁移的核心业务数据基础上，迁移必要的历史数据，以满足统计决策数据统一性要求。

数据迁移应遵循完整性原则。迁移的数据应包含结构化的数据库系统数据和非结构化的文件系统数据，应包含电子档案库的图形文件信息、电子文件系统数据和存储于数据库中的各种办公业务数据及其他相关的各种数据。

数据迁移应遵循标准化原则。数据迁移应提前设定对应标准，保障数据迁移过程高效有序进行，规范的数据迁移过程对提高数据质量是必不可少的首要条件。对应的数据迁移标准应包括：数据对照标准、数据的转换标准和中间文本的标准，提前制定并在迁移过程中严格依据标准实施。除指定对应的迁移标准外，还需要制定数据问题解决机制及流程，规范数据清理、数据问题反馈机制，将有效提高数据迁移的质量[1]。

2数据迁移方法

数据迁移前要做好充分的准备工作。首先考虑到新旧数据库系统不同，整合新数据库与原数据库要考虑使用不同的脚本将原有数据库表数据迁移到临时数据库才能做下一步的迁移工作;同时应充分考虑到新旧数据库表结构是否一致，需要分别设计不同的迁移程序和执行方案以确保数据顺利迁移到新系统。其次，数据迁移过程中必须充分考虑数据迁移的相关内容和相关流程，尤其是需要特别关注元数据中数据字典的归纳整理、原始数据的数量和质量分析检测、迁移后的数据字典分析整理、迁移前和迁移后数据内容和质量的差异梳理分析监测、建立数据迁移前后的映射关系、部署梳理数据转换和迁移的任务工作流程、制定应急处理方案、实施数据转换与数据迁移工作、检查迁移数据的完整性与正确性。经过调研分析现有的方法共分为三种，分别是工具迁移、手工录入和新系统生成。工具迁移是指利用特定便携的程序等手段，将原系统中的数据经过分析梳理归纳，转换并抽取到新系统。数据迁移程序可以选择现有市面中成熟产品，这样做适用于数据无特殊要求的。也可以自主开发的迁移程序，实现个性化的数据迁移。手工录入是指人为手工录入数据到新系统中。手工录入既消耗人力、物力，同时人为操作的出错率也很难降低，不建议采纳使用。手工录入主要应用于原系统数据量小，且使用其他方法迁移数据的特殊状态。手工录入往往是为工具迁移而无法完全迁移的补充方式。新系统生成是指在建设构建新的系统时提前构建便携了相应的数据生成功能，或为数据迁移工作配套建设了相关数据，根据数据迁移的需要来生成所需的信息。新系统生成方法使用是有前提的，原始需迁移数据能够通过其他数据产生。此方法多用于统计分析数据的迁移，或对原系统中统计分析数据的迁移校验[2]。

3验证数据迁移方法

通过归纳总结，数据迁移方法的验证主要有两个途径，途径一是数据试迁移后对数据的质量进行分析;途径二是数据试迁移后在测试环境执行动态查询、报表统计、业务操作来检查數据抽取、迁移的方法是否正确。通过对迁移流程、工具、方式进行多次测试，反复进行，发现问题，解决问题，直到数据质量比对完全正确，测试环境业务操作、查询和报表统计功能准确无误。

（1）数据进行质量分析。数据迁移前必须进行数据的质量监测分析，即通过数据监测抽取对数据质量践行检查，可以使用相关工具或有针对性的自行编写检查程序进行数据校验。数据监测检查的重点体现在：数据和数据结构的完整性查，数据主键和引用外键检查;数据的高度一致性，含义相同的数据在不同引用位置的数据值是否高度一致;记录条数检查;特殊样本数据的检查。（2）通过测试环境对迁移方法进行检查。数据试迁移后在测试环境进行查询、报表打印和旧系统进行核对;在测试环境运行业务功能，检查数据是否正确，重点验证静态数据是否正确;在测试环境运行业务流程，检查数据流转是否正确，重点验证动态数据是否正确。在实际工作中，通常的方法是将迁移后的数据恢复到迁移之前的数据系统前一天的状态，然后将最后一天发生在迁移数据系统上的数据全部补录到新系统，检查迁移之前系统数据是否存在不一致的情况，同时也要讲迁移后的系统数据结果进行各种比对，最终确定迁移方法的可能性。

4迁移数据验证

数据迁移完成后的首要任务是进行迁移数据的验证。首先通过数据迁移验证程序进行数据检查，检查数据迁移的完整性和真实性，使用数据迁移验证程序对新旧系统的数据表字段进行比对，确保旧系统中的字段经过迁移转换后的结果与新系统的数据表字段能够一一对应;其次使用数据迁移程序统计新旧系统中各数据表迁移数据的总记录数以及重要数据的合计数并进行对比，确保迁移数据的总条数的合计性一致，从而确保待迁移数据的完整性。

最后值得一提的是在实际的数据迁移工作中，通过对旧数据库进行分层、分类和分时备份，是预防数据迁移过程中出现意外情况的有效解决途径。

参考文献

[1] 杨洪章，杨雅辉，屠要峰，等.基于“采集—预测—迁移—反馈”机制的主动容错技术[J].计算机研究与发展，2020，57（2）：306-317.

[2] 宾璐.浅析信息系统数据迁移的方法[J].网络安全技术与应用，2020，（1）：66-67.