广域网重复数据删除技术：数据中心的“必备”技术

特约通讯员 陈芯怡

重复数据删除技术是近年来存储行业最炙手可热的技术之一。它是一种非常高级的数据缩减方式，通过减少存储的数据量，改变数据保护方式，极大地降低了存储空间，提升了磁盘备份方式的经济性。重复数据删除被业界公认为备份技术的下一代发展步骤，是今日数据中心的“必备”技术。

随着技术应用的推广，重复数据删除技术也加入到网络行业的行列，成为广域网优化性能的一个重要工具。通过消除重复IP的流量传输，重复数据删除技术明显地提高了广域网的利用率和加速了地理分散点之间的数据传输，使得在广域网通信时能够节省宽带成本和帮助克服很多障碍。

广域网重复数据删除技术是服务于所有的IP流量传输，因此，它在各种各样的IT创新中，如服务器集中化、虚拟化和应用交付中发挥了关键的作用。此外，广域网重复数据删除技术实际上是对存储重复数据删除技术的一个很好的补充，它能为整个企业带来显著的成本节约和更好的恢复点和时间目标（RPO/RTOs），有效提高广域网的性能和数据复制、备份、恢复的可靠性。

广域网重复数据删除技术应用于各企业所在地配置的加速设备中（即广域网连接的远程站点和复制目标站点）。这些加速设备可以在合适的企业位置上实时监测IP流量传输，通过监视在广域网上传送的全部数据，可以检测到重复的信息，并且让这些信息在本地传送，而不是在整个网络上传送。随着日常使用数据的增加，这些数据量变得非常庞大，其中包括了与每个位置相关的各企业的工作数据集，这给数据的存储与传送都带来了巨大的压力。重复数据删除技术可确保各个信息数据在每个位置都只被存储一次，降低了设备的负荷，使得只要采用合适大小的广域网加速设备就能容纳几个星期或几个月的有价值的数据。

当收到外来数据包时，重复数据删除技术会在广域网加速设备配置上检测是否在目标位置存在数据的本地副本。如果有一个副本存在，那么重复的信息就不会通过广域网传送而会通过本地发送来提供数据。如果该数据被修改了，只会在广域网中传输数据的修改部分，从而最大限度地提高宽带利用率和应用程序的性能。

重复数据删除技术克服了广域网中进行数据备份、复制、灾后修复等连续性业务时所面临的一系列难题。更具体地，该技术具有以下的优点：

●加快了数据传输的速率：上面提到，重复的信息只在本地传送，而不会通过广域网重新发送，那么广域网流量传输就具备了类似局域网的速度。这是一种更先进的解决方案，可在TCP和UDP通信上缩减数据量，对于大部分的通信类型来说，这种解决方案能够显著提升性能。

●广域网效率最大化：重复数据消除技术通过清除重复信息的转移从而减少广域网流量达99%。当进行数据备份和传输时，重复数据消除技术只备份经过更改的数据，这与传统的每周或每天备份所有数据的模式形成了鲜明对比，也就意味着重复数据删除可以大量地削减需要传输的数据量。

●扩大数据中心之间的地理距离：重复数据删除技术可以减少延迟的影响，让企业可以扩大数据中心和灾后修复地之间的距离，提高运作的灵活性。

广域网重复数据删除技术与存储重复数据删除是兼容的，后者着重于提高存储量，前者则着重于在整个广域网中提供可能的最佳性能。当重复数据删除技术在广域网中应用时，企业通常可以获得10-20倍以上的性能提高，远远超过了在存储设备中单独使用重复数据删除技术所获得的效果。这可以归结于以下几个因素。

其一，当搜索重复数据块的时候，广域网加速设备通常能比存储设备提供更高的精确度。这是因为广域网加速设备是对数据的单个字节进行检验而不是对块进行检验，这能够让更多重复的数据块被发现，即使在同步复制数据流中，也能实现更佳的数据检测。此外，当重复数据删除技术在网络层中执行时，它服务于所有IP流量传输。因此，数据通过电子邮件、文件或网页作为备份和复制的一部分在广域网中被传送时，它将会立即登记作为一个访问点。换句话说，应用程序本身是不考虑数据重复的问题，所以重复数据删除技术仅仅从存储角度可能无法运行。然而，它是来自广域网上的复制数据，就这点而论，广域网加速设备将会视它为多数据运作。

其二，广域网重复数据删除技术可以以双向方式工作。换句话说，无论通信往哪个方向流动，两个位置都了解到信息并且可以利用本地索引提供信息，这能极大地提高了企业恢复数据的速度。例如，如果信息是运用某些正常操作（也就是复制/备份或简单地通过电子邮件或FTP）通过广域网往一个方向传送，则作为恢复进程的一部分再发送到对面方向时立即就可以被检测到。而不用在该位置上通过广域网重新传送一个完整的数据集，这些信息可以更高的效率和更好的性能从本地数据存储中传输。

其三，广域网加速装置也采用了其它优化技术。例如，有效负载和压缩头文件经常与重复数据删除技术一起使用，进一步减少备份和复制的广域网宽带需求。即使非重复性信息通过广域网传送，也可以配置压缩功能以获得显著的性能提高。广域网加速设备也可以减少双方数据包的丢失和抖动等情况所带来的影响，这种情况发生于当路由器连接超额、掉线或者数据包的再请求时，同时还可以通过网络加速功能去解决不同的通信类型的固定延迟，比如TCP加速。另外，广域网加速装置采用服务质量（QOS）技术也可以用于区分流量传输的优先次序和为关键业务分配必要的宽带，例如数据复制。

当传送和存储数据时，节省容量和提高性能的最有效方法是消除多余的信息。重复数据删除技术在广域网加速设备中配合其它广域网优化技术一起使用时，可以进一步达到以下的优化效果：

●满足并超越恢复时间目标（RTO）

●提高恢复点目标（RPO）

●避免昂贵的广域网宽带升级

●避免在分配窗口里备份和复制任务没有完成时出现的数据库同步化问题

●管理广域网的容量以便更好地处理高峰负荷、紧急应变、业务增长等问题

重复数据删除技术是一项被证实了的能够提高性能、可靠性、数据备份和恢复效率的技术。它对网络和存储行业都产生了重大的影响，通过在存储备份和广域网传送领域中应用该技术，可以更好地改善数据中心中数据保护的过程。

参考资料：

www.silver-peak.com