数据快速传输技术的探索

赵千里，胡莹莹

（国家无线电监测中心，北京 100037）

数据快速传输技术的探索

赵千里，胡莹莹

（国家无线电监测中心，北京 100037）

近年来，无线电监测数据量呈井喷式增长，而数据传输手段仍沿用着20世纪70年代诞生的TCP/IP协议，由于其固有机制问题，TCP无法充分利用带宽网络，在数据包丢失和延迟严重的网络上更无法提供可靠高效的数据传递，而一种新的传输技术Fasp™优势明显。

TCP/IP协议；数据传输；Fasp™协议

1 引言

随着无线电监测手段的复杂化、多样化，非结构数据也在无线电行业爆炸式增长，大量数字信息需要快速且可靠的传输。然而，于20世纪70年代诞生的互联网底层传输TCP协议已经俨然跟不上网络和数据的传输要求。TCP无法充分利用现代化的高带宽网络，更无法在数据包丢失和延迟严重的网络上提供可靠高效的数据传递。

TCP吞吐量瓶颈的根源在于速率控制机制，在该机制中，发送方需要确认每一个发送至接收方的数据包。如果某一接收确认因高网络延迟或数据包丢失而未准时返回，发送方即认为相比接收方的处理能力其发送速率过快，因而大幅降低速率并缓慢恢复。结果，传输速率减慢到像是在爬行，而现代化的高带宽通道没有得到充分利用。

而一种新的传输技术Fasp™，摒弃了TCP对速度控制和可靠性的捆绑，采用独特的专利方法使传输速度达到接近满带宽的最大值，且不影响对拥塞的回避，实现了理想高效和对带宽的充分利用。其吞吐量不受洲际WAN、卫星、Wi-Fi、蜂窝连接上出现的网络延迟和极端数据包丢失的影响[1]。其传输时间比标准FTP快数百倍且可预测性强，不受网络条件影响。

2 Fasp™传输效果验证

Fasp™的底层技术应用，替换了传统的TCP传输协议，具有内置的、完整的安全性，包括连接节点安全验证，传输中数据加密及数据完整性验证。它彻底克服了TCP固有瓶颈，实现了在各种共享和私有网络环境中传输速度的最大化。这种技术可以获得完美的传输效率，不为网络延迟和丢包所限制。并且，用户享有对传输速度以及不同传输流之间带宽共享的无以伦比的控制。不管网络距离和动态性能如何，即便是在最困难的网络条件下（卫星、无线和洲际远程链接），文件传输时间仍然可以得到保障。它可以灵活地部署在C/S或B/S构架的应用上，并利用普通的IP网络最大限度地利用带宽进行高效传输。同时，它也有着极好的跨平台性，支持几乎所有的主要操作系统。该软件同时也包含一种文件接力技术，使得在传输大量极小文件时，其效率与传输单个大尺寸文件有着相同的效率与速度。

为测试验证Fasp技术和TCP的传输差异，选择连接服务器（Connect Server）如图1的方式进行验证[2]，通过网页浏览器插件下载资源站点国际生物技术信息中心服务器NCBI (National Center for Biotechnology Information）提供的数据源。

图1 服务器、浏览器插件测试验证Fasp传输速率

用传统基于TCP/IP协议的下载工具（IE浏览器自带下载工具）下载速度测试。测试结果如图2所示，可以看到其下载速度为每秒600KB左右。按笔者网络50MB双链路来算，其利用率只占到了整个网络带宽的0.6%左右。

图2 TCP/IP协议下载速度

之后，用Fasp协议的下载工具（Aspera Connect客户端）下载相同文件进行速度测试，测试结果如图3所示。可以看到其下载速度为每秒65MB左右，按笔者50MB双链路来算，其利用率占到了整个网络带宽的60%左右。

图3 Fasp协议下载速度

3 几种传输技术对比

如何提高广域网中海量数据传输的速度是一个被广泛关注的问题，工业界和研究机构都试图用不同的方法来提高传输速度。一般来说，已知的不同于Fasp的解决方法可以被归为：基于TCP/IP协议的优化；基于UDP的加速。

3.1 基于TCP协议的各种改进

（1）早期的TCP协议

传输控制协议（TCP）在理想条件下可提供可靠的数据传递，但它存在着一个固有吞吐量瓶颈，随着远距离WAN上出现的数据包丢失及延迟增加，该瓶颈则变得更加突出且严重。吞吐量瓶颈的根源在于TCP用于调节其数据流速率的机制，标准TCP无法区分数据包丢失背后的原因对文件传输速度所造成的严重后果。带宽利用率和不稳定传输速率的波动可导致不可预测的传递时间，甚至是传输失败，造成无法按时完成关键业务，从而需要昂贵的传输监督和冗余。

（2）修改TCP/IP协议栈

对已有TCP/IP协议栈进行参数优化是一种比较常见的加速方式。这些加速方法通常会通过调整协议栈参数从而使TCP可以维持更大的发送窗口，并且有选择性的报告丢包以防止TCP在一个往返时间内速率下降过多。一些更高级的机制直接修改TCP的速率控制机制，譬如，这些“高速”TCP协议通常在丢包的时候速率减少更缓慢，而在无网络拥塞的时候速率增加更快。但是，因为这些协议并没有改变TCP根本的基于丢包的速率控制，所以只能在丢包比较小的情况下充分利用带宽，而在丢包比较严重的情况下带宽利用率仍然极其低下。非标准的TCP/IP协议栈通常以独立的代理服务器的形式部署在数据中心或广域网链接的前端。

（3）并行TCP数据流

另一种对已有TCP/IP协议栈提供加速的方法是实施并行TCP数据流。显而易见，当单个TCP数据流带宽利用率很低时，用多个数据流可以使总的带宽利用率增加。但是由于这种简单的方法没有对TCP的速率控制机制做任何改进，所以在丢包率严重的情况下（大于10%），其性能仍然不能得到保障。打开多个数据流会大量耗费客户端和服务器端的CPU和内存资源。更严重的是，由于TCP的带宽控制是基于丢包的，所以当并行TCP获得更高带宽利用率的同时，其实际上已经在瓶颈链路上造成了大量的丢包和拥塞，以至于其余应用无法正常工作或导致其速度及其缓慢。

（4）前向差错控制

前向差错控制是（FEC）一种在广域网传输中经常被采用的技术。它的原理是在发送的原始数据之上加传一定比例的冗余码，这样当网络拥塞造成丢包的情况下可以通过校验码恢复部分原始数据。严格地说，前向差错控制并不是一种纯粹的加速机制，而只是一种可靠性手段，因其并未对传输速率有何改善。前向差错控制只能在一般丢包的情况下改善传输的可靠性，而其本身在丢包严重的情况下并不能提供完全的可靠性。前向差错控制相关的编码/解码需要耗费一定量的CPU资源，在高速网络环境中往往通过特殊硬件实现。

3.2 基于UDP协议的流量喷发

由于传统TCP传输协议的低效，以及修改TCP协议本身的复杂性，近几年，人们相应推出了一些基于UDP的传输协议，比较常见的开源协议譬如Tsunami和UDT。但这些协议并没有高质量的设计，仅仅是采用了基于UDP的流量喷发。更具体的说，这些协议通常可以保证传输的可靠性，而在此之上采用简单的速率控制来响应网络拥塞。但由于其粗糙的可靠性机制和速率控制设计，这些协议往往传输效率很低，并且会加重网络拥塞造成大量丢包，对网络中其余的TCP数据流有极坏的影响。UDT在广域网上（延迟100微秒，丢包1%）上的传输速率极不稳定。由于其过于简单的速率控制机制，传输速率在很多时候大大超过了网络已有带宽，从而造成严重拥塞。更严重的是，由于UDT可靠性设计上的缺陷，大量的网络带宽被用来反复传递重传数据。正因为UDT本身会造成大量的拥塞和网络丢包，所以在和另一个TCP数据流共享带宽时，TCP数据流的性能大大削弱，传输速率几乎降到0。只有当UDT退出时，TCP才能有效利用带宽。

3.3 Fasp高速传输协议优势

Fasp是一个新的大型数据传输协议，它以一种创新方法在应用层实现可靠性，消除了TCP的低效率丢失、处理错误以及所导致的传输速率不稳定波动。为了保证100%的可靠性，Fasp实施它自己从理论上已证明的最佳机制，该机制可准确识别并转发传输通道上的真正数据包丢失。在数据包丢失率为10%的条件下，Fasp的带宽利用率达到了90%，冗余数据负担低于1%。

与强力多流TCP方法相比，Fasp™采用单一数据流实现了理想高效率，而且并未耗尽系统资源或充斥网络。与简化的UDP数据爆破不同，Fasp具有理想的带宽效率，并且不使冗余数据充斥网络，或拒绝访问标准TCP应用。如表1展示了各种传输协议的优势[3]。

表1 fasp技术与几种其他技术传输对比

4 结束语

越是远距离、大文件，用Fasp协议传输数据越具优势。目前，Fasp以其卓越的性能已经在生命科学、媒体和游戏产业领域广泛应用。IBM已经将该技术之融入到自己的产品中，为推进其大数据的发展战略，通过Fasp技术，客户能轻松实现把数据复制到IBM的云服务中[4]。

但Fasp技术也存在着应用局限性，其传输处理对象仅限文件（file）格式，而对于实时的流数据却无能为力。所以对于无线电领域监测系统的接收机接收下来的实时流数据无法直接传输，还需要经过本地存储或处理形成固定文件之后，才能传输使用。对于涉及类似的流数据采集（比如气象的实时卫星云图，物联网传感器传输的实时数据等）还有待于基于Fasp协议新的产品。

[1] Ultra High-Speed Wide Area Data Transport: Aspera, Inc. 5900 Hollis Street Suite E Emeryville, CA 94608 USA

[2] Fasp A Critical Technology Comparison: 5900 Hollis Street, Suite E | Emeryville, CA 94608 USA | T: 510.849.2386 | F: 510.868.8392

[3] 蓝讯高速数据传输解决方案介绍．ChinaCache（北京蓝讯公司）

[4] IBM Aspera Technical Sales Mastery:IBM,2012

Exploration on the Application of Rapid Transmission Technology

Zhao Qianli, Hu Yingying

（The State Radio Monitoring Center, Beijing,100037）

In recent years, radio monitoring data shows the eruption type growth, and means of transmitting data is still using the TCP/IP protocol which born in the seventy's, because of its inherent mechanism problem, TCP can not make full use of network bandwidth, packet loss and delay serious network can not provide reliable and efficient data transmission. And a new Fasp™ transmission technology it is obvious advantages.

TCP/IP protocol; data transmission; Fasp™ protocol

10.3969/J.ISSN.1672-7274.2015.07.015

TN919.1文献标示码：A

1672-7274（2015）07-0059-04

赵千里，男，汉族，1982年生，硕士学位，毕业于北京邮电大学通讯软件专业，现就职于国家无线电监测中心信息管理处。

胡莹莹，女，汉族，1988年生，硕士学位，毕业于北京航空航天大学计算机学院，现就职于国家无线电监测中心信息管理处。