国际互联网视频回传加速技术在新华社的应用

■文/牛帆

国际互联网视频回传加速技术在新华社的应用

■文/牛帆

随着数字化时代的到来，新华社每天在全球记者站有大量视频资料回传，而国际互联网受限于基础环境和各种技术问题无法保证视频文件稳定高效地传输，因此需要设计一套系统来解决此问题。本文分析了市场上成熟的传输加速技术，并做了测试验证。结合测试结果设计了一套传输系统，对于有类似需求的项目有借鉴意义。

国际互联网；传输加速；TCP；UDP；离线传输；节点转发

随着互联网时代的到来，信息量呈爆炸式增长。人们已经不满足于仅仅获得文字和图片形式的资讯，视频的需求量越来越大。而视频拍摄设备也不再局限于专业摄像机，各种移动终端均可以作为突发新闻的采集端，记者可以随时随地发送视频资料。视频越来越多，文件越来越大，但是国际互联网联通性受限于各种问题并无法保证海量视频文件的快速稳定传输，本文旨在寻找此问题的解决方案。

1.新华社国际互联网视频回传的现状

新华社作为国家通讯社，是中国最大的新闻信息采集和发布中心。新华社记者遍布全球，目前主要利用互联网、专线向国内传输视频文件。专线网络状况虽好，但成本高，架设难度大，无法在全球记者站点部署，遇到突发事件也难以使用，所以绝大多数记者还是通过互联网的方式传输视频文件。而目前的互联网环境存在以下几个问题：

1.1基础网络环境复杂，差异很大

通过第三方工具模拟测试世界各地传输视频回北京的速率图（使用FTP协议，不做任何加速）。

1.2个别地区国家禁止部分网络协议

根据以往的传输经验发现个别地区国家会禁止部分网络协议，例如：缅甸不支持FTP协议。

1.3采集终端的复杂性

新华社记者遍布全球200多个记者站点，有中国员工还有各国雇员。他们除了在记者站点发稿，也经常奔赴重大、突发事件前方报道。手持设备各异，习惯的应用软件也五花八门：有使用电脑、也有移动终端的；有使用wifi，也有3/4G网络的；有使用专用传输软件，也有通过QQ或者微信传输的；更遑论各种各样的软件、操作系统版本之分。

面对如此复杂的环境，需要找到一个稳定而高效的传输方案才能解决新华社记者即时发稿的问题。

2.互联网视频回传加速技术分析

众所周知互联网传输协议有TCP （FTP、HTTP）、UDP，本文不再做详尽分析。基于此类传统的协议，目前已有相对应成熟的传输加速技术产生，并且在这些加速技术的基础上还衍生出基于公有云资源的离线传输技术。

另外考虑部分地区互联网状况优质，还可以自行搭建节点转发传输，以“另辟蹊径”的方式实现视频文件的快速传输。下面就这四类方式做详细介绍：

2.1基于TCP的传输加速技术

诸多CDN公司在传统的TCP （HTTP、FTP）传输技术上做了类似优化工作：

◎增加加速节点

在传输加速需求量比较大的国家布设数据加速节点。

◎路由探测

通过探测互联网线路，实时掌握网络状况，帮助用户选择最快的网络访问线路，提高访问速度和体验。

◎传输协议优化

通过对传输协议的优化，解决传统协议在数据传输上存在的缺陷，提高传输效率，并且对用户终端无任何感知和影响。

◎链路优化技术

通过链路并行的方式提高数据传输速度和效率，增加稳定性，增强抗抖动能力。

◎字节优化

通过对传输字节流的简化，在用户无感知，内容无损耗的情况下，大幅提升访问速度，提升用户体验。

2.2基于UDP的fasp传输加速技术［1］

传统的TCP协议存在一些仅仅通过优化也不能解决的局限性。当部署在低延迟和低数据包丢失的网络上时，它可提供可靠的数据传递，但是，随着数据包丢失和延迟的增加（通常出现在远距离WAN上），它很快就变得非常缓慢且不可靠。增加更多带宽无法改变有效的吞吐量。文件传输速度无法提高，昂贵的带宽未得到充分利用。

吞吐量瓶颈的根源在于TCP流速率控制机制，在该机制中，发送方需要确认每一个发送至接收方的数据包。如果某一接收确认因高网络延迟或数据包丢失而未准时返回，发送方即认为相比接收方的处理能力其发送速率过快，因而大幅降低速率并缓慢恢复。结果，传输速率减慢到像是在爬行，而现代化的高带宽WAN通道却没有得到充分利用。

与TCP形成鲜明对比的是，fasp的吞吐量不受洲际WAN和卫星、Wi-Fi 或蜂窝连接上出现的网络延迟和极端数据包丢失的影响。因而，其传输时间比标准 FTP 快数百倍且可预测性强，不受网络条件影响。

fasp 之所以能实现这一性能，是因为它摒弃了TCP对速度控制和可靠性的捆绑，采用独特的专利方法使传输速度达到最大，且不影响对拥塞的回避，实现了理想高效和对带宽的充分利用。不受网络条件影响。最大传输速率仅受端点电脑资源的限制（通常为磁盘吞吐量）。

尽管 fasp 可填充任何可用带宽，但它也包含一个智能自适应传输速率控制机制，该机制可调节速率，精确控制与标准 TCP 流量间的公平性，可自动蔓延，充分利用未使用的带宽。这确保了关键业务 TCP 流量可正常工作，如电子邮件、网络和业务应用，同时也允许 fasp 利用未使用的带宽。

2.3离线传输

除了上述加速方式在传输协议上做文章，还有一些基于公有云资源的离线传输技术也可以使用。发起方先将文件传输到就近的云节点，文件在云内的高速流转交由云厂商自己解决，接收方就近提取文件即可。提供此类技术的公司主要工作就是如何提高数据文件在云内的流转速度。

2.4节点转发加速

根据以往传输经验，考虑到各国防火墙等安全设备的限制，有时候从A节点传输文件到C节点不如从A节点经过B节点再传输到C节点。特别是如果中转线路是专线效果会更好，这样可以利用少量专线实现更大范围的快速传输。

3.技术方案验证

3.1技术方案设计

针对上述各类传输技术，设计如下场景进行验证。验证系统搭建在新华社云平台上，测试用的服务器为虚拟机，在同一局域网中，所有服务器共享新华社互联网接入。

其中TCP加速方式选择了五家产品进行验证；UDP加速方式选择了三家产品进行验证；节点转发则在位于美国的虚拟机上部署转发应用进行验证，这里选择了三家不同平台的虚拟机，以验证平台的影响；离线传输选取两家产品进行验证。

图1　互联网传输测试示意图

3.2验证方法与结果

本次验证使用了自动工具测试和人工测试两种方式，互为补充。

3.2.1自动工具测试

优点：自动工具通过在海外的众多注册会员，可以真实PC发起视频传输。本次测试点分布五大洲，共27个城市。测试过程稳定可靠，报表数据详尽。

缺点：目前只能针对TCP加速方式（HTTP、FTP）做测试。

结果如下图所示：

图2　各产品HTTP传输速率测试结果

各产品的HTTP传输速率：

图中绿色是不做任何加速的原始效果，其他五种颜色表示五家产品，虽然加速效果各异。但可以看出加速效果好的能比源站提高3-4倍（详细数据显示，如果能在需要的传输点部署加速节点效果更佳）。

各产品的FTP传输速率：

图3　各产品FTP传输速率测试结果

FTP加速效果与HTTP相仿，最佳效果能平均提高4倍左右。由于五家CDN厂商中只有两家能做FTP加速，所以此处加上绿色未加速结果后只有三条曲线。

3.2.2人工测试——美国、肯尼亚

优点：各种传输模式都能测试到。这里通过人工方式验证UDP加速、离线传输和节点转发加速。

缺点：人工的随机性相对难以控制。测试点少，可测试的数据相对较少。

因为人工测试环境的不稳定性，在选择测试点的时候充分考虑网络和地区因素，选择具有代表性的地点。本次测试选择了美国和肯尼亚。

测试安排2轮，每轮测试周期一天，一天选择9：00和16：00两个时间点，由于时差的原因，测试的时间点安排为当地时间。

前方测试人员在海外发送视频文件，每次测试时，需要连续传输5次文件，求平均来避免偶然网络波动。

表1　各产品UDP传输速率测试结果

由上表可见非洲地区网络连通性较差，美国较好。但通过UDP加速方式均能提高2-3倍。其加速上限受限于用户端带宽。

表2　各产品节点转发传输速率测试结果

由上表可见通过节点转发部署在不同公有云平台上效果各异，但总体来说都有提高，最高能到4-5倍。因为只是做方案验证，本次测试的中转线路线路仍然使用的是互联网，如果能够使用专线效果理应更佳。

表3　各产品离线传输速率测试结果

由上表可见离线传输加速效果不明显，使用A工具甚至有所下降。经分析与离线传输的云平台自身内部流转效率有关，所以本文认为，离线传输只能作为线路的备份，暂无法作为加速工具使用。

综合以上测试结果，得出以下结论：

◎其一，使用TCP加速的方式全球五大洲测试平均能提高4倍左右。若在临近区域有数据节点甚至可以取得10倍以上的提高效果。

◎其二，UDP传输由于其协议特点可以提高带宽占用率，在网络连通性好的地方（比如美国），效果更佳。在网络连通性较差的地方（比如非洲），UDP提升空间有限，节点转发效果更好。

◎其三，离线传输可以作为备份手段，加速效果并不明显。◎其四，互联网环境千变万化，实测多次不同时间，不同地区均有不小波动，也出现过瞬断现象。为保证传输建议多种方式并用。

4.互联网视频回传加速系统设计思路

基于上述验证分析，在不考虑成本的基础上，最好建立一个完备的技术系统集合上述方案，并且能够自动探测效果最好的线路。这样才能保证视频文件稳定而高效的回传。

图4　互联网传输系统设计图

因此设计了自动化控制的方式选择最优线路。

为了减少系统开销，本方案在传输初始会查询以前的传输记录，如果曾经高效传输过则默认使用之前的通路。如果没有传输过则发送测试包检测网络延迟和丢包率再做判断。

记者如果定点办公建议使用本方案，如果经常移动办公，方案可简化为传输前必须探测线路。

通过此方案可以高效使用到各种传输加速技术，并保证链路的稳定可靠。

5.结论

本文从新华社在国际互联网条件下传输视频遇到的困难入手，分析了目前市场上比较成熟的传输加速技术，并且分别做了实际测试验证，最后提出稳定高效传输系统设计思路，对于有类似需求的项目有推广和借鉴意义。

［1］IBM-Aspera，http∶//asperasoft.com/ zh/site/technology/fasp-transporttechnology/

［2］网宿 -Appa，http∶//www. chinanetcenter.com/products/cdn/ appa/

［3］博睿-传输，http∶//www.bonree. com/439/2015-11-24/1684.htm

（作者单位：新华通讯社通信技术局）

TN919.85

A