新型内容网络关键技术及发展＊

姜文颖，倪伟，郭嵩，李琴

（中国移动通信有限公司研究院，北京 100053）

新型内容网络关键技术及发展＊

姜文颖，倪伟，郭嵩，李琴

（中国移动通信有限公司研究院，北京 100053）

伴随着无线技术的飞速发展和宽带用户数的迅猛增长，中国移动网内流量呈爆炸式增长态势，为有效保障用户互联网业务访问体验，均衡网络流量，提升网络服务效率，中国移动后发先至，设计打造了一张技术领先、架构灵活、能力多样的新型内容网络。本文就中国移动内容网络的架构设计理念以及关键技术进行详细介绍，并对内容网络技术发展问题及应对方案进行了阐述，最后对未来的发展演进思路进行了探讨。

流量加速；内容分发网络；虚拟化；移动CDN

近年来中国移动互联网用户保持了规模快速增长态势，一方面移动用户数保持了行业全面领先，流量增长显著；同时有线宽带也得到迅猛发展，用户总量基本实现了“宽带三分天下有其一”的发展目标。飞速增长的用户规模带来了互联网数据流量的爆炸式增长，但由于网内内容资源相对不足，部分热点流量需要跨网访问，导致网络建设、运营投资以及网间结算成本不断增加，用户访问体验也受到影响，存在进一步提升和改善的空间，由于涉及到的业务范围广、网元系统多、地域覆盖大，亟待从全局层面进行通盘规划。

海外电信运营商的CDN（内容分发网络）除少量自行建设外，多数采用了转售、收购、合作、授权等方式来构建CDN能力，难以体现自身的设计思路和部署诉求。而国内运营商往往采用业务先行的策略，分业务独立部署多套CDN，缺乏全网统一规划，应用后往往存在扩展性能不足、运营维护复杂、全局分发能力欠缺、功能扩展困难、异厂商难以互通等问题。

为此，中国移动积极布局，围绕流量、内容两大核心资源，设计打造了一张全新的内容网络，从根本上提升了运营商网络的内容服务能力。内容网络在设计之初就充分考虑了上层业务需求的复杂多样性，更加强调系统架构的灵活、可扩展，多协议、多业务的融合统一，内部功能组件的接口开放，调度的分层分级以及软硬件的解耦等设计理念。

在充分借鉴互联网公司的技术思路，兼顾产业界、工业界的发展趋势，结合自身需求，构建了一张融合传统IDC、Cache、CDN能力，具有内容自动化获取、分布式存储和智能化调度能力的全新内容网络。内容网络是继无线网、核心网、承载网、传输网之后的覆盖全国的新一代网络基础设施，是中国移动面向大视频、大连接战略，实现运营商网络从用户接入向内容接入转型的核心能力和抓手。

1 内容网络体系设计

1.1 系统架构

中国移动内容网络的系统架构遵循通用性、开放性、扁平化、扩展性、可运营的设计原则，从逻辑架构上可划分为内容管理层、调度分发层和边缘服务层3个层面。系统整体架构如图1所示。

内容网络在管控角度采用扁平化组网模式，由流量调度系统和运营管理系统统一对所有内容中心和服务节点进行管理控制。在业务服务角度采用层次化组网，由内容中心和服务节点提供逐级内容分发与服务能力。内容中心和服务节点在全国范围内分布式部署，负责就近接入内容源和服务终端用户。

1.2 网元功能

内容管理层的主体网元是内容管理平台，也是实施互联网内容集中化分析、展现和决策的支撑平台，主要完成数据采集、用户交互及数据展现、基础数据管理、资源视图管理、统计分析、缓存运营管理、运营统计分析、节点设备管理、平台管理等功能。

调度分发层负责用户请求的统一调度、内容网络的网络管理及业务运营管理，包含调度控制中心、运营管理中心、内容中心、溯源中心和区域调度中心5个子系统。其中，调度控制中心负责接收终端侧发起的访问请求，监测全网节点的健康状态、负载情况及内容分布情况，根据调度策略将终端调度到最佳的边缘节点；运营管理中心负责为内容网络的系统管理员、运维人员以及业务系统管理员提供管理界面和配置能力，实现内容网络的站点管理、策略管理、网络管理、运营分析等功能；内容中心负责存储内容网络中由内容源主动注入的内容，并且提供内容的删除、分发、处理、存储等功能；溯源中心负责监控边缘节点Cache群组的出网访问流量，实现Cache群组回源流量的汇聚；区域调度中心负责接收全局调度子系统转发的用户调度请求，根据用户的IP地址和归属位置，进行精细粒度的应用层请求调度。

边缘服务层作为直接面向用户终端提供内容服务的实体，包括Cache群组和CDN群组，负责内容在网络边缘处的临时性存储，同时还提供本地调度、访问控制、Web服务、媒体服务、文件下载服务等功能，直接面向用户提供访问服务。

图1 内容网络系统架构

2 内容网络关键技术

2.1 自适应架构

针对中国移动业务需求多样、网络环境复杂的特点，内容网络采用整体扁平化组网、区域性灵活分级的自适应系统架构，通过减少层级可以减少数据流转节点，提升分发和服务效率；同时局部可根据业务需求及用户规模实现节点的灵活部署，支持以自适应方式进行水平扩展和垂直扩展，满足热点区域的高吞吐需求。

2.2 组件解耦、接口开放

传统CDN均为单厂家“黑盒”模式，内容网络在业界首次提出全系统模块组件化思想，将系统划分为内容管理平台、OMS（运营管理子系统）、TCS（调度控制子系统）、LTC（区域调度中心）、SNS（边缘服务节点子系统）、CCS（内容中心子系统）、GCS（溯源中心子系统）等7大功能模块，模块间以HTTP+XML形式打开内部接口，定义了网络管理、内容管理、视图管理、策略管理、全局调度、日志管理、鉴权管理、内部回源、数据查询等8类数据接口，在保证系统灵活运营基础上，为引入多方竞争、降低系统建设成本打下良好基础。

2.3 多业务融合承载

打破传统运营商在建设CDN时采用的垂直分割的“烟囱式”部署模式，CDN只能支持单一协议及业务的弊端，中国移动内容网络在软件协议栈层面进行了融合重构，实现了业务融合承载，使得一张网络可支持多种协议，如 HTTP、RTMP、RTSP、HLS、HTTPS、HTTP 2.0等，且预留了在已有基础上扩展支持新的业务形式、应用类型、编码格式的能力。

2.4 主被动缓存融合

内容网络的边缘节点在功能设计上将被动缓存能力和主动分发能力融合为一体。边缘节点可通过被动模式分析、统计访问请求，将互联网中的热点内容存储到本地，实现非签约内容的加速服务；同时仍可服务于主动模式，提供内容由互联网源站至网络边缘主动分发和存储能力。

2.5 分层多样化调度

内容网络融合互联网CDN和传统CDN两大体系的调度模式，提出了分层分类调度技术，由TCS根据Local DNS实现粗粒度全局调度，由LTC根据用户来源、业务及需求实现细粒度的应用层精准调度。

2.6 软硬件分离

传统运营商CDN通常采用软件、硬件一体化的专用设备，功能升级不便、运营维护困难、设备造价高昂，中国移动内容网络遵循开放的软硬件分离的思想，通过引入通用x86服务器，并对软件进行解耦及分离优化，摆脱对特定业务场景中对于专用ASIC芯片、解码芯片、协议优化硬件的依赖，形成了基于通用x86服务器架构的节点形态，为低成本大规模部署和向虚拟化场景演进奠定基础。

2.7 内容分析与监测

内容网络通过自研的爬虫、内容探测、质量拨测能力，结合大数据平台的统计分析技术，实现了热点域名识别、资源列表获取、KPI指标分析、质量对比评估、服务故障排查、域名策略生成等功能，在内容网络中实现了自动化缓存策略生成、策略下发、性能监测一体化的闭环流程。

2.8 专用CDN融合

通过在内容网络中引入LTC网元、标准化调度，构建边缘节点与上层之间的工作机制和接口，实现了区域部署的互联网电视专用CDN与全网内容网络的有效融合和协作，实现了全局统一管理、资源统一调度、用户统一接入，既有效重用了现网已有资源，避免投资浪费，又为内容网络的全网统一运营奠定了坚实基础。

3 内容网络新技术及未来发展演进

3.1 新技术研究

3.1.1 多CDN互联

随着中国移动内容网络的建成，中国移动面临着多CDN系统并存的现状，除内容网络外，还有中国移动国际有限公司建设运营的CMI CDN，该CDN主要负责海外业务的加速分发。

为了能够充分利用现有资源，为接入CMNet的用户提供更丰富、更优质、更高效的内容分发服务，需通过多CDN协同的互联技术实现内容网络与其它CDN系统之间的跨域调度、跨域分发及统一的内容管理和运营管理。针对该需求，设计提出了CDN互联的3种解决方案。

（1）部署多CDN智能调度运营平台。该平台作为多个CDN共同的上层平台，接收来自用户的访问请求，根据具体的调度策略将请求调度至合适的CDN系统，调度策略可基于用户的位置信息、所属网域，也可基于业务类型、CP等信息维度。同时该平台作为对外提供统一的自服务门户，为签约CP提供内容管理及日志获取的能力。

（2）多CDN间采用级联方式对接。CDN B附着于CDN A下，在互联场景下，用户请求均先到达A的全局调度中心，并由A的全局调度中心将归属于B的用户的请求二次调度至B，由B提供内容服务。同时A的运营管理子系统也作为互联后的统一运营管理入口，用于对接CP实现内容管理及日志获取。

（3）多CDN间采用对等互联方式对接，类似于IETF的CDNi（内容网络互联）方案 ：通过定义控制接口、日志接口、路由接口及数据等接口实现多个CDN之间的互联互通。各CDN根据调度策略将用户请求二次CNAME到对端的CDN系统。

中国移动结合自身内容网络和CMI CDN建设情况，采用了级联模式来实现两个CDN系统的互联互通，使得国内的内容可借助国际公司的海外CDN节点分发给海外用户，同时海外内容也可利用内容网络边缘节点向国内用户分发，互联架构如图2所示。在互联场景中，CMI CDN作为内容网络的下级CDN系统接入，统一由内容网络进行调度和管理，同时CMI CDN具备完整的CDN功能网元，在为海外业务提供分发服务时，仍具有自主运营能力。对于跨域的用户请求，均由源站CNAME至内容网络的全局调度中心，若请求来源归属于海外区域，则将该请求二次CNAME至CMI CDN的全局调度中心完成后续的调度流程。中国移动内容网络通过与国际公司CDN的互联，拓展其自身的分发能力和范围，成为一张具有全球范围分发能力的CDN网络。

图2 内容网络与外部CDN互联架构

3.1.2 动态内容加速

随着互联网的深入发展，越来越多的实时交互性业务得到了广泛应用，如UGC、Web2.0、弹幕、在线支付、即时通信、抢红包、秒杀、网游等，这类应用的共同特点是内容根据用户的请求动态生成，传统CDN基于缓存数据的加速机制对此无能为力。

考虑到内容只能从源站获取，常见的解决方案一般通过优化用户到源站服务器之间的传输路径，使动态内容以最快的速度在用户和源站服务器之间传输，实现回源路径优化。由于CDN服务商无法控制基础IP网络，所以多为利用拥有的大量CDN节点和跨运营商专线资源组成数据传输网络，通过探测网络节点间的网络状况，基于网络状况和智能路由算法找到一条最优路径实现对动态内容的加速。

中国移动作为基础网络运营商，具有先天的网络层感知和控制能力，对于特定内容，可通过使用专用链路进行承载，预留充足的带宽资源，从而有效避免网络拥塞，提升传输效率。但由于该种方式成本较高，因此在实际应用中同时叠加了传输路径优化和协议优化结合的方案以满足动态内容加速需求。即通过DNS方式将动态内容引导至内容网络边缘节点，满足用户向边缘节点的就近接入，然后将动态内容引导至专用加速节点。加速节点拟部署在传输瓶颈路径的两端，节点间再通过如下两类技术等方式实现传输优化。

（1）协议优化技术：通过优化现有协议中影响传输效率的地方提升传输效率，比如7层应用层协议优化、4层传输协议优化。

（2）内容压缩技术：通过内容压缩技术对传输数据进行压缩，有效减少网络传输字节数，提升传输效率。

未来边缘计算能力具备后，还可实现动态内容直接在边缘节点动态生成，无需回源获取，也是今后动态内容加速的重要演进方向。

3.1.3 HTTPS内容承载

HTTPS协议是指以安全为目标的HTTP通道，即在HTTP层下加入SSL层。网站采用HTTPS进行数据加密传输时，服务器需要具有HTTPS证书用于身份验证和数据加解密，所以CDN要提供HTTPS加速服务，需要获得源站的证书或者源站授权的内容加解密能力。

证书是HTTPS加密传输的核心基础之一，它直接关系到数据传输的安全性与可靠性，CDN提供HTTPS加速服务最重要的是要保障证书的安全。保障证书安全需从证书传输安全、证书存储安全、证书部署安全三方面考虑。中国移动内容网络在HTTPS加速服务设计中引入专门的证书管理平台来存储和管理源站的证书。源站采用加密方式将证书上传至CDN证书管理平台，同时证书采用加密方式在CDN证书管理平台上进行存储，保障证书的传输和存储安全。其次，在证书部署方面，HTTPS加速节点只在提供服务时临时下载和部署证书，节点只做短时存储，一段时间不使用后会及时删除密钥等相关信息。

图3 动态内容加速方案

考虑到敏感客户不希望把安全证书的私钥文件暴露给第三方，中国移动在HTTPS加速服务设计中还提供了无证书部署方案，源站服务器无需提供私钥给CDN，当终端用户向CDN加速节点发起HTTPS请求进行SSL握手时，终端将随机密码用公钥加密后发往CDN节点，CDN节点通过SSL加密方式将随机密码发给源站的私钥服务器，私钥服务器通过私钥解密获得随机密码后再将其返回给CDN节点，CDN节点和终端用户使用协商后的随机密码进行正常通信。该方案中源站唯一持有私钥，具有更高的安全性能。

3.2 未来发展演进

3.2.1 CDN虚拟化

在运营商网络向新型电信云转型的大背景下，业界领先的CDN服务商也在积极探索CDN虚拟化部署技术，以适应未来在基于NFV和SDN技术的电信云中灵活快速部署CDN。Akamai于2016年在其CDN系统部署中首次采用HPE KVM和Helion OpenStack VIM架构实验了CDN边缘节点的虚拟化部署技术。部署时间从数月缩减至数分钟，服务能力可实现高度灵活的按需调整，大幅降低了CapEX和OpEx。Nokia的Velocix CDN商用产品也全部支持虚拟化方式部署，可根据实时负载变化情况自动动态调整节点的服务容量，也可实现远程的节点管控和网络优化。

中国移动也在积极探索和研究虚拟化内容网络的部署技术，虚拟化系统结构如图4所示。

图4 vCDN系统结构

与传统部署方式相比，vCDN（virtual CDN，虚拟化CDN）的系统整体架构与功能并不会有较大改变，但为了实现vCDN服务带来的快速部署、灵活可扩展等特性，内容网络从以下几方面进行调整和优化。

（1）边缘节点等网元能针对虚拟化环境进行软件IO吞吐性能的优化，以弥补不能直接对硬件进行操作带来的性能损失。同时，在多业务场景共用虚拟资源时，通常大容量存储资源是脱离计算型服务资源而单独以群组方式提供的，因此在云数据中心内部需采用合适的技术来保证CDN VNF与集中化存储间的流量带宽。

（2）考虑到内容网络服务有其特殊的运营特性，边缘节点除了可根据实时访问流量遵循事先定义的策略被动实现扩容和缩容外，还可根据CP的运营需求，提前拉起新的VNF实例；或依照流量变化预期，提前做好VNF服务容量的扩充部署。

（3）区别于其它业务场景，在CDN虚拟化部署后，其中央运营管控子系统需与电信云的MANO（NFV管理与编排）建立接口，才能满足CDN灵活的业务运营需求。

3.2.2 CDN下沉

随着接入带宽的不断提升，视频流量的爆炸式增长，超清视频、VR/AR逐步成为未来视频业务的发展方向。而高带宽应用的感知严重依赖距离，如4K业务流畅播放速率要求超过20Mbit/s。为此，内容网络的边缘节点需由地市层面进一步下沉，才能更好地满足高品质视频访问和流量快速增长的需求。

考虑到现网有线宽带的接入多为PPPoE认证方式，若下沉到OLT，则存在流量绕行BRAS的问题，因此下沉策略是优先将边缘节点下沉到BRAS层级。在下沉BRAS区域的选择上，首选流量基数大且增长迅速的BRAS业务区或特定热点区域。同时优先考虑点击率高的实时大带宽内容、与ICP合作的定向内容以及最新热门内容，如最新上线影片、最新热播电视剧、苹果IOS更新等。

对于下沉后的调度机制，初期仍采用“TCS DNS CNAME +LTC重定向+SLB”的三级调度机制，实现用户内容的就近访问。下沉BRAS节点和原有地市中心在调度层级上属于平级节点，由LTC统一调度；同时地市中心节点可作为地市边缘节点的备份节点和回源节点。后期随着CDN下沉节点的增多，可考虑采用“最边缘简化的三级调度”机制，对OLT节点的调度仅基于IP和负载调度，不基于内容调度，从而提高调度效率，降低LTC设备压力；也可考虑按照逐级调度的原则，增加一级地市级重定向调度，通过“TCS DNS CNAME +LTC和地市调度的两层重定向+SLB本地负载均衡”的四级调度，实现全国到省、省到地市、地市到市内BRAS业务区的用户访问视频内容的就近调度。下沉架构及调度机制如图5所示。

未来CDN保留进一步下沉至家庭侧的空间，边缘节点可与家庭路由器/网关或视频机顶盒结合，纳入内容网络统一运营管理，通过与网络侧CDN配合，设置家庭大数据标签，获取热点内容的大数据信息，实现热点内容、大颗粒内容到家庭侧的主动分发和智能按需缓存。

3.2.3 移动CDN

随着大量面向移动用户的视频业务不断涌现，对移动网的数据服务能力提出了更高的要求。内容网络未来将拓展面向移动用户的服务能力，将服务节点延伸至移动网内，部署在更靠近无线侧的位置，为移动用户提供高质量的内容分发服务。

图5 内容网络分级调度机制

与开放的Internet相比，蜂窝无线网和核心网是相对封闭的网络体系，具有更高的隔离度和安全性，移动网内的网元与Internet的信息交互均需通过核心网网关，因此移动CDN节点作为一个新的网元如何部署在移动网内是首要解决的问题。中国移动提出了一种基于MEC(移动边缘计算）技术的移动CDN解决方案，并已在现网开展了试点验证。MEC是一种面向5G网络架构演进的虚拟化开放平台，通过部署在无线接入网或核心网，就近为移动用户提供IT服务。移动CDN的架构如图6所示，MEC平台将终端发起的内容请求根据调度策略将请求重定向至本地的移动CDN节点，该节点可直接为移动用户提供本地的内容分发，将流量限制在核心网内，既降低了用户访问时延，也减轻了上层汇聚点的流量负担。同时MEC平台记录本地卸载流量的相关信息，并上报给核心网完成计费信息的统计。移动CDN节点作为CDN网络的一部分，支持接受TCS/LTC的调度及OMC（运营管理模块）的运营管理，MEC平台作为移动CDN节点与CDN网络的中间件实现了全局调度、内容回源、运营管理等业务流程。

目前基于MEC平台的解决方案仍需在移动网内部署新的网元，需要对现有无线网络进行升级，适用于特定场景需求下的临时性部署，如演唱会、大型比赛现场等。随着未来5G标准化的成熟和网络部署，MEC将成为5G原生支持的架构，移动CDN能力的部署将更加灵活和便捷，将会成为中国移动内容网络区别与传统CDN的关键能力。

4 结论及未来工作

中国移动已经初步形成了一张架构灵活、覆盖广泛、业务多样的融合型内容网络，流量本网率和用户访问体验均得到了大幅提升。各种互联网新技术的发展和客户需求的不断变化，对内容网络的建设运营不断提出新的挑战。未来中国移动将继续推动新技术在内容网络中的实践应用，完善成熟运营机制，提升内容网络的综合服务效能，为中国移动大视频、大连接战略保驾护航，为用户创造更好体验和更多价值。

图6 基于MEC的移动CDN技术架构

同时，随着5G网络的发展演进以及VR/AR等大视频业务的逐步成熟，中国移动还将对CDN虚拟化技术的成熟商用、CDN网络的进一步下沉、MCDN的部署以及与下一代网络编排器MANO的对接进行重点研究，以确保内容网络在未来创新发展中的技术引领优势。

AbstractWith the rapid development of wireless technology and the rapid growth of broadband users, China Mobile's internal traffic increased explosively. In order to effectively enhance the user’s Internet access experience, equilibrating network traffic, improving network service efficiency, China Mobile design and create a new content network with leading technology, flexible architecture and multiple abilities. First,this paper describes the architecture design idea and the key technologies of China Mobile's content network in detail. The latest technology development issues of content network and the solutions of China Mobile are elaborationed. Finally, the future development and evolution of the content network are studied and discussed.

Keywordstraffic acceleration; CDN; virtualization; mobile CDN

The thinking about key technologies and developments of new type content network

JIANG Wen-ying, NI Wei, GUO Song, LI Qin
(China Mobile Research Institute, Beijing 100053, China)

TN915

A

1008-5599（2017）10-0026-07

2017-09-19

* 中国移动集团级一类科技创新成果，原成果名称为《内容网络关键技术攻关及运营工具研发》。