融合云视讯系统技术方案研究和应用
2018-10-19曹春江
曹春江
(中国电信股份有限公司云南分公司,昆明 650200)
1 引言
视频监控行业对实时性、可靠性与安全性等有严格要求,受限于接入带宽和流量以及成本、能耗等条件的限制,需要对数据进行合理的处理,特别是进行预处理,以便能够进行“物尽其用”,避免资源的浪费。因此,边缘计算技术应用而生,概括来说指在靠近物或数据源头的网络边缘侧,融合网络、计算、存储、应用核心能力的开放平台[1],就近提供边缘智能服务,满足行业数字化在敏捷连接、实时业务、数据优化、应用智能、安全与隐私保护等方面的关键需求。
融合云视讯系统是基于边缘计算技术,在视频监控行业的具体应用,是由边缘节点组成的自组织网络;具有分布式存储,智能网络通信,视频接入和视觉分析等功能,通过边缘计算、存储、网络、安全等能力满足视频行业的场景需求。
2 融合云视讯系统组成
融合云视讯系统是“云-网-端”一体化的解决方案,采用分布式的系统架构,云视讯中心节点和边缘网络节点统一配置、管理、调度,融合了边缘计算敏捷性和云端大数据计算全局性的优势。融合云视讯系统由4部分组成,包括接入终端、边缘网络、云视讯平台、应用平台。
(1)接入终端。它包括手机、PC、高清数字摄像头、IP摄像头、无人机、车载终端、会议终端、存储终端、电子警察/卡口等常用设备,部署在固定场地或者移动场景。具有采集、编码、存储、传输等功能,有些也具备AI应用能力。
(2)边缘网络。它属于自组织网络、具有分布式存储,智能网络等特点。边缘网络由边缘节点组成,边缘节点可以接入模拟和数字信号,支持SDI、HDMI、IP等多种接口。由于接入设备多种多样,设备性能参差不齐,边缘节点具有很强的兼容能力。边缘节点支持多种网络接入,包括无线4G网络、Wi-Fi、公网网络、专线网路。无线4G网络支持多运营商(电信、联通、移动),多网卡(3张或6张网卡),实现多网卡的数据无线聚合传输。可以支持APN、VPDN等多种网络访问技术。边缘节点支持本地控制、远程控制,本地可以通过有线、WIFI连接设备,进行控制。边缘节点可以适配任何终端设备,可以与任何网络连接、真正实现与接入设备无关、与传输网络无关。
(3)云视讯平台。它是面向视频行业应用的基础性能力平台,是基于下一代视频技术,以云计算、视频协同、物联网、大数据、人工智能为特征的云服务平台。
云视讯平台包括VDN(视频通信子系统)、CDN(媒体子系统)。视频通信子系统提供视频通信能力,实现智能路由、信令控制、点对点通信、视频监控、视频编解码等视频通信能力。媒体子系统提供媒体处理能力,实现媒体资源的录制、存储、分发和直播、点播等媒体能力,云平台对媒体资源实现统一管理和调度。云视讯平台作为技术能力底层,为业务层提供技术支撑。
(4)应用平台。它实现具体的视频应用,包括媒体应用和视频通信应用,打破视频业务的独立性,将各种视频信息进行统一融合、统一调度、统一管理、统一运营,并支持与第三方视频应用无缝对接。
3 融合云视讯技术特点
3.1 边缘存储
融合云视讯系统采用分布式存储,前端设备可以将数据实时存储在边缘节点上。边缘存储更强调效率,就近计算处理、就近存储数据、分析数据,构建了一种基于边缘计算的视频图像预处理技术,去除图像冗余信息,使得部分或全部视频分析迁移到边缘处,降低了中心节点和前端设备的存储压力,改善了数据传输和回源导致的延时与拥塞问题,提高了视频分析的速度,使AI时代下多场景应用不再受限于网络带宽传输能力。
此外,为了减少上传的视频数据,通过边缘预处理功能,构建基于行为感知的视频数据弹性存储机制。实时提取和分析视频中的行为特征,根据行为特征决策功能,实时调整视频数据,既减少无效视频的存储,降低存储空间,又最大化存储“事中” 证据类视频数据,增强证据信息的可信性,提高视频数据的存储空间利用率。
融合云视讯系统采用无中心对等的分布式[2]Hash表技术(DHT)。它是分散式计算系统中的一类,用来将一个关键值(key)的集合分散到所有在分散式系统中的节点,并且可以有效地将讯息转送到惟一拥有查询者提供的关键值的节点(Peers)。这里的节点类似HASH表中的储存位置。分布式哈希表通常是为了拥有极大节点数量的系统,而且在系统的节点常常会加入或离开(例如网络断线)而设计的。参见图1。
图1 分布式哈希表
为了简要说明其原理,下面描述一个DHT网络构建、查询、存储的过程。构建DHT时,首先将128位(或160位)地址空间均分,将组网的节点按照一个规则(例如Hash(IP),或者预先定义好节点ID),将节点尽量均匀分散在地址空间上,例如图上的Nx,以保证后续数据的均匀存储;在存储数据时候,将数据索引计算Hash(数据索引),得到的值与存储节点ID比较,将数据存储在最邻近的若干个节点上。查询数据时,计算Hash(数据索引),得出的值与DHT网络中的节点ID对比,从最邻近的若干个节点读取数据。
DHT网络是一种对等的网络构建方式,没有中心服务器,每个节点维护网络的一部分信息、存储一部分的数据,网络变化自适应,将一个服务分布在不同的区域部署,具有非常好的容错性、扩展性,能大幅度提升服务的可靠性。
分布式存储有利于存储系统的扩展和实现,在小规模的数据扩展时,只需要添加具体的边缘节点即可,而不需要添加整套设备。分布式存储单节点>2TB,支持多节点联合,可形成存储集群,可设定存储周期,定期删除无效或者重复数据,提高存储利用率。
3.2 边缘安全
融合云视讯系统从可信终端、终端接入、分布式数据、安全认证与管理、网络监管、边界安全等方面建立起了多层次、全方位的安全接入系统,保证了整个系统从终端接入、通信应用、网络行为、应用访问等的整体安全。
分布式数据存储安全:融合云视讯系统存储采用无中心的分布式DHT结构,元数据分散存储不同节,文件数据分片存储不同节点。将各边缘节点有机组合,依据分布式散列表的数据规则,将文件切片分散在不同的边缘节点上,用户访问文件时,结合设备即时性能,将压力分散在不同的边缘节点上,达到更好的负载均衡效果。当融合云视讯系统单个节点因设备损坏、数据丢失或网络中断时,由于系统中数据存储多个副本,每个副本存储在不同的节点上,可以通过其他融合云视讯节点进行数据恢复,系统能够继续提供服务,服务不中断,读出系统中存在的文件,写入数据到系统中,用户使用过程中,对设备的故障无感知,保证了数据的安全。当此边缘节点重新部署后,数据自动迁移到此节点,解决节点失效问题。
边缘节点设备加固:基于硬件密码卡对边缘节点设备进行安全加固,保证边缘节点计算环境、资源和网络访问的安全和受控。
信道加密:基于国家密码管理局指定的商用密码算法,实现边缘节点之间、边缘节点到中心节点的通信加密,保证视频数据在传输过程中的机密性和完整性。如果使用公众通信网,要求加密信道建立在网络运营商提供的具有辅助保护措施的网络之上(如虚拟拨号专用网络VPDN、访问节点网络APN等)。
认证接入:基于设备证书实现边缘节点和中心节点的接入网关之间的双向身份认证,保证只有具备合法证书的边缘节点才能接入中心节点。
访问控制:保证只有被授权的边缘节点设备才能向中心节点传输数据,并对异常的访问进行阻断。
网闸隔离:实现中心节点和应用区之间的网络隔离。采用视频专用隔离设备对控制信令进行协议剥离和数据摆渡,对视频数据进行单向传输。
安全管理:对融合云视讯系统的安全策略进行统一管理,保证系统安全策略的安全性和一致性。
3.3 边缘网络
融合云视讯系统技术上实现DHT自组织[3]智能网络,即通过启发式路径学习和动态自适应传输技术,支持丢包容错,支持FECARQMultiPath MutliCpoy,纠丢包达到30%。支持网络丢包达到30%时,画面依然流畅稳定,可实现同等网络条件下,能隐藏20%的丢包错误,网络延时降低30%,有效克服互联网网络抖动对视频通信的影响。
融合云视讯系统可根据网络质量、历史服务效果、设备负载等数据,即时决策出最佳的数据传输路径,数据经由服务器间中转,具有多路实时互备、多路自动切换、数据分支放大、躲避网络拥塞等特征,确保网络传输延时最短、丢包抖动最少,实现数据高效传递。可自动检测终端的接入带宽和质量、接入方式,选择不同的媒体规格和传输冗余策略。网络丢包小、抖动小时采用更清晰、流畅的画质,反之选择较低画质。根据网络延时、丢包、抖动,自适应选择相应的前向纠错和后向纠错策略,保障数据传输高质量。在视频传输过程中,持续监测网络质量变化,实时调整媒体规格和传输策略,始终保证声音、画面流畅及时,服务更加稳定。
融合云视讯采用智能选路策略,能根据发送端网络选择不同的接收端服务器,边缘节点分别使用移动、电信、联通三张4G卡进行文件传输,如移动卡的数据包会发送给就近的移动机房多网聚合边缘服务器,联通卡的数据会被转发给就近的联通机房多网聚合边缘服务器,数据包到达机房后,由机房再通过多网聚合中心服务器成完整的数据流转发给应用程序。通过多网聚合传输模块能保证数据包从发送到接收超低延时,能做到聚合传输相对普通传输速度快若干倍。智能路由,根据实时网络质量,应用层路由,优选服务器,根据实时网络质量,应用层路由,优选服务器中转视频,优化“最后一千米”接入和网络传输。
3.4 边缘计算
目前大部分视频监控设备,性能受限,只具备简单的AI应用能力,而随着边缘节点的部署,智能算法以及芯片运算能力的显著提升,可以在视频前端进行智能化应用,包括人脸识别、车辆识别等深度智能功能。
融合云视讯系统引入数据分析与业务处理能力,智能化执行本地业务。边缘计算将信息存储和计算能力从统一的中心节点分散到各个边缘节点,由边缘侧进行智能化处理后提取特征数据传回云端,这样就极大降低了中心节点的存储与计算压力。边缘计算跟中心节点是互动的,边缘计算可以缓解负载瓶颈、延迟、容错等方面的困难,中心节点则侧重全局数据的挖掘分析,未来的智能应用系统应该是“大智能”放在云端,“小智能”放在边缘。
融合云视讯系统采用基于运动识别的分层编码[4],在同等清晰度下比H.264降低一半码流,基于信息多态的交织编码,可以在恶劣通信条件下实现30%错误恢复,满足复杂用户网络环境,提升用户视频通信体验。
4 校园监控应用
4.1 校园监控现状分析
(1)校园监控系统中,录制视频存储在本地摄像头或通过校园局域网集中存储到本地NAS/SAN 系统,没有通过网络集中式存储到云端,每个校区都要单独部署一套监控系统。
(2)监控摄像机会发生被盗可能,数据存在丢失和泄露风险。SD卡容量有限,视频或图片只能保持7天甚至更少。
(3)查看监控摄像机的视频记录,如果网络中断,不能够通过某一个中央服务器录制、控制视频。更重要的是,如果多路监控摄像机需要调用同一时间段内的视频图像,其检索过程更为复杂,需要到各个位置点进行查看。
(4)网络摄像机对于网络带宽的要求较高,1080P的图像,即使反复压缩后,也需要至少8Mb/s 带宽。如果需要传输到云端统一汇聚,往往带宽受限,传输视频延时高、卡顿严重。
(5)很多临时布控的点位,监控点地理位置偏远,比较分散,存在光纤和网络覆盖盲区。
(6)前端摄像头内置计算能力较低,致使视频监控系统的智能处理能力不足,利用云端计算进行智能分析又具有延迟性,很难对所有图像进行实时分析,大部分时候是对保存的图像进行事后分析,无法保证实时预警。
4.2 解决方案
4.2.1 整体规划
融合云视讯系统利用一套云视讯平台,可以满足多个校区的视频监控需求。各个校区之间通过有线、无线、专网连接云平台,进行数据交换。校区之间数据隔离,保证数据安全。每个校区局域网内部署一套边缘网络系统,属于一个自治域,每个自治域与中心节点组成分布式的自组织智能网络。
4.2.2 边缘节点规划
融合云视讯系统可以接入原有监控系统设备,也可以部署新的监控前端设备。边缘节点提供HDMI、HD-SDI、IP等常规接口。边缘节点可以接入一台监控设备或一整套监控系统,根据校区监控点位数量,部署边缘节点数量。
有线网络覆盖条件好的监控区域,边缘节点可以连接有线网络。网络覆盖条件差或者没有网络覆盖的区域,边缘节点连接无线4G网络,根据现场的运营商的信号覆盖强度,选择对应运营商的无线4G网卡。可以插入3张或6张多运营商多网卡,实现无线聚合传输,数据进行分片多路径传输,然后云端汇聚,有效躲避网络拥塞。
校园监控实时性要求较高,网络可利用智能选路策略,选择网络不堵塞、延时小的网络路径,分别对多网络路径传输做优化,视音频端到端的传输延时控制在500~800ms之内。边缘节点部署2TB的存储空间,满足编码码率2Mb/s的1080P高清视频,长达40天的存储。可以连接原监控系统的NAS/SAN系统、NVR/DVR系统。文件切片分散在不同的边缘节点上,当某一边缘节点的设备损坏、设备丢失或网络中断时,可以通过其他融合云视讯边缘节点进行数据恢复。
4.2.3 云视讯平台规划
融合云视讯系统的云视讯平台,属于能力平台,为业务进行能力支撑。根据业务形态,可以部署为公有云或私有云。云平台采用云架构,可以弹性扩容,基于通用云服务器部署,可以将云服务器软件迁移到任意云服务器,根据并发量来部署集群服务器数量。云平台双中心部署,支持负载均衡和热备功能,有效解决单点故障,避免系统瘫痪。
云平台控制所有边缘节点的媒体和信令调度、用户管理。云平台部署在BGP机房,预留足够的机房带宽。
4.2.4 应用系统规划
提供标准的第三方接口,可以和校园视频监控应用平台无缝对接。提供IP互动矩阵、导播机、移动APP等软硬件应用,实现高清视频回传、大文件传输、视频实时预览、远程管理、调度控制等功能。
云平台有媒体处理能力,可以对视频图像进行检索。通过各种途径检索所需信息,进行各种信息的组合检索,并按照给定条件定位,包括对内容的名称、关键字等检索方式。通过融合云视讯系统,很方便检索到某一监控前端设备,在某一时间段内视频信息。
4.2.5 运营规划
(1)硬件一次性购买+云服务费用。监控摄像头和边缘节点设备可以一次性购买软硬件,公有云平台按月或年收取服务费,私有云平台可自备服务器、收取软件授权费用。
(2)硬件租赁+云服务费用。监控摄像头和边缘节点设备可以按月或按年租赁,公有云平台按月或年收取服务费,私有云平台可自备服务器、收取软件授权费用。
5 结束语
融合云视讯的自组织网络采用无中心、分布式存储,安全可靠,能节省中心存储成本;多种网络接入,利用聚合带宽,多路径传输实现高品质通信;链路聚合与自组织网络结合形成智能视频监控网络,其监控、存储、分发控制方便灵活,成本更低;高效的视频编码能力,大幅度降低带宽和存储成本,同时具有视频智能化分析能力。融合云视讯实现从端到中心的边缘计算+云计算的结合,使系统的功能更为强大。实现了前后端计算资源的云化整合,算法、资源按需调度,灵活分配。赋能边缘智能+云计算中心的融合在大型的视频智能应用系统中有非常好的应用前景,成为其发展的必然趋势。■