云边协同构建安防专有视频云平台
2019-11-07丁强
□文/丁强
安防专有视频云平台的由来
云计算是与信息技术、软件、互联网相关的一种服务,这种计算资源共享池叫做“云”,云计算把许多计算资源集合起来,通过软件实现自动化管理,只需要很少的人参与,就能让资源被快速提供。也就是说,计算能力作为一种商品,可以在互联网上流通,就像水、电、煤气一样,方便地取用,且价格较为低廉。
应该说,云计算通过“硬件的资源池化”、“软件的分布化、并行化”、和“部署的自动化”,无论是对于硬件资源的利用率,还是对于业务系统的构建和部署,都带来了更细粒度的控制和更高的效率。因此,云计算已成为不可逆转的趋势之下,构建合理的云平台成了任何IT领域构建系统时的一种共识。同样,对于安防领域来说更是如此。
▲图表 1 公共安全视频建设政策
从2015年开始,公安部就视频监控信息化建设给出多个指导意见。而在这其中,以云计算为基础能力,进而为更上层的业务应用构建坚实的云平台能力是最根本的高瞻诉求。
安防专有视频云的业务特点
海量的实时多媒体数据传输及存储
对一套安防系统而言,数以万计几十万计的相机接入,数据洪流源源不断,需要应对并满足的性能挑战包括以下:对图像的调度时间要求保持在1秒以内;对编解码以及整网传输延时不能超过300ms;监控系统规模扩展都不能影响上述指标;多维度的内容组织及挖掘,前端及后端智能结合,内容大数据索引化。这些都构成视频云对专业响应和可靠性性能的重大保障要求。
数据的高度安全可靠性
图像数据需要专业存储设备存储,并用RAID甚至多节点纠删卷进行保护。数据存储重要性必须永远放在第一位进行保证,因此无论录像还是图片,都需要优异的读写分离体系作为支持。另外,端到端接入授权、全链路数据加密保障的安全保障也是至关重要一环,无论是中间网络截获还是存储介质暴露,均须做到无法直接恢复出有效数据,保证最高级别的安防数据可靠性。
图片与结构化数据爆炸式增长
人工智能(AI)的深入应用,给人工视频调阅式的信息理解方式带来了机器理解,这让视频的信息利用率一下子提升了成百上千倍。 早在2016年,宇视科技发布了“SMV安防机器视觉战略”。其中很重要的前瞻之识,就是充分预见了人工智能(AI)对于安防数据的变革诉求,提出了视图服务化体系模式。2018年初,宇视进一步提出了“安防IT化3.0”,即智慧化云平台服务体系。此外,得益于视频的内容理解、视频被数据化和信息化,因而在这样的视图大数据平台上,安防监控的业务应用体系也得到了爆炸式增长。
安防专有视频云的部署模式
正是上述安防数据的实时特点,必然需要引入了边缘计算,作为中心服务云的部分功能卸载,并就近集成安防业务相关的特殊功能模块。 接入边缘传感数据进行实时化业务的同时,其与中心云“统一云计算服务框架”承建,并继续数据的互通,从而协同分析挖掘,形成进一步的业务服务&数据服务。通过这样的模式,达到中心云计算与边缘计算的优势互补:
图表2 边缘计算发展时间轴
▲图表 3 多级视频云部署结构
云计算:成本低、高扩展和高可靠,适用于计算非实时、长周期场景;
边缘计算:低延时、高可靠和更安全,适用于计算实时性、短周期场景;
边缘计算与云计算中心协同工作,提供更优质体验服务;
梳理整个边缘计算的发展,应该说,安防监控领域成了边缘计算最成熟的应用场景,结合边缘计算,现有安防专有视频云的部署模式也基本成型:
视频云平台的构建
一云两库N平台的组成模型
以宇视独有的IMOS多媒体操作系统为基础,以可视智慧物联为框架,宇视视频云平台发展出面向数据的智能物联网架构(Data Intelligent Internet of Thing),并延伸出1+2+N模型:
▲图表 4 1+2+N架构模型
云边统一的云计算服务框架
合理利用云计算与超融合的架构,以统一的软件定义计算、存储、网络的框架,合理利用专有硬件卸载实时计算需求,兼顾中心云计算和边缘计算的诉求,以统一界面建设视频云。充分利用云、边、端全路径的智能异构资源进行多媒体的实时处理,让数据信息最大化,同时基于算法仓、服务仓灵活部署,有效实现计算、存储资源的全拉通。
▲图表 5 云边统一的云计算框架
▲图表 6 资源池组织框架
以“数据湖”架构构建安防云存储系统
“数据湖”是一种在系统或存储库中以自然格式存储数据的方法,它有助于以各种模式和结构形式配置数据,通常是对象块或文件。“数据湖”的主要思想是对企业中的所有数据进行统一存储,从原始数据(这意味着源系统数据的精确副本)转换为用于报告、可视化、分析和机器学习等各种任务的转换数据。湖中的数据包括:结构化数据从关系数据库(行和列)、半结构化数据(CSV、XML、JSON的日志);非结构化数据(电子邮件,文档,PDF)和二进制数据(图像、音频、视频),从而形成一个集中式数据存储容纳所有形式的数据。
结合安防监控的数据特点,从数据湖架构出发,我们设计了带数据缓冲池的原始数据池、半结构化数据池、结构化数据池和归档数据池。数据缓冲池作为原始数据池的有效补充,着重提升原始数据短期密集写入和读取需求时的消峰处理,通过对原始数据池的IA分析识别,构建多媒体的半结构化数据池,以支持更有效的业务应用。半结构化数据池自身会进一步进行分析和清洗,提升业务的靶向性,从而满足业务数据建模的需要,构建业务结构化数据。
此外需要说明的是,这几个数据池都是逻辑上的业务区分,并不要求严格意义上的介质分离建设,如半结构化形成的短视频/图片依然可以使用原始数据池的内容,仅仅形成无模式数据存储的元数据即可,这样能保证整个云存储系统中数据流转的高效性。
▲图表 7 安防数据湖架构
安防特点的数据治理框架
安防监控主要的数据来源,除了音视频的结构化分析,还包括各种车辆、人脸等卡口信息,和案件警情、MAC、RFID等外围采集信息。因此,必须要构建灵活的多维数据接入框架,同时在合理的数据中台管理框架下,保证数据的合理内化,从而为整个安防衍生业务提供完整的数据平台支持,这也是视频云框架中DAAS建设重点。
▲图表 8 视频云数据中台管理框架
安防业务驱动的深度安全运维管控框架
▲图表 9 深度视频安全管控框架
随着GB 35114-2017《公共安全视频监控联网信息安全技术要求》的发布和执行,以及智能在安防行业的数据信息化,人脸、车牌、轨迹等各种信息安全问题,都不得不让人对安防行业的安全管控提到前所未有的高度,更别说维护社会治安的系统不安全更是无法让人接受了。但传统安全往往都过于关注设备的漏洞、防入侵防攻击等领域,对于安防视频本身的业务体系涉足太少。因此,有必要基于安防业务特点出发,构建深度的视频安全管控框架,具体如图9所描述,实现云、边、端的全链路安全防控运维体系,具体包括芯片级密钥管理发放、视频传输加扰、大数据安全、准入安全等,同时结合可视化呈现,实现全网可视的综合态势感知平台。
▲图表 10 宇视综合态势感知平台