城市智慧公安综合视频系统关键技术应用—基于图形处理器、云存储、大数据的视角

■ 文/甘肃政法大学 贾志城

关键字：智慧公安视频 图形处理器 视频云存储 大数据技术

1 引言

随着我国经济发展速度的不断提高，物联网技术异军突起且发展迅速。尤其是视频监控系统得到广泛应用，技术水平日渐提升，从不同层面满足了信息社会的实际需求。由于世界范围内各类公共安全事件频发，社会民众对安全的需求越来越高，视频监控系统作为一种有效压缩犯罪空间和在线维权的安防产品得到社会民众的普遍认可。公共安全部门、政府机关、企事业单位、社区物业及小区居民等各级部门和个人均开始普遍使用视频监控系统，应对各类突发事件和用于安全防范。

公共安全部门应用视频监控系统的首要任务是压缩和管控犯罪活动空间，预防和查处形式繁多的安全事件，完成针对安全事件的侦查和嫌疑人羁押、看管。“平安城市”和“雪亮工程”等公共安全建设项目旋即成为城市智慧公安综合视频系统建设的重要基础设施，业务功能包括智慧警务数据汇总需求、多渠道信息采集功能、平台内部数据标准化共享化及多系统间多路接口规范化等。综合视频分析技术是借助计算机图像处理，完成视频监控大数据的适时信息清洗和分析，进而完成视频监控管理功能由“看得见”向“控得住”的理念转变。视频分析技术应用的图形处理器技术、大数据技术以及视频云存储技术在助力公安机关维护社会稳定，打击犯罪方面发挥着重要的技术支撑作用。

2 图形处理器技术

公安综合视频系统的基础数据集合是视频数据。视频数据的构成单元全部是数据帧，数据帧的应用及处理属于典型的图形图像运算，由图形处理器（Graphics Processing Unit，GPU—图形处理器）完成。GPU的产生和应用源自于数学计算和几何运算。图形图像的渲染处理必须依赖于GPU的专属数学运算指令集，CPU指令集只包含通用机器指令集。因此，GPU的图形图像运算能力是CPU所不能匹敌的，由于CPU和GPU独立存在于不同计算场景，其运行方式和存在价值各有不同。

随着集成电路和图形图像处理技术的深度应用，GPU结构体系融入了可编程逻辑单元、特殊功能单元和多级向量算术逻辑单元，其峰值运算日渐强大。GPU的发展历程包括由单一功能图形图像处理变换器向通用处理图形处理器GPGPU（General Purpose Graphics Processing Unit，通用图形处理器）的转变。GPU适合较高并行度、超量浮点计算能力以及矩阵预算的数据运算，GPU优异的浮点运算能力足以支撑计算分类和卷积两类关键运算，在保有必要精度前提下，相较于通用CPU，GPU凭借更高的运算处理速度，能够有效消减运算服务器投入，遂行高效率的数据中心运作。

GPU历经近40年的发展，产生了3D图形绘制处理器，同时能够完成超大规模并行处理的具有染色器架构的图形处理器也已面市。GPU的硬件结构历经固定功能流水线阶段、可编程染色器阶段和大规模并行的统一染色器阶段等三个阶段。

图形图像处理算法历来都是图形图像高质量渲染处理的关键起点，一直是业界的研究重点，算法的更新换代一直成为GPU硬件体系结构发展的动力。光栅化算法、实时交互式渲染相继成为算法演进的标志，而可编程技术在GPU结构上的成熟，再次激发了图形图像处理算法的又一次进步，高质量实时渲染成为可能。GPU硬件体系结构的快速发展和算法的改进为公安综合视频系统的稳定应用提供了基础平台。

3 视频云存储技术

视频云存储技术作为通用云存储系统的改进模式，同时又区别于通用云存储。视频云存储技术面向业务流的任务需求资源配给策略，把计算资源集群应用、负载均衡调度、计算/内存/网络资源虚拟化、云服务化、分布式存储等多种技术融为一体，并将多路异型辅存资源以分布式策略赋予集群化并统一分配，由此完成高性能、高可靠、高容量、高可用的数据中心业务资源交换。智慧公安综合视频系统的视频数据存储依然是后期数据应用的基础环节。智慧公安综合视频大数据对存储资源的需求不外乎拓展视频系统数据存储能力和跃升系统的数据吞吐量两点。

早期的辅助存储资源拓展通过跃升单机机器系统的硬盘存储容量，以及多硬盘环境下的存储资源扩展完成。前者的拓展相对简单，硬盘单盘容量历经MB→GB→TB，后者历经直连式存储DAS（Direct-Attached Storage，直连式存储）→网络附加存储NAS（Network Attached Storage，网络附加存储）→存储区域网络SAN（Storage Area Network，存储区域网络），现在发展到了云存储阶段。

DAS是最先投入使用的直接式辅助存储器拓展方式，其工作方式就是直接将硬盘组设备连接于服务器等设备端，其接口之间无存储网络。因此，早期的DAS结构应用于数据量较小的应用场景中，发挥其较好的性能，而在复杂应用场景中，DAS存储结构略显不足。

NAS是指通过网络与其他设备相连接并提供文件访问能力的存储设备。NAS结构通常的实现方式是通过高速网络交换机连接存储设备和服务器主机，由此实现高速和大容量的数据存储和访问。NAS已经被各类型企业和机构广泛采用，但NAS架构同样存在与大数据存储不适应的问题，主要包括受局域网带宽限制明显、不适应数据块级别的访问方式和无法实现数据集中备份等问题。

SAN是提供格式统一的、数据块级访问能力的一种专用局域网络。SAN 通常用于将具有数据存储能力的存储设备，如磁盘阵列、磁盘库等设备，通过高速交换网络连接在数据处理服务器上，服务器操作系统按照访问本地硬盘数据的方式完成针对SAN数据的高速访问。相较于DAS和NAS，SAN架构的优良特性能够确保其在大数据环境下的重要地位，主要包括系统整合程度高、数据集中度高、扩展性高、成本低等优点。

云盘或云存储系统具有很多传统存储不可比拟的优势，可扩展性好、成本低、易于访问且可靠性高。由于云存储系统受到越来越多用户青睐，应用范围越来越广，促使广大存储厂商改变了过去销售软硬件产品的方式，转为销售存储资源和服务，云存储服务平台应用而生。

4 大数据技术

大数据技术是指基于结构化、半结构化和非结构化的海量数据完成数据分析的技术。大数据技术框架具有分布式、集群化、统一存储、统一访问、动态扩容等特点。海量数据是大数据技术的处理对象，源自于各类产生数据的媒介，诸如手机通信数据、微博留言、视频上传数据、网站访问、物流运送、科学文献等社会各行各业的活动数据。大数据技术正是基于上述各类数据进行处理而得到具有价值的新数据。

大数据技术框架通常基于通用Hadoop、Spark大数据基础架构而优化建成。传统数据分析方法已经不能够实现基于大数据的高效率分析，需要借助于大数据数据分析方案来完成。大数据技术提供分布式存储数据库HDFS、抽象模型RDD等，适用于海量数据的存储和分析，这两类技术为大数据的分析提供技术保障。Hadoop是Apache基金会研发的分布式系统基础架构，实现分布式存储系统HDFS用于解决海量数据存储和分析问题。Hadoop在分布式存储上不仅能保证可靠性和可扩展性，在海量数据的计算上同时也具有成本低、高容错性等特点。Hadoop生态圈有很多子项目和框架，其中分布式文件存储系统HDFS和分布式计算框架Map Reduce是最核心的两个，有着独特而先进性的设计思想。HDFS主要解决海量数据和实时流数据的处理和需求分析，可以大量配置在各类服务器上。借助其高容错性、高可靠性和高吞吐量等特点，完成对海量数据的有效存储。Map Reduce是一种编程模式，能够高效进行海量数据的并行运算。

Spark并行计算框架同样属于Apache基金会开发的项目。Spark计算框架基于内存进行计算，解决Hadoop基于硬盘计算导致效率低下的问题。Spark为大数据开发人员提供了弹性分布式数据集为核心的开发接口，能够高效的实现数据划分和大数据的并行计算等工作。Spark生态圈十分丰富，整合了数据仓库、实时流计算、机器学习模块、图计算和统计模块等框架，能够满足大数据分析中的离线、实时流数据批处理、数据查询和机器学习需求，同时可对资源调度提供丰富的模式，支持多种资源管理器，同时也支持从Hadoop的分布式文件存储系统HEFS和分布式数据库HBase中读写数据。Spark计算框架的核心是Spark Cor为Spark提供了最核心和最基础的功能实现，包括Spark Context存储体系和计算引擎等，为其他框架提供支持。同时Spark Core提供的存储机制，在各个工作节点执行计算任务时，会优先使用各个节点的内存进行数据存储，只有当内存不够时，才会用硬盘进行存储，减少磁盘I/O，提高计算任务执行效率。

5 结语

图形处理器技术、视频云存储技术、大数据技术等先进技术作为构建城市智慧公安综合视频系统的三种关键技术，图形处理器GPU的硬件体系结构演进和算法迭代发展，云存储系统的跨平台存储，成就了大数据存在的并行计算架构及其弹性分布式数据应用，提升了我国社会治安防控水平和智慧化城市的创新理念，成为城市智慧公安综合视频系统取得阶段性成效的有效驱动力量。