大数据助力智慧公安

2018-11-19周安宏

通信电源技术 2018年9期

关键词：网关结构化人脸

周安宏

（1．中通服咨询设计研究院有限公司，江苏南京210000；2．重庆邮电大学，重庆400065）

1 概述

基于hadoop的分布式架构包括：

（1）数据采集总线

负责数据的采集、整合、交互，实时、历史结构化数据通过数据采集总线进入分布式数据库，同时通过数据采集总线能实现关系型数据库和大数据平台的分布式数据库之间的数据迁移。

（2）HDFS分布式文件系统

是一个运行在通用硬件上的可扩展、高容错的大文件存储系统，能利用多台存储服务器分担存储负荷，适用于有着超大数据集的应用程序。

（3）Hbase分布式数据库

Hbase是一种构建在HDFS之上的分布式、面向列的存储系统，它具有高可靠、高性能、面向列和可伸缩的特性，适用于存储大表数据（表的规模可以达到数百亿行以及数百万列），并且对大表数据的读、写访问可以达到实时级别。

（4）ElasticSearch全文搜索引擎

是一个基于Lucene的搜索引擎，能够提供亿级规模数据稳定、可靠、快速、实时的搜索能力。

（5）YARN分布式资源管理

负责计算、存储资源的管理，用以提高分布式集群环境下的资源利用率，例如内存、IO、网络、磁盘等资源，能为上层应用提供统一的资源管理、调度和监督。

（6）Spark内存计算框架

Spark是一套分布式计算框架，其核心是弹性分布式数据集，即在对同一个数据集反复运算时，能够将频繁使用的中间数据存储在内存中，提升数据计算性能。

（7）Spark Streaming流式计算引擎

负责将流式任务转换成一段一段的批处理作业，即转换成适用于内存计算的弹性分布式数据集，以便在内存中进行数据计算。

（8）SQL接口

是一套基于Spark SQL支持多种数据存储、多种索引方式，具有良好资源分配与管理的OLAP（online analytical processing，在线联机分析处理）系统，可以为上层应用提供对数据的各项操作。

（9）分布式协作服务ZooKeeper

分布式协作是一个针对大型分布式系统的可靠协调系统，能提供集群节点间的事物协调服务，保证HDFS、HBase、Spark、Map／Reduce等分布式系统的安全可靠运行。

（10）HDH Manager平台管理

负责为大数据平台提供高可靠、安全、容错、易用的集群管理服务，包括集群部署、集群管理、服务管理、任务管理、状态监控、用户管理、告警管理、日志管理等。

2 人脸云分析

2.1 概述

云分析系统对前端采集的人脸图片进行结构化分析处理，实现人脸结构化和人脸模型建设。

2.2 分析过程

前端提取是指通过新建的人像感知网，部署人脸抓拍单元，实时采集现场行人过往画面，并对画面中的人脸特征进行结构化描述，实现前端智能化分析；云端解析是指中心部署云解析系统，通过人脸识别、分布式计算、CPU＋GPU混合处理等技术方式，实现视频流人脸云分析、人脸图片云分析两大功能，突破传统技术在人脸数据分析、信息挖掘等方面的性能瓶颈。其中视频流人脸云分析负责对前端推送的视频进行智能化分析，通过视频触发方式对每一帧图像中的过往行人的人脸进行检测、抓拍，提取出视频监控中人脸图片；人脸图片云分析负责对人脸图片进行特征识别和人脸模型建模，深度挖掘图片中有用的人脸信息，系统示意图如图1所示。