基于动态索引技术的视频数据治理体系理论及应用研究

洪小龙 张 成 张进飞 黄永烨

（1.广东省公安厅， 广东 广州 510050；2.佳都科技集团股份有限公司，广东 广州 510230；3.广州市公安局科技通信处，广东 广州 515000）

视图大数据具备数据量大、价值密度低、速度快且时效高的特点，存在人工翻查效率低，视频图像数据利用率不高的问题。本文通过研究动态索引技术在视频检索上的应用，并与大数据相融合的技术，形成以动态索引服务为目标的视频应用技术，提高对视频图像应用的效率。

1 视频图像数据治理面临的现状与问题

视图数据在获取、存储、管理和分析方面与传统大数据存在很大区别，视图数据的应用存在数据治理不深、支撑力度有限、价值挖掘不够等短板问题。

1.1 数据治理不深

视图大数据在结构上分为结构化、半结构化、非结构化，且价值密度较低，必须经过结构化和数据治理后才能形成可以被应用的有效数据，但目前缺少有效手段对海量的视图数据进行价值提纯，制约视频图像数据的应用成效。

1.2 支撑力度有限

视图大数据最大的价值在于通过从海量视频图像数据中，实时、高效地挖掘出对未来趋势与模式预测分析有价值的数据。但是现有的计算方式难以高效地“提纯”视图大数据的价值，无法满足统计、分析、预测和实时处理的需求。因此，现有的视图大数据对业务应用的支撑力度有限。

1.3 价值挖掘不够

视图大数据主要应用方向为辅助决策、数据驱动服务和实时决策反馈。虽然已经出现了一些基于视频图像数据开展智能化应用技术，但是过于零散化、碎片化，未能与传统大数据进行融合，进而挖掘视图大数据的价值，形成更全面的信息集合。

2 “视频+大数据”的视频数据治理体系思路

本文通过探索动态索引技术在视频图像数据检索上的应用，形成“视频+大数据”的视频数据治理和应用体系。具体思路如下：

2.1 数据融合，构建“视频+大数据”的数据治理格局

采用动态索引技术，在特征值之上构建索引层，实现具备相似特征属性的视频图像精准归档；融合关注特征属性，选用具备典型特征属性的视频图像作为档案封面属性，形成典型特征属性库；以典型特征属性库档案封面属性与图像档案数据进行关联，形成视频图像动态索引，从而搭建视频图像数据与传统大数据的桥梁，构建“视频+大数据”的数据治理格局。

2.2 逐级关联，完善动态索引数据治理体系

采用依托本地典型特征属性数据构建动态索引服务的治理模式，由本地先对视频图像数据按相似特征进行整理，形成非典型特征图像档案库；再通过非典型特征图像档案库与本地典型特征属性库中的封面属性进行比对分析，以比中结果形成视频图像典型特征关联档案；不能通过本地动态索引服务形成图像档案的，通过调用更高级别的动态索引服务实现典型特征关联，从而完善动态索引数据治理体系。

3 “视频+大数据”视频数据治理体系的建设内容

构建“视频+大数据”数据治理体系的关键是建设本地动态索引服务，从而形成视频图像数据与传统大数据关联的桥梁。本地动态索引服务需要建设以下内容（见图1）。

图1 本地动态索引服务建设内容

3.1 搭建非典型特征属性图像库

建立特征属性关联分析算法，按照对象识别、特征比对等信息，按相同特征属性的视频图像进行聚合，满足同一特征多张图像的集合，在视图库中注册成为非典型特征属性图像库，形成非典型特征属性图像档案。

3.2 构建本地动态索引服务

一是构建本地典型特征属性库，对重点关注特征属性档案和本地典型特征属性档案进行管理；二是多渠道汇集本地典型特征属性数据，形成本地典型特征属性档案基础信息；三是从多种渠道中选取最新留存的图像信息，形成本地典型特征属性库中的档案封面属性；四是利用视频图像解析算法实现非典型特征属性图像库与档案封面属性的比对分析，形成典型特征属性关联，从而构建本地动态索引服务。

3.3 通过级联完善索引服务

一方面，汇聚动态索引档案，并且更新高价值的动态索引档案，形成动态索引服务的底库。另一方面，非典型特征属性图像集合在本地不能实现动态索引关联时，通过调用更全面的动态索引服务进行典型特征关联，从而形成一体化的动态索引级联共享服务。

4 视频图像数据动态索引后的价值

海量的视频图像数据经过“视频+大数据”数据治理体系治理后，能够明显提升视频大数据的赋能能力。具体表现在如下方面：

4.1 提升视频图像关联分析能力

实现了“由图到特征属性”和“由特征属性到图”的关联转换，提高了海量视频图像数据快速查询效率；能够与大数据平台关联使用，实现虚实结合，丰富了多维信息的组合使用效率，提升视频图像关联分析能力。

4.2 提升态势预测能力

依托基于特征属性构建的动态索引库可实现对风险隐患的快速查询分析和精细化管理，提升态势预测能力。

5 主要结论

基于动态索引技术构建“视频+大数据”的视频数据治理格局，是通过研究对视频数据建立动态索引和典型特征关联分析，从而搭建视频图像数据与传统大数据的桥梁，形成上下级联的动态索引库，提高视频图像特征属性检索效率，进一步“提纯”和挖掘视频图像数据的价值，实现海量视频图像资源的高效应用，赋能社会治理现代化和智能化的大环境。