基于内容的视频检索技术在数字档案馆中的应用

文/谢建云

基于内容的视频检索技术在数字档案馆中的应用

文/谢建云

文章围绕基于内容的海量视频检索的特征与技术所面临的突出问题，阐述基于内容的海量视频检索的特征与技术，并积极将基于内容检索方法应用于数字档案馆中视频档案管理领域，以期为用户提供高效、准确、便捷、直观的知识服务，彰显档案价值

档案馆；视频检索；数字化建设

随着社会经济的持续发展，档案管理显得越来越重要［1］（p427-428）。数字档案馆是运用当代信息技术，对数字档案信息资源进行管理，以网络化方式相联接和提供利用，实现资源共享的信息系统。其除了馆藏档案数字化的工作外，还涉及档案信息的采集、整理、存储、检索、保管、利用、鉴定、统计等全过程［2］（p73-85）。数字档案馆应具有强大的检索能力，能根据需要设置目录检索、元数据检索、全文检索、图文声像一体化检索等，并能对查询结果用户进行显示、排序、转存、打印输出等技术处理，使利用者可以通过网络对数字化档案信息资源进行远程查阅和利用。

一、传统基于文本档案管理工作的瓶颈

数字档案馆在知识传播中承担着重要的角色。视频档案以其直观的记忆展示，失真度小、还原性强、生动感好等特点也将会越来越受到青睐。面对海量视频，如何快速有效地针对需求完成检索和输出，是当前研究的热点。

传统的计算机视频信息检索是通过文字形式来描述，是基于文本的检索方法，即视频信息存入计算机的同时添加描述性的说明文字，对信息的物理特征和主要内容进行标录，将视频本身涵义转换为文本说明，建立文件标题及注入关键词，包括一些附加的描述信息等作为索引，录入数据库当中，采用关系数据库技术来实现视频文件的检索，检索时对数据库中的文本信息进行搜索匹配。

但这种方法存在着缺陷，主要表现为：①视频文件由人工进行主题标注，内容的理解与标注上有很大的主观性，不同的管理者会存在不同的内容解释，且难以准确描述蕴藏在视频中的所有内容信息，描述不够形象具体。②工作量大而繁琐，尤其在大新据时代，民众记忆日益丰富，捕捉珍贵记忆，扩大了人类记忆的收集范围，日常生活和工作中形成了大量的视频档案，面对海量视频用传统检索方法已不能适应。

笔者提出的基于内容的视频检索CBVR （Content-Based Video Retrieval）技术是相对于传统的基于文本和关键词的检索而言，之所以强调内容，是因其包含有文件名和标注信息所无法描述的更加丰富的信息，涉及到图像处理、视频处理、模式识别、计算机视觉、图像特征提取匹配等方面的知识。

二、基于内容的海量视频档案检索技术分析

基于内容的视频检索（CBVR）指的是按照用户的查询需求，自动对视频资料的各种视觉特征进行检索，将视频资料本身的视觉内容如颜色、纹理、空间关系等特征作为索引，对照查询视频特征和视频库中视频特征的相似性，从视频档案数据库中查询到具有特定特征或者含有特定内容的视频资料并按相似度从大到小排列库中视频资料［3］（p8-10）。基于内容的海量视频检索技术由于能够根据视频的可视内容进行查询，从而方便了用户，查询时针对不同的具体应用情况，可利用一种或几个特征组合进行查询检索。

基于内容的海量视频检索系统体系结构划分为视频特征提取和视频查询两个子系统。用户向发出查询请求，系统自动将查询需求转化为电脑内部特征描述，并借助这些特征描述与特征库中信息进行匹配。系统依据匹配结果到视频库中搜索并提取出用户所需要的视频检索结果来，用户对检索结果进行验证，可直接使用或进一步改进查询条件并重新检索。［4］

（一）视频预处理

由于视频资料来源不一，所使用的格式多样，为了便于系统处理，首先需对源视频进行相关预处理，包括视频格式转换、规格化、视频图像的增强、去噪等。

（二）基于内容的视频特征提取

与基于文本的视频数据库的精确关键字的检索不同，基于内容的检索普遍采用的是相似性而非精确化。视频本来所包含的内容是多元化的，要用精确的数字来匹配高层语义存在难度，所以采用模糊的相似度测量。［5］视频是三维信号，是一种具有时间及空间三维结构的数据格式，数据量大、蕴含信息丰富。视频特征提取是基于内容的海量视频检索的核心问题，就是要建立视频底层特征（如颜色、纹理、空间、音高、运动对象等）与语义信息（如人、会议、发言等）之间的对应关系，并将所提取的视频特征信息存储到特征数据库中［6］（65-70）。视频特征提取如图1所示：

▲ 图1 视频特征提取

1. 颜色特征的提取

颜色是CBVR中最直观的视觉特性，任何物体都有其特殊的颜色特征，相同种类的事物有着相同或相似的颜色特征，所以可利用样色来区分不同的物体。对视频检索比较有效的方法有：颜色矩、颜色相关图、颜色直方图等。

2. 纹理特征的提取

纹理是跟物体表面材质有关的视觉特性，可以看成是由一些相似形状的重复分布，它不依赖于物体的颜色、亮度，是像素灰度级的空间分布特征。纹理特征的提取方法主要有：统计法和结构法。统计法主要有多尺度回归法、遗传算法、马尔可夫分析法、共生矩阵分析法等，结构法纹理提取主要包括：粗细度、方向性、重复性、对比度、复杂性等。

3. 空间关系特征的提取

颜色和纹理反应的是物体的整体特性，无法体现视频所包含的对象和目标，实际上视频资料中的特定对象或对象间的空间关系也是十分重要的图像特征。空间关系主要包括方向、拓扑与度量。提取空间关系特征的方法主要有：基于图像分割、基于图像子块等。

（三）视频检索数据库

视频数据库由视频资料库、视频特征库和知识库组成。视频资料库为数字化的视频信息，视频特征库包含自动提取的视频内容特征，知识库包含各种专业和通用的知识，知识库中内容可以更换以适应各种不同的应用领域，有利于促进查询优化和快速匹配。

（四）视频检索接口

视频检索接口主要功能是为用户提供一个友好的检索界面，用户可以使用多种方式表达自己的检索要求。例如用颜色特征检索时允许用户指定不同颜色的百分比，或者同时选择几种不同视频特征进行组合查询。用户也可使用系统提供的画图功能勾画出自己感兴趣目标的几何形状。

三 、视频检索技术在数字档案馆中的应用

数字档案馆建设的不断推进，视频档案的数量在急剧增加，视频档案作为档案资料重要组成部分，视频档案的管理与利用是数字档案馆建设亟需解决的问题。用户为了得到相关信息，对需要检索内容进行条件设置，基于内容的视频检索模型要先对视频信息进行有效分割，通过提取行为特征值，并将行为特征值与规则库中的规则进行匹配，识别出所有对象所发生的行为，最后将识别出的每个对象的所有信息以及帧号存入数据库［7］（p14-18）。经过一个特征值相似度计算，当系统获取到用户要查询的的信息，利用这些索引和内容元数据对海量视频数据库进行查询，按照一定的相似度对比算法进行相似度计算，并对最终的相似度排序，检索和浏览以定位所需要的视频片段。检索模型如图2所示。

▲ 图2 检索模型

基于内容的视频检索技术在数字档案馆中将发挥着独特的优势，应用的目的是通过对视频图像内容进行计算机分析与理解，对海量视频数据进行高速的分析，仅对用户提供有用的关键信息，再通过网络传输给终端利用的用户。检索界面如图3所示。

▲ 图3 检索界面

四、小结

基于内容的视频检索技术是对视频数据中蕴含的视觉和语义内容进行计算机处理、分析与理解，并根据内容进行检索，其本质是对视频数据内容与结构进行分析，提取视频语义信息，保证视频内容能被快速检索。基于内容的视频档案数据库的建立、基于内容的视频检索技术的应用和推广，一定程度上解决视频检索数量庞大的难题，使得数字档案馆能提供更便捷服务并更具价值。

（本文系2014年度浙江省档案局科技项目“数字校园环境下高校档案服务平台建设研究”研究成果）

（责任编辑：李淑芳）

［1］ 鲍亮，李倩.实战大数据［M］.北京：清华大学出版社，2014.

［2］ 庄越挺，潘云鹤，吴飞.网上多媒体信息分析与检索［M］.北京：清华大学出版社，2002.

［3］ 卜庆凯.基于内容的视频检索与视频摘要关键技术研究［D］.南京：东南大学，2009.

［4］ Colombo C，Del Bimbo A.Color-indexed image representation and retrieval［J］. Pattern Recognition，1999，32（10）.

［5］ Bimbo A D，Mugnaini M，Pala P，eta1.Visual querying by color perceptive regions［J］.Pattern Recognition，1998，31（9）.

［6］ 郭晓科.大数据 ［M］.北京：清华大学出版社，2013.

［7］ 杨晶.数字档案馆信息检索系统的研究与实现［D］.北京：北京交通大学，2006.

Application of Techniques of Content-Based Video Retrieval in Digita Archival Construction

Xie Jian-yun

G270.7

A

1005-9652（2016）02-0073-03

谢建云（1976—），女，浙江台州人，台州职业技术学院副研究馆员。