浅谈基于情感的图像检索系统

(陕西职业技术学院，陕西西安，710100)

浅谈基于情感的图像检索系统

张 骞

(陕西职业技术学院，陕西西安，710100)

介绍了基于情感的图像检索系统产生的原因及概念，分析了图像特征提取技术和图像特征与情感空间映射技术，提出了系统设计的五个模块，以其对系统的建立有一定的参考价值。

视觉特征提取；情感空间；检索系统

0 引言

图像信息以其能直接、客观地表达信息内容而成为网络中重要的信息资源，随着图像信息的几何级增长，如何更加准确、快速地获取图像，成为图像信息检索系统成败的一个重要因素。图像信息检索系统经历了基于文本的图像检索系统、基于内容的图像检索系统到基于语义的图像检索系统，并随着计算机技术的发展不断向智能化、专业化、个性化方向发展，基于情感的图像检索系统正是在这种环境下被提出并被广泛研究和实践的系统。

1 基于情感的图像检索系统

早期的图像检索系统主要利用对图像进行主题描述，进而通过关键词匹配实现检索，由于个人对图像的感知的差异，使得对图像的描述主题不尽相同，因此对图像的描述往往存在误差，检索到的结果相关性也比较低。为解决图像信息描述不准确问题，接着出现了基于内容的图像检索系统，它可以对图像的颜色、大小、纹理、等客观信息进行描述实现检索，提高了检索相关性。但这些都只考虑了图像的客观属性，忽略了用户检索图像时的主观需求，即用户在浏览图像时的主观感情体验。

为了解决这一问题基于情感的图像检索系统被提出，并被大量的研究和广泛的实践。用户在进行图像信息检索时，往往对检索对象有一定情感反应，如：厌恶，喜欢，忧郁，压抑等。这些感情因素对检索系统具有重要的参考价值，如果检索系统在设计的时候能借助一定的模型和参数量化这些感情因素，那么会对图像信息检索结果相关度将是一个极大的提高。

基于情感的图像检索系统事实上是基于语义的图像检索系统的发展结果，其本质是图像检索从客观内容层次向主观体验层次的发展，是检索系统智能化的重要表现。情感信息对用户检索检索和浏览具有重要的参考价值，在对歌曲的检索系统中许多都利用了基于情感的检索，音乐检索中关于心情的检索如：平静、温柔、兴奋、乐观、忧愁、冷酷等，这些都是基于情感的检索例子。可见基于图像情感的考量是非常有必要的。

2 基于情感的图像检索系统关键技术

常用的检索系统涉及到的关键技术主要有索引技术、分词技术、搜索技术和匹配技术，基于情感的图像检索技术不仅要利用这些技术，同时要利用其它方法和技术来实现对情感要素的量化和匹配。基于情感的图像检索系统首先要进行的是图像特征的提取，在此基础之上建立图形特征与情感之间的映射。图像的特征提取主要是颜色特征和形状特征的提取，这就涉及到颜色和形状特征提取技术，接着是如何将图像的特征与情感建立关联，这就需要特征与情感映射技术。

2.1视觉特征提取技术

颜色特征的提取常用的是颜色直方图。它主要通过软件计算出不同色彩在图像中的比例并量化成具体的参数,通过这些参数的分析可以得到各种所需的数据，任何一副图像都会得到与之相对应的直方图信息，这对图像信息的感情属性判定具有重要的参考价值。现在出现较多的是CCV（Color Coherence Vector）它是色彩直方图的改进技术，它可以提高相同图像色彩相似度的判定。

形状特征提取主要采用傅里叶描述子（FD）进行，它是对物体形状特征进行识别和分析的一种常用方法。通过对傅里叶变换性质的分析，到的物体形状，大小，方向和位置的相关数据。另外还有小波变化描述方法，它是一个时间和频域的局域变换，因此通过它能够有效的从图像中提取信息，解决了傅里叶变换不能解决的许多困难问题。

2.2图像特征与情感空间映射技术

当利用图像特征提取技术对图像的特征数据提取完成以后，形成图像的特征数据库，每个图像具有相对唯一的特征值，但如何将感情语义与特征数据建立关联，就需要利用图像特征与情感空间映射技术。情感空间的建立有很多种方法和技术，常用的方法是建立情感标签，通过建立情感标签可以将情感划分为几个大类，每个类都有几个情感标签，以此方法来将大量的情感反应划分到相应的情感标签类里面，这样可以方便建立情感空间，有利于情感要素与图像特征之间映射的建立。

图像特征与情感空间的映射主要利用朴素贝叶斯模型（Naive Beyesian Model）来实现，它一般有下面几个阶段。首先是预备阶段，这个阶段的工作将对映射的结果有重大的影响，对映射相关性的高低有决定作用。它主要是通过人工对图像特性的属性进行划分，并将部分分类项与情感空间的情感标签进行关联与归类，形成训练样本集合。接着就是生成自动映射，这个阶段主要由计算机来完成，根据预备阶段的训练样本集合，计算每个特征属性在样本中出现的频率和每个特征属性划分对情感空间中情感标签的条件概率估计，记录并保存概率估计和频率。最后是实践阶段，就是根据前两个阶段产生的算法和步骤，对所有图像的特征进行情感分类，当输入图像特征的时候，得到的是图像的情感表现，实现图像特征到情感空间的映射。

3 基于情感的图像检索系统设计模块

基于情感的图像检索系统设计模块与传统的图像检索系统设计模块差别不大，在延续了传统检索系统，检索模块、索引模块、搜集模块之上，更加注重对情感信息的提取和检索，使信息检索提高到语义层次的检索层面上来，大大提高了检索效率。主要有以下模块如图1所示：

图像信息搜集模块：通过网络蜘蛛对网络上的图像信息按照主题和视觉特征进行进行抓取，并将图像存储在图像数据库中，方便用户的检索和利用。网络蜘蛛的设计应该更趋向于对图像信息的抓取，在抓取广度和深度上应该与传统搜索引擎的网络蜘蛛有所区别，使图像信息采集库里面的数据更加准确，内容更加合理。

预处理模块：与传统检索系统相比，预处理模块是基于情感的图像检索系统增加的模块，正是因为有此模块的存在，才使得基于情感的图像检索系统能专注于用户的情感需求，能针对情感关键词进行检索。它主要是对图像的视觉特征进行预处理，通过图像视觉处理技术提取图像的相关数据，存储在图像特征数据库中，并通过图像特征与情感映射技术对图像的情感内容进行表述，使得图像拥有情感的主题，它还要对图像的情感语义进行标引和描述，使图像数据库中存储的不仅仅是图像还有图像的情感描述。预处理模块还要对反馈模块提供的结果进行处理，根据用户的反馈结果，及时更改图像的主题或者增加图像的主题，使得对图像的情感描述更加符合用户的感觉，提高标引的准确性。

图像索引模块：图像索引模块和其他搜索系统的索引模块差别不大，区别的地方主要是这里面存储的主要是情感方面的主题词，图像的情感描述完成之后要将图像的情感标引和描述建立索引，并存储在索引数据库中。索引数据库一般是按照一定的算法进行排序和分类，排序的结果主要看算法的设计。

检索模块：用户通过输入情感相关的关键词与索引数据库中的主题进行匹配，找出相关图像并呈现给用户。同时，要对用户的检索词进行规范性约束和提示，以提高检索相关性。检索模块要将检索结果呈现给用户，用户可以自主的选择呈现结果。

反馈模块：检索系统将结果呈现给用户的同时，要有相关性反馈机制，让用户对检索结果进行评价，并统计用户的检索选择结果，及时反馈给预处理模块，修改图像的的描述和主题，提高索引的高相关性。

图1 基于情感的图像检索系统模块结构

4 结论

检索系统的发展方向是更加贴近用户的个性化需求，更加符合人机结合的发展规律，使得检索系统真正成为用户获取知识的知识中心。基于情感的图像检索系统考虑了图像检索过程中用户对图像拥有感情这一维度，满足了用户的检索感性需求，提高了图像检索的效率，满足了用户个性化的需求，使检索系统向专业化迈进了一步。但基于情感的图像检索系统仍需要解决很多问题来提高检索的相关性。在图像特征的提取技术上有待全面提高特征的独特性和全局性，在特征与情感类型的映射研究上，还不是很成熟，还不能全面反映用户内心真实的情感需求，需要建立更加科学化、系统化、合理化的算法来实现图像特征与情感要素之间的关联。因此将来要注重研究用户情感表达与图像视觉特征的关系，注重更加科学、客观的情感计算模型。也要注重用户个性表达情感的方式，研究个性化的情感检索系统，对提高检索系统的人性化。

[1] 张大展.基于色彩情感的图像检索系统设计与实现[D].杭州：浙江大学,2013.

[2] 陈慧.基于颜色和情感语义特征的感性图像检索[J].莆田学院学报,2013(10):70-73

[3] 刘琳.基于情感语义的图像检索系统模型[C].第十二届全国图象图形学学术会议,2013

[4] 陆泉.基于情感的图像检索研究综述[J].情报理论与实践,2013(2):119-123.

[5] 张秀秀.基于图像服装检索系统设计与实现[D].成都:电子科技大学,2012.

Discussion On Image Retrieval System Based On Emotion

Zhang Qian
(Shaanxi Vocational&Technical college，Shaanxi Xian，710100)

This paper introduced the concept and reason of image retrieval system based on emotion,analyzed the technique of visual feature extraction and the mapping of image characteristics and emotional space ,proposed five designing modules of the system,in order has certain reference value to build system .

Visual feature extraction;emotional space;retrieval system