东方美学框架下多视图局部约束的图像情感计算

叶凤华

摘要：针对以往对图像内容分析的工作主要集中在物体检测与识别的问题。本文提出在东方传统美学框架下进行将多视图局部约束用于图像情感分类与回归的计算方法，主要有预处理的操作、特征提取、对提取的特征进行选择以及选择分类器四个主要步骤。通过介绍图像情感的定义与描述，然后给出了图像情感计算的问题描述，最后使用不同视觉特征以及不同学习方法情感分类的平均性能。

关键词：儒学；图像情感计算；局部约束；东方美学

1 引言

图像的人工智能情感计算是通过体系性地介绍情感的认知基础以及数学模型、从fmri数据中解读出情绪状态的一种方法，神经网络和支持向量机、图像特征提取算法、mpeg中图像的描述标准、本体构建和推理方法，并且在此基础上结合当下的研究动态，着重对基于强度的情感映射算法、图像特征和多层情感模型、图像特征本体的构建和推理的技术进行了相关讨论，力图向广大读者展示该领域的最新研究动态，希望能为从事相关研究的读者提供更有价值的参考，能对人机交互技术、图像理解的发展起到一定的促进作用。

现阶段大部分的东方美学设计还停留在形象符号层面，并不足以体现东方美学的真正意涵。需要补的课是从东方思维和东方美学中重新认识“创意设计”的概念。在东方美学框架下多视图局部约束的图像情感计算是基于东方美学框架下6个艺术原理的：（1）平衡（求仁），（2）强调（重仁），（3）和谐（天人合一），（4）多样（宽容），（5）渐变（虚实合一），（6）运动（情景合一）。通过提出东方美学框架来进行东方美学框架下多视图局部约束用于图像情感分类与回归的计算。

2、东方美学框架及情感

2.1 东方美学在视觉上的表达呈现

天人合一是古代东方美学的一种精神追求，将其放到新时代语境下，东方美学的现代意义也在不断接续衍变。儒道禅的一系列美学概念对东方美学影响深远，东方美学创作的最主要的目的不是描述表面的现象而是表达意象的概念和现在的精神。创作的途径不在于模仿外在形式或是用眼睛直接关注外界，而是透过眼睛感受外界氛围，内心亦不受外界影响。之所以国内有时会对现代创意艺术设计“水土不服”，根本的原因可能是在于東方思想推崇、主导的集体主义精神与创意设计本身所提倡的个性主义相悖，所以需要从东方美学思维特别是在儒家美学概念中重新认识找到属于东方的创意观念。

2.2 图像情感计算流程

图像情感计算首先须有一个有label的图片数据集，有两中方法获取，一是利用公开的数据集，图像情感方面可以参考IAPS；二是自己建立，通过人工的标注，最后统计结果作为ground truth。以下为图像情感计算流程的预处理的操作、特征提取、对提取的特征进行选择以及选择分类器四个主要步骤：

Step1.预处理操作。把图片的尺寸变成一致并且进行裁剪，最好保持图片的长宽比和原来的一致，不至于让图片失真；

Step2.特征提取。根据相应的研究和论文提取出最有用的特征，组合成最后的特征；这一步决定了后面分类器分类的质量；

Step3.对所提取的数据特性来选择。因为提取的特征当中可能会有冗余的特征，并且特征过多容易造成维数灾难，比较常用的方法是作主成分分析（PCA），或者是直接利用现有特征，根据启发式、完全搜索式等等方法抽取特征子集；

Step4.选择分类器。对不同分类器进行测试，比如SVM算法、RF算法、GBDT等等各种算法进行分类，测试效果，得到最终分类模型；算法在得到模型之后，就可以进行预测了。

3、东方美学框架下多视图局部约束的图像情感计算

东方美学框架下多视图局部约束的图像情感计算是基于东方美学框架下6个美学原理平衡、强调、和谐、多样、渐变、运动。用于图像情感分类与回归的流程如图1。

4、实验结果与分析

为了评估所提出的方法RMTHG在个性化图像情感预测中的有效性，并且在IESN数据集上进行情感分类实验。

4.1实验设置

由于用户上传图像或评论图像是有时间顺序的，感知的情感也会在时间上受到影响，本文根据图像的上传时间和评论时间将数据集分成一个训练集和一个测试集。每个用户参与的前50%的图像用于训练，剩下的50%用于测试。由于数据集中有8000个用户，数据量比较大，为了提高计算速度节省计算内存，本文随机将他们分成80组。每次本文都在一组中进行实验，最后本文计算性能的平均值和标准差。

对于情感分类，本文使用三种分类器作为baseline方法：（1）朴素贝叶斯（NB）算法，（2）使用RBF核的支持向量机（SVM）算法，这两种方法在传统的图像情感分类和等工作中用到，（3）图模型（GM）算法，用于个性化情感预测。GM算法中主要使用社交因素和视觉特征。

对于情感回归，本文测试了支持向量回归（SVR）算法以及多元线性回归（MLR）算法等回归方法的性能。这些方法很难对社交上下文等特征进行建模，因此本文仅使用了视觉特征。对于SVR算法，本文测试了不同的核方法。如何在回归的框架中有效地结合不同的因素是本文未来的工作。

4.2个性化情感分类

首先，比较不同的视觉特征对于个性化情感分类的性能。SVM算法和NB算法当作baseline方法。为了便于比较，我本文使用了GM算法和RMTHG算法的一种简单版本，即只考虑了视觉特征，这种简单版本分别简记为GM（V）算法和RMTHG（V）算法。

使用不同视觉特征以及不同学习方法的不同情感类别precision、 recall和F1的情感分类平均性能。从图2所示的实验结果中，可以发现：（1）所提出的超图学习的方法几乎在所有的特征上都明显优于baseline方法；（2）相对于消极情感，这4种方法几乎都对积极情感建模的更好；（3）整体的precision，recall和F1仍然很低，说明仅仅使用视觉特征对个性化的图像情感进行分类是不够的。

参考文献：

[1]RODA A. Clustering affective qualities of classical music： beyond the valence-arousal plane[J]. IEEE Transactions on Affective Computing，2014，5（4）：364-376.