基于颜色特征的画家艺术风格提取方法

王栖榕，黄樟灿

（武汉理工大学理学院，武汉 430070）

（∗通信作者电子邮箱huangzc@whut.edu.cn）

0 引言

油画图像是一种重要的艺术创作和民族文化遗产，利用优美的表征形式，体现人类文化面貌，传达人类思想感情，是人类认识世界的一种独特而美妙的方式。几千年来，人类创作了大量的油画图像，使得大量的、不同艺术风格的中西方油画作品的分类成为了一项难题［1］。

早在18 世纪末，已有学者利用物理化学方法鉴定油画作品的历史年代以及颜料构成，从而判断油画作品的真伪以及画家的身份。Spyros 等［2］提出了一种无损的核磁共振法分析油画作品的老化程度，从而判断油画作品所属的年代。Chaplin 等［3］利用拉曼光谱法采集颜料的光谱，根据颜料的光谱判断油画作品的年代，从而推断油画作品画家的身份。Wang 等［4］提出了一种高光谱图像的特征融合方法，将物理方法与空间特征方法融合，对国画进行真伪鉴定。以上物理化学方法为油画真伪鉴定提供了有效的工具，但其需要作品的实物，操作复杂，且只能针对某一幅作品进行分析，无法对数字油画作品进行分析，也无法将艺术风格与画家联系起来，因此不适用于作家艺术风格的提取研究。

针对以上问题，目前较多学者运用人工智能、机器学习等算法对油画的笔触特征提取进行研究。Berezhnoy等［5］针对油画的笔触特征提出一种主流方向提取技术，用于自动提取人眼无法识别的油画笔触方向。Li等［6］针对梵高作品提出了一种融合边缘检测与聚类分割的笔触特征提取方法，用于提取油画的笔触特征，从而区别梵高的作品与其他同期画家的作品。Lamberti 等［7］针对梵高的作品提出了一种无监督的提取笔触方向、长度、宽度的方法。对油画作品笔触的研究，需要高度清晰的数字图像数据，这种数据不易获得，而且文献［5-7］的研究都是针对梵高的作品进行笔触的提取，不具有普适性，无法应用于作品的分类。

Sablating 等［8］提出了一种应用于人物脸部的分层特征提取算法，有效提取了油画的笔触特征。这项研究只适用于人脸部的特征提取，而且没有对所提取的特征进行有效性证明。Levy 等［9］提出融合最近邻判断的遗传算法（Genetic Algorithm，GA），但其正确率较低。Shamir等［10］提出通过计算特征相似度的方法对油画作品进行分类，该方法对于油画作品所属流派的分类比较准确，但对于所属画家的分类正确率较低。根据流派对油画作品进行分类的研究方法大多基于神经网络，需要大量训练集；但每个画家的作品数量过少，根据画家进行分类时，用神经网络不适合。

以上研究均未考虑油画关键区域对油画风格的影响，笼统地对油画进行全局或局部的特征提取，导致其对油画的描述无法有效体现画家的艺术风格。

针对上述研究存在的不足，本文结合颜色特征分析油画每一个区域的信息含量，以及每个特征与画家风格的关联程度，提出了一种基于颜色的关键区域油画描述法。首先，结合区域主色调占比与颜色熵定义了油画区域的信息丰富度，提出了一种选取油画关键区域的方法，通过度量油画区域的信息丰富度选取具有代表性的区域作为油画的关键区域。其次，本文提出了融合Fisher Score 的关键区域特征描述法，选取有效的颜色特征，剔除无效甚至对分类造成干扰的特征，更有效地描述画家的艺术风格。然后，利用朴素贝叶斯（Naive Bayes Classifier，NBC）分类器对油画进行分类。最后，通过实验对比发现，本文方法能够有效提取代表画家风格的油画区域与有效的颜色特征，并更加准确地对油画进行分类。同时，信息丰富度度量的定义为其他领域研究提供了新的思路。

1 相关知识

1.1 信息熵

信息是个很抽象的概念，信息的多少很难衡量，直到信息论之父克劳德·艾尔伍德·香农提出了信息熵的概念并用数学语言阐明了概率与信息冗余度的关系。“信息熵”一词是从热力学中借过来的，热熵表示分子状态混乱程度，信息熵描述信源的不确定度。信息熵计算式如下：

其中：p(xi)表示事件xi出现的概率，且。

由式（1）可以看出，信息熵具有单调性、非负性、累加性。单调性即如果有某个事件发生概率过高，概率越高，则信息量越低。非负性即信息熵不为负。累加性即多随机事件同时发生的总不确定性的度量可以表示为不确定性的度量的和。所以信息熵作为有效度量信息多少的量被广泛应用于集成电路、图像检索等领域。

信息熵能够较为准确地衡量一幅图像中信息的多少，本文为了选取能够同时体现油画整体特征与细节特征的区域，结合信息熵与油画的特点，提出油画的信息丰富度度量，具体内容见第2章。

1.2 Fisher Score

Fisher Score 广泛应用于特征选择，其主要思想是认为鉴别能力强的特征的表现是类内差异尽可能小，类间差距尽可能大。假设数据中有n个样本属于C个类别，每个类分别包括ni个样本，则单个特征的Fisher Score为：

其中：k表示第k维；SB、SW分别表示第k维特征在训练样本集上的类间方差和类内方差。由式（2）可以看出，当第k维特征的类间方差SB越大，类内方差SW越小，则Jfisher(k)越大。

为了提取油画更有效的特征，从而更准确描述油画的艺术风格，本文结合Fisher Score 进行特征选取，具体方法于3.2节中描述。

2 关键区域检测与选取

关键区域是一幅油画的指纹，所以一个关键区域应该具有这幅油画的主要特征并且能够代表这幅油画。因此，如何选取油画的关键区域非常重要。油画作品重视运用色彩深浅、光线明暗来表现物象。油画色彩具有色相、明度、纯度、冷暖等属性，色彩的精心和巧妙运用可以反映物体的明暗，使整幅作品的质感和空间感更好［1］，还能够传达画家的情绪和情感。油画的颜色分布是油画识别和搜索的有效工具，所以本文通过油画的颜色特征定义油画区域信息丰富度，并根据信息丰富度检测选取油画的关键区域。

2.1 主色调占比

不同的画家对颜色的偏好不同，多数画家都有自己无意或有意形成的颜色风格。例如：荷兰画家梵高前期的作品善于利用暗色表达对资本主义现实的悲愤之情，后期则钟情于黄色的植物以表达他对自然与生命的热爱以及对旺盛生命力的强烈渴望；卢梭痴迷于大自然中绿色的风景，表现他天真直率浪漫的性格；伦勃朗的画作富含各种赭色、深褐色和大地色调；莫奈则喜欢将白色和绿色作为主色调［11］。这些事实证明主色调的占比对于油画的识别非常关键，是选取关键区域的一个重要指标。本文定义了主色调占比，具体如下：

其中：S是区域的面积大小；m=(m1，m2，…，mi，…)为区域中各种颜色的像素点数量，mi表示区域中第i种颜色的数量。

2.2 颜色丰富度

颜色不仅能体现一个画家的情感与思想，同样能够体现一个画家的绘画技巧与功底。达芬奇提出利用明暗变化来构造凹凸感［11］，不同的画家在构造明暗变化时有不同的习惯与技巧。尽管卢梭偏好绿色，但是他的作品中运用深浅亮度等不同的绿色生动地刻画了静物。而莫奈倾向于运用“凌乱”的色彩展现景色的朦胧美。在一幅油画中，复杂的区域相较于颜色单调的区域更能够体现画家的技术和不同画家的不同习惯。所以颜色丰富度是关键区域选择的另一个重要指标。

信息熵［12-13］用来度量信息的多少，其定义如式（1）。Zachary［14］提出利用信息熵度量图片的信息量，也就是将信息熵的应用到图像中颜色丰富度度量，即为颜色熵。颜色熵［15］的大小反映颜色信息量的多少：

其中：P(i)是颜色值i在区域中出现的频率。R的值越大，该区域的信息量越丰富，所以本文通过颜色熵衡量区域的颜色丰富度。

2.3 信息丰富度

在一幅油画的某个区域中，主色调占比与颜色丰富度是互相影响的。当一个区域的主色调占比高时，很容易导致颜色丰富度低，反之亦然。所以本文根据主色调占比与颜色丰富度的调和定义区域的信息丰富度，具体如下：

其中，S、m、P(i)的含义与2.1、2.2节中相同。

式（5）能够有效检测具有代表性的油画关键区域，更大程度地反映油画的信息，避免无效区域的影响，降低计算复杂度。

2.4 关键区域检测与选取

画家的艺术风格主要体现在其对色彩的应用以及运笔的习惯，本文根据式（4）计算油画区域的信息丰富度，并选取信息丰富度最高的区域作为一幅油画的关键区域。油画的关键区域能够最大限度地保留油画的整体特征，体现画家对色彩的应用，并更加突出表现油画的细节纹理，体现画家的运笔习惯。图1为关键区域检测选取的3个结果示例，左侧为油画原图，右侧（每个箭头所指图片）是本文方法选取的关键区域。

图1 关键区域选取结果示例Fig.1 Examples of key region selection

3 油画关键区域描述

3.1 颜色特征提取

提取有效特征是关键区域描述的关键，在第2 章中已经选取了信息丰富度高的关键区域，在此基础上，对关键区域的有效特征进行提取，即能得到一幅油画图像的特征。由于油画图像具有丰富的色彩，所以本文提取油画图像的R、G、B、H、S、V 颜色直方图特征（包括颜色均值μ、方差σ2、倾斜度μs、峭度μk、能量μN）与由颜色变化而形成的纹理特征（包括对比度CON、角度方向二阶矩ASM、熵ENT、均值MEAN），计算式［16］分别如下：

其中，P(i)是第i种颜色在图像中出现的频率。

其中：p(i)是第i级灰度差分gΔ(x，y)出现的频率；gΔ(x，y)的所有可能取值共有b级。取图像内任意一点(x，y)，则该点与其相邻点(x+Δx，y+Δy)的灰度差分的计算式为：

根据式（6）～（14）分别计算油画6 个颜色分量H、S、V、R、G、B的上述9个特征，共6×9=54个特征，将这些特征分别记为Ai(i=1，2，…，54)。则每一幅油画可以被描述为一个54维的向量F=(f1，f2，…，fn)，其中：n=54，fi是对特征Ai的度量。

3.2 Fisher Score特征选取

一幅油画的颜色特征非常多，但是由于油画的部分颜色特征对于油画的分类没有作用，甚至会干扰分类结果。为了能够更准确地对油画进行分类，剔除对油画描述形成干扰的特征，本文对所提取的特征进行评估并选取优秀特征。类内差异越小、类间差异越大的特征，与其所属类的关联程度越高，表明特征越优秀。Fisher Score 能够计算每一个特征与其所属类的相关联程度。关联程度越高的特征得分越高，关联程度越低的特征得分越低。所以本文利用Fisher Score［17］对每一个特征进行评估。

其中：Wfi是fi对应特征Ai的权重得分，反映特征Ai对分类的影响权重，Wfi越大的特征越重要；N是类别的数目（画家的个数）是所有训练集中特征Ai特征值fi的均值；是第c类训练集中特征Ai特征值fi的均值；是第c类训练集中特征值fi的方差。特征Ai的Wfi越大，同一个画家不同画作之间的特征值越接近，不同画家画作之间的特征值差距越大。

通过式（15）对3.1 节中提取的特征进行评估，并选取重要性占比达到80%的前n'个特征，对关键区域进行描述，得到油画的描述F=(f1'，f2'，…，fn'')。

4 基于关键区域的油画特征提取与分类

为了验证本文关键区域算法的有效性，将第3 章所提取的特征利用朴素贝叶斯分类器对油画进行分类。

4.1 特征有效性验证

为了验证本文方法所提取的艺术风格特征的有效性，本文利用所提取的特征对油画进行分类。朴素贝叶斯广泛应用于文本分类与画作分类，其分类的结果通常优于其他分类器，本节简单介绍朴素贝叶斯分类器。

朴素贝叶斯分类器［18-19］是经典的机器学习算法之一，原理简单，容易实现，对小规模数据表现好，广泛应用于文本分类［20-22］。朴素贝叶斯的原理是利用条件概率与先验概率计算后验概率。每一幅油画都由一个n维的特征向量F=(f1，f2，…，fn)表述，画家的集合为C=(c1，c2，…，ck)。朴素贝叶斯分类油画，即利用一幅油画的每一个特征fi计算一幅油画F为某一个画家cj所作的概率，计算式如下：

其中P(f1，f2，…，fn)对所有类别都为常量。

对于F，后验概率P(cj|F)越大，则说明F属于cj的可能性越大。F所属类别的计算式如下：

由于每个特征相互独立，则式（17）可转化为：

分别计算出P(cj)与P(fi|cj)后，返回后验概率最大的类别，即可得到F的类别。

4.2 算法流程

本文方法流程如图2所示。首先，根据第2章对油画信息丰富度的定义度量并选取油画关键区域；然后，提取关键区域的颜色特征得到油画的初步描述F=(f1，f2，…，f54)；再通过Fisher Score评估每个特征的重要性并选取部分权重大的特征得到油画的最终描述F=(f1'，f2'，…，fn'')。重复此步骤得到m幅油画的描述，作为训练数据集，训练得到朴素贝叶斯分类器。最后用朴素贝叶斯分类器对新的油画进行分类。

图2 基于关键区域的油画描述与分类流程Fig.2 Flowchart of oil painting description and classification based on key region

4.3 时间复杂度分析

假设训练数据集的特征维数为n，训练样本个数为m。对于一幅油画，在关键区域选取阶段，假设一幅油画被检测h次；在关键区域描述阶段，计算n个特征的特征值，利用Fisher Score 对n个特征进行评估，采用快速排序法对n个特征排序；上述步骤为并列操作，则对于描述一幅油画的算法循环过程，语句的执行频度为f(h) +g(n)=h+n+n+nlogn=h+nlogn。所以，描述m幅油画算法的全部循环过程，其语句的执行频度为mh+mnlogn。对于朴素贝叶斯，本文选取n个特征中重要性占比达80%的前n'个特征，假设标定值为|c|个［23］，那么其计算复杂度为O(mn'2|c|)。当每种特征的重要性都相同时，n'的值最大为0.8n，此时朴素贝叶斯的计算复杂度为O(mn2|c|)。因此本文方法的时间复杂度为O(mh+mn2|c|)，在可接受范围内。

5 仿真实验与结果分析

为了验证本文方法的性能，基于Windows 7 操作系统、Intel Core i7-4790 CPU 处理器、8 GB 内存、Matlab R2018a 仿真环境，进行了仿真实验。一位画家毕生的作品数量较少，本文尽可能多地搜集数据集，分别建立了数据库1与数据库2。数据库1包括亨利·卢梭、文森特·梵高、克劳德·莫奈3位画家各40 幅作品，共120 幅油画，其中，90 幅作为训练集，30 幅作为测试集。数据库2 包括文森特·梵高、克劳德·莫奈、皮埃尔·奥古斯特·雷诺阿、马克·罗斯科、杰克逊·波洛克、瓦西里·康定斯基、萨尔瓦多·达利、马克斯·恩斯特、乔治·德·基里科9 位画家各57 幅作品，共513 幅油画，其中，360 幅作为训练集，153 幅作为测试集。图3 为油画数据的示例（数据来源为https：//www.wikiart.org/），本文实验图像大小均为768×640。

为了验证本文Fisher Score 特征提取的必要性，在实验1中对比了未经Fisher Score 特征选择的普通分类器与结合Fisher Score 特征选择的分类器依据画家与流派的分类结果。为了验证本文整体算法的有效性，在实验2 中对比了本文方法与文献［9］方法、文献［10］方法对于依据画家与流派的分类结果。由于文献［10］的主要工作为提取油画的多种特征，所以将其方法定义为Features-FS（Feature selected by Fisher Score）。

图3 10位画家油画作品示例Fig.3 Examples of oil paintings by 10 painters

5.1 实验1

5.1.1 油画描述

本实验首先根据式（5）检测每幅油画的关键区域，然后提取关键区域的R、G、B、H、S、V 颜色直方图特征（包括颜色均值、方差、倾斜度、峭度、能量）与由颜色变化而形成的纹理特征（包括对比度、角度方向二阶矩、熵、均值）。

一般的分类直接根据上述方法提取的特征对油画进行分类。结合Fisher Score 的分类（FS-Classifier），在特征提取后，再根据式（15），计算画家的训练集油画的每个特征的Wf，选取重要性占比80%的前n'个特征，得到每幅油画的描述F=作为数据集。

本文分别根据画家的身份与流派将油画分类。根据画家的油画分类，将卢梭、梵高、莫奈3 位画家的90 幅油画作为训练集，30幅作为测试集。首先提取油画的54维特征对油画进行描述，并利用Fisher Score 对特征进行评估，按权重由大到小排序选取权重得分最高的前24 个特征，具体为：A1，A3，A5，A7，A8，A10，A11，A14，A15，A16，A17，A18，A19，A21，A25，A28，A32，A36，A37，A43，A45，A46，A52，A54。根据流派的油画分类，将印象派画家梵高、莫奈、雷诺阿，抽象表现主义派画家罗斯科、波洛克、康定斯基和超现实主义派画家达利、恩斯特、德·基里科等9位画家的360幅画作为训练集，153幅画作为测试集。同样提取54 维特征，并利用Fisher Score 进行特征评估，按权重由大到小排序选取权重得分最高的前27 个特征，具体为：A5，A14，A16，A17，A18，A19，A23，A24，A25，A26，A28，A30，A32，A33，A34，A35，A36，A39，A41，A43，A44，A45，A48，A50，A52，A53，A54。

5.1.2 参数寻优

对于每一种分类器，利用未经过Fisher Score 特征选取的54 维油画描述的90 幅油画的测试数据集，采用网格搜索算法，设置搜索区间为（0，40］，支持向量机（Support Vector Machine，SVM）的参数搜索步长为0.1，其他分类器（K最近邻（K-Nearest Neighbor，KNN）与随机森林）参数搜索步长为1。将训练集以7∶2 的方式进行分割，使用交叉验证对每组参数的表现进行评估，运行50 次，取平均正确率最高的参数作为最终参数，得到的最优参数如表1所示，最优的SVM 核函数为多项式函数。决策树C4.5、朴素贝叶斯（NBC）的树深、节点数等不作限制。

表1 各个分类器使用的参数Tab.1 Parameters of different classifiers

5.1.3 不同分类器分类结果对比

表2 对比了普通方法（一般分类器）的分类结果与结合Fisher Score关键区域描述（FS-Classifiers）的分类结果正确率。所用的分类器包括K最近邻（KNN）算法［24］、SVM［25］、决策树C4.5、随机森林［26］与朴素贝叶斯。由表2可以看出，依据画家分类的结果，一般分类器的分类结果正确率最高达到了83.33%，与目前已有研究的正确率相当，证明了本文关键区域提取算法的有效性；且结合Fisher Score 分类结果的正确率明显要高于普通的分类器。依据流派分类的结果，一般分类器的分类结果最高达到了82.35%，结合Fisher Score 分类结果的正确率达到了90.20%。朴素贝叶斯在一般分类器与结合Fisher Score 的分类器中，性能都是最优的。融合Fisher Score的朴素贝叶斯（FS-NBC）的分类结果正确率最高，依据画家分类的正确率达到了90%，依据流派分类的正确率达到了90.20%。

表2 普通方法与FS-Classifier的正确率比较 单位：%Tab.2 Accuracy comparison of normal methods and FS-Classifier unit：%

5.2 实验2

为了验证本文方法的有效性，本实验对比本文方法与现有的其他油画分类方法的分类正确率效果。本文利用式（5）检测选取得到油画的关键区域，并通过Fisher Score 评价选择有效特征得到油画描述F=(f1，f2，…，f24)后，利用朴素贝叶斯对测试集进行分类。文献［9］方法提取了每幅油画的30 个特征，没有对特征进行权重评估，利用融合最近邻（Nearest Neighbor，NN）的遗传算法（Genetic Algorithm，NN-GA）对油画进行分类，依据画家分类的正确率为80%，比本文方法低10 个百分点；依据流派分类的正确率为82.35%，比本文方法7.85 个百分点。文献［10］方法不仅提取油画的颜色直方图特征、纹理特征，还提取边缘统计特征、Zernike 特征、Haralick特征等，并通过Fisher Score 选取548 种特征，最后用SVM 对油画进行分类得到了最高的正确率，依据画家分类的正确率为83.33%，依据流派分类的正确率为90.84%。

本文方法仅提取油画的54 个颜色直方图特征，并通过Fisher Score 选取其中的24 个特征。如5.1 节中表2 所示，本文结合Fisher Score 的SVM 的分类结果，依据画家分类的正确率为83.33%，与Features-FS 提取多种特征的结果相当，表明了本文方法关键区域检测方法的有效性。如表3 所示，本文方法依据画家的分类结果正确率为90%，比Features-FS 高6.67 个百分点。本文方法依据流派的分类正确率达到了90.20%，与Features-FS 的正确率90.84%相当，但Features-FS提取的特征数远多于本文方法。

表3 不同方法的分类正确率比较 单位：%Tab.3 Classification accuracy comparison of different methods unit：%

从以上实验结果可以看出，本文提出的基于关键区域的油画描述法操作简单、分类结果正确率高，能更有效地描述油画的画家艺术风格。

6 结语

受人类指纹识别与虹膜识别的启发，本文提出了基于关键区域的油画描述法。首先，通过计算油画区域的信息丰富度，选取具有代表性的区域作为关键区域，使得所选区域能更有效地体现画家的艺术风格；其次，提取关键区域的颜色特征，并通过Fisher Score 方法计算每个特征对于油画的重要性，选取重要的特征对关键区域进行描述，利用关键区域的特征描述油画。最后，利用朴素贝叶斯对其进行分类。实验结果表明，本文所提出的方法优于现有的传统全局与局部特征提取方法，依据画家的分类结果的正确率达到了90%，依据流派的分类结果正确率达到了90.20%。本文依据油画的颜色特征对油画进行分类，未考虑轮廓、笔触等特征，下一步的工作中，将综合考虑多个方面提高分类的正确率。