基于计量电影学的电影色彩风格可视化方法研究
2024-04-12朱宏宣
吴 清 朱宏宣
北京电影学院中国电影高新技术研究院,北京 100088
【关键字】计量电影学;定量统计;韦斯·安德森;电影色彩;可视化
1 研究背景与现状
自从第一部彩色故事片《浮华世界》诞生后,色彩就密切参与到电影叙事中,成为调动观众情绪的重要组成部分。色彩是电影中最重要的风格元素之一,也是最具价值的元素之一。
目前,国内学者对于电影色彩的研究主要集中在一些定性研究上,例如孙鹏飞[1]对张艺谋电影中的色彩运用进行了研究,对其特点和作用进行了思考;郑舒[2]讨论了色彩蒙太奇在电影中对人物关系的刻画等。对电影色彩数据提取并进行色彩搭配的研究也逐渐兴起,赵伸[3]提出的基于特征点提取的影视动画场景色彩搭配系统,结合视景仿真和视觉优化成像的方法,使用图像处理和三维视景仿真技术进行影视动画场景色彩搭配设计;唐媛媛[4]利用可视化的方法进行了在计量电影学(Cinemetrics)视域下的红色电影研究,对镜头、色彩进行计量,并分析了其美学内涵。这些都是对色彩使用规律以及色彩风格的研究探索。
随着计量电影学的兴起,基于传统文本的电影风格研究越来越注重借助客观数据。国内利用计量电影学对电影的研究已经有了一定的进展,由北京大学艺术学院李道新教授团队与中国传媒大学文化大数据实验室合作开发的光影绵长数字平台,对影人、影片建立了数据库,并对中国电影影人、影史进行可视化[5]。范志忠等[6]运用计量电影学的方法,通过考察镜头数量与长度、剪辑节奏、镜头切换方式、构图等因素,对电影作品《我和我的祖国》《我和我的家乡》和《金刚川》这三部作品进行了深入研究,以定性研究为核心,结合量化研究,探索这些电影作品的可视化路径。北京师范大学艺术与传媒学院副教授陈刚[7]借用现有的数字计量工具Cinemetrics,分别从影片的风格、节奏、空间这三个方面,统计了费穆电影中的镜头数量-时长和类型,同时将镜头拍摄方式、转场方式、画面景别和构图等其他数据进行计量统计,生成可视化图表。乔洁琼等[8]也在计量电影学的基础上,对1920 年代中国武侠电影类型风格进行探索。王婧等[9]运用计量电影学相关算法和智能工具对王家卫电影的风格节奏、台词和画面色彩等方面进行量化研究。李逸等[10]也利用Cinemetrics 数字计量工具,从计量电影学的角度对20 世纪90 年代中国电影的平均镜头时长等数据进行统计并生成可视化图像,从剪辑的角度思考中国当代电影的导演风格特征。
国内基于计量电影学不仅对电影镜头的长度和频率等进行了定量研究,并且出现了唐媛媛[4]等人对某个历史时间段电影色彩的计量研究,但对电影色彩风格可视化方法的研究并没有很多。因此,本文希望基于计量电影学,利用计量统计方法,探索电影色彩风格可视化的方法,考虑电影原始素材的易取性和极具特色的色彩风格这两个因素,选取导演韦斯·安德森的电影作为案例。
2 计量电影学
2.1 计量电影学定义
计量电影学,也称作电影计量学,是一门研究电影及其元素的学科。20 世纪 70 年代,巴瑞·索特(Barry Salt)运用计算机统计方法研究电影,初步建立了电影计量研究的理论和方法。互联网大数据时代,计量电影学成为一种新型的电影学术组织模式[11]。它旨在通过定量分析电影元素,如镜头类型、镜头变化、画面构图、色彩等,深入了解电影制作和影片内容,通过数据和统计分析来揭示影片制作和观众体验之间的模式和趋势,其主要分类是量化研究、大数据研究、比较研究、可视化研究和电影风格研究[12]。计量电影学的方法包括统计分析、数据挖掘等,以揭示电影在情节、情感、节奏等方面的变化和趋势,研究者可以通过比较不同电影之间的数据,揭示出影片制作风格的差异和共同特点。这种方法可以帮助研究者分析不同类型的电影,了解影片制作和观众反应之间的关联。
开展计量电影学研究需要进行测量元素的确定和测量工具的选择。测量元素需要具备参与电影构成和对观众产生影响这两个条件才有意义,并且要从元素测量的必要性、可测量性来进行考量;元素的选取需兼顾常量、变量,以更好地研究不同类型、年代、导演的电影所具有的一般规律,而变量是研究电影风格的重要元素之一。测量工具一般会用到数据提取工具和数据统计分析工具两类。目前,市面上许多剪辑或调色软件都可以作为辅助性测量工具,如Premiere Pro、DaVinci Resolve 等,常见的统计分析工具有SPSS、Matlab、Python 等[12]。随着现代科技的发展,计算机辅助电影研究的软件也在不断升级迭代。
2.2 计量电影学相关研究
2005 年,Yuri Tsivian 与Gunars Civjans 创建了一个名为Cinemetrics 的网络数据库,用于测量镜头的长度以及与风格(例如镜头的比例)或内容相关的其他元素。通过Cinemetrics,可以计算平均镜头长度(Average Shot Length, ASL)、中间镜头长度(Medium Shot Length, MSL)、最小镜头长度(MIN)、最大镜头长度(MAX)等[13]。
2013 年, Lev Manovich 的“可视化维尔托夫”(Visualizing Vertov),则侧重于吉加·维尔托夫(Dziga Vertov)导演电影中参数的定量呈现和可视化,它使用实验性可视化技术来补充熟悉的柱状图和折线图,如每个镜头都显示为一个圆圈,大小代表镜头的长度[13]。
2016 年,Burghardt 等[14]通过考虑语言和颜色等参数,增强现有的以镜头为中心的电影定量研究方法,利用“电影条形码”(Movie Barcode)来对电影色彩数据进行可视化以及在更详细的视图中呈现不同类型的信息。电影条形码通过将电影的单帧画面压缩成细长的条形图,创造出一种类似于条形码的效果,以此来展示整部电影的颜色和画面变化。
语言参数的字幕文件通过 OpenSubtitles 字幕数据库等网站免费获得,一般为.srt 文件。颜色信息可以通过将电影切割成单帧并计算每帧最常见的颜色来获取。通过使用开源工具 FFmpeg 从电影中提取单个帧,利用K-means 聚类算法将每个帧中相似的RGB 值分组在一起。调用 Python 库NLTK①对电影的字幕文件执行基本的POS 标记处理②,并对名词与颜色的关联性进行研究;调用Python 库 TextBlob③对每个形容词执行简单的情感分析,用 -1(负面)和 +1(正面)之间的极性分数标记它们。分析完成后,每帧保存为.jpg 文件,所有定量数据都存储在 JSON 文件中。
2016 年,上海大学上海电影学院影视工程系田丰、陈琛结合百人影视团队创建了电影内容特征数据库,运用人工标注和计算机自动生成数据的方法进行影视内容数据的积累,人工输入的内容包括主角年龄等相关数据,计算机生成的内容有颜色、镜头、景别等数据。平台可按时间序列进行图像分割,一键获取亮度值等特征数据,并统计其全片平均值,还可根据人脸识别获取人物出现的时间、景别等,用户可以使用音视频阅读浏览器进行电影数据的读取[15]。
2017 年,雷根斯堡大学媒体信息学组提出将颜色作为定量分析参数,并且创建了一个能根据特定颜色分布搜索电影的系统。这个信息系统利用ColorDiff④库将1500 多个电影条形码映射到11 种标准颜色的调色板,还采集电影元数据,如类型、年份、导演、国家、字幕中的关键词等。该系统可根据颜色分布搜索电影,也可通过单个或多个关键字相结合的方式识别特定类型或特定时间段内颜色使用的总体趋势[16]。
2018 年,Burghardt 等[17]提出一个用于电影研究的探索性交互式工具。电影分割成镜头后,可依次显示为可缩放的电影条形码,即电影学者可以放大电影条形码用来探索单个章节或场景。该工具还提供搜索功能,可用于根据从字幕和电影中自动提取的字符或关键词(如角色名)筛选镜头,用户可以选择显示或隐藏筛选结果集之外的镜头,过滤后的结果也显示为交互式电影条形码。每个镜头都由电影中的一个关键帧表示,用户可以通过滑块来放大或缩小可视化的比例。在每个关键帧下方,对话框可视化为彩色矩形,其中颜色用于区分字符,每个矩形代表电影字幕中的一句话。电影学者可以随时单击关键帧以获得镜头的详细视图和相应的对话。图1中三个电影条形码说明了《风月俏佳人》(1990)镜头的不同缩放级别:图1(a)显示了整部电影的压缩电影条形码;图1(b)显示了电影条形码中包含字符“Edward”的所有镜头,任何其他镜头都以灰度显示;图1(c)显示所有包含角色“David Morse”的镜头,任何其他镜头都被排除在电影条形码之外。
图1 《风月俏佳人》三个维度的电影条形码[17]
2019 年,苏黎世大学研究项目组提出一个以电影颜色分析为中心的视觉电影标注系统VIAN,这是第一个由现代深度学习分割方法实现的包含前景至背景信息的方法。该工具无缝集成了一个多媒体数据管理系统,可以进行电影的全方位色彩分析。自2017 年以来,已使用计算机辅助工作流程对包含400 多部影片的语料库进行了分析,该工作流程已集成到视频注释和分析软件 VIAN 中。其众包软件客户端VIAN WebApp 的数据库存储着语义标注和数字颜色信息,大部分数据托管在 Postgres SQL 数据库上;为了快速查询和处理数字信息,使用 HDF5 文件结构,数据由微软Azure 上的云计算处理[18]。个人或组织可将电影色彩分析项目上传到在线平台,作为回报,用户可以下载他人上传的电影色彩分析项目,并根据自己的兴趣进行调整。
2021 年,Chen 等[19]设计了一个用于电影色彩计算分析的Python 包,提供了定量工具来研究和比较电影色彩的使用。该软件包有两大方面功能:测量、计算和比较电影色彩,以及多样化的电影色彩可视化方法。同年,Redfern[20]利用电影条形码对美国电影预告片的配色进行了比较研究,研究了2016 年至2019 年9 种类型共计173 部获得“金预告片奖”提名的预告片,从色调、饱和度和亮度三个元素,对不同类型的电影进行了可视化的图表研究,以确定它们的色调在类型层面上存在哪些异同。他们认为,分析电影色彩的计量方法能够超越对单个电影的诠释学解释,用于在语料库级别可视化和探索电影中色彩的不同属性。
总体而言,计量电影学测量工具的发展经历了从早期简单的定量描述到计算机辅助分析和机器学习的演进,从Cinemetrics 和“可视化维尔托夫”只对镜头这一参数的计量可视化,到电影条形码这一直观的色彩计量可视化形式,再到将深度学习等加入色彩计量分析的VIAN,学者们都在尝试将计量后的可视化结果与语言、情感等主观因素一起进行定量与定性结合的分析,为电影研究提供了更多的定量手段和深入研究的可能性。
3 电影色彩风格可视化方案
本研究运用计量电影学的研究方法,选取亮度、色调、饱和度、图像特征作为测量元素,VIAN 软件、Python 语言和Origin 2021 作为计量电影学测量工具,以韦斯·安德森的十部电影作为案例,对电影色彩风格可视化的方法进行研究。
韦斯·安德森以喜剧电影闻名,本研究选取的这十部电影都是喜剧类型片,分别为《瓶装火箭》(1996)、《青春年少》(1998)、《天才一族》(2001)、《水中生活》(2004)、《穿越大吉岭》(2007)、《了不起的狐狸爸爸》(2009)、《月升王国》(2012)、《布达佩斯大饭店》(2014)、《犬之岛》(2018)、《法兰西特派》(2021)。研究采用以高效率视频编码(HEVC)为编解码器,视频位深为10 Bit的蓝光版本作为案例样本。
(1)对于亮度,笔者采用计量统计方法对这10 部电影的亮度随时间的分布进行可视化,以便更清晰地了解亮度随时间的变化;(2)色调方面,采用电影条形码工具对每部影片进行电影条形码的生成,以便更直观地了解其电影色彩的整体风格及大致走向;(3)对于亮度、色调、饱和度三者而言,对其进行三维图表的可视化,能更直观地了解三者之间的联系;(4)对于图像特征,本文采用Python 语言调用OpenCV 库对10 部电影的关键帧进行图像特征的提取及可视化。
将这10 部电影导入VIAN 进行色彩数据的提取,VIAN 软件会将RGB 色彩模式转化成CIELAB 色彩模式,后者也称为LAB 色彩空间,是一种用于描述和表示颜色的色彩模式。CIELAB 基于人眼对颜色感知的方式,将颜色表示为三个坐标轴:L 表示亮度,A 表示红绿色通道,B 表示黄蓝色通道。VIAN 的所有颜色属性可视化和分析均位于 CIELAB 空间中。
3.1基于亮度的整体可视化方案
本研究将10 部电影的亮度随时间的变化趋势用可视化方式呈现。从这10 部电影的亮度分布图来看,发现韦斯·安德森较早拍摄年份的电影整体亮度波动起伏较平稳,随着拍摄年份的增加,影片中相邻时间段之间的亮度波动越来越频繁,且波动越来越大,如图2所示。
图2 韦斯·安德森10部电影的亮度与时间关系图
3.2 基于色调的整体可视化方案
如前所述,电影条形码是电影色彩可视化最常用的方法,其将电影中的单帧(通常是每隔一定数量的帧)提取出来,然后将这些帧缩小到单个像素的宽度并堆叠在一起,并将它们的平均色彩按时间顺序排列在一条长条上,每一列代表电影中的一帧,整部电影就被表示为一系列颜色条。通过观察这些条形码,可以快速捕捉到电影的视觉特点、色调变化。电影条形码展示了电影和数据可视化的结合,使人们能更好地理解电影的色彩风格。
笔者运用电影条形码工具生成了对应10 部电影的长为1000 像素,宽为250 像素的条码,并在右边配上相应电影具有代表性的场景。通过图3 中10 个条码依次可展示各电影的整体色彩倾向:《瓶装火箭》整体偏咖色;《青春年少》整体偏灰褐色;《天才一族》整体偏明黄色且中间有一段是蓝色;《水中生活》整体的色调分布相比前几部影片较离散,但还是有整体的深褐色调,中间带有一些米色、蓝色、绿色;《穿越大吉岭》整体为偏暗的土黄色,并且中间带有一段深蓝色;《了不起的狐狸爸爸》整体为偏亮黄色,前面一段是偏亮的橙黄色和深蓝色交替出现,片尾逐渐变为米色;《月升王国》整体是一种介于绿色和黄色的交界色,中间不时出现深蓝色;《布达佩斯大饭店》整体为粉色,中间一段亮度明显减弱,并且粉色蓝色交替出现;《犬之岛》整体是白、黄、褐这三种颜色的分布,并且三种颜色的集中分布较为明显;《法兰西特派》整体是一个亮度较低的灰褐色,夹杂着一些暗黄色,和之前的《青春年少》有着异曲同工之妙。
图3 韦斯·安德森10部电影的电影条形码及其参照图
3.3 基于亮度、色调、饱和度的整体可视化方案
在对10 部电影进行了亮度、色调整体可视化后,对亮度、色调、饱和度三者整体进行计量,统计完每部的色彩数据并对其进行汇总,将10部电影饱和度、色调、亮度三者之间的关系进行三维图可视化。
如图4 所示,X 轴为色调,Y 轴为亮度,Z 轴为饱和度,图中数据点的颜色由10 部电影所提取出的色调数据映射而来。韦斯·安德森在色调上整体选用橙蓝互补色的搭配方案,暖色调饱和度的最高值和数量明显高于且多于冷色调饱和度的最高值和数量,且几乎是一倍的差距,因此可得出韦斯·安德森导演电影总体为饱和度较高的暖色调搭配饱和度较低的冷色调的规律。
图4 韦斯·安德森10部电影亮度、色调、饱和度三维关系图
3.4 基于图像特征的整体可视化探索
图像特征是指图像中具有辨识和描述性质的关键信息。在计算机视觉(CV)领域,图像特征可以是图像中的纹理、颜色或形状等属性。这些特征被用于训练机器学习(ML)模型,帮助计算机理解和识别图像中的内容。
视觉图像搜索(Visual Image Search)和图像特征密切相关,图像特征是用于表示和描述图像内容的关键元素,而视觉图像搜索的目标是通过相似度比较找到与查询图像相似的图像。图像特征的选择和提取方法对于视觉图像搜索的成功非常关键。合适的特征可以确保系统能够准确地捕捉图像的重要信息,而索引结构和相似度度量方法可以影响搜索速度和准确性。
本文运用Python 语言调用OpenCV 库对VIAN 软件提取来自10 部电影的5000 张关键帧进行遍历,提取其图像特征并进行可视化表示。已知所有图像的中间部分在颜色空间或构图空间上有显著的区别,故可以以中心为圆心绘制椭圆,加强对中间部分的分析,从而更加高效地提取图像特征。
程序主要分为如下步骤:
(1) 初始化参数和特征提取器。颜色空间特征提取器和构图空间特征提取器的初始化。
(2)遍历图片文件夹。10 个文件夹中分别有500张关键帧,获取10个图片文件夹中的所有图片,并通过每隔5张的方式选择部分图片进行处理。
(3) 颜色和构图特征提取。使用颜色空间特征提取器和构图空间特征提取器分别对图片进行特征提取。
(4)特征合并和可视化。将10 个文件夹提取的颜色和构图特征分别进行合并,并通过Matplotlib 库进行可视化,绘制直方图和显示图片。
(5)整体特征合并和可视化。将10 个文件夹中图片提取的特征进行整体合并,再次进行可视化。
如图5 所示,可视化结果中前五张图是关键帧合集中提取的左上、右上、左下、右下、中心部分颜色空间特征,第六张图是构图空间特征,这六张图合起来为韦斯·安德森导演的色彩特征可视化图表。
图5 韦斯·安德森10部电影的颜色空间特征和构图空间特征
一般来说,应该将提取出来的颜色空间特征和构图空间特征存储在CSV 文件中,通过图像索引表构建驱动,实现将数据集的所有图像存储到两种特征向量的索引表中,并且通过特征提取器,可以提取指定图像的特征向量,剩下只需实现匹配指定图像的特征向量以及索引表中的数据,以此来实现图片的搜索匹配。
4 讨论与展望
本文提出在计量电影学下对电影色彩风格可视化方法的研究,运用计量电影学计算机辅助工具,以韦斯·安德森的电影作为研究案例,选取亮度、色相、饱和度、图像特征作为测量元素,实现大量数据的可视化方法。通过对计量色彩风格可视化方法的研究,笔者发现随着年份的增加,韦斯·安德森的喜剧电影中相邻时间段亮度波动越来越频繁,且波动越来越大;其电影总体为饱和度较大的暖色调搭配饱和度较小的冷色调的色彩搭配规律;并且基于图像特征的提取,对其影片进行色彩风格特征可视化的探索。
随着计算机技术的巨大进步,对数据进行计量和可视化分析的需求已逐渐展现,计量电影学提供的结合可视化数据进行定量分析的电影研究方法,也为以主观评判为主的电影风格研究提供了可靠的客观数据和计算机辅助电影研究工具。
本次研究对于电影色彩风格可视化方法的探索应用了计量电影学相关软件,并在计算机视觉领域上基于相关编程语言对影片进行了色彩风格的可视化方法探索,希望能为当下电影色彩研究带来新的思考。但本研究采用的色彩可视化方法还不够系统全面,样本数量较少,不足以对某种类型或某个年代的电影色彩风格进行可视化。未来,笔者对电影色彩风格可视化方法的研究将着重于电影色彩风格可视化工具的研究与开发,探索新的色彩可视化方法,增加样本数量,希望通过Python 网络爬虫的优势能对大量影片进行色彩风格的可视化,为分析导演、类型或特定年代影片的色彩风格提供工具,进一步探索应用计量电影学工具实现电影风格研究。❖
注释
① NLTK 代表自然语言工具包(Natural Language Toolkit)是一个用于处理人类语言数据的Python 库。它提供了许多工具和资源,用于文本分析、语言处理和机器学习等任务。NLTK 包括各种语料库、分词器、词性标注器、命名实体识别器等功能,使开发者能够更轻松地处理和分析文本数据。
② POS 标记处理指的是词性标注(Part-of-Speech Tagging),它是自然语言处理中的一项任务,旨在为句子中的每个单词确定其词性(如名词、动词、形容词等)。词性标注是文本处理和语言分析的基础步骤之一,有助于理解句子的语法结构和语义信息。
③ TextBlob 是一个基于Python 的自然语言处理库,用于处理文本数据。使用TextBlob 进行情感分析可以帮助判断一段文本的情感倾向是正面的、负面的,还是中性的。
④ ColorDiff 库是一个用于计算图像颜色差异的库。它通常用于比较两幅图像之间的颜色差异,可以帮助用户分析图像的变化或找出其中的差异。这个库包含各种算法和工具,旨在提供准确的颜色比较结果。