一种顾及视觉层次的电子地图自适应节能显示方法

吴明光,成梓铭

1.南京师范大学地理科学学院,江苏 南京 210023; 2.南京师范大学虚拟地理环境教育部重点实验室,江苏 南京 210023; 3.江苏省地理信息资源开发与利用协同创新中心,江苏 南京 210023

2020年9月我国提出了2030年前实现“碳达峰”、2060年前实现“碳中和”的“双碳”目标,担负着引领世界经济“绿色复苏”的大国重任[1]。电子地图作为一种地理信息表达工具[2],可以为“双碳”与可持续发展现状、策略、进展提供可视化、空间化的支持[3];但是,电子地图作为一种数字形式的工具,其设计、运行需要消耗大量的能源。仅以电子地图显示为例,根据有机发光二极管(organic light-emitting diode,OLED)屏幕能耗估算方法[4],在1920×1080像素的OLED屏幕上显示一幅遥感影像的平均功率为5.13 μW/像素(图1(a)),总功率为11 W,显示一幅亮版地图的平均功率为11.14 μW/像素(图1(b)),总功率为23 W。虽然单幅电子地图的显示功率并不高,但由于电子地图的用户基数大,将累积消耗巨大的能量。例如,高德地图和百度地图的月均活跃用户数分别高达4.8亿和3.9亿[5],平均每月使用时长分别为5.9、4.7 h,以图1中的亮版地图功率为估算依据,两者的年度总能耗将达13.2亿kW·h,相当于42万人一年的用电量[6],释放约6.6亿kg CO2e的温室气体[7]。随着电子地图在各行各业的广泛应用,能耗和温室气体排放量也会快速增加。此外,导航地图能耗过高带来移动设备续航不足的问题也是当前导航地图应用的主要痛点[8]。

图1 地图显示功率对比

近年来,国内外学者意识到电子地图的能耗问题,开始将能耗作为电子地图设计的约束条件,与其形式、内容、交互、用户体验等一起综合考虑[9]。光强是能耗的主要因素,相对于背光固定的液晶显示器(liquid crystal display,LCD),OLED屏幕的背光是逐像素控制的,因此可以设计像素级显示策略来降低显示能耗。OLED屏幕的显示能耗与颜色、形状、尺寸等视觉变量直接相关[4];当前主要的节能显示方法均集中在调整颜色上。例如,图1(c)中同一范围的夜版地图的平均功率为2.83 μW/像素,显著低于亮版地图。目前,夜版地图设计主要依赖制图者的经验,缺少定量建模分析方法。文献[10—11]提出一种降低OLED屏幕背光强度来节省显示能耗的通用方法,但未考虑到地图的内容和形式特征,易造成颜色失真、变形,从而影响电子地图的可读性。文献[12]提出一种顾及视觉相似性的颜色映射方法,通过替换高能耗的颜色来降低显示能耗。文献[13]提出将地图对象之间语义关系作为约束条件来调整地图颜色来降低能耗。文献[14]在其基础上提出了一种自动提取颜色语义关系并通过人工蜂群算法来实现节能颜色搜索的电子地图节能显示方法。上述研究考虑了地图的视觉外观、语义关系,尚未考虑到电子地图的视觉层次(visual hierarchy)。

视觉层次是指依据地图内容本身的重要程度设计与之对应的视觉重要程度的方法,可以分为版面视觉层次和地图内容视觉层次[15](图2)。由图2(a)可知,文献[16]将整个地图版面分为3个视觉层次:地图内容处在一级;标题和图例处在二级;指北针、比例尺、注释等处在三级(图2(b))。地图内容的视觉层次又可以分为3类:多层结构(stereogrammic organization)、扩展结构(extensional organization)和再分结构(subdivisional organization)[17]。如图2(c)所示,多层结构将不同类别的要素置于前景、背景,引导读图者关注前景重要信息;扩展结构描述了地图内容的等级关系,例如不同道路的重要程度;再分结构描述了地图内容的层内关系,通过划分子类以体现单个层次内部的关系。

视觉层次通过强化重要的地物,弱化次要地物,达到清晰呈现制图主题的目的,是提高地图可读性、降低认知负担的重要途径[18]。视觉层次直接影响地图的视觉外观,进而影响地图的显示能耗[19]。本文关注地图颜色的视觉层次,针对当前地图节能方法缺少对视觉层次定量建模的问题,提出一种顾及地图颜色视觉层次的电子地图节能显示方法。如图3所示,将地图颜色的视觉层次分为3种类型:图-底结构、类间结构、细分结构。首先,解析原始矢量地图的内容,根据色差、亮度差、色相差等指标构建地图颜色视觉层次定量数学模型;然后,结合能耗估算模型,构建兼顾地图颜色视觉层次质量与显示能耗的节能显示模型;最后,采用非支配排序遗传算法(NSGA-Ⅱ)[20]自适应搜索节能地图颜色,通过分析帕累托(Pareto)前沿解集,得到最优节能地图配色方案。

图3 自适应性地图节能模型示意

1 顾及视觉层次的地图节能模型

1.1 视觉层次量化建模

本文将地图颜色视觉层次划分为3种类型:图-底结构、类间结构和细分结构。

图4 颜色视觉层次示例

本文将图-底结构作为最基础的视觉层次,类间结构和细分结构是对图-底结构的补充与细化。建模时对所提取的视觉层次进行量化评分:当两类视觉层次间的关系vij判定为图-底结构F时,根据色差阈值δt与亮度差阈值δl计算得到图-底结构的视觉层次得分;当两类视觉层次间的关系vij判定为类间结构G时,采用语义关系中的差异关系评价方法得到类间结构的视觉层次得分;当两类视觉层次间的关系vij判定为细分结构S时,采用语义关系中的关联关系和顺序关系的评价方法得到细分结构的视觉层次得分,G(D)、S(A)、S(O)分别表示用于描述类间结构的差异关系D描述类间结构G、用关联关系A或顺序关系O描述细分结构S。本文结合文献[27]提出的语义关系评价方法将任意两个视觉层次间的视觉层次结果描述为

(1)

(2)

式中,fv(ci,cj,vij)为视觉层次矩阵中各视觉层次间的得分;n为地图中视觉层次的个数;Fv(C)为整体的视觉层次质量,其取值范围为[0,1]。

1.2 自适应节能配色搜索

地图节能显示还需顾及习惯用色规则,习惯用色规则指在节能过程中应尽可能保持某些视觉层次的习惯用色,如:用蓝色表示水体,用绿色表示植被、森林、低洼地,用黄色表示干燥、缺少植被等,从而引发语义-颜色共鸣,提高地图的实用性和可读性[29]。本文限定特定主题(如森林、河流、山地等)的颜色ci尽可能在较小范围内调整

(3)

式中,ci表示第i个视觉层次的习惯用色;γ表示习惯用色的色差阈值。对于部分无须按习惯用色设色的视觉层次,该项值可以直接设置为1,表示可以随意调整颜色以适应其他条件,本文将习惯用色的结果fc归一化为[0,1],用n表示地图中视觉层次的个数,Fc(C)表示地图习惯用色的整体质量

(4)

通过上述对视觉层次和习惯用色的描述,将两者结果相乘得到视觉层次质量F(C),其取值范围为[0,1]

F(C)=Fv(C)·Fc(C)

(5)

文献[4]提出了一种基于像素的屏幕能耗估算模型,该模型根据每个像素的RGB分量值估算OLED屏幕的显示能耗。为了适应矢量地图的显示特点,本文在文献[4]的基础上,提出一种基于视觉层次的地图能耗估算模型,该模型根据地图各视觉层次的红、绿、蓝分量值和面积占比估算地图的显示能耗

(6)

式中,Ri为第i个视觉层次颜色的红色分量值;Gi为第i个视觉层次颜色的绿色分量值;Bi为第i个视觉层次颜色的蓝色分量值;n为地图中视觉层次的个数;E(C)为整幅地图的总能耗;wi为第i个视觉层次在整幅电子地图中的面积占比。

本文将地图节能问题定义为一个双目标优化问题,将综合了习惯用色的视觉层次得分构造为目标函数1,将地图的显示能耗构造为目标函数2,可以得到地图的节能显示模型

(7)

为了便于全局搜索,本文利用式(8)将目标函数2的能耗结果转化为调整后的地图节能百分比,将地图节能问题构造成一个MAX-MAX问题

(8)

式中,En表示调整后地图的能耗;Eo表示调整前地图的能耗。

本文使用NSGA-Ⅱ算法在HSV颜色空间内进行颜色搜索,经过多次迭代得到Pareto前沿解集,即一系列节能配色方案。假设Pareto前沿面是一个连续的曲面,如果曲面上存在一个或多个拐点,即曲面函数的一阶导数突变点,则采用第一个拐点作为节能地图配色方案的满意解;当拐点不明确时,采用如图5(a)所示Pareto前沿面的中心点,即兼顾视觉层次质量与节能程度的解作为满意解,可以得到如图5(b)所示在轻微改变地图外观的情况下最大限度降低能耗的地图配色方案。

图5 顾及视觉层次的地图节能结果

2 试验验证

为验证本文方法的可行性,如图6所示,选择了小比例尺的气候分布图和大比例尺的城市交通图进行读图任务测试,评价本文方法所得到的节能地图的质量。小比例尺的气候分布图原始数据来源于《中华人民共和国人口环境与可持续发展地图集》,大比例尺的城市交通图原始数据来源于OpenStreetMap (openstreetmap.org)。试验前根据经验设定一系列色差阈值,将差异与关联关系的色差阈值μ设为40,习惯用色色差阈值γ设为20、各图形与背景的色差δt与亮度差阈值δl分别设为40和20,色相角度阈值α设为10。

在1920×1080像素的OLED屏幕上显示气候分布图和城市交通图的功率分别为21.89 W和23.52 W。通过前文所述算法得到最优节能配色方案,结果如图7(a)、(c)所示,其中气候分布图颜色调整后的视觉层次质量为0.78,显示功率为9.89 W;城市交通图颜色调整后的视觉层次质量为0.94,显示功率为9.54 W。相对于调整前的原始地图,在单位时间内使用相同的OLED屏幕显示两幅节能地图可以分别降低54.82%和59.44%的能耗。文献[14]提出了一种语义约束的颜色调整方法可以生成电子地图的配色方案以减少显示设备的能耗,这是目前唯一可参照的调整地图配色以节省能耗的方法。本文模拟了语义约束的方法,结果如图7(b)、(d)所示,并与本文方法进行对比分析。

图8 图-底结构结果对比

为评价两种算法结果的地图质量,本文设计了如表1所示的读图试验,包括识别、定位和比较3类任务,共计6个问题。针对识别任务,本文在测试地图上随机选择3个要素类,要求被试验者识别要素类的类型。针对定位任务,本文在测试地图上随机选择了两个区域,要求被试验者判断地图中某个要素类位于所选区域的哪个位置。针对比较任务,本文在测试地图上随机选择3个要素类,要求被试验者判断各要素类间的属性或等级关系。针对原图、对比方法及本文方法,使用相同的问题分别设计了3组试验,每组试验人数25人,在同一显示器、相同的照明条件下完成测试。

表1 评价试验中的读图任务

读图试验的正确率结果见表2,完成时间结果见表3。采用双尾T检验分析试验结果的显著性,在正确率方面,由M值可以得出本文方法的所有任务结果均优于对比方法,由本文方法与原图之间pvalue值可以得出本文方法所有任务的正确率都接近原始地图,由本文方法与对比方法之间的pvalue值可以得出6项任务中有4项显著性较高,绝大多数情况下本文方法与对比方法之间差异较大。在完成时间方面,由M值可以得出本文方法的所有任务结果均优于对比方法,由本文方法与原图之间pvalue值可以得出本文方法所有任务的完成时间都接近原始地图,由本文方法与对比方法之间的pvalue值可以得出6项任务中显著性均较高,本文方法与对比方法之间差异较大。这是由于本文方法考虑了视觉层次,利用色差与亮度差突出了前景与背景之间的分离,并结合语义关系进一步表达地物间的视觉层次结构,更有利于地图的阅读,因此读图的正确率和效率均优于对比方法。

表2 正确率统计结果

表3 完成时间统计结果

为了进一步证明本文方法的有效性,在读图试验的基础上计算两种方法的平均色差和加权色差,分析地图调整前后颜色的一致性。其中,平均色差指地图各要素类原始颜色与调整后颜色间的平均颜色距离,可以表示调整前后配色方案的总体视觉差异;加权色差指地图各要素类原始颜色与调整后颜色间距离的加权平均值,可以表示调整前后配色方案的一般视觉差异和颜色分布情况。本文所提出的顾及视觉层次的方法在平均色差和加权色差两项指标上都优于对比方法,得到的最优结果能够更好地保持调整前后颜色的一致性,结果见表4。进一步分析表4结果,本文方法在平均色差方面相较于对比方法提升了20.91%、6.08%,在加权色差方面相较于对比方法提升了15.00%、6.24%,表明本文所提出的节能显示方案能够更好地保持原图的视觉外观。

表4 平均色差与加权色差结果

3 结 论

针对电子地图显示能耗过高的问题,本文提出了一种顾及视觉层次的电子地图自适应节能显示方法。本文方法将地图颜色视觉层次区分为3种类型并进行数学建模,建立地图显示能耗和视觉层次质量的双目标函数、基于NSGA-Ⅱ算法全局搜索最优节能配色方案。采用不同比例尺的地图试验,将算法结果与语义约束的颜色调整方法进行对比,试验表明,本文提出的顾及视觉层次的节能方法在有效性、效率、颜色一致性方面均优于对比方法。本文方法可以在轻微改变地图外观的情况下显著降低地图显示能耗,有助于减少电子地图行业的能耗和温室气体排放,助力国家“双碳”目标,也有利于提升移动电子地图的续航能力。

本文方法考虑了视觉层次、语义关系和习惯用色等地图设色的主要规则,适用不同专题类型、不同比例尺的矢量地图;但在部分应用场景下还需要顾及其他设色规则,如颜色调和、冷暖色调规则等,下一步工作将结合更广泛的应用场景融入更多的地图设色与使用规则。此外,本文只考虑了颜色这一视觉变量,还有其他视觉变量可以影响地图的能耗,如符号尺寸、几何形态等,下一步将考虑多元视觉变量的地图节能模型,将符号尺寸、几何形态和纹理等加入模型中进行更深入的研究。