南极无人观测站室内光照色温对监控图像质量的影响研究
2023-12-09李仲元汪统岳邵戎镝王燕尼郝洛西
李仲元,汪统岳,邵戎镝,王燕尼,郝洛西
(1.同济大学 建筑与城市规划学院,上海 200092;2.高密度人居环境生态与节能教育部重点实验室(同济大学),上海 200092)
引言
南极内陆地区特殊的地理位置及自然环境非常有利于开展气候、地质等领域科考活动,科研潜力巨大,是我国极地科考的重点发力区域之一[1],该区域严酷的自然环境也对科考人员的生理极限及作业效率构成了严峻挑战。无人观测站可突破人类生理限制、持续高效工作,其子系统关联技术、包括智能照明适宜技术等越发受到包括中国在内的各极地科考强国重视。科考人员大部分时间需要依靠监控图像实现对站体内外现场状态的感知,良好的监控画面可以提升观测站无人状态下的运维效果,其品质和摄像机所处的光环境密切相关。无人观测站所处的南极内陆地区气象条件多变,且无人观测站站体窗口狭小、天然采光有限,为室内监控提供的自然补光波动巨大且时常不足,因此需设置亮度、色温等光参数可调的智能补光系统,并探究监控所处光环境与图像质量间的关系,调整至最佳的光参数组合,作为程序预设在照明控制系统中,保证最佳的监控图像效果。
在与南极科考舱环境相似的载人航天智能照明系统[2]及舰船密闭舱室仿生智能照明系统[3]中,智能照明系统关注的光参数主要为灯具亮度、色温及显色性,其中显色性与灯具选型关系较大[4]。在以往对监控图像质量与补光的研究中,相关研究多关注灯具类型及光强、环境照度对监控图像质量的影响[5,6]、缺乏关于环境色温对监控图像质量影响的研究;在图像质量评价方式方面,过往研究多采用主观评价方法[7,8]、缺乏对不同光环境下图像质量参数的客观定量研究。故本研究将以南极无人观测站的室内监控补光系统为研究对象,通过在国内搭建无人观测站模拟空间、模拟南极极昼极夜状态下的光环境,采用无人观测站同款监控摄像机拍摄不同色温下的室内环境图像,并通过客观图像质量分析方法得到图像质量最高时的色温段作为无人观测站智能照明系统的调光预设指标,为类似智能照明系统的调试及指标预设提供参考。
1 监控图像质量与光环境要求
1.1 监控补光技术研究现状
随着国内天网工程建设的进行,配套的监控及其智能补光系统进入了野外公路、林场、涵洞等无人值守环境中。为获取更高的图像效果、国内对于监控补光开展了广泛研究与实践。叶炜等[5]的研究发现图像的分辨率、色差等指标与成像设备、被拍摄物体与拍摄所处的光环境都密切相关。同一物体在不同光源的照射下会存在较明显的色彩差异:在其他条件相同的前提下使用同一设备拍摄三原色色板,在日光下其图像色彩还原度较高,但在钠灯拍摄下,图像蓝绿色区域转变为灰黑色,红色区域转变为红褐色,偏离了物体的本来面貌。赵建平等[8]深入研究了不同显色性灯具对视频图像色彩还原能力的影响,发现显色指数80以上的光源之间差异相对较小,均能得到较良好的视觉效果。该类研究通过对比测试与主观评价相结合的方法,证明了灯具本身的高显色性在提升图像还原度方面的作用,但在评价策略上还是以观察者主观评价图片效果为主、缺乏客观量化的评价手段。在评价指标上缺乏对灯具亮度、色温等指标与其与监控图像效果间的定量研究,未研究通过改变监控光环境参数的方式达到最佳监控补光效果的可能。因此,需在未来的研究中关注对监控图像质量及补光指标的定量研究,作为智能照明系统触发程序设计的基础。
在照度指标方面,浙江公安经过“白昼工程”等大量项目经验积累,对新建室外监控系统制定了相关规范,摄像机目标区域的最低照度需大于等于彩色摄像机设备指标中最低照度的10倍(监控需求为彩色图像时)、黑白摄像机设备指标中最低照度的100倍(监控需求为黑白图像时);设置辅助照明后,摄像机目标区域最低照度应不低于3 lx、同时宜高于5 lx[5]。 这些实践证明了最低环境照度对于提升监控图像效果的意义:低环境照度会造成常规摄像机图像出现噪点增多、质量下降等问题,且这些缺陷很难通过后期处理弥补。但研究对象主要集中在室外监控照明上,缺乏对室内空间监控补光机制的相关研究;关注的指标主要集中在环境照度及显色性上,缺乏关于光照色温对监控图像质量的影响研究,这也是本次研究的重点所在。除光环境色温外,摄像机自身的白平衡也会对监控图像质量(特别是色彩还原度)造成影响,其校正方法分手动和自动两种。无人状态下站内红外摄像机通常采用自动白平衡功能校正不同光环境下的图像:其原理为通过算法预估光源,改变图像R、G、B三个通道的增益以完成图像色彩校正[9];其要点是准确识别出原图像中的“理想白色”区域,将其定为画面中的白平衡基准点,在此基础上对其他偏色区域分别校色。该方法校正速度较快、满足无人监控需求,但对摄像机所处的背景光环境有一定要求:其在一定色温范围内可达到与手动校正方式类似的良好效果,超过该色温范围后则难以纠偏。因此,需关注无人观测站内置红外摄像机工作时的光环境色温,使其满足现有摄像机自动白平衡的应用环境要求,便于设备准确校正、提升监控图像质量。
1.2 监控图像质量评价指标与测试方法
机器视觉图像质量评价体系(Machine-Vision Benchmark,MVB)是目前常用的视频图像评价标准之一,在图像算法领域常用于机器成像校准等工作,该标准分为六个评价指标:清晰度(分辨率)、色差、饱和度、噪声、对比度及亮度[10]。
1.2.1 清晰度
作为图像质量最关注的指标之一,其直观反映了待测机器展现原始场景中细节的能力,影响到操作者对图像的分辨和理解效果,在客观评价体系下图像清晰度和分辨率成正比,故在本研究中将视两者为同一概念。在数字图像分析领域,研究人员常用调制传递函数(MTF)作为图像清晰度(分辨率)的客观评价指标。
在实际测试中,经常采用ISO12233测试图(又称“分辨率解析卡”)测试图像的分辨率(图1),该测试图根据ISO(国际标准化组织)图像质量测试标准制作,以客观描述相机等光学仪器的分辨率。其作用类似一个MTF值接近1的完美“标尺”,待测器材通过拍摄图像比照这个标尺得到0~1之间的某个“分辨率得分”。其使用方法为:使用待测成像仪器在预设光环境的清晰成像距离上(一般采用该仪器的最近对焦距离,家用数码单反相机一般在1~2 m之间)完成对该测试卡的水平正向拍摄后,用测试卡预设算法对应的图像软件分析模块截取斜黑色图形边缘作为采样分析段,使用空间频率响应算法(Spatial Frequency Response,SFR)对ISO12233测试图采样段(黑色平行四边形边缘)进行计算,检测其边缘锯齿化部分的每毫米线对值线对密度,即可获得其在不同对比度下的MTF值,其中MTF50值可直接读取。
图1 ISO12233测试图Fig.1 ISO12233 test card
1.2.2 色差及饱和度
色差指两个颜色在视觉(人眼视觉或机器视觉)上的差异。在图像色差的测试方法中,业界常采用成像设备拍摄24色色彩还原测试卡(图2),通过对应的算法分析拍摄图像上实际显示颜色与色卡“标准颜色”间的综合差值来评价成像设备色彩还原能力的强弱。该色彩还原卡是一张尺寸为203 mm×280 mm、由24个算法预设好的标准色贴片组成的色表,包含了18种自然界常见的颜色和6个灰阶等级色,每个贴片均采用严格校色后的颜料单独印刷,并在表面上进行了哑光处理以减少拍摄过程中反光等因素的干扰。
图2 Colorcheck 24色色彩还原测试卡Fig.2 Colorcheck 24 color restoration test card
饱和度(saturation)又被称为纯度,指色彩的鲜艳程度。在色彩学中,饱和度由图像中消色成分(灰色部分)与含色成分(彩色部分)间的比例决定:灰色占比越高,图像的饱和度越低,其色彩视觉表现越黯淡,直至降为灰白无彩色状态;含色成分占比越高,图像的饱和度越高,其色彩视觉表现越鲜艳,其取值范围为0~100%[11]。在测试方法上,饱和度同色差一样,均可通过使用Colorcheck算法对24色标准测试卡拍摄结果进行分析得到。
1.2.3 噪声
图像噪声指存在于图像中的不必要干扰信息(点),其比较明显的呈现姿态是以雪花点状散布于图像中,降低图像阅览者对信息的获取能力[12]。其最本质的来源是由光和电的基本性质决定:图像本身是光量子传输的结果,其受到扰动发生聚散现象后又会在图像上体现为光量子噪声;在环境光照度降低后,设备的放大器增益提高也可能导致图像噪声的增加,因此图像噪声与机器成像所处的光环境有一定关联。
业界常使用20级灰阶测试卡(图3)来测试图像噪声,其测试依据及拍摄方法与分辨率测试卡类似:使用待测仪器在预设光环境下完成对该测试卡的水平正向拍摄后,使用分析软件截取完整的20级灰阶条带,使用Stepchart算法分析采样段、即可获得该图像在R、G、B、Y四个通道上的信噪比值[13]。
图3 Colorcheck 24色色彩还原测试卡Fig.3 Colorcheck 24 color restoration test card
1.2.4 亮度与对比度
图像亮度与对比度计量方式关联度较高,故在下文中合并叙述。
数字图像的亮度(intensity,简称I)指其像素值的大小。对彩色数字图像而言,其每个像素点有R、G、B三个显色分通道,每个通道的值均为0~255;对灰度图像而言,其每个像素点只有亮度(取值范围亦为0~255)一个分通道。像素值越小则图像亮度越低,直至降为0,其视觉效果为纯黑;像素值越大则图像亮度越高,直至升为255,其视觉效果为纯白。在实测过程中、一般将彩色图像转化为灰度图像以方便计算亮度[14]。
对比度(contrast ratio,简称C)指图像内最暗的黑与最亮的白间的比值,其对图像的视觉效果影响极大:对比度越小,图像黑灰白色阶间的区分效果越不明显,图像在视觉效果上越“偏灰”;对比度越大,图像上物体细节的明暗区分越明显,图像在视觉效果上越“艳丽”。
在测试方法上,数字图像的亮度和对比度都可以通过拍摄灰阶测试卡进行计算。用相机拍摄20色标准色阶卡后,可用Stepchart算法计算得到图像中各灰阶的像素大小,图像的平均亮度一般用各点亮度总和的算术平均值表示(一般是取全20个点),对比度则采用实测部分最暗部分(标准测试卡中的纯黑色阶)和最亮部分(标准测试卡中的纯白色阶)与理想状态下两者总和的比值表示[15],其计算式为:
(1)
2 监控图像质量与室内色温实验
2.1 实验目的与流程概述
2.1.1 实验目的
本研究通过在国内搭建预实验空间,分别在模拟极昼极夜状态下进行不同光参数组合下图像质量测试。使用待测主动式红外摄像头在室内清晰成像距离上拍摄对应的图像质量指标测试卡,采用分析软件解析拍摄后的图像,得到不同光环境下的图像分辨率、色差、饱和度等值并将之作为图像质量的判定依据,在此基础上探究各图像质量指标与灯具色温间的关系,得到成像质量最佳时的光参数组合及对应测点照度。
2.1.2 实验流程概述
该实验自变量为极昼、极夜两种环境下的灯具色温,因变量(待测值)为分辨率、色差等MVB图像质量指标(×6)。具体实验流程:首先仿照无人观测站单个舱体特点、在国内搭建预实验空间,并仿照舱内实际情况进行设备布置,测试用设备需保证同现场实际使用的设备型号及性能接近,以尽可能贴近现场实际情况;之后进行监控仪器与测试卡布置,在室内其他条件不变的前提下,在模拟极昼极夜条件下分别用测试灯具在不同色温下对室内监控摄像机进行补光,用监控摄像机拍摄对应测试卡,使用对应的软件算法解析对应的测试卡照片,分析不同光参数组合下各图像质量指标的变化情况。
2.2 实验空间搭建与测试过程
2.2.1 实验空间搭建
本实验仿照无人观测站单个舱体,在上海市内选择了一处内径尺寸为3 m×2.6 m×2.6 m、南向采光的住宅单间改造成模拟实验舱(冬季温度在-10 ℃以上、接近实际舱内室温)以模拟单舱体的天然采光及内部补光效果。为尽可能模拟舱内实际情况,将窗户用遮光纸进行局部密封处理、仅保留0.26 m×1.3 m的侧窗,以模拟采光窗效果;同时仿照舱体室内工作台布置方式沿三边环绕布置了宽度0.7 m、高度0.9 m的“桌子”;房间内墙壁及顶棚采用灰白色油漆粉刷、反射率约为75%,地板反射率约为20%,保证与无人观测站内装材料反射率接近。
无人观测站所在的南极内陆地区处于极昼极夜交替状态。根据日本科研人员在南极威尔克斯地附近所测定的数据,极昼期间的天空照度可达100 000 lx以上,与上海冬季正午期间晴朗状态下天空照度相近[16];而极夜期间天空照度接近0 lx,与上海夜间相近;在太阳入射角方面,极昼期间南极内陆地区太阳高度角较小(不超过33°),与冬季1月上海太阳高度角(约35°)相似。国内预实验选择上海冬季正午(11:00—13:00)与夜间完全落日后(当日18:00以后)两个时间段进行,以尽可能贴近南极极昼极夜条件下的自然光照情况。
2.2.2 实验设备布置
智能照明设备组网方式采用Zigbee控制系统模式[17],其系统拓扑图如图4所示,其中虚线框所示部分为国内测试现场已安装部分,包括可调光吸顶灯(及配属开关)、网关、照度传感器、监控摄像机,通过手机Wi-Fi(或计算机客户端)直连网关进行控制。测试空间内仿照南极观测站现场状态配置Wi-Fi环境、接入网关等智能设备,所有测试用设备为与现场实际使用的设备型号及性能接近的设备,以尽可能贴近现场实际情况,待测吸顶灯色温可调节;照度传感器采用CGPR1人体及光照度传感器,其背后采用双面胶覆膜底座,可实现室内不同位置的灵活布置;室内摄像机选取小白智能红外摄像机,其采用了南极站区常用的主动式红外夜视技术,可在弱光条件下彩色成像、无光条件下黑白成像,具备自动白平衡功能(其适用色温范围及校准后图像质量未知);网关则采用Zigbee通讯协议、通过接入实验舱内Wi-Fi局域网/外部互联网与手机APP/计算机控制端相连,用户安装照明系统专用客户端即可实现对监控图像的调取查看及对照明参数的动态调整。
图4 设备拓扑关系与设备在空间内布置图Fig.4 Device topology relationship and its indoor layout
2.2.3 光环境参数组合选取与成像拍摄
在室内其他条件不变的前提下,在模拟极昼极夜条件下分别用测试灯具在不同色温下对室内监控摄像机进行补光,在亮度保持不变时(统一控制在2 000 cd/m2),色温3 000~6 000 K(取3 000 K、3 500 K、4 000 K、4 500 K、5 000 K、5 500 K、6 000 K七个参数)变化,在每个光参数组合下用红外摄像机在预设拍摄距离上拍摄对应的图像质量测试卡,并将拍摄后的图像使用对应算法模块进行分析,综合比较MVB图像质量评价标准下图像清晰度、色差、饱和度、信噪比、对比度及亮度指标的高低,研究其与天然采光状态及人工补光亮度(环境照度)、色温间的关系。
将待测的ISO 12233分辨率测试卡(用于测定不同光环境下图像分辨率)、ZUIDID数码图像用24色标准色卡(测定色差、饱和度)、SineImage 20阶灰度测试卡(测定信噪比、对比度、亮度)分别布置在不同室内光环境下,用监控摄像机拍摄对应测试卡,分析其在不同光照条件下各图像质量指标的变化。
在每个待测光环境参数组合下,用三脚架分别固定三张测试卡,并将其放置在待测空间内距监控摄像机水平距离2 m处(其焦距2.8 mm、对应最佳成像距离约2 m),使测试卡、摄像机处于同一水平线上(图5),保证每次采样的监控画面清晰可辨,且对应算法(ISO 12233测试卡照片对应SFR分辨率算法,计算区域为图像正上方平行四边形边缘;ZUIDID标准色卡对应Colorcheck色彩算法,计算区域为全部色块;SineImage灰度测试卡对应Stepchart灰阶算法,计算区域为下方20级灰阶,如图6所示)能准确读取对应测试卡待测部分的内容。
图5 测试卡拍摄方法Fig.5 Method of photographing the test card
图6 拍摄的测试卡及对应的取样位置Fig.6 Test card for shooting and corresponding sampling position
2.2.4 图像质量测试
监控图像质量分析采用Imatest软件。该软件是由美国Imatest公司在MATLAB编程语言基础上开发的数字图像质量分析软件,适用于对摄像机、照相机等光学成像仪器摄录结果及纺织印刷品等对色彩要求较严格的工业制成品进行客观质量分析[13],应用范围广、分析准确度高,故作为本次实验的图像质量分析软件。其内置SFR、Colorcheck及Stepchart等算法,通过解析不同光环境下对应测试卡的拍摄结果,与标准值进行对比计算与加权、得到该指标的实际值。以图像色差及饱和度计算为例,其流程如图7所示。首先按照前文所述流程,使用红外摄像头拍摄某光环境参数组合下的ZUIDID 24色标准色卡,做好文件命名,截取视频中成像稳定后(自动白平衡完成)的静帧、导入Imtast Colorcheck模块进行分析;Colorcheck模块本身存储有对应色块的标准色(记为“ideal”),可与拍摄所得的实际色(记为“camera”)进行对照,通过两者比值计算每个色块实际色差及饱和度,加权得到该光环境下图像总色差及饱和度(17号色块标准值与实际值间差值以两者间连线长度体现,所有色块加权结果如右上角红框位置所示)。SFR、Stepchart模块计算流程与Colorcheck模块相似,故不再赘述。
图7 图像质量数据计算(以Colorcheck模块为例)Fig.7 Image quality data calculation (taking Colorcheck module as an example)
3 图像质量指标与室内色温分析
3.1 模拟极夜状态下,补光色温与图像质量指标间的关系
不同色温下的灯具光谱如图8所示。经测试,在灯具色温变动时,灯具亮度(约2 000 cd/m2)及显色指数(84.3~86.4)无明显变化,可视为只有色温一个自变量。
图8 3 000 K(上)、4 000 K(中)、5 000 K(下)光谱(亮度为2 000 cd/m2)Fig.8 Spectrum of 3 000 K (top)、4 000 K (middle)、5 000 K (bottom)(luminance is 2 000 cd/m2)
模拟极夜状态下,保持灯具亮度(2 000 cd/m2)等其他条件不变,按监控图像质量分析项的重要性排序,图像分辨率、色差、饱和度与补光色温间的关系如图9~图11所示(表中虚线为变化趋势线、下同)。
图9 室内色温与监控图像清晰度的关系Fig.9 The relationship between indoor color temperature and monitoring image sharpness
图10 室内色温与监控图像色差的关系Fig.10 The relationship between indoor color temperature and color difference of monitoring image
图11 室内色温与监控图像饱和度的关系Fig.11 The relationship between indoor color temperature and monitoring image saturation
由上述结果可知,在模拟极夜状态、补光灯具亮度等其他条件不变的情况下,补光灯具色温改变对监控图像的色彩还原度影响较为明显。在色温由3 000 K逐步提升至4 000 K的过程中,监控图像色差由最高值25.7降至最低值15.2,降幅达40.9%;图像色彩饱和度由最低值65.3%升至最高值76.0%,提升约10.7%。之后随着色温继续提升,图像色彩还原度呈缓慢下降趋势,色差由最低值15.2升至约17,饱和度由最高值76.0%缓慢下降至71.0%;图像分辨率随色温的变化趋势则不明显。使用Stepchart模块分析不同光环境下的灰阶测试卡图像,研究模拟极昼状态下灯具亮度与图像信噪比、对比度及亮度间的关系,其变化不明显。
总体而言,灯具色温对监控图像的色彩还原度影响明显。且在极夜状态下,当无人观测站内灯具色温位于3 500~4 500 K区段时,监控图像的色彩还原度(色差、饱和度)最佳,图像分辨率、信噪比、对比度及亮度等指标随色温变化趋势均不明显。
3.2 模拟极昼状态下,补光色温与图像质量指标间的关系
保持灯具亮度(2 000 cd/m2)及其他条件不变,模拟极昼状态下图像清晰度、色差、饱和度与补光色温间的关系如图12~图14所示。
图13 室内色温与监控图像色差的关系Fig.13 The relationship between indoor color temperature and color difference of monitoring image
图14 室内色温与监控图像饱和度的关系Fig.14 The relationship between indoor color temperature and monitoring image saturation
由上述结果可知,在模拟极昼状态、补光灯具亮度等其他条件不变的情况下,图像分辨率呈现出先增加后持平的趋势,最大分辨率点同样出现在3 500~4 500 K阶段(约为430 lw/ph),图像色彩还原度在4 000 K左右表现最好,此时图像色差约为14.2,较无人工补光时降低14.5%;色彩饱和度约为77.2%,较无人工补光时提升约3.4%。补光色温变化对图像信噪比、对比度及亮度的影响则不明显。
4 结语
本研究通过在国内搭建无人观测站模拟环境,并在模拟极昼极夜状态下采用MVB指标客观评价无人观测站3 000~6 000 K室内光照色温下红外摄像机的监控图像质量,发现室内色温变化主要影响的图像质量指标为清晰度、色差及饱和度,对图像信噪比、对比度及亮度的影响则不明显。且极昼极夜状态下的人工补光色温均建议控制在3 500~4 500 K范围内,该中间色温下站内红外摄像机拍摄的图像清晰度及饱和度相对较高、色差较低,图像的色彩还原度最高。该实验结论及测试方法可为未来极地科考站、深空探测器及深潜器内部监控照明系统的光参数调节提供有益的参考,提升我国极地、深空及深海等科考领域远程监控所需的光环境及系统工效。
本次实验所用的舱体空间及照明设备与现场搭建完成后的状态存在一定差异。在模拟室内环境方面,实验室内墙体存在一定的漫反射情况,与南极科考舱金属内壁接近镜面反射的实际情况不同,可能导致相同灯具亮度下周边环境亮度略低于实际情况、影响图像质量测试结果;在设备选型方面,本实验所采用的网关、灯具、传感器等设备虽尽可能在性能及组网方式上贴近现场实际所用的对应设备,但仍存在一定差异,其实际照明效果有待现场安装完成后实测检验。