基于条纹变化特征的像增强器分辨力客观评价
2022-04-01王璐子钱芸生孙默涵孔祥宇
王璐子,钱芸生,孙默涵,孔祥宇
(南京理工大学电子工程与光电技术学院,南京210094)
0 引言
微光(Low-Light-Level,LLL)像增强器荧光屏分辨力是反应微光像增强器(简称像管)测试性能的一项重要参数,它决定了夜视仪器在10-3~10-1lx 照度下的工作距离和图像清晰度[1-3]。微光像增强器荧光屏分辨力传统测量方式是将USAF 1951[4]分辨率图案成像至像管阴极面,有经验的测试人员通过显微镜观察像管输出(荧光屏上)的分辨率图像,将分辨率图案中刚好被识别的条纹单元的空间分辨率视为像管分辨力的近似估计[5-7]。因此,该方法存在着主观性强,针对分辨力较高的像管(>50.8 lp/mm)测量精度较低的缺陷。近些年,人们致力于研究它的客观评价方法,一些相关的图像处理算法相继被提出,但存在着人为干预力度大、时间消耗长等局限性[8-10]。SHI Jifang 等[8]提出了一种基于光学调制度模型和归一化互相关模型的微光像增强器分辨力客观评价方法。该方法的缺点是需要人工裁剪感兴趣区域(Region of Interest,ROI),裁剪位置的微小偏差将会对测量结果造成很大影响。在2020年,WANG Luzi 等[9]提出了一种基于FFT 的微光像增强器分辨力客观评价方法,该方法能够获得准确的测量结果,但缺点是时间复杂度高。在2021年,WANG Luzi 等[10]又提出了一种基于图像修复模型和图像过滤模型的微光像增强器分辨力客观评价方法,该方法在时间效率方面相比传统客观评价法有了很大提升,但图像噪声较大。为了缓解以上问题,本文提出了一种基于条纹变化特征的微光像增强器分辨力客观评价方法。该方法首先从目标图像中提取分辨率图像块,然后从分辨率图像块中分割出独立的条纹单元图像,通过拼接条纹单元图像并分析其固定窗口内的灰度变化特征,确定条纹单元是否可分辨并计算相应的清晰度值,最后将生成的条纹单元“清晰度-分辨率”对应结合线性拟合算法求出像管分辨力。经实验证实,该方法相比传统主观评价法精确度更高且稳定性更好,相比传统客观评价法在时效性方面占优势。
1 微光像管分辨力客观评价
1.1 客观评价系统搭建
为了测量该参数,将一个带有标准分辨率靶的刻度光阑置于像管阴极面上;然后,一束2×10-3lx 的卤钨灯光源穿过测试光阑垂直照射到像管阴极面上,并在像管荧光屏上形成目标图像;最后,目标图像被固定在显微镜上的高灵敏度相机捕获。该方法的系统测试平台源自微光像增强器有效阴极直径客观评价法[11],图1 为该系统的机械结构图,图1(a)为侧面图,图1(b)为正面图。为了获取合格的目标图像,需要人工辅助完成的操作有:转动显微镜上的缩放旋钮将目标图像中的分辨率图像放大至最大,调整位于显微镜和像管底部的三维位移平台完成图像对焦,控制系统测试软件自动调整图像亮度及拍摄目标图像。整个操作过程都在暗室中进行。图2 为拍摄得到的像管1XZ18/18W-2(150097)的目标图像,图像大小为2 740×1 824。1XZ18/18W-2 指阴极为光纤质地管型。
图1 微光像增强器分辨力客观评价系统机械结构[11]Fig.1 The mechanical structure of the objective evaluation system of resolution of LLL image intensifier[11]
观察图2 可知,针对分辨率较高的条纹单元(>50.8 lp/mm),一张瞬时图像不足以判断其可识别程度,因此需要采集连续多帧(30 帧,经实验证实)图像用于处理。经实验证实,基于所搭建实验平台,采用如下方式计算微光像管分辨力较为合理:首先,提取图2中的大概率直线段斜率结合图像灰度信息生成旋转角度,将目标图像旋转至合适状态;然后,凭借刻度靶板中央方框与分辨率图案的空间对应关系从旋转图像中提取分辨率图案(也称作分辨率图像块);再依照标准分辨率靶,从分辨率图像块中提取独立的条纹单元图像,并凭借30 个分辨率图像块(分别从30 幅旋转图像中截取的)生成单元拼接图像;之后,采用固定空间核沿条纹变化方向扫描单元拼接图像并分析图像灰度变化特征,从而判断条纹单元是否可识别并计算其清晰度;最后,将条纹单元的“清晰度-分辨率”对应结合线性拟合算法,计算出像管分辨力。
图2 像管150097 的目标图像Fig.2 The target image of image tube 150097
1.2 分辨率图像块提取
为了从目标图像中提取分辨率图像块,首先要对目标图像进行旋转,使得其中两相互垂直刻度轴分别位于水平与竖直方向。因此,本节首先介绍基于目标图像直线段斜率特征和图像灰度信息的图像旋转;然后,凭借靶板中分辨率图案与靶板中央方框的位置关系截取分辨率图像块;最后,通过分析固定区域图像信息对分辨率图像块进行自适应旋转,从而获取更为标准的(能够进行条纹单元分割的)分辨率图像块。
1.2.1 图像旋转
观察可知,图2 中的直线段斜率具有强一致性,因此可以利用WANG Zhiheng 等[12]提出的MSLD 算法提取图中的直线段斜率,从而得出图像预旋转角度。首先,从目标图像(用s表示)中裁剪出一块以s的中心为中心、高和宽分别为s高的一半和s宽的一半的图像区域(为了降低计算复杂度),如图3(即裁剪图像1);然后,将MSLD 算法用于裁剪图像1,生成直线段向量(由直线段两端点构成),如图3 中白线所标记。利用直线段向量计算直线段斜率,将出现次数最多的直线段斜率的倾斜角作为图像的预旋转角度。实际上,用该方法求得的旋转角度与实际旋转角度可能存在-2.0°~2.0°的偏差,因此还需求出旋转矫正角度。具体方法是:首先,设定初始旋转矫正角度为-2.0°,用预旋转角度与旋转矫正角度之和对目标图像进行旋转;然后,采用一个高度为2w、宽度为s宽的空间核(如图4 中黄色矩形框所标记)从上至下扫描旋转图像,步长为i,此阶段为列扫描;接着采用一个高度为s高、宽度为2w的空间核(如图4 中绿色矩形框所标记)从左至右扫描旋转图像,步长为i,此阶段为行扫描。扫描的同时计算并记录空间核内的灰度均值。扫描完后,计算列、行扫描所记录的灰度均值序列中先连续下降后连续上升(灰度梯度总和大于10.0)的灰度段的梯度总和及灰度最低点下标;随后,旋转矫正角度增加0.05°,重复以上操作,直到其达到2.0°;最后,将所记录的列扫描和行扫描中符合条件的灰度段的梯度总和之和的最大值所对应的旋转矫正角度作为最终结果。此外,w的选择要尽量使得空间核刚好包含一个刻度的宽,如图4所示。经实验证实w=2和i=2 是较为合适的选择。最后,将求得的旋转矫正角度与预旋转角度相加对目标图像进行旋转,结果如图4,行扫描和列扫描用的固定空间核分别用绿色和黄色标记,白色圆圈表示求得的分辨率图像块四个顶角。观察可知,经图像旋转后,两相交刻度轴分别位于较为准确的水平和垂直方向。
图3 裁剪图像1Fig.3 Cropped image 1
图4 目标图像的图像旋转结果Fig.4 Image rotation result of the target image
观察图4 可知,要想提取分辨率图像块,需先准确的定位包含分辨率图像块的中央方框的四个顶角。设方框中心为sCen,在已知sCen的前提下,求出方框的边长,就能够准确的定位分辨率图像块。具体方式是:首先,从图4 中裁剪出一块包含靶板中央方框的图像区域;然后,求中央方框的边长、四个顶角及分辨率图像块四个顶角;最后,将分辨率图像块顶角还原至旋转图像,以提取旋转图像中的分辨率图像块。
1.2.2 分辨率图像块提取
从旋转图像中裁剪出一个以sCen为中心、宽度和高度均为固定长度(1 000,经实验证实)的图像区域;然后,采用与求sCen相同的方式分析方框四条边所在图像区域,求出这四条边所在直线的X、Y坐标,即方框顶角坐标。方框的左上、右上、左下、右下顶角坐标分别用(sltx,slty)、(srtx,srty)、(slbx,slby)和(srbx,srby)表示。在已知方框顶角和方框中心坐标的前提上,利用分辨率图案顶角与方框顶角的空间对应关系,求得分辨率图案顶角坐标。设分辨率图像块的左上、右上、左下和右下顶角坐标分别为(rltx,rlty),(rrtx,rrty),(rlbx,rlby)和(rrbx,rrby),则。最后,将所获得的分辨率图案顶角坐标还原至旋转图像,结果如图4 中白色圆圈所标记。将采集的30 幅目标图像经图像旋转得到30 张旋转图像,然后从30 张旋转图像中分别提取分辨率图案,得到30 个分辨率图像块。图5(a)~(c)为分别从像管1XZ18/18W-2(150097)、1XZ18/18W-2(150112)和1XZ18/18W-2(150113)的旋转图像中提取的分辨率图像块。
图5 三个像管的分辨率图像块提取结果Fig.5 Extraction results of resolution block of three image tubes
1.2.3 分辨率图像块自适应旋转
观察图5 可知,提取的分辨率图像可能存在图像旋转的问题,如图5(a)和(c)所示。因此,在条纹单元分割之前还需对分辨率图像进行自适应旋转。具体步骤是:首先,将分辨率图像缩放至宽高均为205 个像素;然后,对其进行高斯滤波(δ=1.249)和二值化(阈值为图像灰度最大值除以1.7),简称预处理操作。图6(a)~(c)为图5(a)~(c)经预处理操作后的结果。随后,考察预处理图像边缘内侧四个方向内的图像区域,在图6(b)中分别用不同颜色的较细线条矩形框标记,也称作边缘图像区域。其中上、下、左、右边缘图像区域分别用较细线条的黄色、紫色、亮蓝色和粉色矩形框标记,用于确定旋转角度的黑块用较粗线条的绿色方框标记,通过判断哪个方向上有黑块(用较粗线条绿色方框标记的),从而确定图像旋转角度。为了详细说明旋转角度的确定方式,以图6(b)的上侧边缘图像区域为例。首先,考察X、Y坐标分别在[205/2,205/2+205/4]和[0,205/4]内的图像区域;然后,记录每行的同值(同黑或同白)像素段个数。若像素段的值为0、且长度在30 至50 之间,则认为该行中存在黑块;最后,统计包含黑块的行数,若超过30,则认为该边缘图像区域内包含黑块,将旋转角度设为0.0°(即不旋转)。左、下、右侧边缘图像区域的黑块检测方式同理,唯一的区别是所考察图像区域的X、Y坐标范围分别为{[0,205/4],[205/4,205/2]}、{[205/4,205/2],[205/2+205/4,205]}和{[205/2+205/4,205],[205/2,205/2+205/4]}。若在左、下或右侧边缘图像区域中检测出黑块,则旋转角度分别为-90.0°、-180.0°或-270.0°。旋转轴心为(205/2,205/2)。基于此,可知图6(a)~(c)的自适应旋转角度分别为-270.0°、0.0°和-180.0°。
图6 图5 中三个像管的分辨率图像块的图像预处理结果Fig.6 Image preprocessing results of the resolution image block of the three image tubes of Fig.5
1.3 单元条纹图像提取
经分辨率图像块自适应旋转后,按照标准分辨率图案中条纹单元之间的对应关系,从分辨率图像块中提取出独立的单元条纹图像。为了方便起见,将分辨率图案左侧条纹组中的五个条纹单元分别用1-1、1-2、1-3、1-4 和1-5 表示,右侧条纹组中的六个条纹单元分别用2-1、2-2、2-3、2-4、2-5 和2-6 表示。条纹单元1-1至2-6 的空间分辨率分别为17.96、20.16、22.63、25.40、28.51、32.0、35.9、40.3、45.3、50.8 和57.0,单位是每毫米线对数(lp/mm)。若分辨率图像块裁剪足够良好,则单元条纹的坐标位置基本保持不变。经实验证实,单元1-1 至2-6 的竖条纹的左上角、右下角坐标分别设定为:[(50,86),(5,48)]、[(44,84),(55,93)]、[(38,74),(96,133)]、[(32,66),(137,169)]、[(29,59),(171,199)]、[(151,181),(5,29)]、[(157,184),(35,54)]、[(165,186),(58,76)]、[(170,187),(80,98)]、[(174,189),(100,113)]和[(178,192),(118,130)];单元1-1 至2-6 的横条纹的左上角、右下角坐标分别设定为:[(1,38),(5,48)]、[(1,33),(55,93)]、[(1,32),(96,133)]、[(1,26),(137,169)]、[(1,22),(171,199)]、[(185,205),(5,29)]、[(188,205),(35,54)]、[(191,205),(58,76)]、[(193,205),(80,98)]、[(195,205),(100,113)]和[(196,205),(118,130)]是较为合适的选择。图7 给出了图5(b)的单元条纹分割结果。分割出的11 对单元条纹图像:左侧为竖向条纹,右侧为横向条纹。
图7 图5(b)的单元条纹分割结果Fig.7 The unit stripe segmentation result of Fig.5(b)
1.4 单元条纹图像拼接
观察图7 可知,对于空间频率相对较低的条纹单元(如1-1 至1-4),其亮暗条变化是较容易识别的,而对于空间频率相对较高的条纹单元(如2-3 至2-6),其亮暗条可识别度较低,即单凭一张图像很难对其分辨力进行判断。因此,采用拼接单元条纹图像的方式,获得一个更能反映条纹分辨力的拼接图像(简称单元拼接图像)将更为合适。其大致思路是:将分辨率图像块集合中属于同一条纹单元的图像按统一条纹方向拼接成一张图像。图8 给出了像管150112 中单元1-3、2-1 和2-6 的横条纹拼接结果。
图8 像管150112 的三个横向单元条纹的图像拼接结果Fig.8 Image stitching result of three horizontal unit stripes of image tube 150112
1.5 单元条纹清晰度计算
视觉上,条纹是否可识别取决于沿条纹变化方向的灰度变化是否明显。为了考察该灰度变化,采用一个固定大小的空间核(较短边长为2w1+1,较长边长为拼接图像的较长边长)沿条纹变化方向扫描单元拼接图像,步长为i1;通过判断所得到的灰度序列中是否存在一块连续上升或连续下降(个数为3 或4)且非靠近图像边缘的灰度段,来确定条纹是否可识别。条纹单元的清晰度可以用其横、竖条纹中符合条件灰度段的灰度梯度总和的最大值来近似表示。此外,为了归一化操作,所有竖向拼接图像(由竖向条纹单元图案拼接而成)的行和横向拼接图像(由横向条纹单元图案拼接而成)的列均调整为42。经实验证实,w1=2,i1=2是合理的选择(即,保证目视观察结果和实验计算结果相一致)。表1 给出了用此方法计算得到的像管150097、150112 和150113 的单元条纹清晰度值。
表1 像管150 097、150 112 和150 113 的单元条纹清晰度计算值。粗体元素表示参与线性拟合的部分清晰度值Table 1 The calculated stripe unit definitions of image tubes 150097,150112 and 150113.The bold elements represent a part of definition values participated in linear fitting
1.6 像增强器分辨力估计
基于单元条纹清晰度值求像管分辨率,还需已知极限清晰度阈值(D)。根据WANG Luzi 等[10]提出的基于图像修复模型和可用图像过滤模型的微光像管分辨力客观评价方法可知,极限清晰度阈值对应人眼可辨最大条纹单元的分辨率。采用其中的相关方法,得到D=6.0。然后,像管分辨力可以通过将线性拟合算法应用于单元条纹的“清晰度-分辨率”对应求出,具体方法是:首先,从条纹单元清晰度序列中提取出呈线性变化的部分清晰度值(在表1 中用粗体表示,其下限是刚好低于D的清晰度值),并生成条纹单元“清晰度-分辨率”对应;然后,求出对应极限清晰度阈值的从“清晰度-分辨率”序列中线性拟合出的分辨率值,即像管分辨力。基于此,可知像管150097、150112 和150113 的分辨率分别为44.32、47.18 和39.22 lp/mm。
2 实验与讨论
考虑到所搭建的系统平台是将具有分辨率图案的光阑置于像管阴极面(凭借像管夹具),从而在像管阳极输出端生成反映像管荧光屏分辨力的图像,因此只针对阴极是光纤面板的像管(即1XZ18/18W-2 型)有效。该方法所涉及的源代码采用C++语言编写,在VS2015+Win10[13]平台上实现。为了验证所提出方法的性能,选用6 个1XZ18/18W-2 型微光像增强器用于实验,编号分别为070236、071256、070217、070315、070375 和071490。此外,将该方法与两个像管分辨力传统评价方法相对比,一个是主观评价方法(简称主观法),另一个是基于图像修复模型和图像过滤模型的客观评价方法[10](简称客观法),以验证其性能。最后,通过组织可重复性实验以验证该方法的稳定性。
2.1 与传统评价法的准确性时效性对比
为了验证该方法的性能,将其与像管分辨力传统评价方法(包括主观法和客观法)相对比。其中,主观法的大致内容是:首先,测试人员调节显微镜缩放旋钮将分辨率图案放大至最大,在观察显微镜或系统显示界面上的像管输出图像的同时调节系统三维移动平台完成图像对焦;最后,将分辨率图案中能够被识别的最大条纹单元所对应的空间分辨率作为像管分辨力的近似估计。客观法的大致实现是:首先,将该方法中的图像预处理模型应用于第1.3 节中的单元条纹图像,生成二值单元图像序列。考虑到本文所提出方法引入的图像噪声远小于客观法的,因此不需要再对二值图像进行修复(或去噪)。然后,利用该方法中的图像过滤模型提取这30 幅二值单元图像中的可识别部分,并计算出单元条纹清晰度;最后,将线性拟合算法应用于条纹单元的“分辨率-清晰度”对应,结合极限清晰度阈值计算出像管分辨力。其中,主观法是衡量另两种方法测量准确度的标准。此外,还考察了这三种方法的时间效率。表2 列举了将所提出方法、主观法和客观法分别应用于像管070236、071256、070217、070315、070375 和071490 的结果对比。观察可知,由于客观法相对所提出方法多了单元图像的预处理操作,因此测试时长平均多了4 s。此外,所提出方法的测量结果相比客观法的更接近实际值(即,主观评价结果),表现在所提出方法与主观法的测量偏差最大值是1.88 lp/mm,平均值是1.335 lp/mm;而客观法与主观法的测量偏差最大值为2.44 lp/mm,平均值为1.786 lp/mm。相对主观法,所提出方法的测量精确度更高,如像管070236 和071256(即,分辨率在40.3~50.8 lp/mm 内的像管)。综上所述,所提出方法相比传统主观方法测量精度更高,相比传统客观方法时效性和准确度更好。
表2 将客观法、主观法和所提出方法分别应用于像管070236、071256、070217、070315、070375 和071490 的结果对比Table 2 The comparison result of applying the objective method,the subjective method,and the proposed method to image tubes 070236,071256,070217,070315,070375 and 071490
2.2 与主观评价法的可重复性对比
为了考察所提出方法的可重复性,这6 支像管分别被测10 次,然后将测试结果与主观评价结果相对比。为了更真实地反映人工测试环节,同一支像管被不同测试人员在不同时刻进行测试。注意,不同测试者对同一像管的图像对焦结果不尽相同(由于人眼视觉感知度差异,以及光阑与像管光阴极的不同紧贴程度),这会对分辨率超过50.8 lp/mm 的像管的评价结果造成影响。图9 为将所提出方法和主观法分别对这6 支像管进行10 次测试的结果对比。观察可知,对于分辨力较高的像管(≥40.3 lp/mm),主观评价结果波动幅度较大,这是受高分辨率条纹单元大分辨率间隔和人工操作限制(即,聚焦不清晰或光阑不紧贴)的影响。针对分辨力较低的像管(≤35.9 lp/mm),客观评价结果波动相对较大(如像管070375),这是由于较低分辨率条纹单元(≤35.9 lp/mm)的清晰度受噪声干扰较大。从整体上来看,所提方法的可重复性比主观法的更高。
图9 所选用6 支像管的10 次主观评价结果和10 次所提出方法评价结果的对比Fig.9 Comparison of ten subjective evaluation results and ten evaluation results of the proposed method of the six selected image tubes
3 结论
本文提出了一种基于条纹变化特征的微光像增强器分辨力客观评价方法。该方法主要包括:分辨率图像块提取、分辨率图像块自适应旋转、单元条纹图像分割、单元条纹图像拼接、单元条纹清晰度计算以及像管分辨力估计。为了验证该方法的性能,将其与传统评价方法相对比。结果表明所提出方法在时效性和精确度方面均优于传统评价方法。此外,可重复性实验证实,该方法的测量结果与主观评价结果基本保持一致且稳定性更好。因此,所提方法为一种有效可行的微光像增强器分辨力客观评价方法,可作为该项指标传统评价方法的有效替代。